01
最初の三つの処理を確認
初期設定は両端の空白除去、空行削除、重複行の削除です。重複は最初の一件を残します。残しておきたい情報に関わる手順は削除でき、同じ操作を別の設定で追加することもできます。
テキスト・文字列
重複行削除処理の順序から、残す行を決める
空白を削る位置や番号を付けるタイミングも変更できます。
重複行削除
入力テキスト
処理結果
テキストはこのブラウザ内で処理され、送信されません。
処理の順序
1. 各行の空白を削る
2. 空行を削除
3. 重複行を削除
入力はCRLF・CR・LFで区切り、出力はLFに統一します。末尾の改行や分割の区切りによる空項目は残ります。空行の印と欄外の番号は表示専用です。
最大20手順。入力と各処理結果は50,000行、1,000,000 UTF-16単位まで。文字列パラメーターは1,000単位までです。超過すると処理全体が失敗します。
テキストを入力するか、サンプルを適用してください。空の入力は0行です。
URL一覧や商品コードを貼り付けると、同じ項目が何度も現れたり、行の前後に空白が混ざったりします。重複行削除では元の一覧を残したまま、必要な処理を手順として組み立てられます。行並べ替えや空行の除去も組み合わせ、テキスト整理を一つの流れで進められます。
番号を付けてから重複を調べると、番号が異なるため同じ内容でも残ることがあります。重複を消してから番号を付ける場合との違いを、手順の上下移動と行数で確認できます。
重複行削除を組み合わせて使う理由
空白を削るタイミングが見える
重複行削除の前に空白を取り除くと、空白だけが異なる項目をまとめられます。逆の順序では別の値として残った行が、最後に同じ見た目になることもあります。各手順の前後の行数で違いを確認できます。
元の一覧を残して試せる
逆順やシャッフルも結果側だけに反映します。同じシードは同じ並びを再現し、シードを進めると再計算します。結果を入力へ戻す場合は置き換えプレビューを確認して適用し、一度取り消せます。
一覧を整える手順
02
先に抽出するか、先に番号を付けるか決める
抽出を番号付けより前へ移動したり、結合された一覧を分割してから並べ替えたりできます。自動実行は変更から350ms後。オフでは実行ボタンかCtrl/Cmd+Enterを使います。変更直後は古い結果の出力を止めます。
03
行数を確かめて保存
最初は50行を表示し、続きは追加表示できます。コピーとダウンロードは常に全文です。サンプル、クリア、結果の再利用は確認してから適用します。元に戻すと入力・手順・モード・結果をまとめて復元します。
比較・抽出・項目の整形
順序と比較を選ぶ
UTF-16コード単位の順序、または英語の数字の自然順で並べ替えます。item2とitem10の整理に自然順が使えます。逆順は行内の文字を変えず、重複判定は最初の表記を残しつつ大小文字を無視する設定も選べます。
必要な行だけを残す
指定した文字列を含む行、含まない行を抽出します。ピリオドも通常の文字で、正規表現ではありません。先頭や末尾から指定数を取り出す場合は元の相対順序を保ち、0を指定すると空の一覧になります。
項目の形を整える
接頭辞・接尾辞や、開始番号・増分・区切りを指定した行番号を付けられます。結合には任意の区切りを使い、分割は現在のLFテキスト全体に対して完全一致で行います。連続する区切りで生まれる空項目も残します。
行の数え方と処理の上限
- 末尾の改行も一項目
- CRLF・CR・LFを行区切りとして受け取り、LFで出力します。末尾の改行は空項目を一つ作り、初めから空の入力は0行です。空白を削って空になった項目にも接頭辞は付きます。0行と一つの空項目はどちらも空文字で保存され、再入力すると0行になります。
- 日本語の辞書順ではありません
- 空白除去はJavaScriptの規則に従い、空行削除では空白のみの行も対象にできます。大小文字を無視する比較は小文字化のみで、全角半角やUnicodeの正規化はしません。自然順は英語固定で数字列を扱い、五十音順や小数・負数の数値比較ではありません。
- 途中の結果にも上限を適用
- 入力と各段階は1,000,000 UTF-16単位・50,000行まで、手順は20個まで、文字列パラメーターは1,000単位までです。超過時は処理全体を中止し、可能なら手順を示します。途中までの結果は出力しません。UTF-8保存で文字が変わらないよう孤立サロゲートは拒否します。
- 文字列として扱う範囲
- 結合と分割で解釈するのは\n・\r・\t・\\のみ。空の結合区切りは使えますが、分割区切りと抽出条件は空にできません。接頭辞・接尾辞・番号の区切り・抽出条件は改行なしの文字列です。正規表現、CSVの引用符解析、ファイル読込、手順保存、安全な乱数生成には対応しません。
重複行削除でよくある質問
同じ内容を一件だけ残せますか？
重複行削除は最初に現れた行を残し、後の同じ行を削除します。並べ替えなどの手順を追加しなければ、その順序も維持します。空白の違いを無視したいときは、先に空白除去を置いてください。
ExcelやCSVからコピーした一覧も使えますか？
一行を一項目として貼り付ける一覧なら使えます。CSVの引用符やセル内改行を解析する機能ではないため、複数行を含むセルをそのままCSVとして扱う用途には向きません。
空白だけの行をまとめて消せますか？
空行削除には空白のみの行も削除する設定があります。初期手順では先に両端の空白を除去するため、その次の空行削除でも取り除けます。空項目を残したい場合は手順を調整してください。
英字の大小や全角半角を同一視できますか？
大小文字を区別しない設定はありますが、全角半角の変換はありません。ABCとabcはまとめられますが、ＡＢＣとABCは別の値です。残る行の表記は最初のものを使います。
貼り付けた一覧は外部に保存されますか？
処理はブラウザ内で行い、入力をアップロードしません。手順や入力を保存する機能もないため、ページを再読み込みすると作業状態はリセットされます。
予想と違う結果になりましたか？