コンテンツへスキップ
EVOA Toolbox

重複行の削除

リストから重複した行を削除します。最初または最後の出現を残す、大文字・小文字の無視、空白の除去、並べ替えに対応し、削除された行数も確認できます。

ブラウザー内でローカルに処理されます。テキストはアップロードされません。

ツールを読み込み中…

このツールでできること

リストを貼り付けると、重複のない行だけが返されます。メールアドレス、URL、キーワード、ログのエントリ、SKU、ドメインのリスト、エクスポートしたIDなど、行単位のものなら何にでも使えます。最初に何行あったか、何行が削除されたか、何行が残ったかが、サマリーで分かります。

行の比較方法を細かく設定できます。大文字・小文字の区別をオフにすると、「Apple」と「apple」が同じ行として扱われ、空白の除去をオンにすると、行の両端の余分なスペースが無視されます。重複した行のうち、最初のものを残すか、最後のものを残すかも選べます。空行はそのまま保持することも、完全に削除することもでき、結果は、数値を自然な順序で扱う形（item2 が item10 より前）で、A→Z または Z→A に並べ替えられます。

既定では順序が保持されるため、順序が重要なデータでも安心です。Windows（CRLF）とUnixの改行コードの両方に対応しており、処理にはセットによる検索を使用しているため、数十万行でもブラウザー上ですばやく完了します。

使い方

  1. 1入力欄にリストを貼り付けます（または「例を挿入」を押します）。
  2. 2オプションを設定します：大文字・小文字の区別、空白の除去、空行の扱い、最初か最後か、並べ替え。
  3. 3サマリーで、何行の重複が削除されたかを確認します。
  4. 4結果をコピーするか、.txt ファイルとしてダウンロードします。

対応形式

1行に1項目のプレーンテキスト。改行コード（LF、CRLF）は自動検出され、そのまま保持されます。

プライバシー

このツールはブラウザー上で動作します。入力されたデータはお使いのデバイス上で処理され、当社のサーバーには送信されません。

制限事項

  • 行は文字列全体として比較されます。あいまい検索や部分一致はありません。
  • 大文字・小文字を区別しない比較は、単純な小文字化を使うため、すべての言語で完全というわけではありません。
  • 並べ替えにはお使いのブラウザーのロケールの規則が使われるため、アクセント付き文字の順序はブラウザーによって異なることがあります。
  • 「空行を残す」モードでは、空行が大量にあっても、重複とは見なされません。
  • 非常に大きな入力（数十MB）は、すべてがメモリに保持されるため、処理が遅くなることがあります。

よくある質問

元の順序は保持されますか？

はい。並べ替えを選ばない限り保持されます。既定では、各行の最初の出現が元の位置に残ります。

最初ではなく、最後の出現を残すにはどうすればよいですか？

オプションで「最後を残す」を選んでください。各行の最後のコピーがその位置に残り、それより前のコピーが削除されます。

空白の除去では何が行われますか？

すべての行の先頭と末尾のスペースとタブが削除されます（出力にも反映されます）。そのため、「 apple」と「apple 」は重複として扱われます。

数千行でも処理できますか？

はい。一般的なコンピューターであれば、20万行のリストでも1秒足らずで重複を排除できます。

関連ツール