テキストの重複行を削除する方法

重複行を削除する目的

改行区切りのテキストに同じ行が複数含まれている場合、このツールで重複行を取り除き、各行の最初の出現だけを残せます。貼り付けた一覧の整理や、同じ項目が繰り返されるテキストの確認に向いています。対象は単語の一部や段落全体ではなく、改行で分けられた行です。

重複行を削除する手順

1. 整理したいテキストを、1項目につき1行になるように入力欄へ貼り付けます。テキストを省略した場合は空の値として扱われます。

2. 行の前後にある空白を無視して比較したい場合は、既定の空白トリミング設定をそのまま使います。行の前後の空白も内容として残して比較したい場合は、トリミングを無効にします。

3. 大文字と小文字を区別せずに同じ行として扱う場合は既定の比較設定を使います。大文字と小文字の違いを別の行として残したい場合は、ケースを区別する設定を有効にします。

4. 残った行を入力順で保ちたい場合は、順序を保持する設定を使います。保持順が不要な場合は、出力前に残った行を並べ替える設定を選べます。

5. 実行して、重複を除いたテキストと、残った行数および削除された行数を確認します。空の入力では処理が正常に完了し、固有の行数と削除行数はありません。

結果の見方と注意点

出力には、同じと判定された行のうち最初に現れた行が残ります。既定では、比較時に行頭と行末の空白を取り除き、大文字と小文字を区別しません。そのため、見た目の大文字小文字や前後の空白だけが異なる行は、設定によって同じ行としてまとめられます。

順序を保持する設定では、残った行は最初に現れた順になります。順序を保持しない設定では、残った行が並べ替えられます。空でないテキストなら、固有の行数と削除された行数を結果で確認できます。

使用例

同じ商品名が複数回入った一覧から、最初の出現順を保った重複のない行一覧を作成します。

「りんご」「みかん」「りんご」の3行を入力し、既定の比較と順序保持の設定で実行します。

入力した行のうち、重複と判定された行は除かれ、最初に現れた行を含む整理後のテキストが出力されます。空でない入力では、残った行数と削除された行数も表示されます。

制限事項

• 処理の対象は改行区切りの行です。単語の一部、文中の文字列、改行を含まない段落などを重複判定する用途には、そのまま当てはまりません。

よくある間違い

• 行末の空白を別データとして残したいのに、既定のトリミング設定のまま実行すると、意図した区別が失われることがあります。前後の空白を含めて比較・保持したい場合は、空白トリミングを無効にしてください。

よくある質問

入力欄を空のまま実行できますか？

テキストが空、または入力を省略した場合は、正常に完了します。固有の行や削除された行はありません。

大文字と小文字を別の行として扱えますか？

既定では大文字と小文字を区別しません。区別して比較したい場合は、ケースを区別する設定を有効にしてください。

行の前後にある空白を残せますか？

既定では各行の先頭と末尾の空白を取り除いてから比較・出力します。空白を残したい場合は、トリミングを無効にしてください。