テキストの重複行を削除・抽出・強調表示する方法

重複行を整理する場面

重複行を含むテキストを整理したいときは、入力欄に文章を貼り付け、行単位で処理できます。重複行の削除だけでなく、重複比較の代表行だけを取り出したり、重複している行の位置を目印付きで確認したりする用途にも使えます。初期状態の処理方法は削除です。

操作手順と設定の選び方

整理したいテキストを入力欄に貼り付けます。入力は任意ですが、何も入力しない場合は重複なしとして処理されます。
処理方法を選びます。削除では、最初に現れた行を残し、後から現れる重複行の位置を結果から省きます。抽出では、比較上の重複グループごとに、最初に現れた代表行を1行ずつ取り出します。強調表示では、重複と判定された行の先頭に >> が付き、それ以外の行はそのまま残ります。
必要に応じて、大文字と小文字を区別する設定を変更します。初期状態では、比較のために各行を小文字として扱います。区別する設定では、大文字と小文字の違いも比較結果に影響します。
結果を確認します。行は改行ごとに分けられ、行の前後にある空白を取り除く処理はありません。そのため、見た目が似ていても、行全体の文字列が異なれば別の行として扱われることがあります。
同じ行を複数回残したい場合は、削除処理で最初の出現を残す初期設定に注意します。指定できる処理方法は削除、抽出、強調表示です。それ以外の値では、処理は成功しますが入力テキストが変更されずに返ります。

結果の確認と判定範囲

結果の読み方は、選んだ処理方法によって変わります。削除結果は、重複比較で後に現れた行の位置を省いたテキストです。抽出結果は、重複比較の単位ごとに最初の代表行を並べたものなので、元の行数より少なくなる場合があります。強調表示結果では、>> が付いた行の位置が重複として示されます。

初期状態の比較では大文字と小文字を区別しませんが、行の前後の空白や句読点を自動的に整えるわけではありません。たとえば、同じ単語でも末尾に空白がある行は、空白のない行とは別の行として判定される可能性があります。入力が空なら、処理は成功し、重複は見つかりません。結果が入力と同じ場合は、重複がなかったか、強調表示以外で該当する変更がなかった可能性があります。

使用例

商品名の一覧に同じ商品名が複数回含まれているため、後から現れた重複行を省いて一覧を整理します。

入力欄に「赤」「青」「赤」「緑」を改行で並べ、処理方法を削除にして実行します。

削除を選ぶと、4行の入力から後の重複行の位置が省かれ、結果は3行になります。

制限事項

比較対象は改行で分けられた行全体です。前後の空白を整える処理はなく、削除・抽出・強調表示以外の処理方法では入力テキストが変更されずに返ります。

よくある間違い

行の前後の空白が自動で除去されると思い、見た目が同じ行として扱われることを期待するのが誤りです。空白を残したまま比較したい場合はそのまま使い、同じ内容として扱う必要があるときは、入力側で行の表記をそろえてから再処理します。

よくある質問

大文字と小文字を区別して重複行を判定できますか？

初期状態では区別しません。比較時に各行を小文字として扱うため、大文字と小文字だけが異なる行は同じ比較対象になります。区別する設定に変更すると、その違いが比較結果に反映されます。

重複行を削除すると、どの行が残りますか？

削除では、初期設定により最初に記録された出現を残し、後から現れる重複行の位置を結果から省きます。抽出では各比較単位の代表行が残り、強調表示では重複位置に >> が付きます。

入力欄が空でも処理できますか？

何も入力しなくても処理は成功しますが、見つかる重複はありません。行を整理したい場合は、改行を保ったテキストを入力してください。