중복 줄 제거 방법: 텍스트에서 고유한 줄만 남기기

줄 단위 중복 제거의 범위와 준비

줄바꿈으로 나뉜 목록을 정리할 때는 같은 줄이 반복되는지 줄 전체를 기준으로 확인해야 합니다. 이 도구는 입력된 텍스트를 줄 단위로 나누고, 같은 줄이 다시 나타나면 첫 번째 항목을 남기는 방식으로 결과를 구성합니다. 따라서 이메일 주소 목록, 상품명 목록, 태그 목록처럼 한 줄에 하나의 값을 배치한 자료를 정리할 때 사용할 수 있습니다.

기본 비교에서는 각 줄의 앞뒤 공백을 먼저 제거하고, 글자의 대소문자를 구분하지 않습니다. 예를 들어 앞뒤 공백만 다르거나 대문자와 소문자만 다른 줄은 같은 줄로 판단될 수 있습니다. 반대로 줄 안에 들어 있는 단어 일부나 문장 속 반복 표현을 찾아 없애는 기능으로 이해해서는 안 됩니다. 비교 대상은 줄바꿈으로 구분된 한 줄 전체입니다.

결과의 배열 방식도 입력 목적에 맞게 선택할 수 있습니다. 기본 상태에서는 처음 등장한 줄의 순서를 유지하므로 원래 목록의 흐름을 살펴보기 쉽습니다. 순서 보존을 끄면 남은 줄이 정렬된 뒤 결과가 구성됩니다. 입력 자료의 의미가 순서와 연결되어 있는지 먼저 확인한 다음 옵션을 정하는 것이 좋습니다.

중복 줄을 정리하는 순서

정리할 자료를 한 줄에 하나의 항목이 오도록 준비합니다. 입력란에 줄바꿈을 포함한 텍스트를 붙여 넣으세요. 입력은 선택 사항이므로 자료를 넣지 않은 상태로도 처리를 시작할 수 있지만, 이 경우 결과에 남는 고유 줄과 제거된 줄은 없습니다.
앞뒤 공백을 값의 일부로 보아야 하는지 결정합니다. 기본 설정에서는 각 줄의 시작과 끝에 있는 공백을 제거한 뒤 비교하고 결과를 구성합니다. 들여쓰기, 끝 공백 또는 양쪽 공백의 차이를 보존해야 한다면 공백 다듬기 옵션을 끄세요. 그러면 공백을 제거하는 단계 없이 줄을 비교하고, 남은 줄에도 해당 공백이 유지됩니다.
대소문자를 구별할지 선택합니다. 기본 상태에서는 글자 대소문자를 무시하므로 Seoul과 seoul처럼 대소문자만 다른 줄이 같은 것으로 비교될 수 있습니다. 두 줄을 서로 다른 항목으로 취급하려면 대소문자 구분 옵션을 켜세요. 이 설정은 비교 기준을 바꾸므로 목록을 처리하기 전에 원하는 기준을 정해 두는 편이 좋습니다.
결과 순서를 정합니다. 입력된 순서에서 처음 나온 항목을 기준으로 결과를 읽고 싶다면 순서 보존을 그대로 둡니다. 목록을 정렬된 형태로 확인하려면 순서 보존을 끄세요. 이때 남은 줄은 정렬된 뒤 결과 텍스트로 만들어집니다.
처리가 끝나면 결과 텍스트와 표시된 줄 수를 함께 살펴봅니다. 같은 줄이 여러 번 있었다면 첫 번째 줄만 남고 뒤의 반복분은 제거된 줄 수에 반영됩니다. 입력 자료의 줄바꿈 위치가 의도한 구조와 맞는지, 공백과 대소문자 옵션이 자료의 구분 기준에 맞는지도 결과와 함께 확인하세요. 필요하면 설정을 바꾸어 다시 비교할 수 있습니다.

결과의 줄 수와 비교 기준 이해하기

결과 텍스트에는 비교 기준을 통과해 남은 줄만 표시됩니다. 순서 보존이 켜져 있으면 각 줄이 처음 나타난 위치를 따라 배치되고, 순서 보존을 끄면 남은 줄이 정렬된 순서로 배치됩니다. 따라서 같은 내용이 여러 번 입력된 경우 결과의 위치는 첫 번째 등장 위치를 기준으로 판단해야 합니다. 결과에 표시되는 고유 줄 수는 남은 줄의 수이며, 제거된 줄 수는 반복되어 제외된 줄의 수입니다.

공백 다듬기 설정은 겉보기에는 비슷한 두 줄을 어떻게 볼지 바꿉니다. 기본 설정에서는 줄 앞뒤의 공백을 제거한 뒤 비교하므로 공백 차이만 있는 항목이 하나로 합쳐질 수 있습니다. 공백을 데이터로 보존해야 하는 목록이라면 해당 옵션을 끈 결과를 확인해야 합니다. 대소문자 구분도 같은 방식으로 결과의 줄 수에 영향을 줍니다. 기본 비교에서는 대소문자를 무시하지만, 구분을 켜면 대소문자가 다른 줄이 각각 남을 수 있습니다.

이 도구의 결과를 읽을 때는 줄바꿈이 실제 항목의 경계인지 확인하는 것이 중요합니다. 한 줄 안에 포함된 단어의 반복이나 문자열 일부의 중복은 줄 전체 중복과 다른 문제입니다. 문단이나 다른 형식의 레코드를 정리하려는 경우에도 이 결과를 해당 자료에 그대로 적용된다고 보기는 어렵습니다. 처리할 자료가 비어 있거나 입력을 생략한 경우에는 처리가 성공적으로 끝나지만, 고유 줄과 제거된 줄이 없는 결과로 이해하면 됩니다.

사용 예시

상품 목록에 사과, 바나나, 사과가 여러 줄로 섞여 있어 반복 항목을 정리하려고 합니다.

사과, 바나나, 사과를 줄바꿈으로 입력하고 기본 설정으로 처리한 뒤 결과 텍스트와 두 줄 수를 확인합니다.

결과 텍스트에는 처음 나온 사과와 바나나가 남고, 고유 줄 수와 제거된 줄 수가 각각 집계됩니다.

제한 사항

처리 기준은 줄바꿈으로 구분된 줄입니다. 단어 일부, 문자열 일부, 문단 또는 다른 레코드 유형의 중복 제거까지 지원한다고 볼 수 없습니다.

자주 발생하는 오류

앞뒤 공백의 차이도 별도 값으로 남기려는데 기본 설정을 사용하면 줄이 하나로 비교될 수 있습니다. 공백을 의미 있는 정보로 취급해야 할 때는 공백 다듬기를 끄고 다시 처리하세요.

자주 묻는 질문

대소문자가 다른 줄을 별도로 유지할 수 있나요?

기본 설정에서는 대소문자를 구분하지 않으므로 대문자와 소문자만 다른 줄이 같은 줄로 비교될 수 있습니다. 서로 다른 줄로 유지하려면 대소문자 구분을 켜세요.

줄의 앞뒤 공백을 보존할 수 있나요?

앞뒤 공백을 비교와 결과에 남겨야 한다면 공백 다듬기를 끄세요. 그러면 줄의 앞뒤 공백을 제거하지 않은 상태로 비교하고 결과를 구성합니다.

입력 없이 실행하면 어떻게 되나요?

입력을 비워 두거나 생략하면 처리는 성공적으로 끝나지만, 남는 고유 줄과 제거된 줄은 없습니다.