데이터 중복 제거

중복 제거는 삭제 기능이 아니라 판별 과정입니다

마케팅 데이터에는 같은 고객이 이메일, 휴대전화, 회원 번호처럼 서로 다른 식별자로 들어오거나, 동일 이벤트가 재전송되어 두 번 쌓이는 일이 있습니다. 중복 제거는 이 항목들이 실제로 같은 대상을 가리키는지 판단한 뒤 대표 레코드를 정하고 병합·보류·무시 중 하나를 선택하는 절차입니다. 기준이 불명확하면 다른 사람을 한 명으로 합치는 오탐과 같은 사람을 여러 명으로 남기는 누락이 동시에 생깁니다. AWS Entity Resolution, Match ID mapping는 여러 소스의 레코드에 공통 매치 ID를 부여하고 제공자 또는 규칙 기반 매칭으로 연결하는 방식을 설명합니다.

대표적인 판별 방식

가령 한 가상 세미나 신청자가 회사 이메일과 개인 이메일로 각각 등록했다고 하겠습니다. 이름만 같다는 이유로 합치기보다 전화번호, 회사, 신청 시각을 함께 비교하고 확신이 낮으면 검토 대기열로 보내는 편이 안전합니다. 반대로 결제 시스템이 같은 이벤트 ID를 재전송했다면 그 ID를 기준으로 두 번째 처리를 막을 수 있습니다.

운영 순서

1. 중복의 단위를 정합니다. 고객, 리드, 주문, 메시지 중 무엇을 판별하는지 분리합니다.
2. 신뢰할 식별자와 보조 속성을 구분합니다.
3. 대표값 선택 규칙과 원본 보존 기간을 정합니다.
4. 병합 전후 건수, 오탐 검토 결과, 되돌리기 방법을 기록합니다.

중복 제거는 데이터 품질을 높일 수 있지만 원본의 불일치를 감추는 도구가 되어서는 안 됩니다. 특히 고객 정보 병합은 발송 동의나 계약 관계까지 자동으로 합친다는 뜻이 아니므로 속성별 출처와 효력 범위를 남겨야 합니다. Microsoft Graph connectors, manage external items는 외부 항목은 고유 ID로 관리되고 동일 ID를 다시 넣으면 기존 항목이 갱신되는 동작을 설명합니다.

자주 묻는 질문

중복 제거와 데이터 정리는 같은가요?

중복 제거는 데이터 정리의 한 부분입니다. 데이터 정리에는 형식 통일, 누락값 처리, 잘못된 값 수정도 포함될 수 있습니다.

이메일 주소가 같으면 같은 고객인가요?

항상 그렇지는 않습니다. 가족이나 조직이 주소를 공유할 수 있고, 전달용 주소가 쓰일 수도 있어 다른 식별자와 맥락을 함께 확인해야 합니다.

중복 레코드는 바로 삭제해야 하나요?

병합 근거와 되돌리기 가능성을 확보하기 전에는 원본을 보존하는 편이 안전합니다. 대표 레코드에 출처와 이전 식별자를 연결할 수도 있습니다.

실시간 중복 제거가 항상 필요한가요?

결제나 메시지 재처리처럼 즉시 중복을 막아야 하는 경우가 있지만, 고객 프로필 병합처럼 검토가 필요한 작업은 배치 처리나 승인 절차가 더 적합할 수 있습니다.

출처와 확인 범위

1. AWS Entity Resolution, Match ID mapping · AWS Documentation · 확인 2026-10-27

   여러 소스의 레코드에 공통 매치 ID를 부여하고 제공자 또는 규칙 기반 매칭으로 연결하는 방식을 설명합니다.

   확인 범위: AWS 서비스의 매핑 방식이며 모든 중복 제거 제품의 필드나 임계값에 그대로 적용되지 않습니다.

2. Microsoft Graph connectors, manage external items · Microsoft Learn · 확인 2026-10-27

   외부 항목은 고유 ID로 관리되고 동일 ID를 다시 넣으면 기존 항목이 갱신되는 동작을 설명합니다.

   확인 범위: 검색 커넥터 항목 수집의 동작으로 사람·계정 병합 기준을 정의하는 문서는 아닙니다.

함께 이해할 용어

이 용어를 적용하는 실무 가이드