데이터 계보

데이터 계보가 보여 주는 흐름

보고서의 숫자는 원천 시스템에서 바로 나오지 않는 경우가 많습니다. 광고 API에서 받은 원시 데이터가 정제되고, 환율과 캠페인 분류가 적용되고, 여러 테이블과 결합된 뒤 대시보드 지표가 됩니다. 데이터 계보는 이 과정에서 어떤 데이터셋이 어떤 작업의 입력과 출력이었는지 연결해 이 숫자가 어디서 왔는가를 추적하게 합니다. OpenLineage, Object Model는 데이터셋이 작업을 통해 생성·변환되는 과정을 Job, Run, Dataset과 실행·설계 이벤트로 기록해 계보 그래프를 구성하는 모델을 설명합니다.

데이터 사전과의 차이

데이터 사전은 필드 이름, 뜻, 형식, 허용값처럼 데이터 요소의 정의를 설명합니다. 데이터 계보는 그 요소와 데이터셋이 시간과 처리 단계에 따라 어떻게 이동·변환됐는지 보여 줍니다. 둘을 연결하면 전환수의 정의가 무엇인가와 이 보고서의 전환수가 어떤 원천과 쿼리에서 왔는가를 함께 확인할 수 있습니다.

가상 업무 예시

가상 마케팅팀의 월간 매출이 갑자기 줄었다고 하겠습니다. 계보를 보면 대시보드가 중간 집계 테이블을 읽고, 그 테이블은 전날 변경된 주문 상태 변환 작업의 출력임을 알 수 있습니다. 담당자는 원천 주문 건수, 변환 코드, 출력 행 수를 순서대로 확인할 수 있습니다. 다만 계보가 있다는 사실만으로 계산이 정확하다는 뜻은 아닙니다. 잘못된 변환도 정확히 기록될 수 있으므로 데이터 품질 검사와 함께 봐야 합니다.

도입 시 확인 순서

Microsoft Purview Data Governance glossary는 Lineage를 데이터가 원천에서 목적지로 이동하며 변환되는 흐름으로 정의하고 문제 해결과 영향 분석에 쓰인다고 설명합니다.

1. 중요 보고서와 지표의 입력·출력부터 범위를 정합니다.
2. 데이터셋과 작업의 고유 이름 규칙을 맞춥니다.
3. 설계 시점 정보와 실제 실행 이벤트를 구분합니다.
4. 스키마 변경과 실패 이벤트가 누락되지 않는지 시험합니다.
5. 영향 분석 결과를 담당자와 변경 승인 절차에 연결합니다.

자주 묻는 질문

데이터 계보와 데이터 사전은 같은가요?

아닙니다. 데이터 사전은 필드의 뜻과 형식을 설명하고, 데이터 계보는 데이터가 원천에서 목적지까지 어떤 작업을 거쳐 이동·변환됐는지 보여 줍니다.

계보가 있으면 데이터가 정확하다는 뜻인가요?

아닙니다. 계보는 흐름과 변경 경로를 추적하는 데 도움을 주지만 잘못된 계산 자체를 자동으로 판정하지는 않습니다. 품질 검사와 정의 검토가 별도로 필요합니다.

모든 데이터를 처음부터 연결해야 하나요?

핵심 보고서와 규제·장애 영향이 큰 데이터부터 시작하는 편이 현실적입니다. 범위와 고유 식별자 규칙을 정한 뒤 점차 확장할 수 있습니다.

설계 계보와 실행 계보는 무엇이 다른가요?

설계 계보는 선언된 입력·출력과 코드 위치처럼 비교적 정적인 관계이고, 실행 계보는 특정 작업 실행의 시각, 상태, 실제 입출력을 기록합니다.

출처와 확인 범위

1. OpenLineage, Object Model · OpenLineage · 확인 2026-10-27

   데이터셋이 작업을 통해 생성·변환되는 과정을 Job, Run, Dataset과 실행·설계 이벤트로 기록해 계보 그래프를 구성하는 모델을 설명합니다.

   확인 범위: OpenLineage 표준의 객체 모델이며 특정 조직의 모든 파이프라인이 자동으로 수집된다는 뜻은 아닙니다.

2. Microsoft Purview Data Governance glossary · Microsoft Learn · 확인 2026-10-27

   Lineage를 데이터가 원천에서 목적지로 이동하며 변환되는 흐름으로 정의하고 문제 해결과 영향 분석에 쓰인다고 설명합니다.

   확인 범위: Microsoft Purview 용어집으로 계보 도구 전체의 구현 방식과 수집 범위를 규정하지 않습니다.

함께 이해할 용어

이 용어를 적용하는 실무 가이드