데이터 계보(Data Lineage), AI 신뢰성의 절반

AI 신뢰성을 높이기 위해 모델을 아무리 뜯어봐도 답이 나오지 않을 때, 실마리는 데이터가 지나온 경로에 있습니다.

회의실 화면에 AI가 뽑아낸 보고서가 떠 있습니다. 다음 분기 이탈 고객이 지난해보다 18% 늘어난다는 예측입니다. 누군가 묻습니다. "이 숫자, 어디서 나온 거죠?" 잠시 정적이 흐릅니다. 데이터 팀은 모델 탓이 아니라고 하고 모델을 만든 쪽은 데이터를 준 대로 학습했을 뿐이라고 합니다. 정작 그 18%가 어떤 원천에서, 어떤 가공을 거쳐 만들어졌는지 자신 있게 답하는 사람은 없습니다.

많은 조직이 AI를 못 믿는 이유를 모델에서 찾습니다. 하지만 위 장면에서 무너진 것은 모델 자체가 아닙니다. 보고서의 값이 나온 데이터의 경로를 아무도 모릅니다. 이 문제의 열쇠는 데이터 거버넌스의 오래된 축인 데이터 계보(Data Lineage)에 있습니다. 이번 글에서는 데이터 계보가 AI 신뢰성을 어떻게 끌어올리는지, 데이터 거버넌스의 관점에서 차분히 살펴보겠습니다.

데이터 계보란 무엇인가

데이터 계보는 데이터가 걸어온 길의 기록입니다. 어디서 생성되어(출처), 어떤 변형과 가공을 거쳐(변환), 어디서 소비되는가(활용). 이 전체 과정을 이어 붙인 지도라고 보면 됩니다.

식품에 비유하면 이해가 쉽습니다. 우리가 마트에서 집는 채소에는 원산지와 수확일, 유통 경로가 라벨로 붙어 있습니다. 문제가 생겼을 때 어느 농가, 어느 가공 단계에서 비롯됐는지 되짚을 수 있기 때문입니다. 이력이 붙은 재료라야 안심하고 식탁에 올립니다. 데이터도 마찬가지입니다. 출처와 변형 이력이 붙어 있어야 그 위에서 내린 판단에 믿음이 갑니다.

계보는 거버넌스라는 큰 그림 안의 한 조각입니다. 데이터를 믿고 쓸 수 있게 만드는 토대로 메타데이터 관리, 데이터 품질, 데이터 표준이 있고, 계보는 그 옆에 나란히 서서 데이터의 흐름을 담당합니다. 방향으로 보면 두 갈래가 있습니다. 상류에서 하류로 따라 내려가는 정방향 계보와, 결과에서 원천으로 거슬러 올라가는 역방향 계보입니다. 해상도로 보면 테이블 단위로 흐름을 보는 방식과, 개별 컬럼 하나하나까지 추적하는 컬럼 레벨 방식으로도 나눌 수 있습니다.

AI 신뢰성 문제의 절반

AI를 믿기 어려운 이유를 두고 흔히 이렇게 말합니다. "모델이 블랙박스라서 그렇다. 설명가능한 AI(XAI, eXplainable AI)로 모델 내부를 열어 보면 된다." 틀린 말은 아닙니다. 모델이 어떤 근거로 특정 결론에 도달했는지 설명하는 일은 분명히 중요합니다.

그러나 '모델의 설명 가능성'은 절반에 불과합니다. 나머지 절반은 모델이 어떤 데이터를 먹었는지, 그 데이터가 애초에 어떻게 만들어졌는지를 확인해야 합니다. 모델이 사용하는 데이터의 계보를 모른다면 아무리 정교한 모델이라도 허공에 붕 뜬 이야기만 합니다. 재료의 출처를 모르는 채로 요리법만 알고 있기 때문입니다. 그 요리를 안심하고 먹을 수 있을까요?

AI에 대한 신뢰성의 시작은 입력값에 대한 추적성입니다. AI 산출물에 대한 신뢰는 결국 재현 가능성과 검증 가능성에서 나옵니다. 같은 데이터와 같은 과정을 밟으면 같은 결과가 나오는가, 그리고 그 과정을 남이 따라가며 확인할 수 있는가입니다. 이 두 가지는 입력 데이터가 지나온 경로가 투명하게 보여야만 성립합니다.

규제도 같은 방향으로 움직이고 있습니다. 유럽연합의 AI법(EU AI Act)에서 고위험 AI 시스템에 대한 데이터 거버넌스와 기록 유지 의무가 2026년 8월부터 본격 적용됩니다. AI법은 고위험 시스템에 학습·검증 데이터의 품질 관리와 처리 이력의 기록을 요구합니다. 규제가 모델의 성능이 아니라 데이터가 어떻게 관리되고 기록되는지를 겨눈다는 것은, 신뢰의 무게중심이 결과물에서 데이터의 여정으로 옮겨 가고 있다는 신호입니다.

되짚을 수 있어야 믿을 수 있다

계보가 신뢰를 만드는 첫 번째 방식은 역방향 추적입니다. AI가 내놓은 결과에서 출발해 원천 데이터와 그 사이의 변환 로직까지 거꾸로 되짚어 올라가는 것입니다.

처음에 나온 '이탈 고객 18% 증가' 예측으로 돌아가 보겠습니다. 담당자가 계보를 타고 상류로 올라갑니다. 예측값은 고객 활동 집계 테이블에서 왔고 그 테이블은 여러 로그를 합치는 ETL 단계를 거쳤습니다. 여기서 문제가 드러납니다. 활동 집계의 기준일 컬럼이 '최종 접속일'이 아니라 '가입일'로 잘못 매핑돼 있었습니다. 오래전 가입한 휴면 고객이 최근 활동한 것처럼 잡히면서 이탈 신호가 왜곡된 것입니다. 모델은 죄가 없었습니다. 잘못 가공된 재료를 정직하게 요리했을 뿐입니다.

계보가 없었다면 이 원인을 찾기까지 며칠이 걸렸을지 모릅니다. 계보가 있으면 결과에서 원인까지 한 줄로 이어집니다. "왜 이 답이 나왔나"라는 질문에 데이터의 경로로 답하게 되는 것, 이것이 신뢰의 실체입니다. 그럴듯한 해명 대신 검증 가능한 경로 말입니다.

사고 후 감사보다 사고 전 예방

계보를 흔히 '문제가 터진 뒤 원인을 찾는 감사 도구'로만 생각합니다. 방금 든 예시도 그렇게 읽힙니다. 하지만 계보의 더 큰 힘은 반대편, 즉 사고가 나기 전에 발휘됩니다. 정방향 영향도 분석(impact analysis)입니다.

데이터는 끊임없이 바뀝니다. 상위의 어떤 소스 스키마가 바뀌거나, 컬럼 하나가 사라지거나, 코드값 체계가 개편됩니다. 이 변경이 아래로 흘러가며 어디까지 영향을 미치는지는 눈에 잘 보이지 않습니다. 정방향 계보를 짚어 보면 "이 컬럼을 바꾸면 어떤 다운스트림 지표와 어떤 AI 파이프라인이 흔들리는가"가 미리 보입니다.

AI 파이프라인은 특히 상위 소스의 변경에 취약합니다. 데이터 형식이 조용히 어긋나도 파이프라인은 멈추지 않고 그냥 돌아갑니다. 이른바 조용한 손상(silent breakage)입니다. 오류가 학습이나 추론에 스며들면 한참 뒤에야 이상한 결과로 드러나고 그때는 이미 잘못된 판단이 여러 곳에 쌓인 뒤입니다.

정방향 영향도 분석은 이 손상이 AI에 흘러들기 전에 길목을 지킵니다. 신뢰성은 사고를 잘 수습하는 데서만 오지 않습니다. 애초에 사고가 데이터에 스며들지 않게 막는 데서도 옵니다.

누가, 언제, 어떻게 바꿨는가

세 번째는 책임성입니다. 계보는 데이터에 가해진 변경의 이력을 남깁니다. 누가, 언제, 어떤 로직으로 이 데이터를 바꿨는가. 이 기록이 있어야 문제의 책임 소재를 가리고 내부 감사나 규제 대응 앞에서 데이터 사용의 정당성을 입증하게 됩니다.

이 대목에서 계보는 홀로 서지 않습니다. 데이터 품질이 값의 정확성을 보증하고, 표준이 이름과 형식의 일관성을 잡고, 메타데이터가 의미를 설명하고, 계보가 흐름을 이어 줄 때 비로소 신뢰가 개인의 감을 넘어 조직의 자산이 됩니다. 데이터를 오래 다뤄 온 관점에서 보면, 계보는 새로 등장한 유행어라기보다 거버넌스가 오랫동안 씨름해 온 흐름 관리의 연장선입니다. AI 시대에 그 오래된 축의 가치가 다시 조명받고 있을 뿐입니다.

책임성은 규제와도 직결됩니다. 앞서 짚은 기록 유지 요구처럼, 감사에 대응하려면 '이 데이터가 이렇게 만들어졌다'를 증거로 제시할 수 있어야 합니다. 계보가 없으면 이 입증은 기억과 구두 설명에 의존하게 됩니다. 그런 신뢰는 오래가지 못합니다.

믿음은 결과가 아니라 경로에서 옵니다

처음의 질문으로 돌아가 보겠습니다. "이 숫자, 어디서 나온 거죠?" 이 물음에 답할 수 있느냐 없느냐가 AI를 신뢰할 수 있느냐를 가릅니다. 그리고 그 답은 모델을 열심히 들여다보는 데에 있지 않았습니다. 데이터가 지나온 경로에 있었습니다. 원산지와 유통 이력이 붙은 재료라야 안심하고 식탁에 올리듯, 출처와 변형 경로가 보이는 데이터라야 AI의 답을 믿고 업무에 씁니다.

데이터 계보는 되짚기(추적성), 미리 보기(영향 분석), 남기기(책임성)라는 세 방식으로 AI 신뢰의 잃어버린 절반을 채웁니다. 경로가 보이는 데이터는 품질과 표준이 함께 굴러갈 때 비로소 믿을 만한 데이터로 완성됩니다.