예시: 데이터 라벨링 위험성-윤석열 발언 팩트체크와 거짓말지수

SNU팩트체크 (서울대학교 언론정보연구소에서 운영하는 누리집)

“데이터 라벨링의 위험성”

이번 실습의 목적은 data labeling(데이터 라벨링)이 얼마나 쉽게 정치적·해석적 판단으로 변질될 수 있는지를 드러내는 데 있다. 흔히 우리는 텍스트에 붙은 “사실”, “거짓”, “왜곡”과 같은 라벨을 ground truth(정답 라벨)로 받아들이지만, 현실의 언어는 수학적 명제와 달리 단일한 참·거짓으로 환원되지 않는다.

대통령 발언은 본질적으로 맥락 의존적이다. 어떤 발언이 사실인지 여부는 기준 시점, 비교 대상, 사용된 통계의 정의에 따라 달라진다. 그럼에도 팩트체크 페이지는 이러한 전제 조건을 명시하지 않은 채, 하나의 판단 결과만을 라벨로 제시하곤 한다. 이는 자연어 처리(Natural Language Processing, NLP)에서 지도학습(supervised learning)을 수행할 때 가장 경계해야 할 상황, 즉 라벨 생성 과정이 불투명한 상태에서 모델 학습이 이루어지는 경우에 해당한다.

특히 ‘거짓말지수’와 같은 수치화된 평가는 합성지수(composite index)의 전형적 위험을 내포한다. 발언의 중요도, 거짓 여부, 해석의 강도를 임의로 가중합한 결과는 통계량이라기보다 서사적 평판 점수에 가깝다. 이러한 점수는 수학적 의미에서의 측정값이 아니라, 특정 관점이 숫자의 형태를 빌려 표현된 것이다.

따라서 본 실습의 자료는 비판 없이 모방해야 할 정답 데이터셋이 아니다. 오히려 이 사례를 통해 “누가, 어떤 기준으로, 무엇을 근거로 라벨을 붙였는가”라는 질문을 가장 먼저 던져야 한다. 데이터 분석과 인공지능 모델링의 출발점은 계산 이전에 해석이며, 라벨은 사실의 종착점이 아니라 해석의 임시적 결과임을 인식하는 것이 이 강의의 출발선이다.

거짓말지수 결과

거짓말지수는 -0.96으로, 20대 대통령 윤석열의 발언은 ‘대체로 사실 아님’이라는 결과이다.

그리고 ‘꾸준하게’ 거짓말을 하고 있는 것으로 추정된다.

거짓말지수 정의

#거짓말지수 는 팩트체크 결과 점수의 평균으로 정의되며, 이는 -2 에서 2 사이의 범위를 가진다.

팩트체크 결과 점수

• 전혀사실 아님 = -2
• 대체로 사실 아님 = -1
• 절반의 사실 = 0
• 대체로 사실 = 1
• 사실 = 2
• 판단유보는 표본에 넣지 않음.

거짓말지수 자료

에필로그: 한동훈 정치인(공직자)의 발언

전 법무부장관 한동훈의 발언도 ‘대체로 거짓’일 것으로 추정된다.