예전에 AI 성능을 자랑하는 방법은 단순했다. 그럴싸한 숫자 하나면 됐다. "정확도 98%", "벤치마크 1위", "파라미터 수천억 개". 발표장에서 이 숫자가 뜨면 박수가 나왔고, 질문은 나오지 않았다. 나도 그런 슬라이드를 만들어봤다. 솔직히 잘 먹혔다. 문제는 그 숫자들이 말하지 않는 부분이다.
벤치마크 1위부터 보자. 시험 문제가 공개돼 있으면 학생은 그 문제에 맞춰 공부한다. AI도 똑같다. 벤치마크 데이터가 학습 데이터에 섞여 드는 '오염'은 업계의 공공연한 골칫거리고, 오염이 없어도 개발사들은 점수 잘 나오는 방향으로 모델을 다듬는다. 모의고사 만점자가 실무에서 쩔쩔매는 이유와 같다. 점수가 오른 것이지, 실력이 는 게 아니다.
정확도 98%는 더 난감하다. 어떤 데이터로, 어떤 조건에서 쟀는지는 대개 각주에도 없다. 실험실의 정제된 데이터로 얻은 98%는 현장에 나가는 순간 뚝뚝 떨어진다. 진짜 문제는 나머지 2%다. 2018년 MIT의 '젠더 셰이드' 연구가 짚었듯, 전체 정확도가 훌륭한 얼굴 인식 시스템도 피부색이 어두운 여성에게는 오류율이 30%대까지 치솟았다. 백인 남성은 1%도 안 됐다. 평균은 높은데, 누군가에게는 절반쯤 고장 난 기계다. 이때 물어야 할 질문은 "몇 퍼센트인가"가 아니라 "누구에게 몇 퍼센트인가"다.
어떤 지표에도 안 잡히는 건 사람이다. 모델이 "스스로 학습했다"는 서사 뒤에는 데이터에 라벨을 붙이고 유해 콘텐츠를 하루 종일 들여다본 노동자들이 있다. 케냐에서 시간당 2달러 안팎을 받고 이 일을 한 사람들 이야기가 보도된 게 벌써 몇 년 전이다. 데이터센터가 삼키는 전력과 냉각수도 마찬가지다. 파라미터 수는 자랑하면서 전기요금은 말하지 않는다.
그러면 뭘 봐야 하나. 세 가지다. 어떤 조건에서 잰 숫자인가. 평균 뒤에 숨은 분포는 어떤 모양인가. 집계되지 않은 비용과 노동은 무엇인가. 그래도 의심되면 데모 영상 말고 내 데이터로 직접 돌려보면 된다. 촌스럽지만 이만한 게 없다.
AI 시대의 문해력은 코드를 읽는 능력이 아니라 숫자를 의심하는 능력이다. 봐야 할 곳은 숫자가 비추는 자리가 아니라 그림자가 진 자리다. "AI의 숫자는 당신의 직관보다 화려하다. 그러나 정확하다는 뜻은 아니다."
* 본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.












![[AI 기본사회]](/data/dlt/image/2026/07/16/dlt202607160006.230x172.0.png)







































댓글
(0)