최전선 LLM들, 실제 팩트체크에서 서로 다른 답변 내놓는다

lenz.io의 연구 결과에 따르면 현재 최상위 수준의 LLM들이 동일한 실제 사실 관계 질문에 서로 엇갈린 답변을 내놓는다는 사실이 밝혀졌습니다. Hacker News에서 점수 472점, 댓글 329개를 기록하며 큰 화제를 모은 이 연구는 AI 신뢰성 문제를 다시 한번 수면 위로 끌어올렸습니다. 각 모델이 '사실'이라고 주장하는 내용이 다른 모델의 주장과 충돌한다는 점은, AI 응답을 그대로 믿기 어렵다는 현실적인 경고로 받아들여지고 있습니다. 이는 특히 뉴스 요약, 법률·의료 정보 검색, 교육 콘텐츠 생성 같은 정확성이 중요한 분야에서 LLM을 활용할 때 반드시 교차 검증이 필요하다는 점을 상기시켜 줍니다. 주니어 개발자라면 AI 답변을 최종 진실로 받아들이기보다 '초안' 또는 '참고 자료' 수준으로 활용하는 습관을 들이는 것이 좋습니다. 이 연구는 LLM 벤치마크가 성능만이 아니라 일관성과 사실 정합성까지 평가해야 한다는 논의에 불을 지피고 있습니다.