확신 대신 불확실성 재는 AI 조사 에이전트

오픈소스 개발자가 '알레테이아(Aletheia)'라는 AI 조사 에이전트를 공개했다. 클로드 코드(Claude Code)와 코덱스(Codex) 환경에서 작동하며, 진실이 감춰져 있고 증거가 뒤섞인 상황에서 “이 주장이 정말 사실인가”를 따지는 데 특화됐다. 개발자는 기존 AI 리서치 도구의 약점을 정면으로 지적한다. 대부분의 도구가 검색 몇 번 돌린 뒤 가장 크게 들린 결과를 요약해 버리고, 가장 자신 있게 말할 때 가장 크게 틀린다는 것이다.

무슨 일인가

알레테이아는 아직 커밋 4건, 별 2개 수준의 초기 프로젝트다. 그러나 접근 방식이 뚜렷하다. 사용자가 “이 업체가 정말 연매출 1000만 달러인가” 같은 질문을 던지면, 에이전트는 정답을 '숨겨진 진실'로, 검색 결과 하나하나를 '노이즈가 낀 단서'로 취급한다. 그리고 무엇이 사실일 가능성이 높은지에 대한 자기 믿음을 명시적으로 들고 있다가, 검색을 한 번 할 때마다 '내 불확실성을 가장 크게 줄여 줄 곳'에 집중한다. 반대되는 증거가 나오면 확신을 스스로 낮추고, 증거가 답을 뒷받침할 만큼 쌓였을 때만 결론을 낸다. 근거가 부족하면 억지 결론 대신 '판단 불가(INCONCLUSIVE)'를 반환한다.

핵심 짚어보기

결과물은 '판정문(Verdict)' 형태다. 한 줄 결론, 각 주장별 확신도, 출처가 달린 증거, 그리고 끝내 확인하지 못한 미해결 항목까지 함께 내놓는다. 공개된 예시(가상의 회사)에서는 “연매출 1000만 달러·유료 고객 1만 명” 주장을 '과장된 것으로 보임, 확신도 약 90%'로 판정했다. 특히 채용·인력 지표가 결론과 반대 방향을 가리키는 신호였는데도, 이를 숨기지 않고 “무시하지 않고 함께 저울질했다”고 명시한 점이 눈에 띈다. 확신을 깔끔한 100%로 반올림하지 않는 절제가 이 도구의 핵심이다. 기술적으로는 흔한 '생각→행동→반복' 루프 대신 '믿음→행동→관찰→갱신' 루프를 돈다. 이는 참값을 부분적으로만 관측할 수 있는 의사결정 구조(POMDP)의 형태로, 정보를 모으는 단계와 답을 확정하는 단계를 분리한다.

1인기업 실전 적용 포인트

• 거래처·경쟁사 실사에 활용: “이 파트너사가 정말 흑자인가”를 확인할 때, 결론뿐 아니라 확신도와 반대 증거까지 받아 계약 리스크를 가늠할 수 있다.
• 프롬프트에 '판단 불가 허용'을 넣어라: 업무용 AI에도 “근거가 부족하면 결론을 내리지 말고 부족한 정보를 명시하라”는 지시를 더하면 환각성 단정을 크게 줄인다.
• 확신도를 의사결정 임계값으로: '확신도 90% 이상만 자동 실행, 70%대는 사람이 재검토'처럼 수치를 규칙에 연결하면 반자동 검증 파이프라인이 된다.
• 반대 증거를 강제 출력시켜라: '내 결론과 어긋나는 신호 1개 이상'을 항상 적게 하면, 한쪽으로 치우친 요약을 막을 수 있다.

전망 / 주의점

초기 단계 프로젝트인 만큼 검증되지 않은 부분이 많고, 검색 품질에 결과가 좌우된다는 한계는 그대로다. 그러나 '자신 있게 틀리는 AI'가 실무의 가장 큰 위험이라는 문제의식은 1인기업에도 그대로 유효하다. 답의 정확도만큼이나 '얼마나 모르는지'를 드러내는 설계가 앞으로 업무용 에이전트의 기본 요건이 될 것으로 보인다.

출처: Hacker News / GitHub nsankar/Aletheia (https://github.com/nsankar/Aletheia)