중국 모델로 배워도 검열은 안 따라왔다

중국 오픈 모델의 출력으로 미국 오픈 모델을 학습시키면 검열 성향까지 함께 옮겨올까. 미국 AI 기업 시티지티(CTGT)가 이 질문을 통제된 실험으로 검증한 결과를 7월 29일 공개했다. 금융 추론 성능은 올랐지만 정치적 검열 성향은 따라오지 않았다는 것이 결론이다.

무슨 일인가

성능 대비 비용이 좋다는 이유로 중국 오픈 모델을 교사 삼아 자체 모델을 학습시키는(증류하는) 사례가 늘고 있다. 동시에 규제 산업과 정책 당국에서는 지능과 함께 특정 국가의 시각이나 검열도 딸려 오는 것 아니냐는 우려가 제기돼 왔다. 지금까지 관련 실험은 대부분 소규모 인위적 설정에 머물러 있었다.

연구팀은 실사용에 가까운 조건을 잡았다. 중국 최신 오픈 모델을 교사로 두고 미국 오픈 모델을 금융 추론 과제로 증류한 것이다. 평가 도구는 민감 질문과 구조가 같은 대조 질문을 짝지은 152쌍, 총 304개 프롬프트로 설계됐다. 톈안먼과 광주, 신장 노동 이전과 우즈베키스탄 목화, 대만과 코소보처럼 성격이 같은 사건을 나란히 물어 어려운 주제 전반을 피하는 모델과 특정 국가의 어려운 주제만 피하는 모델을 구분할 수 있게 만들었다. 채점은 서로 다른 네 개 연구소의 모델이 맡았다.

핵심 짚어보기

교사 모델은 중국 민감 주제에서 대조군보다 45.45점 더 검열된 것으로 나타났다. 반면 그 출력을 학습한 미국 모델은 학습 전 모델과 통계적으로 유의미한 차이를 보이지 않았다. 검열은 전이되지 않았다는 뜻이다.

1인기업 관점에서 더 중요한 결과는 따로 있다. 자기 자신의 실수를 힌트로 받아 고친 답을 다시 학습하는 자기 증류만으로도, 더 뛰어난 교사에게 배운 모델과 같은 점수에 도달했다. 이 방식으로 학습한 모델은 금융 추론 평가에서 83.61%를 기록해 비교 모델들(81.93%, 65.13%)을 웃돌았고, 쿼리당 비용은 비교 모델 대비 수십에서 백수십 배 낮았다. 연구팀은 모델 가중치와 평가 도구, 데이터, 채점 기준을 함께 공개했다.

1인기업 실전 적용 포인트

• 업무 하나만 잘하면 되는 자동화라면 더 큰 모델을 부르는 대신 작은 모델을 그 업무 데이터로 다듬는 쪽이 비용에서 압도적으로 유리하다.
• 자기 증류는 외부 교사 모델 없이도 성능을 올린다. 그동안 쌓인 내 작업 로그, 특히 틀린 답과 고쳐 준 답이 곧 학습 데이터다.
• 모델 순위는 생성 토큰 예산에 따라 뒤집힌다. 벤치마크 숫자만 보지 말고 실제로 쓸 예산 조건에서 비교하라.
• 공개된 평가 세트를 그대로 돌려 내 업무 데이터로 재검증하는 습관을 들여라. 남이 만든 점수표보다 내 과제에서의 점수가 정확하다.

전망 / 주의점

이 결과가 중국 모델을 마음 놓고 써도 된다는 뜻은 아니다. 검증된 것은 금융 추론이라는 한 도메인, 한 교사 모델, 한 학습 방식이다. 도메인과 파이프라인이 달라지면 결과도 달라질 수 있고, 채점을 사람이 아니라 다른 모델들이 맡았다는 한계도 남는다. 다만 큰 모델을 계속 빌려 쓰는 것 말고도 선택지가 있다는 점만큼은 데이터로 확인됐다.

출처: CTGT 리서치 (https://www.ctgt.ai/research/distillation-censorship-transfer)