숫자 하나를 믿지 않는 평가: 이진 분해와 결정론 게이트로 짓는 주권형 LLM 심판 서비스

이 글을 누가 읽으면 좋은가

이 글은 LLM 출력을 자동으로 채점하는 평가 파이프라인을 운영하거나, 사내 여러 팀이 공유하는 GPU 클러스터 위에서 모델 평가를 서비스 형태로 제공하려는 엔지니어를 위해 씁니다. “LLM에게 1점에서 10점 사이 점수를 매기게 한다”는 방식이 얼마나 취약한지, 그리고 그 취약함을 없애려면 무엇을 모델에게 맡기고 무엇을 코드가 가져와야 하는지를 다룹니다. 규제 산업이나 정부기관처럼 데이터를 외부로 보낼 수 없어 프론티어 API 심판을 쓸 수 없는 조직이라면 특히 관련이 깊습니다.

문제의식: 숫자 하나로 품질을 재는 방식은 이미 무너지고 있다

모델 개발과 안전 심사의 속도가 사람이 일일이 채점하는 속도를 훨씬 앞지르면서, LLM 스스로가 다른 LLM의 출력을 평가하는 LLM-as-a-judge는 사실상 기본 관행이 되었습니다. 그런데 이 관행은 얼어붙은 하나의 모델이 내놓는 스칼라 값이 사람이 매길 점수를 그대로 따라간다는 가정 위에 서 있고, 2026년 들어 쌓인 연구는 이 가정을 하나씩 무너뜨렸습니다. 심판 모델은 프롬프트 문구나 답안이 놓인 위치 같은 지엽적인 단서에 판정을 뒤집고, 채점 척도의 양 끝을 눌러 중간값으로 몰아가면서 정작 걸러내야 할 극단적인 사례를 뭉개 버립니다. 자신의 판정에 과도하게 확신하면서도 그 확신은 교정되어 있지 않고, 레드팀이 입력을 살짝 비틀면 판정은 동전 던지기와 다를 바 없어집니다. 자동화된 편향 탐지 도구와 문항반응이론 기반 진단은 이런 불안정성을 대규모로, 그리고 정량적으로 확인시켜 줍니다.

이 문제에 대한 연구 커뮤니티의 응답은 크게 두 갈래로 나뉩니다. 하나는 모델에게 점수를 묻는 대신 해석 가능한 예/아니오 질문을 묻는 방식으로, BINEVAL 같은 연구가 평가 기준을 이진 질문들로 분해해 스칼라 심판이나 쌍대비교 심판과 맞먹거나 그 이상의 성능을 내면서 어떤 하위 기준이 실패했는지까지 드러냅니다. 다른 갈래는 심판 주변에 구조를 더하는 방식으로, 여러 심판의 배심원단, 토론, 검증 유닛을 동원해 “심판이 쓰는 연산량” 자체를 늘려 견고함을 높이거나, 불확실한 사례만 골라 사람 수준의 합의를 보장받는 선택적 평가 계단식 구조를 씁니다.

문제는 이 두 갈래 응답이 거의 언제나 단일 머신 위의 오프라인 벤치마크로만 검증된다는 점입니다. 병원, 은행, 정부 연구소처럼 데이터 주권이 중요한 조직이 실제로 맞닥뜨리는 현실은 세 가지 지점에서 다릅니다. 데이터가 시설 밖으로 나갈 수 없으므로 평가는 프론티어 API가 아니라 조직 소유의 공유 GPU 클러스터에서 돌아가야 하고, 여러 팀이 같은 가속기를 두고 경쟁하므로 평가 서비스는 테넌트마다 비용과 꼬리 지연 예산을 지켜야 하며, 규제 담당자는 “몇 점인가”가 아니라 “왜 그 점수인가”를 묻는데 불투명한 스칼라 하나로는 그 질문에 답할 수 없습니다.

핵심 기여: ABJ-Gate가 묶어내는 네 가지 규율

ThakiCloud AI Research는 이 세 가지 현실 조건 위에서 두 연구 흐름을 하나로 묶은 아키텍처 ABJ-Gate를 제안합니다. 핵심은 평가 기준마다 원자적인 이진 질문으로 쪼개어 소형 온프렘 워커 모델이 답하게 하고, 그 답을 집계하고 형식을 정규화하고 교정하고 감사 기록을 남기는 일은 전부 모델이 아니라 결정론적 코드가 맡는다는 점입니다. 판정이 갈리는 경계 지점에 놓인 항목이나 의심스러운 정황이 감지된 항목은 반드시 홀수 개의 독립된 회의론자 워커가 “반박해 보라”는 지시를 받고 표결에 부쳐지며, 다수가 반박에 실패했을 때만 판정이 살아남습니다. 그리고 이 모든 LLM 호출 예산은 Kueue/GPU 기반 스케줄러가 테넌트별 비용과 꼬리 지연 상한 안에서 배분합니다.

이진 기준 5개, 플래그 비율 10%, 회의론자 3명을 가정한 분석 모델의 계산값입니다. 전체 항목을 이진 판정하면(k=1) 스칼라 심판 대비 비용이 약 5.3배로 뛰지만, conformal 교정으로 에스컬레이션을 줄여 샘플링 비율 k를 0.2까지 낮추면 해석 가능성과 교정을 유지한 채 스칼라 심판 비용의 약 1.06배까지 수렴합니다. 실측 벤치마크가 아닌 Eq. 8의 계산 결과입니다.

이 설계는 이 회사가 이미 사내 하네스에서 상시로 지키는 두 가지 규율, 즉 “형식은 코드가 소유하고 내용은 모델이 소유한다”는 원칙과 팬아웃된 검증 결과를 반드시 적대적 표결로 닫는다는 원칙을, 여러 테넌트가 함께 쓰는 정식 제품 표면으로 승격시킨 결과이기도 합니다. 워커 모델이 자기 답변의 길이나 개수, “전체적으로 몇 점”이라는 자기 보고를 아무리 그럴듯하게 내놓아도 그 값은 폐기되고 코드가 다시 계산하므로, 워커 쪽의 사소한 흔들림이 최종 결과를 오염시키지 못합니다.

이 아키텍처가 실제로 지켜야 할 약속은 세 가지 성질로 정식화되고 증명됩니다. 첫째, 동일한 이진 답변 집합이 주어지면 집계 점수는 무작위 시드나 요청 순서와 무관하게 항상 같은 값을 낸다는 재현성입니다. 둘째, 값싼 1단계 판정과 비싼 2단계 검증이 얼마나 자주 어긋나는지를 conformal 위험 통제로 교정하면, 항목이 어떤 분포에서 나오든 그 불일치율을 목표 수준 이하로 분포에 무관하게 묶어낼 수 있다는 위험 통제 보장입니다. 셋째, 각 테넌트의 이용률을 특정 임계값 아래로 관리하는 어드미션 정책을 두면 대기 이론상 그 테넌트의 평가 지연은 유한한 값으로 유계가 된다는 성질입니다.

M/G/c 큐잉 모델에서 이용률이 1에 가까워질수록 지연이 어떻게 치솟는지를 보여주는 개념 예시 곡선입니다. 어드미션 컨트롤이 샘플링 비율을 조절해 이용률을 목표 임계값 이하로 눌러 두면 꼬리 지연을 관리할 수 있다는 Proposition 3의 논거를 시각화한 것으로, 실측 지연 데이터가 아닙니다.

논문은 또한 이진 분해가 언제 실제로 도움이 되는지도 정량적으로 짚습니다. 각 기준을 사람이 스칼라 채점보다 더 안정적으로 답할 수 있고 기준들 사이의 상관이 낮아 서로 독립적인 정보를 담고 있을 때, 이진 분해와 다수결 검증은 스칼라 심판보다 엄밀하게 낮은 분산을 낸다는 조건을 유도합니다. 반대로 기준들이 서로 얽혀 있거나 이진 질문 자체가 손쉽게 눈속임당하는 형태라면 분해는 도움이 되지 않고 오히려 편향을 더할 수 있다는 점도 함께 밝힙니다.

논문 4.4절의 분석적 논거를 시각화한 개념도입니다. 집계 점수의 분산은 대략 기준당 오차분산을 유효 독립 기준 개수로 나눈 값에 비례해 줄어들며, 기준선(스칼라 심판=1배) 대비 상대적인 분산 감소 경향을 보여줍니다. 실험으로 측정된 수치가 아닙니다.

회사, 사회, 과학에 남기는 것

회사 관점에서 이 논문은 사내 GPU 스케줄링 인프라 위에서 돌아가는 이진 분해 심판, 결정론 집계 게이트, 테넌트별 비용과 지연 상한을 만족하는 샘플링 스케줄러를 하나의 완결된 설계로 정리했습니다. 이미 운영 중이던 내부 규율을 여러 테넌트가 함께 쓰는 제품 표면으로 끌어올린 것입니다. 사회적으로는 데이터가 밖으로 나갈 수 없어 프론티어 API 평가 서비스를 쓸 수 없었던 규제 산업 조직들이 배포 전 안전성과 품질 검증을 자기 하드웨어에서 상시로, 재현 가능하고 감사 가능한 방식으로 수행할 수 있는 길을 엽니다. 신뢰할 수 있는 AI 배포의 진입장벽을 낮추는 셈입니다. 과학적으로는 이진 분해라는 아이디어에 교정, 적대적 검증 표결, 결정론적 집계, 비용 유계 샘플링을 결합했을 때 심판의 신뢰도와 비용이 어떤 관계를 이루는지를 정량화하는 틀을 세우고, 그 관계를 최근 6개월 문헌 위에서 실증하기 위한 사전등록 프로토콜을 함께 제시합니다.

한계

논문이 스스로 분명히 밝히는 한계가 있습니다. 이 연구는 아키텍처와 세 가지 이론적 증명, 분석적 비용 모델, 그리고 그 프론티어를 사람 라벨 대비 검증하기 위한 사전등록 프로토콜을 제시할 뿐, 실측된 정확도 수치는 담고 있지 않습니다. 저자들은 프로토콜을 돌리지 않고 숫자를 보고하는 것 자체가 조작이라고 못 박고 의도적으로 수치를 비워 두었습니다. 그 밖에도 이진 질문 문구 자체가 눈속임당할 수 있다는 점, 교정 함수가 새로운 모델군이나 적대적 공격의 흐름 아래에서 드리프트할 수 있다는 점, 링크 생존만 확인하는 휴리스틱이 소프트 404 같은 정교한 실패는 놓친다는 점, 기준들이 서로 얽혀 있으면 분산 감소 논증 자체가 깨진다는 점을 한계로 명시하고 있습니다. 그리고 온프렘 소형 워커 모델은 프론티어급 심판보다 원래 성능이 낮아, 해석 가능성과 교정, 재현성, 비용 유계를 얻는 대가로 단일 심판으로서의 정확도를 일부 내준다는 점도 인정합니다.

논문 상세 정보는 Hugging Face에서 확인할 수 있습니다: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-07-atomic-binary-judge-eval-service

관련 슬라이드

본문 내용을 NotebookLM(neo_swiss 스타일)으로 요약한 슬라이드입니다.