-->

개요

에이전트를 실제로 운영해 본 팀이라면 같은 벽에 부딪힙니다. 스킬 하나를 돌리는 데 프런티어 모델을 수십에서 수백 번 호출하고, 그런 스킬이 하루에도 수십 개씩 무인으로 발사되면 청구서가 먼저 비명을 지릅니다. 능력은 충분한데 매 호출마다 최상위 모델의 단가를 지불하는 구조가 문제입니다.

그래서 방향은 분명해집니다. 회사가 이미 검증해 쓰고 있는 스킬을, 그 스킬이 실제로 하는 일만큼만 아는 소형 모델에 증류해서 로컬에서 자동으로 돌리는 것입니다. 흥미로운 점은 이 방향이 더 이상 이론이 아니라는 사실입니다. 2026년 상반기 여섯 달 동안 나온 연구들이 “소형 모델 + 에이전트 스킬 증류”를 실전에 쓸 수 있는 수준으로 밀어 올렸습니다. 이 글은 그 흐름을 정리하고, ThakiCloud가 스킬 플릿을 실제로 어떻게 소형 모델로 옮기고 있는지, 그리고 어디서 깨지는지를 함께 다룹니다.

이 글을 읽는 대상은 명확합니다. 에이전트 스킬을 다수 운영하면서 프런티어 API 비용과 자동화 사이에서 설계를 고민하는 플랫폼·MLOps 엔지니어입니다. 다른 독자, 예를 들어 경영 관점의 비용 판단이 필요하다면 마지막 절만 읽어도 결론은 잡힙니다.

왜 지금인가: 소형 모델이 에이전트의 기본값으로 내려왔습니다

먼저 용어를 맞춥니다. 2026년 기준 소형 언어 모델(SLM)은 단일 GPU나 워크스테이션, 때로는 온디바이스에서 돌아가면서도 맡은 작업을 해내는 대략 1B에서 35B 규모의 모델을 가리킵니다. 핵심은 크기 자체가 아니라 “작업에 충분한가”입니다.

에이전트 워크플로에서 소형 모델을 미는 논거는 비용, 지연, 모듈성 세 가지입니다. 전문화된 소형 모델 다섯 개로 짠 멀티 에이전트가 프런티어 모델에 프롬프트 한 번 던지는 것보다 싸고 빠르며 디버깅도 쉽습니다. NVIDIA 연구진이 정리한 “소형 언어 모델이 에이전트 AI의 미래다”라는 논지가 바로 이 지점을 짚습니다. 에이전트 과제의 능력 문턱이 이미 충분히 낮아져서, 1년 전에는 프런티어 API가 필요했던 일을 지금은 직접 돌리는 모델이 해냅니다.

비용 차이는 무시할 수준이 아닙니다. 작은 모델을 돌리는 비용이 같은 계열 최상위 모델의 10분의 1에서 30분의 1까지 내려간다는 계산이 반복해서 나옵니다. 복잡한 작업 하나에 모델을 수천 번 호출하는 에이전트 시스템에서는, 일부만 소형 모델로 옮겨도 운영비가 자릿수 단위로 줄어듭니다. 스킬을 무인으로 대량 발사하는 운영에서 이 절감은 곧바로 손익에 반영됩니다.

최근 6개월 기법 정리: 스킬을 소형 모델로 어떻게 옮기나

지난 두 분기 동안 핵심은 단순 지식 증류에서 에이전트 스킬 증류로, 다시 온폴리시 증류로 옮겨갔습니다. 학생 모델이 스스로 만든 궤적 위에서 교사가 토큰 단위로 채점하는 방식이 자리를 잡았습니다. 큰 흐름을 갈래별로 정리하면 다음과 같습니다.

접근 한 줄 요약 어디에 강한가
다교사 온폴리시 증류(MOPD) 도메인별 RL 전문 교사를 세우고 학생이 자기 롤아웃을 만들면 교사들이 매 토큰을 채점 여러 스킬을 한 소형 학생에 통합
스킬 조건 자기증류(Skill-SD) 같은 모델이 교사이자 학생이 되어 스킬 조건부로 다회차 궤적을 정제 멀티턴 에이전트, 별도 교사 불필요
스텝별 온폴리시 증류(SOD) 궤적 전체가 아니라 스텝 단위로 조밀한 감독 신호를 주입 도구 호출이 긴 소형 에이전트의 안정화
온폴리시 스킬 증류(OPID) 에이전트 강화학습의 희소 보상을 교사의 조밀한 신호로 보완 보상이 드문 에이전트 과제
학습 없는 에이전트 증류(AgentDistill) 재사용 가능한 도구 상자(MCP box)를 이관해 재학습 없이 능력 전달 빠른 이관, 학습 비용 회피

몇 가지 흐름이 특히 실무에 직접 닿습니다. 첫째, 프런티어 랩들이 수렴한 방식은 도메인마다 강화학습 전문 교사를 따로 만든 뒤(수학용, 코드용, 에이전트용), 학생이 자기 출력을 생성하는 동안 그 교사들이 전부 채점해 하나의 학생으로 합치는 온폴리시 증류입니다. 좋은 교사가 꼭 더 큰 모델일 필요는 없습니다. 학생과 같은 베이스, 같은 크기의 체크포인트를 한 도메인만 깊게 밀어붙인 것이 오히려 좋은 교사가 됩니다. 스케일이 아니라 전문화가 교사를 만듭니다.

둘째, 도구를 쓰는 소형 에이전트 증류가 실제로 통한다는 결과가 쌓였습니다. 검색과 코드 도구를 갖춘 대형 에이전트를 소형 모델로 증류하면, 특히 학습 범위 밖 과제에서 한 단계 위 크기의 모델을 넘어서는 경우가 보고됩니다. 에이전트 증류가 “도구를 쓰는 유능한 소형 모델”을 만드는 실용 경로라는 뜻입니다.

왜 우리의 스킬 아키텍처가 이 전환에 유리한가

여기서 ThakiCloud의 구조가 중요해집니다. 우리는 스킬 능력을 하네스가 아니라 스킬 쪽에 쌓는 원칙을 오래 지켜 왔습니다. 얇은 하네스, 두꺼운 스킬입니다. 모델을 감싸는 루프와 권한은 최소로 두고, 도메인 지식과 판단, 템플릿, 실패 사례는 스킬에 두텁게 담습니다. 같은 스킬이 여러 모델을 갈아 끼워도 작동하도록 설계했다는 뜻입니다.

여기에 포맷 결정론 원칙이 겹칩니다. 스케줄로 도는 배치 스킬에서 모델에게 포맷을 생성시키지 않고 내용만 생성시킵니다. 숫자, 열거값(enum), 렌더링, 집계는 전부 결정론적 코드가 소유합니다. 이 두 원칙이 합쳐지면 결과가 흥미로워집니다. 워커 모델을 프런티어에서 로컬 소형 모델로 강등해도, 품질을 좌우하는 포맷과 검증이 코드에 박혀 있으므로 산출물이 흔들리지 않습니다. 소형 모델은 본문 내용만 만들면 되고, 나머지는 하네스가 보장합니다.

이건 추측이 아니라 실측입니다. 2026년 6월 우리는 로컬 소형 모델(Gemma-4-26B)을 스킬 워커로 세워 Claude 계열과 라이브 A/B를 돌렸습니다. 결과는 워커 준수도에서 Gemma가 Haiku와 18대 18 동점이었습니다. 눈에 띈 유일한 벽은 약 1만 토큰 컨텍스트 천장으로, 그 이상을 넘기면 요청이 실패했습니다. 그래서 우리는 하이브리드 라우팅을 택했습니다. 무거운 추론과 지휘는 프런티어 컨덕터가 맡고, 정형화된 워커 작업은 로컬 소형 모델이 처리하는 구조입니다. 스킬을 소형 모델로 증류해 자동 실행한다는 방향이, 우리 환경에서는 이미 부분적으로 검증된 셈입니다. 음성 합성(VoxCPM2)과 음성 인식(Qwen-ASR) 워커를 이미 로컬로 돌리고 있는 것도 같은 맥락입니다.

어디서 깨지는가: 증류를 낭만화하지 않습니다

방향이 옳다고 함정이 사라지지는 않습니다. 반대편 근거를 먼저 세워 둡니다.

가장 실질적인 벽은 도구 호출의 연쇄 발산입니다. 도구를 섞은 추론은 소형 모델에서 길게 이어질수록 불안정합니다. 온폴리시 증류가 조밀한 감독으로 이를 완화하지만, 잘못된 도구 호출 하나가 이후 추론 단계로 번지면서 학생과 교사의 궤적 차이를 점점 키웁니다. 스텝별 증류(SOD)가 궤적 전체가 아니라 스텝 단위로 신호를 주는 이유가 바로 이 발산을 잡기 위해서입니다. 긴 에이전트 작업을 소형 모델에 그냥 넘기면 중간에 무너집니다.

두 번째 벽은 다교사의 신호 충돌입니다. 교사들의 정렬과 포맷, 값이 어긋나면 학생이 평균으로 뭉개지거나 상충 신호로 오히려 품질이 떨어집니다. 그래서 최근 연구의 절반은 교사 신호 중 나쁜 것을 걸러내는 정제(purification)에 매달립니다. 교사를 많이 붙이는 게 레버가 아니라, 어떤 교사를 어느 토큰에서 믿을지 거르는 게이트가 레버입니다. 이건 우리가 이미 지키는 원칙과 정확히 같습니다. 팬아웃은 반드시 검증 스테이지로 닫는다는 규칙입니다. 여러 결과를 모으되, 합치기 전에 적대적 검증으로 살아남은 것만 씁니다.

세 번째는 더 근본적입니다. 증류는 교사의 천장에 갇힌 추종자를 만듭니다. 지식과 함께 교사의 맹점까지 물려받고, 그 자체로는 앞서 나가지 못합니다. 그래서 증류는 프런티어 지휘를 대체하는 전략이 아니라, 이미 검증된 스킬을 싸고 빠르게 대량 실행하는 배포 계층의 전략으로 자리매김해야 합니다. 컨덕터는 남기고 워커를 내리는 하이브리드가 정직한 결론인 이유입니다.

ThakiCloud 실행 로드맵

우리가 잡은 경로는 세 단계입니다. 첫째, 스킬별로 전문 교사를 세웁니다. 대량으로 발사되는 정형 스킬(뉴스 다이제스트, 트위터 요약, 리포트 렌더 같은 포맷 결정론이 이미 코드에 있는 스킬)이 첫 후보입니다. 이들은 포맷을 코드가 소유하므로 소형 학생이 본문만 맞추면 됩니다. 둘째, 그 교사들에서 온폴리시로 소형 학생을 증류해 로컬에서 자동 실행합니다. 컨텍스트 천장을 아는 만큼, 긴 컨텍스트가 필요한 스킬은 컨덕터에 남기고 짧고 반복적인 워커만 내립니다. 셋째, 회고 기반 에스컬레이션으로 품질을 지킵니다. 소형 모델로 시작하되, 특정 스킬이 반복 실패하면 그 스킬만 상위 모델로 되돌리는 자동 승격 루프를 이미 운영하고 있습니다. 싸게 시작하고 데이터가 실패를 잡으면 그 스킬만 올립니다.

이 로드맵의 이점은 세 가지로 정리됩니다. 비용은 대량 무인 실행에서 자릿수 단위로 내려가고, 지연은 로컬 실행으로 짧아지며, 주권 측면에서는 외부 API 의존과 데이터 이동이 줄어듭니다. 쿠버네티스 기반 AI/ML 플랫폼을 운영하는 우리에게 이 세 가지는 마케팅 문구가 아니라 매일의 운영 지표입니다.

맺음

“요즘은 스킬을 소형 모델에 증류해 자동으로 돌린다”는 방향은 맞습니다. 다만 구체적인 모양이 중요합니다. 도메인 전문 교사를 세우고, 온폴리시로 소형 학생에 통합하며, 나쁜 교사 신호를 거르는 검증 게이트를 붙이고, 도구 호출이 긴 작업은 스텝별로 감독하는 것이 지금의 표준에 가깝습니다. ThakiCloud는 얇은 하네스와 포맷 결정론이라는 기존 구조 덕분에 이 전환에서 유리한 출발선에 서 있고, Gemma 워커가 Haiku와 동점을 낸 실측이 그 출발선을 데이터로 뒷받침합니다. 프런티어를 지휘자로 남기고 검증된 스킬을 소형 워커로 내리는 하이브리드가, 비용과 품질을 동시에 지키는 가장 현실적인 길입니다.

참고 자료

참고

비싼 모델로 먼저 검증하고, 싼 모델로 내려간다: 스킬 함대의 모델 비용을 코드 게이트로 깎는 법

 

회사의 반복 업무를 스킬로 정의하면, 각 스킬이 실제로 어느 모델 티어까지 내려가도 되는지를 감이 아니라 측정으로 답할 수 있습니다. 가장 비싼 모델은 일을 시키는 데가 아니라 강등을 판정하는 데 씁니다. 16개 스킬 함대에서 10개를 중간 티어로 내린 실제 운영 기록입니다.