-->

에이전트 하네스에 스킬이나 서브에이전트, MCP 도구를 계속 늘려온 국내 클라우드·AI 엔지니어라면, 카탈로그가 수백 개를 넘어가는 시점부터 라우터가 엉뚱한 스킬을 고르거나 아예 아무것도 못 고르는 경험을 해봤을 겁니다. 이 글에서 소개하는 논문은 그 현상을 리트리버 개선이 아니라 정반대 방향, 즉 코퍼스를 줄이는 쪽에서 풀어봅니다. 실제로 2,164개 유닛이 등록된 프로덕션 하네스를 대상으로, 스킬을 안전하게 솎아내는 정책을 설계하고 실측한 사례연구입니다.

스킬이 늘어날수록 라우터는 오히려 헤맨다

에이전트 플랫폼은 이제 능력을 하나의 거대한 프롬프트가 아니라, 이름이 붙은 재사용 가능한 스킬 단위(워크플로우, 서브에이전트, 슬래시커맨드, 도구 정의)의 라이브러리로 배포합니다. 문제는 이 라이브러리가 커질수록 라우터가 올바른 스킬을 찾는 정확도가 함께 떨어진다는 점입니다. 논문은 이 현상을 저자들의 하네스가 이미 쓰던 용어 그대로 “SRA Noise Problem”이라 부릅니다. 배제 대상 후보(distractor)가 늘어날수록 정답 스킬이 랭킹 맨 앞에 오를 확률이 낮아지는 현상입니다.

이 논문은 저자들이 앞서 낸 두 편의 기술보고서를 정면으로 잇습니다. 첫 번째 보고서는 라우팅 실패를 질의 분해 문제로 뜯어봤고, 오라클 수준으로 질의를 완벽히 분해해도 리트리버가 정답 스텝의 63.6%밖에 회수하지 못한다는 걸 확인했습니다. 두 번째 보고서는 리트리버의 동의어 확장과 질의 분해를 함께 개선하는 리페어 루프를 만들었지만, 이 역시 라우팅 정확도를 포화시키지는 못했습니다. 두 논문 모두 “고정된 채 계속 커지는 코퍼스 안에서 리트리버를 더 잘 찾게 만드는” 쪽만 건드렸습니다. 이번 논문은 그 반대편, 코퍼스 자체를 줄이는 레버를 시험합니다.

코퍼스가 21.6배 커지자 Top-1 정확도가 반토막 났다

저자들은 ThakiCloud가 실제로 운영 중인 Claude Code 하네스(등록 유닛 2,164개, 그중 순수 스킬 정의만 1,930개)를 대상으로 코퍼스 크기와 검색 정확도의 관계를 실측했습니다. 코퍼스를 100개부터 전체 2,164개까지 여섯 단계로 부분표집해 Recall@5, 게이트를 통과한 Recall@5, Top-1 정확도를 각각 측정했습니다.

결과는 지표마다 크게 갈렸습니다. Top-1 정확도는 코퍼스가 21.6배 커지는 동안 0.778에서 0.356으로 42.2퍼센트포인트 무너졌습니다. 같은 구간에서 Recall@5는 17.8퍼센트포인트(0.978에서 0.800으로) 하락에 그쳤고, abstain 게이트를 통과한 Recall@5는 4.4퍼센트포인트(0.711에서 0.667로)만 떨어지며 코퍼스 크기 250 이후로는 거의 평평하게 유지됐습니다. 후보를 하나만 골라 곧바로 실행하는 라우터일수록 가장 먼저 무너지는 지표에 기대고 있다는 뜻입니다.

저자들은 이 현상을 “스킬 반감기(skill half-life)”라는 개념으로 정식화합니다. 어떤 지표가 작은 코퍼스 기준값의 절반 아래로 떨어지는 코퍼스 크기를 그 지표의 반감기로 정의하면, Top-1의 반감기는 이미 현재 운영 중인 코퍼스 크기 범위 안에 들어와 있습니다. 반면 Recall@5류 지표는 이번 측정 범위 안에서는 아직 반감기에 도달하지 않았습니다.

Skill Half-Life: Retrieval Accuracy vs. Corpus Size ThakiCloud 프로덕션 Claude Code 하네스(63개 케이스 스위트)에서 측정한 코퍼스 크기별 부분표집 실험 결과입니다. Top-1 정확도가 코퍼스 성장 21.6배 구간에서 42.2퍼센트포인트 무너지는 동안, 게이트를 통과한 Recall@5는 상대적으로 견고하게 유지됩니다.

지우기 전에 반드시 다시 검색해본다

이 관찰을 바탕으로 논문은 두 신호를 결합한 자율 폐기 정책을 제안합니다. 첫째 신호는 사용 텔레메트리로, 호출 빈도와 최근성, 실패 이력을 본다. 둘째 신호는 의미적 중복성으로, 스킬 설명 문구의 유사도를 계산해 근접 중복 클러스터를 찾는 방식입니다. 실제로 이 유사도는 라우터가 검색에 이미 쓰던 것과 같은 신호입니다.

두 신호만으로 저사용·중복 스킬을 후보로 뽑으면 위험한 오탐이 남습니다. 사용량은 낮지만 특정 질의를 유일하게 커버하는 스킬이 섞여 있을 수 있기 때문입니다. 그래서 논문은 여기에 실행 시점 안전장치를 하나 더 얹습니다. 후보를 실제로 지우기 전에 63개짜리 라벨링 스위트(정답 스킬이 있는 긍정 케이스 45개, 스킬 없이 직접 처리해야 하는 네이티브 케이스 10개, 그럴듯해 보이지만 선택되면 안 되는 부정 케이스 8개)를 대상으로, 그 스킬이 빠졌다고 가정하고 검색을 다시 시뮬레이션합니다. 만약 어떤 긍정·네이티브 케이스가 더 이상 검색되지 않는다면 그 스킬은 대체 불가능으로 판정되어 제거 대상에서 빠지고, 같은 클러스터 안에서 사용량이 그다음으로 낮은 중복 스킬이 대신 제거 대상이 됩니다. 클러스터 안의 후보가 모두 소진되도록 대체할 스킬이 없으면 목표 축소량을 억지로 채우지 않고 부족분을 그대로 기록합니다.

160개를 들어냈는데 측정 가능한 회귀가 없었다

실제 코퍼스에서 의미적 중복 클러스터는 131개 발견됐고, 가드가 있든 없든 두 정책 모두 동일하게 160개 스킬을 폐기 후보로 지목했습니다. 가드 없이 그대로 실행했다면 이 중 4개는 저사용이지만 클러스터 안에서 특정 긍정·네이티브 케이스를 유일하게 커버하는 스킬이라 잘못 삭제됐을 겁니다. 안전장치를 켜면 이 잘못된 삭제가 4건에서 0건으로 줄어듭니다. 흥미로운 지점은, 가드가 클러스터 안에서 삭제 대상을 바꿀 뿐 목표 삭제량 자체는 줄이지 않기 때문에 가드 유무와 무관하게 코퍼스 축소율이 정확히 같은 7.39%(160/2,164)로 유지된다는 점입니다.

False Deprecations: Naive vs. Guarded Policy 동일하게 7.39% 코퍼스를 줄이는 두 정책을 비교합니다. 안전장치 없이 실행하면 잘못된 삭제가 4건 발생하지만, 안전장치가 클러스터 안에서 다음으로 사용량이 낮은 중복 스킬로 대체하면서 잘못된 삭제를 0건으로 만듭니다.

가드를 적용해 160개 스킬을 제거한 뒤 같은 63개 표준 스위트로 다시 채점하면, Recall@5(0.822), 게이트 Recall@5(0.667), Top-1(0.378), 환각률(0.0), 부정 회피율(0.375) 다섯 지표 모두 제거 전과 완전히 동일하게 나왔습니다. 코퍼스의 7.39%를 들어내면서도 측정 가능한 회귀가 전혀 없었던 셈입니다.

회사와 생태계에 주는 의미, 그리고 스스로 그은 한계선

회사 차원에서 이 결과는 실용적입니다. 리트리버를 다시 학습시키거나 재구축하지 않고도, 하네스가 라우팅과 회고(retrospection)를 위해 이미 갖고 있던 텔레메트리와 유사도 계산만으로 코퍼스를 안전하게 다이어트할 수 있다는 뜻이기 때문입니다. 코퍼스가 작아지면 턴마다 스킬 목록을 로드하는 온보딩 토큰 비용도 줄어들 개연성이 있지만, 저자들은 이번 실험에서 그 비용 자체를 직접 측정하지는 않았다고 명시합니다.

이 정책이 쓰는 두 신호, 사용 텔레메트리와 의미적 중복성은 ThakiCloud 저장소에만 있는 고유 기능에 의존하지 않습니다. 그래서 저자들은 MCP 서버나 도구를 오픈 마켓플레이스 형태로 계속 늘려가는 다른 에이전트 플랫폼에도 원리적으로 옮겨 적용할 수 있다고 전망합니다. 여기에 더해 “스킬 반감기”라는 개념 자체가, 검색 코퍼스가 자랄 때 지표별로 얼마나 다르게 무너지는지 비교할 공용 어휘를 제공하고, 사용량과 의미적 중복성을 결합한 안전 폐기 정책의 실측 데이터를 처음으로 내놓았다는 점에서 관련 연구와 접점을 만듭니다.

다만 저자들은 이 결과의 한계도 스스로 조목조목 짚습니다. 가장 중요한 지점은, 안전장치가 실행 시점에 참조하는 라벨 스위트와 회귀 여부를 채점하는 스위트가 같은 63개 케이스라는 점입니다. 그래서 이 결과는 프로덕션 전체 질의 분포에 대한 일반적 보장이 아니라, 가드가 지키도록 설계된 케이스가 실제로 깨지지 않았다는 사실만 보여줍니다. 저자들은 이를 “회귀 판정 기준 자체에 상대적인” 결과라고 정확히 구분합니다. 여기에 더해 단일 저장소·단일 코퍼스만 대상으로 한 사례연구라는 점, 무작위 삭제나 사용량 단일 신호만으로 삭제했을 때와 비교하는 베이스라인 실험이 빠져 있어 이 2신호 정책이 더 단순한 방법보다 실제로 더 안전한지는 아직 입증되지 않았다는 점, 가드가 클러스터 안에서 실제로 어떤 스킬로 대체했는지 클러스터별 로그를 공개하지 않아 대체 메커니즘이 집계 수치로만 확인됐다는 점도 명시합니다. 부정 회피율이 8개 중 3개(0.375)에 그친다는 점도, 이번 폐기 정책과는 별개로 하네스가 이미 안고 있던 약점으로 따로 언급합니다.

무엇보다 이 실험은 코퍼스 성장이 만든 정확도 하락 자체를 되돌린 게 아니라, 코퍼스를 줄이는 과정에서 추가 회귀가 없었음을 보인 것에 그칩니다. 성장 곡선을 실제로 역전시키는 일, 그리고 63개 스위트를 넘어선 지속적 모니터링으로 이 안전장치를 검증하는 일은 앞으로의 과제로 남아 있습니다.

논문 상세 정보는 Hugging Face 데이터셋 페이지에서 확인할 수 있습니다.

Skill Graveyard: Safe Autonomous Deprecation in Growing Agent Skill Ecosystems

참고