-->

AI 시장을 이야기할 때 우리는 보통 모델을 줄 세웁니다. 프론티어가 있고, 그 절반 값의 중국 상위 모델이 있고, 말이 안 되게 싼 초저비용 모델이 있고, 서비스 기업이 만든 자체 모델과 기기 위에서 도는 온디바이스 모델이 있다는 식입니다. 이 지도는 정확합니다. 어떤 모델이 존재하는지를 잘 보여 줍니다.

그런데 이 지도는 한 가지 질문에 답하지 못합니다. 누가 이기고, 누가 마진을 가져가는가. 이 질문의 답은 모델 위가 아니라 모델 아래에 있습니다. 어떤 실리콘 위에서 도는지, 어떻게 서빙되는지, 무엇으로 평가되고 관측되는지, 어떤 라이선스로 풀렸는지, 그리고 그 모델을 감싼 제품 하니스가 무엇인지. 이 다섯 개의 층이 실제 승부처입니다. 이 글은 모델을 나열하는 지도가 건너뛴 그 다섯 층을 2026년 중반의 실제 데이터로 지도화합니다. 그리고 이 중 셋이 정확히 우리 플랫폼이 서는 자리라는 점을 짚습니다.

모델 아래 다섯 개의 스택 층과 ThakiCloud가 서는 세 자리

모델 지도는 무엇이 존재하는지만 보여 줍니다. 그 아래 다섯 층 가운데 추론 실리콘, 서빙 경제학, 평가와 관측이라는 세 층이 마진과 승부를 가르는 자리이고, 정확히 ThakiCloud가 서는 곳입니다. 라이선스와 하니스는 그 위에 누가 해자를 쌓을지를 결정합니다.

첫째 층: 추론 실리콘이 독립된 승부처가 됐다

모델 품질과 별개로, “얼마나 빠른 토큰을 얼마나 싸게” 뽑느냐가 그 자체로 하나의 경쟁 축이 됐습니다. Cerebras는 1조 파라미터 규모의 Kimi K2.6을 초당 981토큰으로 돌린다고 밝혔고, Cognition의 Devin이 실제 고객입니다. 초당 981토큰이면 LLM을 200번 호출하는 에이전트 작업의 대기 시간이 다섯 시간 반에서 10분으로 줄어듭니다. Windsurf의 코딩 모델도 Cerebras 위에서 돕니다. Groq는 LPU로 소형 모델을 초당 수백 토큰에 밀어내며 Llama 3.1 8B를 100만 토큰당 0.05달러라는 최저가 수준에 제공합니다. SambaNova는 7월 8일 110억 달러 밸류에이션으로 10억 달러를 조달했고 JPMorgan, Aramco, SoftBank를 고객으로 확보했습니다.

여기서 중요한 지정학적 축이 화웨이입니다. DeepSeek V4는 화웨이 Ascend 950 계열 위에서 학습과 서빙이 가능하도록 처음부터 설계됐습니다. 이식이 아니라 공동 설계입니다. Nvidia 없이 프론티어급 모델을 돌릴 수 있는 경로가 열렸다는 뜻이고, 이는 수출 통제나 GPU 공급과 무관하게 비용을 낮출 여지를 만듭니다. 다만 여기서 도는 “가격 75퍼센트 인하, Anthropic의 50분의 1”이라는 수치는 중국 매체가 벤더 주장을 옮긴 것으로 제3자 검증 전이니 그대로 믿기보다 방향으로만 읽는 편이 안전합니다.

핵심은 이겁니다. Cognition도 JPMorgan도 SoftBank도 실리콘을 고를 때 어떤 모델이 도는지와 무관하게 고릅니다. 싸고 빠른 토큰을 소유한 쪽이 어떤 모델이 돌든 마진을 가져갑니다. 모델 순위표에는 이 층이 아예 안 보입니다.

둘째 층: 서빙 경제학, 마진이 실제로 사는 곳

모델을 어떻게 서빙하느냐가 단위 경제를 결정합니다. 2026년 중반 기준 오픈 서빙 스택은 vLLM이 가장 넓은 하드웨어를 지원하는 기본값이고, SGLang은 RadixAttention 접두 캐싱으로 에이전트나 다중 턴, RAG 워크로드에서 vLLM보다 약 29퍼센트 앞선다는 벤치가 있으며, TensorRT-LLM은 컴파일하면 가장 빠르지만 Nvidia 전용에 설정 비용이 큽니다.

이제 표준이 된 기법들이 있습니다. 프리필과 디코드를 분리하는 PD 분리(disaggregation)는 vLLM과 Nvidia Dynamo에 NIXL로 들어갔고, LMCache는 외부 KV 저장소로 노드 간 재계산을 없애며, 연속 배치는 모든 엔진의 기본 전제가 됐고, 추측 디코딩도 빠르게 성숙하고 있습니다. 크기 감각을 주자면, H100 프리필과 H200 디코드를 섞은 이기종 구성이 콜로케이션 대비 시간당 비용은 약 44퍼센트 더 들지만 처리량은 약 두 배로, 토큰당 단가가 유의미하게 낮아집니다. LMCache는 첫 토큰까지 시간을 1.5에서 1.8배 줄입니다. 하나의 확정된 종단 수치는 없지만, 최적화된 서빙 스택은 순진한 서빙 대비 대략 1.5배에서 2배 이상의 비용 및 처리량 개선을 준다고 보면 됩니다.

이 층은 벤치마크 IQ 순위에는 절대 안 뜹니다. 그러나 AI 제품의 실제 단위 경제는 모델 품질이 아니라 바로 여기서 갈립니다.

셋째 층: 평가와 관측, 오케스트레이션을 가능하게 하는 바닥

여러 모델을 태스크별로 라우팅하겠다는 이야기는 자주 나옵니다. 그런데 그걸 실제로 돌리려면 평가와 관측 계층이 있어야 합니다. DeepSeek로 보냈다가 GLM으로 바꾸고 Kimi로 라우팅하는 판단을, 무엇을 근거로 내리고 어떻게 회귀를 감지할지가 이 층의 몫입니다. 이 층 없이는 오케스트레이션이 말로만 존재합니다.

시장은 LangSmith, Arize, 그리고 8억 달러 밸류에이션의 Braintrust로 성숙했고 단일 승자는 없습니다. 표준화 쪽에서는 OpenTelemetry가 5월에 CNCF를 졸업하며 일반 관측의 기본으로 자리 잡았고, GenAI 시맨틱 컨벤션이 에이전트와 도구, 모델 스팬을 정의하고 있습니다. 다만 GenAI 전용 스펙은 아직 개발 단계로 정식 확정 전이니, 표준이 이미 굳었다고 과장하지는 않겠습니다. 방향은 분명하되 아직 진행 중입니다. 요점은 이 평가와 관측 계층이 어떤 모델이 이기느냐와 무관하게 독립된 시장으로 굳어지고 있다는 것입니다.

넷째 층: 라이선스가 누가 그 위에 해자를 쌓을지 결정한다

“오픈웨이트”라는 한 단어 뒤에는 전혀 다른 권리들이 숨어 있습니다. 그리고 이 차이가 누가 그 모델 위에서 사업을 지을 수 있는지를 가릅니다.

모델 라이선스 실질 제약
DeepSeek V4 MIT 없음, 완전 허용
GLM-5.2 MIT 없음, 완전 허용
Kimi K2.6 Modified MIT 월 1억 MAU 또는 월 2000만 달러 매출 이상만 UI 크레딧 의무
Qwen (중위) Apache 2.0 허용, 단 플래그십은 API 전용으로 폐쇄 전환
Meta Llama Community License 7억 MAU 상한, 경쟁 모델 학습 금지, EU 멀티모달 제한

DeepSeek와 GLM처럼 순수 MIT로 풀린 모델은 베이스 계층을 사실상 상품화하고, 그 위에서 파인튜닝하거나 감싸는 쪽에 주도권을 넘깁니다. 반대로 Llama의 커뮤니티 라이선스는 개방처럼 보이지만 7억 MAU 상한과 경쟁 모델 학습 금지 조항을 품은 통제 레버에 가깝습니다. 그리고 라이선스는 고정된 것도 아닙니다. 2026년 MiniMax는 완전 개방이던 MIT를 상업 배포에 서면 승인을 요구하는 Modified-MIT로 되돌렸고, 이는 개방 조건이 언제든 회수될 수 있음을 보여 준 사건입니다. 자체 모델을 만들려는 기업이라면 성능 벤치보다 이 라이선스 조항을 먼저 읽어야 합니다.

다섯째 층: 해자는 가중치가 아니라 하니스에 있다

프론티어 모델들이 원 성능에서 수렴할수록, 지속 가능한 해자는 모델 가중치가 아니라 그것을 감싼 제품 하니스로 이동합니다. IDE 통합, 도구 오케스트레이션, 작업 루프, 리뷰와 PR 흐름이 에이전트 품질의 가장 큰 단일 변수가 됐다는 서술이 2026년 담론의 공통분모입니다. Cursor의 모델은 실제 코드베이스 위에서 벌어진 수조 토큰 규모의 사용자 상호작용으로 훈련됐고, 이 데이터는 하니스를 소유하지 않은 독립 모델 랩에게는 존재하지 않습니다. Cognition은 Devin의 PR 병합률이 1년 사이 34퍼센트에서 67퍼센트로 올랐다고 밝혔는데, 이 수치는 자체 보고라 독립 검증 전임을 감안해야 합니다.

기전은 이렇습니다. 편집을 수락하고 거부한 기록, 작업 완료 여부, 사람의 교정 같은 독점 상호작용 로그가 지속적인 강화학습의 보상 신호가 됩니다. 하니스 소유자만이 결과 라벨이 붙은 전체 상호작용 궤적을 봅니다. 하니스가 없는 랩은 합성 데이터나 라이선스 데이터에 의존해야 하고, 이는 구조적으로 열등한 신호입니다. 그래서 진짜 경쟁 지도는 이번 분기 벤치 점수가 아니라, 누가 사용자 상호작용 데이터와 하니스를 소유하는지를 중심으로 그려야 합니다. 다만 이 플라이휠이 정확히 어떻게 복리로 쌓이는지는 어느 랩도 방법론을 공개하지 않았으니, 방향은 설득력 있되 세부 기전은 애널리스트의 추론임을 분명히 해 둡니다.

ThakiCloud의 관점

이 다섯 층 중 셋이 정확히 우리 플랫폼이 서는 자리입니다. 첫째 층의 추론 실리콘 활용, 둘째 층의 서빙 경제학, 셋째 층의 평가와 관측입니다. ThakiCloud는 쿠버네티스 위에서 GPU를 스케줄링하고 배치 추론을 돌리며, PD 분리와 KV 캐시 오프로드 같은 서빙 기법을 다룹니다. 학습 쪽은 SFT와 CPT, DPO, GRPO, GKD 같은 강화학습 계열을 제공합니다. 다섯째 층의 하니스 해자론이 말하는 것, 즉 자기 데이터를 보상 신호로 삼아 사내에서 강화학습을 돌리고 소유한 인프라 위에서 서빙하는 궤적은, 앞으로 AI를 내재화하려는 기업 고객이 그대로 밟을 경로입니다. 그 경로를 실제로 돌아가게 만드는 것이 서빙과 학습 인프라이고, 그게 우리가 제공하는 것입니다.

반대편의 가장 강한 논거도 세워 두겠습니다. 이 스택 층들이 진짜 승부처라는 주장에는 한계가 있습니다. 모델 품질 격차가 충분히 벌어지면 서빙 최적화나 실리콘 선택은 부차적인 문제가 될 수 있습니다. 하니스 해자론과 데이터 플라이휠 기전은 대체로 애널리스트의 서술이지 랩이 검증해 공개한 방법론이 아니며, Devin의 병합률 같은 핵심 수치도 자체 보고입니다. 그리고 초저비용 구간의 가격 전쟁이 API를 충분히 싸게 만들면, 자체 서빙과 학습을 떠안을 유인 자체가 약해질 수 있습니다. 결국 판단은 조직마다 다릅니다. 우리가 파는 것은 정답의 강요가 아니라, 기업이 이 층들을 스스로 통제하기로 결정했을 때 그것을 가능하게 하는 골격입니다.

모델을 나열하는 지도는 계속 필요합니다. 다만 그 지도만으로는 누가 이기는지 알 수 없습니다. 승부는 모델 아래 다섯 층에서 나고, 우리는 매주 그 아래층의 변화를 다시 그려 보려 합니다.

참고 자료

각 층의 기법과 라이선스 조항은 아래 1차 자료로 확인했습니다. 벤더 자체 보고 수치와 속보성 조달, 투자 발표는 검증 대상에서 제외했습니다.

서빙 스택과 추론 기법

평가와 관측

오픈웨이트 라이선스

이 글의 모델명, 가격, 라이선스, 출시 시점은 2026년 7월 14일 기준 공개 자료로 검증했습니다. 벤더 자체 보고 수치(추론 속도, PR 병합률, 화웨이 비용 절감 주장)와 제3자 미검증 항목은 본문에 명시했습니다.

참고

싼 모델을 믿어도 될 때는 언제인가: 신뢰도 기반 VLM 캐스케이드로 다국어 문서 OCR 비용 줄이기

 

10억 파라미터 미만의 초경량 VLM이 문서를 잘 읽는 시대에도, 정말 어려운 문서는 대형 모델이 필요합니다. 신뢰도 임계값 하나로 두 모델을 오가는 캐스케이드를 수식으로 세우고, 그 신뢰도가 가장 배신하기 쉬운 순간이 바로 캐스케이드가 가장 필요한 순간이라는 사실을 규명한 분석 ...