파인튜닝은 정말 죽었을까: 2026년 6월 한 달의 검증된 신호로 읽는 생존 전략
거대 LLM과 에이전트 스킬이 좋아질수록 파인튜닝은 필요 없어진다는 체감이 업계에 퍼지고 있습니다. 실제로 OpenAI는 셀프서브 파인튜닝 API를 접는 중입니다. 그런데 같은 한 달 동안 정반대 방향의 신호도 쏟아졌습니다. 19일간의 프론티어 모델 셧다운, 파인튜닝을 전제로 설계...
LLM 운영
8배 큰 모델이 5배 싼 이유: LLM 추론 비용의 실제 구조
284B DeepSeek V4 Flash가 35B Qwen3.6보다 output 토큰이 5배 저렴한 역설을 roofline 모델로 해부합니다. KV 캐시 읽기, MoE 배치 경제학, 8xH100 서빙 형태 계산까지 추론 원가의 실제 구조를 숫자로 설명합니다.
AMD MI355X에서 GLM-5.2를 2,626 tok/s로: MXFP4와 SGLang이 만든 서빙 경제학
GLM-5.2 743B MoE를 AMD MI355X 한 노드에서 2,626 tok/s/node로 서빙하고 Blackwell 대비 2배 이상 저렴하게 만든 사례를, MXFP4 양자화와 SGLang MoE 병렬화 관점에서 검증하고 ThakiCloud ai-platform의 멀티벤더 서...
집에서 도는 지능: Personal AI Computer와 온프렘 서빙의 경제학
tom_doerr가 공유한 최대 384GB VRAM Personal AI Computer 빌드 가이드를 출발점으로, VRAM이 어떻게 실행 가능한 모델을 결정하는지 계산으로 따져보고, 이 개인용 한 대를 조직 규모의 온프렘 서빙으로 올릴 때 무엇이 필요한지 ThakiCloud ai...
비싸게 만들고 싸게 돌린다: 스킬 비용을 매일 밤 깎는 법
대부분의 에이전트 업무는 프론티어 모델이 필요 없습니다. 스킬을 비싼 모델로 한 번 완성한 뒤 포맷을 코드로 내리면, 같은 품질을 싼 모델로 돌릴 수 있습니다. 팩시스는 이 판단을 매일 밤 자동으로 측정하고, 안전할 때만 모델을 내리며, 품질이 흔들리면 되돌립니다. 실제 측정치와 ...
B200 두 장으로 vLLM Prefill/Decode를 분리하면 정말 빨라질까
NVIDIA B200 두 장에서 Qwen3.6-27B-NVFP4와 gemma-4-26B-A4B를 대상으로 텐서병렬, 데이터병렬, Prefill/Decode 분리(1P1D)의 초당 생성 토큰을 실제로 측정했습니다. 두 장뿐일 때 총 처리량의 승자는 분리가 아니라 데이터병렬이었고, 이...
Qwen3.6-27B를 NVFP4로: Blackwell 단일 GPU 서빙의 경제학
NVIDIA가 Qwen3.6-27B를 NVFP4로 재양자화해 단일 Blackwell GPU에서 vLLM으로 바로 서빙할 수 있게 했습니다. MLP는 NVFP4로 내리고 어텐션과 KV 캐시는 FP8로 남기는 혼합 정밀도가 어떻게 22GB 안에 27B 모델을 담는지, 그리고 이 방식이...
Fable 5를 프롬프트하는 법: 앤트로픽 공식 가이드가 말하는 다섯 가지
앤트로픽이 공개한 Claude Fable 5 프롬프트 가이드를 뜯어봅니다. 이전 모델용 지시를 덜어내고, 진행을 도구 결과로 감사하고, 서브에이전트를 적극 쓰고, 지난 실행에서 배우고, 제약을 명시하라는 다섯 원칙을 ThakiCloud 에이전트 운영 관점에서 정리합니다.
LLM 내부 구조를 체계적으로 배우는 법: 토큰화부터 추론 최적화까지
LLM을 운영하면서도 KV 캐시가 왜 메모리를 잡아먹는지, GQA가 무엇을 절약하는지 설명하지 못한다면 최적화는 감에 의존하게 됩니다. amitshekhariitbhu/llm-internals는 토큰화, 어텐션 수식, 트랜스포머 블록, KV 캐시, MoE, GQA를 순서대로 엮은 ...
Dual-Pool Token-Budget Routing — vLLM 추론 GPU 시간 31~42% 절감하는 이원화 스케줄링
짧은 응답 요청이 긴 응답 요청에 밀려 기다리는 HoL 블로킹은 GPU 시간을 낭비하는 조용한 적입니다. 요청을 short-context 풀과 long-context 풀로 나눠 라우팅하는 Dual-Pool Token-Budget Routing은 arXiv 2604.08075에서 G...
오픈웨이트가 프런티어를 따라잡은 해: 승부처는 self-hosting 경제학
2026년 중반 오픈웨이트 모델은 프런티어와 3~6개월 격차로 좁혀졌고, 그 격차는 더 벌어지지 않고 있습니다. 이제 진짜 의사결정은 모델 성능이 아니라 어디서 어떻게 돌릴 것인가, 즉 self-hosting 경제학으로 옮겨갑니다. ThakiCloud의 K8s 서빙 관점에서 정리합...
GLM-5.2 469B를 NVFP4로 한 노드에 올리기: vLLM 서빙 레시피를 뜯어봤습니다
NVIDIA가 공개한 GLM-5.2-NVFP4 체크포인트는 469B MoE 모델을 단일 Blackwell 노드(8× RTX PRO 6000)에서 vLLM으로 서빙할 수 있게 합니다. 혼합 정밀도 양자화 구조와 공식 서빙 명령을 정리하고, 공개 수치 기반 메모리 사이징을 직접 계산해...
GLM-5.2를 만든 오픈소스 RL 프레임워크 slime 뜯어보기
Z.ai의 1M 컨텍스트 오픈웨이트 모델 GLM-5.2의 후처리 학습을 떠받친 비동기 강화학습 인프라 slime이 완전 오픈소스로 공개되었습니다. Megatron 학습과 SGLang 롤아웃을 Data Buffer로 잇는 3-컴포넌트 구조, colocated/disaggregated...
토큰 사용량은 폭증하는데 AI 비용은 절반으로: 코인베이스의 더 나은 기본값 전략
코인베이스 CEO 브라이언 암스트롱이 공개한 AI 비용 통제법은 사용량 제한이나 경고 알림이 아니라 더 나은 기본값, 라우팅, 캐싱이었습니다. 직원의 91%가 애초에 사용 한도에 닿지도 않았다는 데이터를 근거로, 마찰을 늘리는 대신 LLM 게이트웨이의 기본 모델을 오픈웨이트로 바꾼...
Ornith-1.0: 스스로 RL 스캐폴드를 짜는 오픈 코딩 모델
DeepReinforce가 2026년 6월 25일 공개한 Ornith-1.0은 모델이 자신의 강화학습 훈련 스캐폴드를 직접 작성하는 자가-스캐폴딩(self-scaffolding) 메커니즘으로 만든 오픈소스 코딩 모델 패밀리입니다. 9B/31B 밀집과 35B/397B MoE 네 가지...
NVIDIA GLM-5.2-NVFP4: 753B 프런티어 MoE를 4비트로 서빙하기
NVIDIA가 ZAI의 753B MoE 추론 모델 GLM-5.2를 NVFP4(4비트)로 양자화해 Hugging Face에 공개했습니다. 모든 가중치를 일괄로 깎는 대신 MoE 전문가의 선형 연산자만 4비트로 줄이고 공유 전문가와 어텐션은 BF16으로 남기는 선택적 양자화로, FP8...
1비트로 줄인 744B: Unsloth GLM-5.2 Dynamic GGUF가 던지는 온프레미스 질문
Unsloth가 GLM-5.2(약 744B MoE)의 1.51TB BF16 가중치를 1비트 Dynamic GGUF로 줄여 176GB까지 압축했습니다. 프런티어급 오픈 모델을 256GB Mac이나 멀티 GPU 한 대에서 돌릴 수 있게 된 셈입니다. 양자화 단계별 용량·정확도 공개 수...
NVIDIA Qwen3.6-35B-A3B-NVFP4: 35B를 3B처럼 돌리는 FP4 양자화의 실제
NVIDIA가 Alibaba의 Qwen3.6-35B-A3B를 NVFP4(4비트)로 양자화해 공개했습니다. 16비트를 4비트로 줄여 디스크·GPU 메모리를 약 3.06배 절감하면서도, 모델카드 공개 수치 기준 BF16 대비 정확도 손실이 0.1~0.8점 수준에 그칩니다. MoE 구조...
220k 토큰을 생각하는 모델: GLM-5.2가 뒤집는 자가호스팅 셈법
Matt Pocock이 /teach 스킬로 GLM-5.2에 루빅스 큐브를 풀게 했을 때, 가장 낮은 effort에서도 3턴에 약 22만 토큰의 사고 트레이스가 나왔습니다. 오픈웨이트 추론 모델은 강하지만 토큰을 많이 씁니다. 토큰당 과금하는 API에서는 이게 비용 폭탄이지만, GP...
free-claude-code로 Claude Code를 자체호스팅 모델에 연결하기 - 17개 프로바이더 라우팅 프록시 실측
36.7k 스타의 free-claude-code는 Claude Code 트래픽을 Anthropic 호환 FastAPI 프록시로 받아 17개 프로바이더로 분기합니다. 로컬 Ollama 백엔드로 직접 라우팅해 레이턴시를 측정하고, Python 3.14 하드 요구가 만든 배포 리스크까지...
DFlash 추측 디코딩: 블록 확산으로 vLLM 추론을 최대 15배 빠르게
DFlash는 토큰을 하나씩 그리던 EAGLE-3 드래프터를 블록 확산 드래프터로 바꿔, 미래 토큰 블록을 한 번의 전방 패스로 제안합니다. vLLM·SGLang·TensorRT-LLM에 드롭인으로 붙고, 공개 수치 기준 단일 스트림 무손실 6배, Blackwell 처리량 최대 1...
Claude Code를 사내 모델로 라우팅하기 - claude-code-router로 비용 효율적 코딩 인프라 구축
claude-code-router로 Claude Code 트래픽을 glm-5.2·MiniMax-M2.7·Kimi K2로 분기합니다. 세 모델을 실제로 호출해 검증하고, MiniMax thinking 누수를 고치고, 모든 라우팅 모델이 Sonnet보다 싼지 상시 측정하는 루프까지 구...
추론 엔진을 고르지 마세요, 하드웨어 전략을 고르세요
vLLM이냐 SGLang이냐 TensorRT-LLM이냐를 먼저 고민하는 것은 순서가 틀렸습니다. 한 엔지니어가 제시한 하드웨어 우선 선택법은, 가진 하드웨어와 워크로드 모양이 엔진을 결정하게 두라고 말합니다. 이 프레임을 ThakiCloud의 쿠버네티스 GPU 서빙 운영 관점에서 ...
로컬 LLM 추론의 ‘바이블’: 하드웨어를 먼저 정하면 엔진은 따라옵니다
r/LocalLLaMA GPU 모더레이터 Ahmad Osman이 무료 공개한 로컬 LLM 추론 종합 가이드를 정리합니다. llama.cpp부터 vLLM, TensorRT-LLM, NVIDIA Dynamo까지 시나리오별 엔진 선택을 ThakiCloud 서빙 관점에서 분석합니다.
LLM 운영 비용을 라우터와 가드레일로 통제한 실전기 - $705/일 사고에서 배운 것
하루 $705 청구서 사고를 솔직하게 공개하고, 1개월 감사에서 발견한 원인(Opus 메인 세션 90.3%)과 처방(모델 라우팅, 회고 기반 에스컬레이션, cron화, 컨텍스트 위생)을 수치로 증명합니다. Paxis 비용인식 라우터와의 제품화 연계까지.
환자 데이터를 외부로 내보내지 않고 사내에서 LLM 파인튜닝하기 - 의료·바이오 온프렘 AI 구축
의료 기관이 환자 데이터를 외부 클라우드로 반출하지 않고 사내 GPU 클러스터에서 도메인 특화 LLM을 파인튜닝하고 서빙하는 전체 워크플로를 설명합니다. ThakiCloud AI Platform의 6종 파인튜닝, DevSpace, vLLM Scale-to-Zero 적용 사례를 다룹...
GLM-5.2: GPT-5.5를 넘은 MIT 오픈웨이트, 그리고 소버린 서빙의 기회
중국 Z.ai(Zhipu)가 MIT 라이선스로 공개한 744B MoE 코딩 모델 GLM-5.2를 정리합니다. SWE-bench Pro 62.1로 GPT-5.5를 앞서면서도 6분의 1 비용이라는 주장을, vLLM 셀프호스팅과 ThakiCloud의 온프레미스 서빙 관점에서 분석합니다.
OPD 사후학습: GLM-5.2는 어떻게 10개 넘는 전문가 모델을 이틀 만에 합쳤나
Z.ai는 GLM-5.2를 만들면서 RL 사후학습 인프라 전체를 오픈소스로 공개했습니다. 10개가 넘는 전문가 모델을 약 이틀 만에 병합한 OPD 사후학습을 분석하고, 오픈된 RL 스택이 온프레미스 학습에 주는 의미를 ThakiCloud K8s 관점에서 정리합니다.
RL 사후학습을 인프라로: slime 오픈소스 프레임워크와 RL 스케일링
Z.ai가 오픈소스화한 slime은 RL 스케일링을 위한 LLM 사후학습 프레임워크입니다. GLM-5.2 사후학습에 쓰인 이 인프라를 분석하고, RL 사후학습 스택을 ThakiCloud K8s 학습 인프라 관점에서 정리합니다.
753B 오픈웨이트를 소비자 GPU에서: GLM-5.2와 온프레미스 LLM 서빙 경제성
753B 규모 SOTA 오픈웨이트 모델 GLM-5.2를 RTX 4090 소비자 GPU에서 구동한 사례를 분석합니다. DSA 희소 어텐션 커널 이식과 온프레미스 대형 LLM 서빙 경제성을 ThakiCloud 서빙 관점에서 정리합니다.
8GB GPU에서 도는 Gemma 4 12B: QAT와 TurboQuant로 본 컨슈머 추론 경제성
Gemma 4 12B를 QAT와 TurboQuant로 RTX 4060 8GB에서 구동한 커뮤니티 벤치마크를 분석합니다. 양자화 인식 학습과 컨슈머 GPU 서빙이 온프레미스 추론 경제성에 던지는 함의를 ThakiCloud 서빙 관점에서 정리합니다.
NVFP4로 Blackwell GPU에서 LLM 서빙 비용 절반 줄이기
NVIDIA Blackwell의 네이티브 4비트 부동소수점 포맷 NVFP4가 H100 FP8 대비 어떤 이점을 주는지, 그리고 vLLM/TensorRT-LLM 스택에서 실제로 적용하는 방법을 설명한다.
NVFP4 다음을 준비한다: vLLM으로 서빙하는 양자화 기법 총정리 (Unsloth 포함)
Blackwell 전용 NVFP4 말고, Hopper·Ampere에서 오늘 당장 vLLM으로 서빙 가능한 양자화 기법을 정리합니다. AWQ·GPTQ·FP8·W4A16·compressed-tensors부터 Unsloth Dynamic 2.0까지, 실제 레시피와 서빙 플래그로.
vLLM + Prometheus + Kueue: K8s LLM 서빙 관측가능성 실전 설계
GPU 활용률과 KV 캐시 압박, 토큰 처리량까지 모니터링하는 LLM 서빙 관측 스택을 Kubernetes 멀티테넌트 환경에 실제로 구성하는 방법을 다룹니다.
GPU를 더 사도 안 풀린다: llm-d 분산추론과 GPU + 어떤 NPU/XPU든 이기종 아키텍처
llm-d는 GPU를 늘리는 대신 같은 GPU에서 더 많은 요청을 처리하는 추론 스케줄러입니다. KV-cache aware 라우팅과 prefill/decode 분리의 원리부터, vLLM 호환이면 어떤 가속기(Rebellions·Furiosa 등 NPU, Intel·TPU 등 XPU...
GPU 한 장의 진짜 원가부터: ThakiCloud가 AI 추론 비용을 최적화하는 법
GPU 감가상각 공식, Kueue 갱 스케줄링, vLLM scale-to-zero, 모델 티어 라우팅까지. ThakiCloud가 내부에서 추론 비용을 줄이는 방식과, 고객이 같은 레버를 제품에서 당기는 방법을 코드와 수식으로 정리합니다.
NVIDIA Nemotron 6백만 다국어 추론 데이터셋 공개 - 오픈소스 AI 생태계 강화
NVIDIA가 6백만 개의 다국어 추론 데이터셋을 공개하며 프랑스어, 스페인어, 독일어, 이탈리아어, 일본어 5개 언어로 확장된 고품질 훈련 데이터를 제공합니다.
dots.ocr: 1.7B 파라미터로 달성한 SOTA 다국어 문서 파싱 - 완전 분석
RedNote가 공개한 dots.ocr로 다국어 문서 레이아웃 분석과 OCR을 단일 비전-언어 모델에서 구현하는 방법을 알아봅니다.