숫자 하나를 믿지 않는 평가: 이진 분해와 결정론 게이트로 짓는 주권형 LLM 심판 서비스
LLM을 채점자로 쓰는 ‘LLM-as-a-judge’는 이제 모델 개발의 기본값이지만, 2026년 들어 쌓인 증거는 단일 점수를 내는 스칼라 심판이 프롬프트와 위치에 취약하고 중간값으로 쏠리며 적대적 입력 앞에서 동전 던지기 수준으로 무너진다는 사실을 보여줍니다. 병원이나 은행, ...
모든 포스트
180
개의 게시글이 있습니다.
Claude Code 프로젝트 제대로 세팅하기: .claude/ 폴더 해부
대부분의 개발자는 세팅을 건너뛰고 바로 프롬프트를 칩니다. 그게 실수입니다. CLAUDE.md·rules·commands·skills·agents·hooks로 이어지는 .claude/ 폴더의 구조를, 스킬 1,671개가 도는 실제 프로덕션 프로젝트를 직접 측정해 뜯어봅니다. Tha...
이번 주 주목할 AI 논문 (6/28-7/5): 메타인지 RL, 스킬로서의 메모리, MCP 서버 패턴
dair.ai 주간 논문 정리에서 ThakiCloud 관점으로 세 편을 깊게 읽습니다. 메타인지 피드백으로 표준 RL을 최대 63% 넘어선 RLMF, 메모리를 학습 가능한 스킬로 다뤄 Qwen2.5-32B를 Opus 4.5급으로 끌어올린 AutoMem, LLM 통합 애플리케이션의 ...
감시 모델이 읽지 못하는 글자들: 토크나이저 비대칭이 여는 AI 통제의 은닉 채널
AI control의 핵심 방어선인 ‘신뢰 못 하는 강한 모델을 약한 감시 모델로 통제한다’는 전제는 감시자와 정책 모델이 같은 텍스트를 읽는다는 가정 위에 서 있습니다. 온프렘 멀티테넌트 클러스터에서는 이 가정이 조용히 무너집니다. 서로 다른 토크나이저와 정규화 규칙이 감시자는 ...
AGI 다음은 무엇인가: 딥마인드가 그린 초지능으로 가는 네 갈래 길
구글 딥마인드가 공개한 약 57페이지 보고서 From AGI to ASI는 초지능을 먼 사고실험이 아니라 지금 준비해야 할 계획 문제로 다룹니다. 스케일링, 알고리즘 전환, 재귀적 자기개선, 다중 에이전트 집단 형성이라는 네 갈래 경로와 그 각각을 가로막는 물리적 한계를 짚습니다....
오픈웨이트의 무게중심이 옮겨갔다: ATOM 리포트로 읽는 오픈 모델 생태계
오픈 언어 모델의 다운로드와 추론 사용량을 한자리에서 측정한 ATOM 리포트는, 중국 오픈 모델이 2025년 여름 미국 진영을 추월한 뒤 격차를 벌려 왔다는 사실을 데이터로 보여 줍니다. Qwen 계열은 허깅페이스 누적 다운로드 약 10억 건을 넘겼고, OpenRouter 추론 시...
토큰은 공짜로 수렴하는데, 청구서는 왜 그대로일까요
100만 토큰에 0.11달러. 모델값이 붕괴한 바로 그날, 엔비디아는 추론을 지키는 데 새 값을 매겼습니다. 값은 사라지지 않고 자리를 옮깁니다. 오늘 뉴스가 그 이동 경로를 가리킵니다.
Fable 5는 다르게 프롬프팅합니다: Anthropic 공식 가이드가 말하는 네 가지 전환
Anthropic이 Claude Fable 5와 Mythos 5를 위한 공식 프롬프팅 가이드를 조용히 공개했습니다. 핵심은 더 정교한 프롬프트가 아니라 반대 방향입니다. 이전 모델용으로 쌓아온 지시를 지우고, effort로 지능·비용을 조절하고, 진행 보고를 증거에 감사시키고, 서...
의사 추천 아침식사로 스택 짜기ㅋ
몸에 좋은 조합만 골라 담았는데, 냉장고 열쇠는 왜 쟤가 쥐고 있냐.
온프렘 멀티테넌트 GPU 클러스터에서 스펙큘레이티브 디코딩이 손해로 바뀌는 순간
1,000 TPS를 넘긴 JetSpec 같은 스펙큘레이티브 디코딩 성과는 전부 단일 테넌트, 여유 연산력이 넘치는 B200급 하드웨어를 전제로 합니다. Kueue와 쿠버네티스로 여러 테넌트를 함께 배치하는 온프렘 클러스터에서는 같은 정책이 오히려 지연을 늘립니다. ThakiClou...
파인튜닝은 정말 죽었을까: 2026년 6월 한 달의 검증된 신호로 읽는 생존 전략
거대 LLM과 에이전트 스킬이 좋아질수록 파인튜닝은 필요 없어진다는 체감이 업계에 퍼지고 있습니다. 실제로 OpenAI는 셀프서브 파인튜닝 API를 접는 중입니다. 그런데 같은 한 달 동안 정반대 방향의 신호도 쏟아졌습니다. 19일간의 프론티어 모델 셧다운, 파인튜닝을 전제로 설계...
8배 큰 모델이 5배 싼 이유: LLM 추론 비용의 실제 구조
284B DeepSeek V4 Flash가 35B Qwen3.6보다 output 토큰이 5배 저렴한 역설을 roofline 모델로 해부합니다. KV 캐시 읽기, MoE 배치 경제학, 8xH100 서빙 형태 계산까지 추론 원가의 실제 구조를 숫자로 설명합니다.
AMD MI355X에서 GLM-5.2를 2,626 tok/s로: MXFP4와 SGLang이 만든 서빙 경제학
GLM-5.2 743B MoE를 AMD MI355X 한 노드에서 2,626 tok/s/node로 서빙하고 Blackwell 대비 2배 이상 저렴하게 만든 사례를, MXFP4 양자화와 SGLang MoE 병렬화 관점에서 검증하고 ThakiCloud ai-platform의 멀티벤더 서...
증기기관의 시대, 카르노를 기다리며: 지금 과학자에게 필요한 마음가짐
작동하는 기계와 이해한 원리 사이의 간극은 과학사에서 늘 반복된 장면입니다. 컴퓨팅 파워로 모든 것을 밀어붙이는 지금, 에너지와 파동의 눈으로 딥러닝 시대를 다시 읽고 과학자가 가져야 할 겸손을 이야기합니다.
모델을 국산화해도 주권은 오지 않습니다: 오늘 뉴스가 가리키는 ‘실행 계층
독파모부터 한컴의 사명 변경까지, 2026년 7월 5일 아침 뉴스는 하나의 방향을 가리킵니다. 소버린 AI의 승부처는 ‘어떤 모델을 만드느냐’가 아니라 ‘그 모델을 어디서 어떻게 실행하고 감사하느냐’로 이미 옮겨갔습니다.
세상 바꾸는 회사 만드는 법ㅋ
로켓 CEO의 창업 특강, 마지막 원칙이 곧 온프렘이었다.
Anthropic 프롬프팅 가이드 정독: Fable 5·Sonnet 5·Opus 4.8 모델별 전략
Anthropic이 최신 모델용 프롬프팅 베스트 프랙티스를 정리한 공식 가이드를 뜯어봅니다. 모델별 차이, 핵심 기법(명료성·예시·XML·사고연쇄·역할·체이닝·확장 사고), 마이그레이션까지. ThakiCloud가 Paxis 스킬 하니스에서 프롬프트를 계약으로 굳히는 방식과 연결합니다.
구글의 Paper Assistant Tool: 에이전트가 논문의 오류를 심사합니다
구글이 과학 논문을 통째로 읽어 이론 결과를 검증하고 실험을 확인하며 잠재적 오류를 찾아내는 에이전트형 리뷰 도구 PAT를 공개했습니다. Gemini Deep Think의 추론 스케일링으로 단발 프롬프트의 한계를 넘어서고, STOC와 ICML 파일럿에서 4,700편이 넘는 투고를 ...
집에서 도는 지능: Personal AI Computer와 온프렘 서빙의 경제학
tom_doerr가 공유한 최대 384GB VRAM Personal AI Computer 빌드 가이드를 출발점으로, VRAM이 어떻게 실행 가능한 모델을 결정하는지 계산으로 따져보고, 이 개인용 한 대를 조직 규모의 온프렘 서빙으로 올릴 때 무엇이 필요한지 ThakiCloud ai...
Fable 5로 레이트리밋 없이 일하기: 모델 라우팅과 토큰 예산 전략
T3 창시자 Theo가 공유한 Claude Fable 5 운용 팁을 뜯어봅니다. effort 레벨 선택, Codex 오케스트레이션, CLAUDE.md 모델 우선순위, 토큰 무거운 작업 위임까지. ThakiCloud가 Paxis와 ai-platform에서 쓰는 모델 라우팅 규율과 나...
프롬프트를 쓰지 않고 루프를 씁니다: 코딩 에이전트의 루프 엔지니어링
한 개발자가 ‘이제 Claude Code에 프롬프트를 넣지 않는다. Fable에 프롬프트를 넣는 루프를 돌리고, 내 일은 그 루프를 짜는 것뿐이다’라고 말했습니다. 과장을 걷어내고 보면 이 문장은 작업의 단위가 프롬프트에서 루프로 옮겨간다는 실질적 변화를 가리킵니다. 관찰-판단-실...
에이전트를 도입하는 게 아니라, 운영할 통제 평면이 없습니다
2026년 상반기 뉴스를 보면 AI 에이전트는 데모 무대에서 내려와 보험 언더라이팅과 발전소 현장 업무에 당직을 서기 시작했습니다. 그런데 현장 투입에서 막히는 지점은 모델 성능이 아니라 감사·주권·안전한 실행이라는 운영의 벽입니다. 기존 클라우드가 이 벽을 왜 못 푸는지, 그리고...
Claude Code 아티팩트가 Pro·Max로 열렸습니다: 세션이 곧 살아있는 웹페이지
Claude Code의 아티팩트 기능이 Team·Enterprise를 넘어 Pro·Max 요금제까지 확대됐습니다. 세션의 작업을 실시간으로 갱신되는 공유 가능한 웹페이지로 바꾸는 이 기능을 뜯어보고, ThakiCloud의 Paxis와 ai-platform 관점에서 어떻게 쓸 수 있...
NVIDIA ASPIRE: 로봇이 실패를 스킬로 바꾸는 에이전트형 스킬 발견
로봇은 과제를 풀 때마다 시행착오를 버리고 매번 처음부터 다시 더듬습니다. NVIDIA의 ASPIRE는 LLM이 로봇 제어 코드를 직접 짜고, 실행에서 실패를 관찰해 수리하며, 검증된 수리 경험을 재사용 가능한 스킬로 증류하는 지속 학습 시스템입니다. 양팔 핸드오버 성공률이 추가 ...
MCP 서버 아키텍처 패턴: 도구가 많아질수록 LLM이 흔들리는 이유
15개 프로덕션 MCP 서버를 분석한 최신 논문이 다섯 가지 아키텍처 패턴과 네 가지 안티패턴을 정리했습니다. 핵심은 도구가 일정 수를 넘으면 모델의 도구 선택 정확도가 무너진다는 실측 결과입니다.
비싸게 만들고 싸게 돌린다: 스킬 비용을 매일 밤 깎는 법
대부분의 에이전트 업무는 프론티어 모델이 필요 없습니다. 스킬을 비싼 모델로 한 번 완성한 뒤 포맷을 코드로 내리면, 같은 품질을 싼 모델로 돌릴 수 있습니다. 팩시스는 이 판단을 매일 밤 자동으로 측정하고, 안전할 때만 모델을 내리며, 품질이 흔들리면 되돌립니다. 실제 측정치와 ...
B200 두 장으로 vLLM Prefill/Decode를 분리하면 정말 빨라질까
NVIDIA B200 두 장에서 Qwen3.6-27B-NVFP4와 gemma-4-26B-A4B를 대상으로 텐서병렬, 데이터병렬, Prefill/Decode 분리(1P1D)의 초당 생성 토큰을 실제로 측정했습니다. 두 장뿐일 때 총 처리량의 승자는 분리가 아니라 데이터병렬이었고, 이...
내 AI 스택 전부 중국산이요
87% 싸진 건 축하할 일인데, 주인만 바꾼 건 아니고요?
Claude Code의 /dataviz 스킬: 차트를 코드가 아니라 설계로 다루기
Claude Code 2.1.198에 추가된 /dataviz 스킬은 차트와 대시보드 설계 지침을 컨텍스트에 직접 로드합니다. 폼 휴리스틱, 색 공식, 실행 가능한 팔레트 검증기를 뜯어보고 ThakiCloud 플랫폼 관점에서 어떻게 활용할지 정리합니다.
스킬이 많아질수록 에이전트는 나빠진다: 스킬 섀도잉과 선택 병목
스킬 라이브러리가 커질수록 에이전트 성능이 오히려 떨어진다는 최근 연구를 정리합니다. arXiv 2605.24050은 성능 하락을 스킬 섀도잉과 컨텍스트 과부하로 분해하고, 진짜 병목이 컨텍스트가 아니라 잘못된 스킬 선택임을 보입니다. ThakiCloud Paxis의 스킬 하니스가...
에이전트 절차적 메모리: 프롬프트 검색을 넘어서
에이전트에게 스킬을 프롬프트로 넣어주는 방식은 컨텍스트를 잡아먹고 쉽게 깨집니다. 최근 연구는 절차적 메모리를 프롬프트 템플릿에서 빌드·검색·갱신이 분리된 구조로, 나아가 파라메트릭 신경 정책으로 옮기고 있습니다. Memp와 AFTER 벤치마크를 중심으로 이 전환의 지형을 정리하고...
Qwen3.6-27B를 NVFP4로: Blackwell 단일 GPU 서빙의 경제학
NVIDIA가 Qwen3.6-27B를 NVFP4로 재양자화해 단일 Blackwell GPU에서 vLLM으로 바로 서빙할 수 있게 했습니다. MLP는 NVFP4로 내리고 어텐션과 KV 캐시는 FP8로 남기는 혼합 정밀도가 어떻게 22GB 안에 27B 모델을 담는지, 그리고 이 방식이...
Fable 5를 프롬프트하는 법: 앤트로픽 공식 가이드가 말하는 다섯 가지
앤트로픽이 공개한 Claude Fable 5 프롬프트 가이드를 뜯어봅니다. 이전 모델용 지시를 덜어내고, 진행을 도구 결과로 감사하고, 서브에이전트를 적극 쓰고, 지난 실행에서 배우고, 제약을 명시하라는 다섯 원칙을 ThakiCloud 에이전트 운영 관점에서 정리합니다.
LLM 내부 구조를 체계적으로 배우는 법: 토큰화부터 추론 최적화까지
LLM을 운영하면서도 KV 캐시가 왜 메모리를 잡아먹는지, GQA가 무엇을 절약하는지 설명하지 못한다면 최적화는 감에 의존하게 됩니다. amitshekhariitbhu/llm-internals는 토큰화, 어텐션 수식, 트랜스포머 블록, KV 캐시, MoE, GQA를 순서대로 엮은 ...
작업마다 이기는 모델로 라우팅한다: 오픈 가중치로 에이전트 자동화 비용을 44배 접은 실측
에이전트 자동화의 대부분은 최상위 추론이 아니라 도구 호출과 파이프라인 실행입니다. Gemma 4로 실제 운영 요청을 tool-call로 변환해 6/6 성공을 확인하고, Paxis CostRouter로 작업마다 오픈 가중치 모델에 라우팅했을 때의 비용을 실측 토큰과 실가격으로 계산...
미래의 일, 직무 대신 5가지 ‘원형’
엔지니어·PM·디자이너가 프로토타이퍼·빌더·스위퍼·그로워·메인테이너로 녹아든다는데, 아무도 안 하려는 6번째가 있다.
내 AI 스택이 다 중국산이 됐다
스택이 통째로 남의 손에 넘어간 날, 파시스와 메티스의 대처법.
Qwen3.6-27B을 4비트로: NVFP4 양자화가 Hopper까지 내려온 이유
NVIDIA가 공개한 Qwen3.6-27B-NVFP4는 27B 하이브리드 어텐션 추론 모델을 4비트로 눌러 메모리를 약 2.5배 줄이면서도 FP8 대비 벤치마크 차이를 1%p 이내로 유지합니다. 지난 Gemma NVFP4가 Blackwell 전용이었던 것과 달리 이번 빌드는 Hop...
Dual-Pool Token-Budget Routing — vLLM 추론 GPU 시간 31~42% 절감하는 이원화 스케줄링
짧은 응답 요청이 긴 응답 요청에 밀려 기다리는 HoL 블로킹은 GPU 시간을 낭비하는 조용한 적입니다. 요청을 short-context 풀과 long-context 풀로 나눠 라우팅하는 Dual-Pool Token-Budget Routing은 arXiv 2604.08075에서 G...
직무가 녹아내린 자리에 남는 다섯 가지 원형: 프로토타이퍼부터 메인테이너까지
엔지니어링·제품·디자인·데이터가 한 덩어리로 녹아드는 지금, Claude Code를 만든 보리스 체르니가 제안한 다섯 가지 역할 원형과 제품 생애주기별 팀 구성 공식을 살펴봅니다.
삼성·SK, 10년간 4,755조 원 국내 투자: 호남 메모리 팹부터 15GW AI 데이터센터까지
2026년 6월 29일 삼성전자와 SK하이닉스가 향후 10년간 국내에 합산 4,755조 원을 투자한다고 발표했습니다. 서남권 메모리 팹 4기(800조), SK의 15GW AI 데이터센터(1,000조)를 중심으로 발표 내용을 정리하고, HBM 슈퍼사이클과 정책 환경, 그리고 국내 A...
오픈웨이트가 프런티어를 따라잡은 해: 승부처는 self-hosting 경제학
2026년 중반 오픈웨이트 모델은 프런티어와 3~6개월 격차로 좁혀졌고, 그 격차는 더 벌어지지 않고 있습니다. 이제 진짜 의사결정은 모델 성능이 아니라 어디서 어떻게 돌릴 것인가, 즉 self-hosting 경제학으로 옮겨갑니다. ThakiCloud의 K8s 서빙 관점에서 정리합...
에이전트 AI를 처음부터 시스템까지 한 권으로: ‘The Hitchhiker’s Guide to Agentic AI’를 읽었습니다
arXiv에 올라온 ‘The Hitchhiker’s Guide to Agentic AI: From Foundations to Systems’는 LLM 기질부터 정렬·추론, 에이전트 시스템, 그리고 프로덕션 배포까지 에이전트 AI의 전 계층을 한 번에 꿰는 실무 레퍼런스입니다. 네 ...
OpenRouter 점유율 역전이 말하는 것: 토큰은 매출이 아니다, 그리고 모델 중립의 값어치
OpenRouter에서 미국 모델 토큰 점유율이 1년 만에 약 70%에서 약 30%로 떨어지고 중국 오픈웨이트 모델이 약 46%까지 올라왔습니다. 그러나 토큰 점유율과 매출 점유율이 갈라지는 시장 재편을 한 겹 들여다보고, 모델 중립 라우팅과 라이선스·데이터 컴플라이언스 레이어라는...
빅테크 GPU 과투자의 진짜 논리: 비대칭 보험과 다음 세대 톨게이트
2026년 하이퍼스케일러 캐펙스가 약 7,250억 달러로 전년 대비 77% 늘었습니다. 거품처럼 보이는 이 지출을 비대칭 보험과 의도 라우터 톨게이트라는 두 구조적 논리로 읽고, METR의 태스크 호라이즌 데이터와 신뢰도 임계선 수학으로 검증한 뒤, 톨게이트에 종속되기 싫은 엔터프...
GLM-5.2 469B를 NVFP4로 한 노드에 올리기: vLLM 서빙 레시피를 뜯어봤습니다
NVIDIA가 공개한 GLM-5.2-NVFP4 체크포인트는 469B MoE 모델을 단일 Blackwell 노드(8× RTX PRO 6000)에서 vLLM으로 서빙할 수 있게 합니다. 혼합 정밀도 양자화 구조와 공식 서빙 명령을 정리하고, 공개 수치 기반 메모리 사이징을 직접 계산해...
코딩 에이전트로 영상을 편집합니다: video-use 스킬을 뜯어봤습니다
midudev이 공유해 화제가 된 browser-use의 video-use는 폴더에 원본 영상을 넣고 한 문장을 입력하면 컷 편집, 필러 제거, 자막, 색보정, 애니메이션, 렌더링까지 코딩 에이전트가 자동으로 끝내는 무료 오픈소스 스킬입니다. 컷마다 병렬 서브에이전트를 띄우는 이 ...
AI 경제 영향 측정이 로그 분석을 넘어섭니다: Anthropic Economic Index ‘Cadences’ 보고서를 뜯어봤습니다
Anthropic이 2026년 6월 26일 공개한 Economic Index ‘Cadences’ 보고서는 7일 샘플을 버리고 시간 단위 연속 텔레메트리로 전환했습니다. 여기에 산출물 분류기와 설문 데이터를 결합해, AI 영향 측정을 채팅 로그에서 다층 혼합 방법론으로 끌어올립니다....
GLM-5.2를 만든 오픈소스 RL 프레임워크 slime 뜯어보기
Z.ai의 1M 컨텍스트 오픈웨이트 모델 GLM-5.2의 후처리 학습을 떠받친 비동기 강화학습 인프라 slime이 완전 오픈소스로 공개되었습니다. Megatron 학습과 SGLang 롤아웃을 Data Buffer로 잇는 3-컴포넌트 구조, colocated/disaggregated...
토큰 사용량은 폭증하는데 AI 비용은 절반으로: 코인베이스의 더 나은 기본값 전략
코인베이스 CEO 브라이언 암스트롱이 공개한 AI 비용 통제법은 사용량 제한이나 경고 알림이 아니라 더 나은 기본값, 라우팅, 캐싱이었습니다. 직원의 91%가 애초에 사용 한도에 닿지도 않았다는 데이터를 근거로, 마찰을 늘리는 대신 LLM 게이트웨이의 기본 모델을 오픈웨이트로 바꾼...
Claude Code 프로젝트 구조의 완전한 지도를 우리 레포에 비춰봤습니다
CLAUDE.md, rules, skills, agents, hooks, MCP까지. Claude Code 프로젝트의 모든 구성요소가 각각 어떤 역할 경계를 갖는지 정리한 ‘완전한 지도’를 읽고, ThakiCloud의 실제 레포(규칙 40개, 스킬 1655개, 에이전트 54개)를 ...
에이전트 메모리는 이제 데이터 시스템입니다: Agent-Native Memory를 데이터 관리 관점에서 뜯어봤습니다
arXiv 2606.24775 ‘Are We Ready For An Agent-Native Memory System?’은 LLM 에이전트 메모리를 RAG가 아니라 하나의 데이터 관리 시스템으로 보고, 12개 메모리 시스템을 4개 모듈로 분해해 측정합니다. 논문 초록과 공개 코드를 ...
Ornith-1.0: 스스로 RL 스캐폴드를 짜는 오픈 코딩 모델
DeepReinforce가 2026년 6월 25일 공개한 Ornith-1.0은 모델이 자신의 강화학습 훈련 스캐폴드를 직접 작성하는 자가-스캐폴딩(self-scaffolding) 메커니즘으로 만든 오픈소스 코딩 모델 패밀리입니다. 9B/31B 밀집과 35B/397B MoE 네 가지...
NVIDIA GLM-5.2-NVFP4: 753B 프런티어 MoE를 4비트로 서빙하기
NVIDIA가 ZAI의 753B MoE 추론 모델 GLM-5.2를 NVFP4(4비트)로 양자화해 Hugging Face에 공개했습니다. 모든 가중치를 일괄로 깎는 대신 MoE 전문가의 선형 연산자만 4비트로 줄이고 공유 전문가와 어텐션은 BF16으로 남기는 선택적 양자화로, FP8...
논문 쓰는 AI 에이전트 - 오픈소스 Skill 패키지로 작성 워크플로 옮기기
교수의 논문 작성 노하우를 Codex, Claude Code, Gemini 어디서나 불러 쓰는 Skill 패키지로 묶은 오픈소스 프로젝트가 화제입니다. 단순 프롬프트 모음과 무엇이 다른지, Agent Skill이라는 형식이 왜 중요한지, 그리고 수백 개의 Skill로 에이전트 플랫...
SKILL.md를 손으로 쓰지 않습니다: Hermes Agent의 /learn 명령을 뜯어봤습니다
Nous Research가 Hermes Agent에 추가한 /learn은 디렉터리, URL, 방금 끝낸 대화, 붙여넣은 메모 어느 것이든 가리켜 재사용 가능한 스킬로 만들어 줍니다. SKILL.md를 한 줄도 손으로 쓰지 않습니다. 설치된 Hermes를 직접 돌려 스킬 시스템 골격...
책 한 권을 한 번에 읽는 OCR: Baidu Unlimited OCR의 상수 KV 캐시 비밀
Baidu가 공개한 Unlimited OCR은 디코더의 어텐션을 Reference Sliding Window Attention으로 바꿔 KV 캐시를 상수로 유지합니다. 수십 페이지 문서를 한 번의 순전파로 파싱하는 원리와, ThakiCloud 멀티테넌트 추론 관점의 의미를 정리했습...
환경을 먼저 상상하는 에이전트: Qwen-AgentWorld 언어 월드 모델을 뜯어봤습니다
Alibaba Qwen이 공개한 Qwen-AgentWorld는 행동을 학습하는 대신 환경 자체를 예측하도록 학습한 언어 월드 모델입니다. arXiv 기술 보고서와 공식 벤치마크를 근거로 핵심 아이디어와 실제 수치, 그리고 ThakiCloud 에이전트 플랫폼 관점의 의미를 정리했습니다.
1비트로 줄인 744B: Unsloth GLM-5.2 Dynamic GGUF가 던지는 온프레미스 질문
Unsloth가 GLM-5.2(약 744B MoE)의 1.51TB BF16 가중치를 1비트 Dynamic GGUF로 줄여 176GB까지 압축했습니다. 프런티어급 오픈 모델을 256GB Mac이나 멀티 GPU 한 대에서 돌릴 수 있게 된 셈입니다. 양자화 단계별 용량·정확도 공개 수...
NVIDIA Qwen3.6-35B-A3B-NVFP4: 35B를 3B처럼 돌리는 FP4 양자화의 실제
NVIDIA가 Alibaba의 Qwen3.6-35B-A3B를 NVFP4(4비트)로 양자화해 공개했습니다. 16비트를 4비트로 줄여 디스크·GPU 메모리를 약 3.06배 절감하면서도, 모델카드 공개 수치 기준 BF16 대비 정확도 손실이 0.1~0.8점 수준에 그칩니다. MoE 구조...
220k 토큰을 생각하는 모델: GLM-5.2가 뒤집는 자가호스팅 셈법
Matt Pocock이 /teach 스킬로 GLM-5.2에 루빅스 큐브를 풀게 했을 때, 가장 낮은 effort에서도 3턴에 약 22만 토큰의 사고 트레이스가 나왔습니다. 오픈웨이트 추론 모델은 강하지만 토큰을 많이 씁니다. 토큰당 과금하는 API에서는 이게 비용 폭탄이지만, GP...
vLLM vs Ollama - 로컬 LLM 추론, 언제 무엇을 골라야 하는가
Ollama는 쉽고 vLLM은 빠르다는 통념을 2026년 RTX 4090 공개 벤치마크로 다시 검증합니다. 단일 사용자에서는 격차가 13% 안팎이지만, 동시 50명에서는 vLLM이 약 6배 처리량을 냅니다. PagedAttention과 연속 배칭이 만드는 확장 곡선의 차이, 그리고...
첫 AI 에이전트를 만든다면 - 가드레일이 붙은 최소 루프부터
AI 에이전트 입문 가이드는 대부분 LLM 두뇌, 메모리, 도구, 에이전트 루프 네 조각을 설명하고 끝납니다. 정작 프로덕션에서 무너지는 지점은 루프를 멈추는 가드레일입니다. 외부 LLM 없이 순수 파이썬으로 가드레일이 붙은 최소 ReAct 루프를 직접 돌려, 단계 상한과 반복 탐...
NVIDIA가 검증한 에이전트 스킬: OMS 서명으로 스킬 공급망에 신뢰를 심는 법
NVIDIA가 에이전트 스킬 200여 개를 OMS 암호 서명과 함께 오픈소스로 공개했습니다. 같은 SKILL.md가 Claude Code·Codex·Cursor를 가로질러 동작하고, 다운로드한 스킬이 변조되지 않았음을 누구나 검증할 수 있습니다. 실제로 저장소를 받아 서명을 검증하...
루프를 돌리기 전에 설계합니다: 토큰을 태우지 않는 에이전트 루프 엔지니어링
프롬프트를 잘 쓰는 시대에서 루프를 잘 설계하는 시대로 넘어가고 있습니다. 설계 없이 돌린 에이전트 루프는 토큰을 태우고 쓸 만하지 않은 결과물을 안깁니다. 일을 찾고 나눠주고 검증하고 기록하고 다음을 정하는 작은 시스템을 먼저 설계하는 방법, 그리고 ThakiCloud가 하루 7...
슬랙 안으로 들어온 지속형 에이전트, Claude Tag을 플랫폼 관점에서 읽습니다
Anthropic이 슬랙 채널 안에서 @Claude를 호출해 일을 맡기는 Claude Tag을 공개했습니다. 한 번 호출하고 끝나는 챗봇이 아니라, 채널에 상주하며 여러 사람과 맥락을 공유하고 스스로 후속 조치를 챙기는 지속형·멀티플레이어 에이전트라는 점이 핵심입니다. 회사가 밝힌...
AI 에이전트에게 진짜 기억을 주는 법 - 컨텍스트 엔지니어링 4가지 기법
컨텍스트 창은 크다고 좋은 것이 아닙니다. 토큰이 늘수록 모델의 회상 정확도가 떨어지는 컨텍스트 로트(context rot) 때문입니다. Anthropic이 정리한 컴팩션, 구조적 노트, 서브에이전트, 파일 기반 메모리 도구 네 가지 기법을 살펴보고, ThakiCloud가 실제 에...
Gemma 4 전체 라인업 정리: Apache 2.0 오픈웨이트 5종 모델과 온프렘 서빙 가이드
Google DeepMind가 2026년 4월 공개한 Gemma 4는 E2B부터 31B까지 5종으로 구성된 멀티모달 오픈웨이트 패밀리입니다. Apache 2.0 라이선스, 256K 컨텍스트, 26B MoE와 31B Dense의 차이, 그리고 온프렘 서빙 관점에서 각 모델을 어떻게 ...
DGX Spark 한 대로 Gemma 4 26B를 16배 병렬로: NVFP4 양자화와 가성비 솔직 리뷰
NVIDIA가 공개한 Gemma-4-26B-A4B-NVFP4를 DGX Spark 한 대에서 16배 병렬로 돌리면 스트림당 약 18토큰/초, 합산 약 300토큰/초가 나옵니다. 25.2B MoE를 4비트로 압축해 14GB대에 올리는 NVFP4의 원리, 단일 스트림 대 동시성의 트레이...
Anthropic Claude Tag: Slack 채널을 상주 AI 팀원의 작업 공간으로
Anthropic이 기존 Slack 앱을 대체하는 Claude Tag를 공개했습니다. 채널마다 하나의 Claude가 모두와 협업하고, 능동적으로 맥락을 따라가며, 비동기 작업을 위임받습니다. 멀티플레이어 에이전트가 엔터프라이즈 협업 레이어를 어떻게 바꾸는지, 멀티테넌트 에이전트 플...
free-claude-code로 Claude Code를 자체호스팅 모델에 연결하기 - 17개 프로바이더 라우팅 프록시 실측
36.7k 스타의 free-claude-code는 Claude Code 트래픽을 Anthropic 호환 FastAPI 프록시로 받아 17개 프로바이더로 분기합니다. 로컬 Ollama 백엔드로 직접 라우팅해 레이턴시를 측정하고, Python 3.14 하드 요구가 만든 배포 리스크까지...
DFlash 추측 디코딩: 블록 확산으로 vLLM 추론을 최대 15배 빠르게
DFlash는 토큰을 하나씩 그리던 EAGLE-3 드래프터를 블록 확산 드래프터로 바꿔, 미래 토큰 블록을 한 번의 전방 패스로 제안합니다. vLLM·SGLang·TensorRT-LLM에 드롭인으로 붙고, 공개 수치 기준 단일 스트림 무손실 6배, Blackwell 처리량 최대 1...
Claude Code를 사내 모델로 라우팅하기 - claude-code-router로 비용 효율적 코딩 인프라 구축
claude-code-router로 Claude Code 트래픽을 glm-5.2·MiniMax-M2.7·Kimi K2로 분기합니다. 세 모델을 실제로 호출해 검증하고, MiniMax thinking 누수를 고치고, 모든 라우팅 모델이 Sonnet보다 싼지 상시 측정하는 루프까지 구...
Android 에뮬레이터를 컨테이너로 - docker-android로 K8s 위에 재현 가능한 디바이스 팜 만들기
docker-android는 Android 에뮬레이터를 단일 컨테이너로 패키징해 헤드리스로 띄우는 오픈소스 프로젝트입니다. 이미지 크기와 KVM 요구사항을 실제 문서 기준으로 확인하고, ThakiCloud K8s 플랫폼에서 디바이스 패스스루 워크로드를 운용하는 관점을 정리합니다.
Claude Code로 영상을 만든다: claude-code-video-toolkit을 직접 돌려봤습니다
Claude Code 안에서 슬래시 명령 한두 개로 1080p 영상을 렌더링하는 오픈소스 toolkit입니다. API 키 없이 examples/hello-world를 실제로 클론해 렌더했더니 750프레임 25초짜리 1080p 영상이 18초 만에 나왔습니다. 구조와 실측, 그리고 T...
사람 데이터 한 줌이면 충분합니다: self-play 운전 정책에 사람을 정규화 앵커로 거는 법
순수 self-play는 빠르지만 사람과 호환되지 않는 운전 관습으로 수렴합니다. arXiv 2606.19370은 사람 데이터를 주 신호가 아니라 30분짜리 경량 정규화 앵커로 얹어, 모방학습 대비 2500배 적은 데이터로 더 안전한 정책을 얻는 방법을 정량적으로 보입니다.
0.9B로 문서 파싱 SOTA: PaddleOCR-VL을 직접 설치해 한국어·아랍어로 돌려봤습니다
PaddlePaddle이 공개한 0.9B 초소형 비전-언어 모델 PaddleOCR-VL을 직접 설치해 한국어·영어·아랍어가 섞인 문서로 추론을 돌려봤습니다. 2단계 아키텍처와 다국어 성능, 그리고 ThakiCloud의 멀티테넌트 문서 인텔리전스 관점에서 의미를 정리합니다.
Micron-Anthropic 협약: 메모리가 AI 인프라의 전장이 되다
Micron이 Anthropic에 HBM·DRAM·SSD를 공급하고 AI 워크로드용 메모리 아키텍처를 공동 설계하며 시리즈 H에 투자했습니다. 이 협약을 통해 왜 메모리 대역폭이 LLM 추론의 진짜 병목인지, 온프레미스 AI 인프라 관점에서 무엇을 의미하는지 분석합니다.
추론 엔진을 고르지 마세요, 하드웨어 전략을 고르세요
vLLM이냐 SGLang이냐 TensorRT-LLM이냐를 먼저 고민하는 것은 순서가 틀렸습니다. 한 엔지니어가 제시한 하드웨어 우선 선택법은, 가진 하드웨어와 워크로드 모양이 엔진을 결정하게 두라고 말합니다. 이 프레임을 ThakiCloud의 쿠버네티스 GPU 서빙 운영 관점에서 ...
Sakana Fugu: 모델이 모델을 지휘하는 오케스트레이션 시대
Sakana AI가 공개한 Fugu는 여러 LLM을 동적으로 조율하면서도 단일 모델처럼 동작하는 오케스트레이션 시스템입니다. 멀티에이전트 플랫폼 관점에서 이 구조가 왜 중요한지, ThakiCloud의 멀티테넌트 에이전트 운영에 어떤 의미가 있는지 분석합니다.
Hermes Bible: Hermes Agent 문서와 실전 워크플로를 한 번에 검색합니다
Nous Research의 Hermes Agent 공식 문서 169페이지와 커뮤니티가 만든 실전 워크플로 28개를 한곳에 색인해 ⌘K 한 번으로 검색하는 비공식 커뮤니티 사이트입니다. 무엇을 담고 있고, 공식 문서와 어떻게 다른지, 그리고 1000개가 넘는 스킬과 룰을 운용하는 T...
Fable 5가 내 코드의 100%를 쓴다는 말, 플랫폼 관점에서 따져봅니다
Claude Code를 만든 사람이 ‘Fable 5가 내 코드의 100%를 쓰고 있고 Opus보다 최소 3배 강력하다’고 말했다는 인용이 돌았습니다. 검증되지 않은 수치는 인용으로만 두고, 공식적으로 확인되는 사실(가격, 컨텍스트, 벤치마크)과 에이전트형 코딩이 실제로 무엇을 바꾸...
논문 한 편을 13개 에이전트가 함께 씁니다: Academic Research Skills를 직접 붙여 본 기록
문헌 조사부터 투고 가능한 원고까지, 10단계 파이프라인을 자동으로 잇는 Claude Code 스킬팩을 ThakiCloud 에이전트 환경에 실제로 통합해 봤습니다. 13개 연구 에이전트, 2단계 피어리뷰, 100퍼센트 인용 검증이라는 설계가 무엇을 의미하는지, 그리고 검증 우선(v...
한 사람이 시네마틱 웹사이트를 만드는 시대: Gemini 3.1 + Seedance 2.0 워크플로를 뜯어봤습니다
웹 디자이너 빅터 오디가 공개한 16분 튜토리얼은 Gemini 3.1로 사이트 구조를 짜고 Seedance 2.0으로 시네마틱 영상을 입혀, 과거 1만 달러를 받던 마케팅 사이트를 한 사람이 만드는 과정을 보여줍니다. 이 단일 운영자 워크플로가 무엇을 압축했는지, 그리고 멀티모달 ...
Fable 5가 구독에서 빠지는 날, 우리가 다시 생각해야 할 것
Anthropic이 Fable 5를 6월 22일까지만 구독 플랜에 무료로 포함하고, 23일부터는 종량제 크레딧으로 돌립니다. 프런티어 모델의 용량 경제학과, 그것이 LLM 소싱 전략과 소버린 AI에 주는 교훈을 ThakiCloud 관점에서 정리합니다.
매일 밤 스스로 진화하는 AI 하네스 - Nightly Self-Evolving Harness
사람이 자는 동안 시스템이 어제의 실패에서 배우고 스스로 개선됩니다. ThakiCloud의 야간 자가진화 루프와 arXiv:2606.09498 Self-Harness 패러다임이 만나는 방식을 공개합니다.
로컬 LLM 추론의 ‘바이블’: 하드웨어를 먼저 정하면 엔진은 따라옵니다
r/LocalLLaMA GPU 모더레이터 Ahmad Osman이 무료 공개한 로컬 LLM 추론 종합 가이드를 정리합니다. llama.cpp부터 vLLM, TensorRT-LLM, NVIDIA Dynamo까지 시나리오별 엔진 선택을 ThakiCloud 서빙 관점에서 분석합니다.
LLM 운영 비용을 라우터와 가드레일로 통제한 실전기 - $705/일 사고에서 배운 것
하루 $705 청구서 사고를 솔직하게 공개하고, 1개월 감사에서 발견한 원인(Opus 메인 세션 90.3%)과 처방(모델 라우팅, 회고 기반 에스컬레이션, cron화, 컨텍스트 위생)을 수치로 증명합니다. Paxis 비용인식 라우터와의 제품화 연계까지.
환자 데이터를 외부로 내보내지 않고 사내에서 LLM 파인튜닝하기 - 의료·바이오 온프렘 AI 구축
의료 기관이 환자 데이터를 외부 클라우드로 반출하지 않고 사내 GPU 클러스터에서 도메인 특화 LLM을 파인튜닝하고 서빙하는 전체 워크플로를 설명합니다. ThakiCloud AI Platform의 6종 파인튜닝, DevSpace, vLLM Scale-to-Zero 적용 사례를 다룹...
GLM-5.2: GPT-5.5를 넘은 MIT 오픈웨이트, 그리고 소버린 서빙의 기회
중국 Z.ai(Zhipu)가 MIT 라이선스로 공개한 744B MoE 코딩 모델 GLM-5.2를 정리합니다. SWE-bench Pro 62.1로 GPT-5.5를 앞서면서도 6분의 1 비용이라는 주장을, vLLM 셀프호스팅과 ThakiCloud의 온프레미스 서빙 관점에서 분석합니다.
OPD 사후학습: GLM-5.2는 어떻게 10개 넘는 전문가 모델을 이틀 만에 합쳤나
Z.ai는 GLM-5.2를 만들면서 RL 사후학습 인프라 전체를 오픈소스로 공개했습니다. 10개가 넘는 전문가 모델을 약 이틀 만에 병합한 OPD 사후학습을 분석하고, 오픈된 RL 스택이 온프레미스 학습에 주는 의미를 ThakiCloud K8s 관점에서 정리합니다.
망분리 공공기관을 위한 주권 AI 구축 가이드: 온프레미스 LLM 레퍼런스 아키텍처
외부 클라우드를 쓸 수 없는 공공·정부 기관이 사내 GPU 인프라에서 LLM을 안전하게 서비스하는 방법을 설명합니다. ThakiCloud AI Platform의 에어갭 배포 레퍼런스 아키텍처와 보안·거버넌스 설계를 소개합니다.
1인 AI 엔지니어가 1,620개 스킬 스택을 운영하는 법
스킬 1,620개, 서브에이전트 55개, 야간 자가진화, 비용 가드레일까지. 솔로 AI 팀이 거대한 자동화 스택을 유지하는 운영 체계 전체를 공개합니다.
스킬 1,600개를 노이즈 없이 라우팅하는 법 - AI 에이전트 스킬 생태계 운영기
Claude Code 기반으로 1,620개 스킬을 1인 운영하면서 체득한 라우팅 설계 원칙. SRA(Skill Retrieval Augmentation) + BM25 게이트, description 품질 규율, 실측 벤치를 솔직하게 공개합니다.
‘자는 동안 일하는 AI’의 진짜 엔지니어링: Opus 4.8 동적 워크플로와 병렬 서브에이전트를 뜯어봤습니다
‘40가지 워크플로로 자는 동안 돈을 번다’는 바이럴 X 아티클이 타임라인을 흔들었습니다. 패시브 인컴이라는 포장은 과장이지만, 그 밑에 깔린 동적 워크플로와 병렬 서브에이전트 팬아웃, 그리고 루프를 닫는 검증 게이트는 실재합니다. 무인 장기 실행 에이전트가 만들어내는 GPU 워크...
GPU 클러스터 운영비 최적화: Kueue 페어셰어 + Gang Scheduling + Scale-to-Zero
1,000 GPU 클러스터에서 연간 최대 수천만 달러를 낭비하는 세 가지 병목 지점을 K8s 네이티브 스케줄링으로 회수하는 방법을 설명합니다.
GPT-5.5를 1/6 비용으로 따라잡은 오픈웨이트: GLM-5.2를 자체 호스팅 관점에서 뜯어봤습니다
Z.ai가 MIT 라이선스로 공개한 744B MoE 코딩 모델 GLM-5.2가 SWE-bench Pro와 Terminal-Bench에서 GPT-5.5를 앞섰고, 비용은 약 1/6이라는 보도가 나왔습니다. Vercel CEO까지 감탄한 이 모델을 벤치마크 사실 확인, vLLM·SGL...
에이전트 네이티브 클라우드란 무엇인가: Skills와 Policies를 일급 리소스로
VM 중심 클라우드가 자율 AI 에이전트 운영에 부적합한 이유, 그리고 Skills·Tools·Policies·Audit Logs를 일급 리소스로 다루는 에이전트 네이티브 인프라 설계 원칙을 살펴봅니다.
세 거인의 서로 다른 미래관: 허사비스·황·아모데이가 빌더 조직에 남기는 것
AGI·인프라·노동이라는 세 렌즈로 AI의 미래를 달리 보는 허사비스, 황, 아모데이의 세계관을 비교하고, 불확실성이 겹치는 지금 빌더 조직이 각자에게서 무엇을 취해야 하는지 종합한다.
에이전트가 회사를 운영하는 시대: 젠슨 황의 비전과 조직 문화의 재편
NVIDIA CEO 젠슨 황의 ‘엔지니어 1인당 수백 개 에이전트’ 비전이 현실화될 때 조직 구조와 일하는 방식은 어떻게 바뀌어야 하는가.
AGI는 아직 멀었다: 데미스 허사비스의 현실주의와 기대 관리의 문화
DeepMind CEO 허사비스의 ‘AGI와 거리가 멀다’ 발언을 출발점으로, AI 조직이 과대광고 대신 정직한 기대치 설정을 문화로 삼아야 하는 이유를 살핀다.
AI가 최고의 의사결정자라면: 데이터가 직관을 이기는 결정 문화
젠슨 황의 ‘시장이 붙인 별명’을 출발점으로, Moneyball 계승 심화, 데이터가 직관을 이기는 의사결정 문화를 어떻게 조직에 뿌리내릴 것인가
소프트웨어가 공짜가 되면 엔지니어는 무엇을 하는가: 다리오 아모데이의 예언
코드의 한계비용이 0에 수렴할 때, 엔지니어링 팀의 가치는 ‘무엇을 만드는가’에서 ‘무엇을 만들어야 하는가를 아는가’로 옮겨간다.
제조 운영을 자율 에이전트팀으로 자동화하는 방법
MLOps 인력 부족과 멀티공장 클러스터 관리 문제를 멀티페르소나 자율 에이전트팀으로 해소하는 실전 접근법을 소개합니다. ThakiCloud AI Platform과 Paxis가 스마트팩토리 운영에 어떻게 적용되는지 가상 제조사 케이스로 설명합니다.
금융권 AI 거버넌스와 감사 자동화: 규제 충족과 자율 에이전트 통제
은행·증권·보험사가 AI 에이전트를 도입할 때 부딪히는 데이터 국내저장, 감사추적, 내부통제 요구사항을 정책엔진과 해시체인 감사 로그로 충족하는 방법을 가상 케이스로 살펴봅니다.
스킬팩 한 장으로 코딩 에이전트의 성격이 바뀐다면: 엔터프라이즈 AI 가드레일을 다시 봅니다
한 보안 연구자가 라우팅 설정 한 장으로 범용 코딩 에이전트를 20여 개의 전문 워크플로로 재배치하는 스킬팩을 공개하면서, 본인 스스로 위험한 이중용도 프로젝트라고 못 박았습니다. 이 사건은 특정 도구의 문제가 아니라 AI 에이전트라는 실행 주체가 만든 새로운 공격면의 문제입니다....
STORM 방법론으로 박사급 리서치를 자동화하기: 4단계 지식 큐레이션 워크플로
스탠퍼드 OVAL 연구실의 STORM은 질문을 던지고, 다관점으로 조사하고, 개요를 잡고, 인용이 달린 보고서를 생성하는 LLM 지식 큐레이션 시스템입니다. 이 방법론을 4프롬프트 워크플로로 옮긴 사례와 ThakiCloud 멀티에이전트 지식노동 관점을 정리합니다.
에이전트 스킬 라이브러리로 실증 연구를 자동화하기: 스탠퍼드 REAP 사례와 그 한계
스탠퍼드 REAP 기반 CoPaper.AI가 공개한 23,000개 이상의 실증 연구 에이전트 스킬 라이브러리를 분석합니다. ‘20분 톱저널 논문’ 주장의 과장을 헷지하고, 멀티에이전트 지식노동 자동화의 진짜 가치와 미해결 과제를 정리합니다.
스킬 하나로는 안 풉니다: SkillWeaver가 보여준 컴포지셔널 스킬 라우팅과 분해의 병목
복합 사용자 요청은 스킬 하나를 고르는 문제가 아니라 여러 개를 조합하는 문제입니다. SkillWeaver(arXiv:2606.18051)는 이 문제를 정식화하고, 진짜 병목이 검색기가 아니라 ‘분해’에 있음을 데이터로 짚어냅니다.
TPU v2부터 Ironwood까지: 5세대로 본 구글 트레이닝 슈퍼컴퓨터의 진화
구글이 TPU v2부터 Ironwood까지 5세대 트레이닝 슈퍼컴퓨터의 아키텍처 안정성, 규모, 회복탄력성, 전력 효율, 지속가능성을 정리한 논문(arXiv:2606.15870)을 분석합니다. 대규모 AI 인프라 설계의 교훈을 MLOps 관점에서 정리합니다.
URL 한 글자로 논문을 재현하기: alphaXiv autoresearch와 GPU 재현성 자동화
arXiv URL의 ‘arxiv’를 ‘autoarxiv’로 바꾸면 에이전트가 코드베이스 환경 설정, 최소 재현 실행, GPU 복제 비용 추정을 자동 수행합니다. AI 연구 재현성 문제를 에이전트로 자동화하는 접근을 Kueue 기반 GPU 오케스트레이션 관점에서 분석합니다.
RL 사후학습을 인프라로: slime 오픈소스 프레임워크와 RL 스케일링
Z.ai가 오픈소스화한 slime은 RL 스케일링을 위한 LLM 사후학습 프레임워크입니다. GLM-5.2 사후학습에 쓰인 이 인프라를 분석하고, RL 사후학습 스택을 ThakiCloud K8s 학습 인프라 관점에서 정리합니다.
753B 오픈웨이트를 소비자 GPU에서: GLM-5.2와 온프레미스 LLM 서빙 경제성
753B 규모 SOTA 오픈웨이트 모델 GLM-5.2를 RTX 4090 소비자 GPU에서 구동한 사례를 분석합니다. DSA 희소 어텐션 커널 이식과 온프레미스 대형 LLM 서빙 경제성을 ThakiCloud 서빙 관점에서 정리합니다.
8GB GPU에서 도는 Gemma 4 12B: QAT와 TurboQuant로 본 컨슈머 추론 경제성
Gemma 4 12B를 QAT와 TurboQuant로 RTX 4060 8GB에서 구동한 커뮤니티 벤치마크를 분석합니다. 양자화 인식 학습과 컨슈머 GPU 서빙이 온프레미스 추론 경제성에 던지는 함의를 ThakiCloud 서빙 관점에서 정리합니다.
스킬을 ‘소프트웨어처럼’ 다루는 메타스킬: yao-meta-skill v1.1.0 직접 검증 리포트
Anthropic 공식 Skill-creator보다 강력하다고 입소문이 난 오픈소스 메타스킬 yao-meta-skill을 ThakiCloud 환경에 직접 클론하고 로컬 검증 게이트를 돌렸습니다. Skill IR, Output Eval Lab, Review Studio 2.0의 구조...
구조화 프롬프트로 이미지 스타일을 제어하기: 5섹션 계층형 프롬프트 기법
여행 사진을 스튜디오 지브리 스타일 애니메이션으로 변환하는 구조화 프롬프트 기법을 분석합니다. 피사체/배경/스타일/구도/품질을 계층으로 분리하고 원본 보존을 앵커링하는 방법, 그리고 ThakiCloud 이미지 서빙·프롬프트 템플릿 제품화 관점을 정리합니다.
Nature급 그림과 교열을 코드로: nature-skills를 직접 돌려 본 학술 버티컬 리포트
Nature 저널 기준의 과학 그림 생성과 학술 교열을 묶은 오픈소스 Claude 스킬 패키지 nature-skills를 직접 클론하고, nature-figure로 ThakiCloud 서빙 데이터를 제출 등급 2패널 그림으로 렌더링했습니다. 편집 가능한 SVG 36개 텍스트 태그까...
LLM 없이 PDF를 마크다운으로: LiteParse와 RAG 인제스트 비용·데이터 주권
LlamaIndex가 발표한 LiteParse는 LLM 없이 PDF를 마크다운으로 변환하는 Apache 2.0 오픈소스 파서입니다. 모델 비의존 파서의 비용·데이터 주권 이점과 한계를 ThakiCloud RAG 문서 인제스트 관점에서 정리합니다.
토큰 비용을 34~71% 깎는 가역 압축: Headroom 실측 리포트와 ThakiCloud 컨텍스트 위생
AI 코딩 에이전트의 가장 큰 숨은 비용은 컨텍스트입니다. Headroom(headroom-ai)을 ThakiCloud repo의 실제 JSON 도구 출력 3종에 직접 돌려 토큰 절감률을 측정했습니다. SmartCrusher가 무손실 가역 압축으로 토큰을 최대 71.2% 줄이는 과...
로컬에서 도는 멀티에이전트: Gemma 4 26B로 10개 병렬 서브에이전트 오케스트레이션
Gemma 4 26B를 로컬에서 띄워 10개 병렬 서브에이전트로 SVG 아트 갤러리를 코딩하는 데모를 분석합니다. 온프레미스 추론 경제성과 멀티에이전트 오케스트레이션을 ThakiCloud K8s 서빙 관점에서 정리합니다.
SkillRet: 에이전트가 수천 개 스킬을 다루는 시대의 검색 표준을 ThakiCloud가 만들다
LLM 에이전트가 수천 개의 재사용 스킬을 운용할 때 정확한 스킬 검색이 병목이 됩니다. ThakiCloud가 직접 연구하고 Apache-2.0로 전부 공개한 대규모 벤치마크 SkillRet을 소개합니다.
SkillOpt: 에이전트 스킬을 훈련 가능한 텍스트 컴포넌트로 최적화하다 (arXiv:2605.23904)
에이전트 스킬 문서를 외부 최적화 대상으로 삼아 스코어링된 롤아웃을 제어된 편집(추가/삭제/교체)으로 변환하는 SkillOpt를 분석한다. GPT-5.5에서 최대 +23.5 포인트 성능 향상을 보고한다.
보상 없이 스스로 진화하는 LLM 에이전트: 월드 노리지 탐색 기반 학습 (arXiv:2604.18131)
외부 보상 신호 없이 에이전트가 자체적으로 세계 지식을 생성하고 그 지식으로 다운스트림 성능을 높이는 훈련 방법론을 분석한다. 웹 태스크 성능 20% 향상, Qwen3-14B가 Gemini-2.5-Flash를 넘어선 결과를 포함한다.
코드가 에이전트 하네스다: AI 에이전트 인프라의 세 계층 구조 (arXiv:2605.18747)
코드가 AI 에이전트 시스템의 기반 인프라로 기능하는 방식을 하네스 인터페이스, 하네스 메커니즘, 멀티에이전트 조율 세 계층으로 체계화한 서베이를 분석한다.
Autogenesis: 에이전트가 스스로를 고치는 자기진화 프로토콜 (arXiv:2604.15034)
프롬프트, 툴, 메모리를 버전 관리 가능한 ‘프로토콜 리소스’로 추상화해 에이전트가 스스로 개선 루프를 닫는 Autogenesis Protocol(AGP)의 설계와 실험 결과를 분석한다.
NVIDIA Nemotron-3-Ultra-550B: LatentMoE 하이브리드, 1M 컨텍스트, 한국어 지원 온프렘 분석
NVIDIA가 OpenMDW-1.1 라이선스로 공개한 Nemotron-3-Ultra-550B-A55B는 Mamba-2와 MoE, Attention을 결합한 LatentMoE 하이브리드 아키텍처다. 최소 B200 8장이 필요하고 한국어를 포함한 10개 언어를 공식 지원한다.
MiniMax-M3: 428B MoE 멀티모달, 1M 컨텍스트와 MSA로 M2.7 대비 prefill 9배 빨라졌다
MiniMaxAI가 공개한 M3은 428B 총 파라미터, 23B 활성 파라미터 MoE 멀티모달 VLM이다. 1M 컨텍스트, MiniMax Sparse Attention, SGLang/vLLM 지원. 라이선스는 minimax-community로 상용 배포 전 원문 확인 필수.
MiniMax-M2.7: 229B 오픈웨이트 에이전트 모델, 113종 양자화와 온프렘 라이선스 주의사항
MiniMax가 공개한 M2.7은 229B 파라미터, FP8 지원, 113종 양자화 변형으로 온프렘 경로가 다양하다. 에이전트 팀 협업과 자기진화를 표방하지만, 라이선스가 ‘other’로 상용 배포 전 반드시 원문을 확인해야 한다.
Kimi K2.6: 1T MoE, 32B Active, 300 서브에이전트 스웜 아키텍처 분석
Moonshot AI의 Kimi K2.6은 1T 총 파라미터 중 32B만 활성화하는 MoE 구조로 dense 32B급 추론 비용을 유지하면서 256K 컨텍스트와 멀티모달을 지원한다. 300 서브에이전트 스웜 기능이 K8s 멀티테넌트 에이전트 환경과 자연스럽게 연결된다.
GLM-5.2: 753B MoE, 1M 컨텍스트, MIT 라이선스 온프렘 서빙 가이드
Z.ai의 GLM-5.2는 DSA(Dynamic Sparse Attention)로 1M 컨텍스트를 2.9x FLOPs 절감하며 처리한다. MIT 라이선스로 온프렘 배포가 자유롭고, GGUF 29종 양자화로 소비자급 GPU에서도 실행된다.
FastContext-1.0-4B-SFT: 코딩 에이전트 저장소 탐색 전용 4B 서브에이전트 모델
Microsoft가 공개한 FastContext-1.0-4B-SFT는 Qwen3-4B를 파인튜닝한 코딩 에이전트 서브에이전트 모델이다. READ/GLOB/GREP 세 가지 도구만 써서 저장소를 탐색하고 근거를 찾는다. 262K 컨텍스트, MIT 라이선스.
DiffusionGemma 26B-A4B: 이산 텍스트 확산으로 15~20 토큰을 한 번에 생성하는 Google의 실험
Google DeepMind가 공개한 DiffusionGemma-26B-A4B-it는 MoE 기반 VLM이되, 텍스트 생성을 autoregressive가 아니라 이산 확산(discrete diffusion)으로 수행한다. 25.2B 총 파라미터, 3.8B 활성, 256K 컨텍스트,...
우리가 Claude Code를 직접 가르치는 이유: ThakiCloud 사내 세미나 자료 공개
환경설정부터 놓치기 쉬운 기능까지. ThakiCloud 개발팀이 Claude Code를 내재화한 과정과 세미나 자료 전체를 공개합니다.
주제 한 줄에서 판매용 이북까지: ai-ebook-launch 스킬로 만든 6일, 5권
리서치부터 표지, 세일즈 퍼널, 배포 스크립트까지 한 파이프라인으로 묶은 이북 제작 스킬을 실제로 돌려본 기록.
NVFP4로 Blackwell GPU에서 LLM 서빙 비용 절반 줄이기
NVIDIA Blackwell의 네이티브 4비트 부동소수점 포맷 NVFP4가 H100 FP8 대비 어떤 이점을 주는지, 그리고 vLLM/TensorRT-LLM 스택에서 실제로 적용하는 방법을 설명한다.
NVFP4 다음을 준비한다: vLLM으로 서빙하는 양자화 기법 총정리 (Unsloth 포함)
Blackwell 전용 NVFP4 말고, Hopper·Ampere에서 오늘 당장 vLLM으로 서빙 가능한 양자화 기법을 정리합니다. AWQ·GPTQ·FP8·W4A16·compressed-tensors부터 Unsloth Dynamic 2.0까지, 실제 레시피와 서빙 플래그로.
vLLM + Prometheus + Kueue: K8s LLM 서빙 관측가능성 실전 설계
GPU 활용률과 KV 캐시 압박, 토큰 처리량까지 모니터링하는 LLM 서빙 관측 스택을 Kubernetes 멀티테넌트 환경에 실제로 구성하는 방법을 다룹니다.
GPU를 더 사도 안 풀린다: llm-d 분산추론과 GPU + 어떤 NPU/XPU든 이기종 아키텍처
llm-d는 GPU를 늘리는 대신 같은 GPU에서 더 많은 요청을 처리하는 추론 스케줄러입니다. KV-cache aware 라우팅과 prefill/decode 분리의 원리부터, vLLM 호환이면 어떤 가속기(Rebellions·Furiosa 등 NPU, Intel·TPU 등 XPU...
GPU 한 장의 진짜 원가부터: ThakiCloud가 AI 추론 비용을 최적화하는 법
GPU 감가상각 공식, Kueue 갱 스케줄링, vLLM scale-to-zero, 모델 티어 라우팅까지. ThakiCloud가 내부에서 추론 비용을 줄이는 방식과, 고객이 같은 레버를 제품에서 당기는 방법을 코드와 수식으로 정리합니다.
Ollama를 Kubernetes에서 프로덕션으로 운용하는 법
Ollama를 단순 로컬 실험 도구가 아닌 K8s 클러스터의 LLM 서빙 레이어로 올리는 실전 패턴을 정리했습니다.
Kueue로 GPU 워크로드 선점 제어하기: ClusterQueue 설계와 우선순위 패턴
Kueue의 선점(Preemption) 메커니즘과 ClusterQueue 설계 원칙을 실제 AI/ML 플랫폼 운용 관점에서 정리했습니다.
Vibe-Coding-Instruct: 110만 샘플로 경량 코드 에이전트를 SFT하는 방법
lazarus19가 공개한 Vibe-Coding-Instruct는 Apache-2.0, 110만 개 코딩 instruction-response 쌍 데이터셋이다. 이미 7개 Gemma/Qwen 파생 모델을 훈련한 실적이 있으며, 커스텀 코드 에이전트 SFT 파이프라인 구축에 바로 쓸...
Fable-5-traces: 코딩 에이전트 세션 trace로 소형 모델을 蒸溜하는 방법
Glint-Research가 공개한 Fable 5(Claude Code) 에이전트 trace 4,665개. AGPL-3.0, HF Agent Traces 포맷, tool-use 81% 구성. 소형 모델 distillation과 자가호스팅 코드 에이전트 구축에 활용하는 실전 가이드.
Agents Last Exam: 컴퓨터 사용 에이전트 평가 기준이 왜 153개 장기 과제로 진화했는가
agents-last-exam은 153개 장기 과제로 컴퓨터 사용 에이전트를 평가하는 벤치마크 데이터셋이다. Business, Computing, Engineering, Legal 등 5개 도메인, CC-BY-4.0 라이선스. 자체 모델 벤치마킹 파이프라인 구축 가이드.
LLM 에이전트 관찰가능성: 트레이싱, 평가 루프, 프로덕션 디버깅
멀티에이전트 시스템에서 전통적인 로깅이 왜 통하지 않는지, 그리고 스팬 트레이싱·평가 파이프라인·프로덕션 디버깅을 어떻게 구축하는지 실전 관점에서 정리합니다.
Goclone: 웹사이트를 몇 초 만에 컴퓨터로 복제하기
HTML, CSS, JavaScript, 이미지를 포함한 전체 웹사이트를 로컬 머신에 다운로드할 수 있는 강력한 Go 기반 웹사이트 클로너 Goclone 사용법을 배워보세요.
RAGLight 완벽 가이드: 기본 RAG부터 에이전트 워크플로우까지
RAGLight 프레임워크를 마스터하세요. RAG, Agentic RAG, RAT 파이프라인, MCP 통합을 통해 강력한 검색 증강 생성 시스템을 구축하는 실전 가이드입니다.
Qwen3-VL: 고급 위치 임베딩과 다층 특징 융합을 통한 비전-언어 모델의 진화
Interleaved-MRoPE, DeepStack 특징 융합, 텍스트-타임스탬프 정렬을 포함한 Qwen3-VL의 아키텍처 혁신과 이를 통해 실현된 우수한 멀티모달 추론 및 장문맥 비디오 이해 능력에 대한 심층 탐구
LangGPT: 구조화된 프롬프트 엔지니어링 프레임워크로 AI 상호작용 마스터하기
LangGPT의 구조화된 프레임워크를 사용하여 고품질의 재사용 가능한 프롬프트를 만드는 방법을 배워보세요. 혼란스러운 프롬프트 엔지니어링을 체계적인 방법론으로 변환하는 템플릿, 예제, 모범 사례를 제공합니다.
udocker: 루트 권한 없이 Docker 컨테이너 실행하는 완벽 가이드
udocker를 사용하여 루트 권한 없이 Docker 컨테이너를 실행하는 방법을 배워보세요. HPC 환경, 공유 시스템, 보안 컨테이너 실행에 완벽한 솔루션입니다.
Shannon AI Agent Orchestrator: 엔터프라이즈급 AI 에이전트 관리 완전 가이드
엔터프라이즈급 보안, 비용 제어, 벤더 유연성을 제공하는 오픈소스 AI 에이전트 오케스트레이터 Shannon의 설치부터 고급 멀티 에이전트 워크플로우까지 완전한 가이드를 제공합니다.
Helm Dashboard: Kubernetes Helm 차트 UI 관리 완벽 가이드
Helm Dashboard에 대한 종합 튜토리얼 - 시각적 인터페이스로 Kubernetes 차트 관리를 단순화하고 리비전 히스토리와 손쉬운 롤백 기능을 제공하는 Helm의 필수 UI 도구.
AI 코딩 어시스턴트: 개발 생산성을 극대화하는 완벽 가이드
GitHub Copilot, ChatGPT, Claude 등 AI 기반 코딩 도구를 마스터하여 개발 워크플로우를 가속화하고 더 나은 코드를 빠르게 작성하는 방법을 알아보세요.
OpenAI, AgentKit 출시: AI 에이전트 개발의 혁신적 플랫폼
OpenAI가 에이전트 개발을 수개월에서 수시간으로 단축시키는 종합 도구 세트 AgentKit을 발표했습니다. 시각적 워크플로우 설계와 엔터프라이즈급 배포 기능을 제공합니다.
에이전틱 루프 설계: AI 코딩 에이전트 완전 가이드
AI 코딩 에이전트를 위한 효과적인 에이전틱 루프 설계 방법을 마스터하세요. 안전 실습, 도구 선택, 실제 구현 전략을 학습합니다.
컨텍스트 엔지니어링: AI 코딩 어시스턴트 마스터하기 완전 가이드
컨텍스트 엔지니어링을 마스터하세요 - 프롬프트 엔지니어링보다 10배, 바이브 코딩보다 100배 뛰어난 혁신적 접근법. AI 코딩 어시스턴트를 진정으로 효과적으로 만드는 방법을 배워보세요.
OpenAI DevDay 2025에서 Agent Builder 공개: 시각적 AI 워크플로우 생성의 새로운 시대
OpenAI가 Zapier와 n8n에 직접 경쟁하는 드래그 앤 드롭 AI 워크플로우 생성 도구인 Agent Builder를 발표했습니다. MCP 커넥터와 사전 구축된 템플릿을 제공합니다.
ytDownloader: 멀티플랫폼 비디오 다운로드를 위한 완벽한 설치 및 사용 가이드
ytDownloader 마스터하기 - YouTube, TikTok, Instagram 등 수백 개 사이트를 지원하는 현대적인 GUI 애플리케이션. 설치, 고급 기능, 최적화 팁을 학습하세요.
VibeKit: AI 코딩 에이전트를 위한 궁극의 보안 계층 - 완전 가이드
VibeKit을 사용하여 Claude Code, Gemini 등 AI 코딩 에이전트를 안전한 격리 샌드박스에서 실행하고, 내장된 데이터 편집 및 포괄적인 관찰 가능성을 활용하는 방법을 학습하세요.
LandingAI Agentic Document Extraction 완전 가이드: AI 기반 PDF 및 이미지 처리
LandingAI의 Agentic Document Extraction 라이브러리를 활용한 지능형 문서 처리 마스터하기. 복잡한 PDF, 이미지, 문서에서 구조화된 데이터를 AI 파싱 기능으로 추출하는 방법을 학습합니다.
기술적 역량을 넘어선 커리어 성장 전략
기술적 우수성은 모든 커리어의 기초이지만, 진정한 성장을 위해서는 기술적 능력, 제품 사고, 프로젝트 실행, 그리고 인간관계 기술이라는 네 가지 핵심 역량을 균형 있게 발전시켜야 합니다.
LLM 데이터셋 큐레이션 완전 가이드: 훈련부터 선호도 정렬까지
LLM 후훈련을 위한 필수 데이터셋과 도구들을 탐구합니다. 지도 미세조정 데이터셋, 선호도 정렬 데이터, 그리고 고품질 AI 모델 구축을 위한 큐레이션 방법론을 다룹니다.
Awesome Public Datasets: 고품질 오픈 데이터의 보고
농업부터 e스포츠까지 다양한 분야의 엄선된 공개 데이터셋 컬렉션을 통해 전 세계 오픈 데이터 커뮤니티의 노하우를 만나보세요.
NVIDIA Nemotron 6백만 다국어 추론 데이터셋 공개 - 오픈소스 AI 생태계 강화
NVIDIA가 6백만 개의 다국어 추론 데이터셋을 공개하며 프랑스어, 스페인어, 독일어, 이탈리아어, 일본어 5개 언어로 확장된 고품질 훈련 데이터를 제공합니다.
NVIDIA Granary: 25개 유럽 언어를 지원하는 대규모 다언어 음성 데이터셋
64만 시간의 오디오 데이터로 구성된 NVIDIA의 최신 다언어 음성 인식 및 번역 데이터셋, Granary의 특징과 활용 방안을 알아봅니다.
Rowfill: 지식 근로자를 위한 비정형 데이터 처리 플랫폼 완전 가이드
PDF, 이미지, 오디오 파일을 자동으로 구조화하는 오픈소스 AI 플랫폼 Rowfill의 핵심 기능과 활용법을 알아보세요.
AnyCrawl: LLM 친화적 웹 크롤러 완전 가이드 - AI 데이터 수집의 새로운 표준
Node.js/TypeScript로 구축된 AnyCrawl로 웹사이트를 LLM 친화적 데이터로 변환하고, Google/Bing SERP 결과를 효율적으로 수집하는 방법을 마스터해보세요.
ByteDance Dolphin 문서 이미지 파싱: Fox 데이터셋과 벤치마크 완전 분석
ByteDance에서 공개한 Dolphin 프로젝트의 Fox 데이터셋과 벤치마크를 상세히 분석합니다. ACL 2025에 게재된 최신 문서 이해 기술과 3천만 개 이상의 샘플로 구성된 대규모 데이터셋을 알아보세요.
dots.ocr: 1.7B 파라미터로 달성한 SOTA 다국어 문서 파싱 - 완전 분석
RedNote가 공개한 dots.ocr로 다국어 문서 레이아웃 분석과 OCR을 단일 비전-언어 모델에서 구현하는 방법을 알아봅니다.
ML 엔지니어가 알아야 할 핵심 스킬 가이드 - 채용 담당자와 지원자를 위한 필수 체크리스트
프로덕션 환경에서 ML 애플리케이션을 구축하기 위해 필요한 핵심 기술 스택과 역량을 정리한 실무 중심 가이드
AI 코딩 시대의 문화 혁신: 저항에서 협력으로의 패러다임 전환
Vibe Coding과 Agentic Coding이 가져온 새로운 개발 문화를 어떻게 받아들이고 발전시킬 것인가? 과거의 관습에서 벗어나 AI와 함께하는 협업 문화 구축 가이드
Saberr로 팀 케미를 데이터화하는 채용·조직 운영 전략
15분 설문과 행동 데이터로 팀 궁합을 정량화해 채용부터 온보딩까지 전 과정을 최적화하는 Saberr 알고리즘 활용법
머니볼 사고로 데이터 기반 조직 문화 만들기
데이터로 숨은 가치를 발굴해 자원 대비 최대 성과를 이끄는 머니볼 전략을 개발·제품·채용에 적용하는 방법
해킹과 역엔지니어링: AI 바이브 코딩 시대의 새로운 방법론
AI 시대의 개발자는 모든 것을 알 필요 없다. 해킹 마인드셋과 역엔지니어링 정신으로 무지를 강점으로 전환하는 새로운 패러다임을 탐구한다.
AI Engineering Learning Roadmap
AI 엔지니어링을 시작하려는 분들을 위한 학습 로드맵입니다. 순서대로 따라가도 되고, 관심 있는 영역부터 먼저 파도 됩니다.
백엔드·인프라 엔지니어 채용: 10대 필독서와 우리가 찾는 사람
백엔드·인프라 엔지니어 채용을 위한 10대 필독서와 실무 적용 사례를 통해 우리가 찾는 인재상과 채용 기준을 소개합니다.
Three Vs-Driven MLOps at ThakiCloud: Why You’ll Want to Join Us
ThakiCloud의 Three Vs(속도, 검증, 버전관리) 기반 MLOps 문화와 실전 사례, 그리고 함께할 동료를 찾는 채용 안내를 담았습니다.
[Thaki Cloud Life & 커리어] KCD Seoul 2025
KCD Seoul 2025에서 발표한 자료를 공유합니다. xPU as a Service 기반 Agentic AI 플랫폼Thaki Cloud에 대한 내용입니다
Thaki Cloud Life & 커리어 가이드
Thaki Cloud의 기업 문화, 복지, 개발자들의 이야기, 채용 정보 등을 공유합니다.
[Thaki Cloud Life & 커리어] 미션, 원칙, 가치
Thaki Cloud의 미션, 원칙, 그리고 가치를 공유합니다.