숫자 하나를 믿지 않는 평가: 이진 분해와 결정론 게이트로 짓는 주권형 LLM 심판 서비스
LLM을 채점자로 쓰는 ‘LLM-as-a-judge’는 이제 모델 개발의 기본값이지만, 2026년 들어 쌓인 증거는 단일 점수를 내는 스칼라 심판이 프롬프트와 위치에 취약하고 중간값으로 쏠리며 적대적 입력 앞에서 동전 던지기 수준으로 무너진다는 사실을 보여줍니다. 병원이나 은행, ...
LLM을 채점자로 쓰는 ‘LLM-as-a-judge’는 이제 모델 개발의 기본값이지만, 2026년 들어 쌓인 증거는 단일 점수를 내는 스칼라 심판이 프롬프트와 위치에 취약하고 중간값으로 쏠리며 적대적 입력 앞에서 동전 던지기 수준으로 무너진다는 사실을 보여줍니다. 병원이나 은행, ...
dair.ai 주간 논문 정리에서 ThakiCloud 관점으로 세 편을 깊게 읽습니다. 메타인지 피드백으로 표준 RL을 최대 63% 넘어선 RLMF, 메모리를 학습 가능한 스킬로 다뤄 Qwen2.5-32B를 Opus 4.5급으로 끌어올린 AutoMem, LLM 통합 애플리케이션의 ...
AI control의 핵심 방어선인 ‘신뢰 못 하는 강한 모델을 약한 감시 모델로 통제한다’는 전제는 감시자와 정책 모델이 같은 텍스트를 읽는다는 가정 위에 서 있습니다. 온프렘 멀티테넌트 클러스터에서는 이 가정이 조용히 무너집니다. 서로 다른 토크나이저와 정규화 규칙이 감시자는 ...
구글 딥마인드가 공개한 약 57페이지 보고서 From AGI to ASI는 초지능을 먼 사고실험이 아니라 지금 준비해야 할 계획 문제로 다룹니다. 스케일링, 알고리즘 전환, 재귀적 자기개선, 다중 에이전트 집단 형성이라는 네 갈래 경로와 그 각각을 가로막는 물리적 한계를 짚습니다....
오픈 언어 모델의 다운로드와 추론 사용량을 한자리에서 측정한 ATOM 리포트는, 중국 오픈 모델이 2025년 여름 미국 진영을 추월한 뒤 격차를 벌려 왔다는 사실을 데이터로 보여 줍니다. Qwen 계열은 허깅페이스 누적 다운로드 약 10억 건을 넘겼고, OpenRouter 추론 시...
1,000 TPS를 넘긴 JetSpec 같은 스펙큘레이티브 디코딩 성과는 전부 단일 테넌트, 여유 연산력이 넘치는 B200급 하드웨어를 전제로 합니다. Kueue와 쿠버네티스로 여러 테넌트를 함께 배치하는 온프렘 클러스터에서는 같은 정책이 오히려 지연을 늘립니다. ThakiClou...
거대 LLM과 에이전트 스킬이 좋아질수록 파인튜닝은 필요 없어진다는 체감이 업계에 퍼지고 있습니다. 실제로 OpenAI는 셀프서브 파인튜닝 API를 접는 중입니다. 그런데 같은 한 달 동안 정반대 방향의 신호도 쏟아졌습니다. 19일간의 프론티어 모델 셧다운, 파인튜닝을 전제로 설계...
구글이 과학 논문을 통째로 읽어 이론 결과를 검증하고 실험을 확인하며 잠재적 오류를 찾아내는 에이전트형 리뷰 도구 PAT를 공개했습니다. Gemini Deep Think의 추론 스케일링으로 단발 프롬프트의 한계를 넘어서고, STOC와 ICML 파일럿에서 4,700편이 넘는 투고를 ...
로봇은 과제를 풀 때마다 시행착오를 버리고 매번 처음부터 다시 더듬습니다. NVIDIA의 ASPIRE는 LLM이 로봇 제어 코드를 직접 짜고, 실행에서 실패를 관찰해 수리하며, 검증된 수리 경험을 재사용 가능한 스킬로 증류하는 지속 학습 시스템입니다. 양팔 핸드오버 성공률이 추가 ...
15개 프로덕션 MCP 서버를 분석한 최신 논문이 다섯 가지 아키텍처 패턴과 네 가지 안티패턴을 정리했습니다. 핵심은 도구가 일정 수를 넘으면 모델의 도구 선택 정확도가 무너진다는 실측 결과입니다.
스킬 라이브러리가 커질수록 에이전트 성능이 오히려 떨어진다는 최근 연구를 정리합니다. arXiv 2605.24050은 성능 하락을 스킬 섀도잉과 컨텍스트 과부하로 분해하고, 진짜 병목이 컨텍스트가 아니라 잘못된 스킬 선택임을 보입니다. ThakiCloud Paxis의 스킬 하니스가...
에이전트에게 스킬을 프롬프트로 넣어주는 방식은 컨텍스트를 잡아먹고 쉽게 깨집니다. 최근 연구는 절차적 메모리를 프롬프트 템플릿에서 빌드·검색·갱신이 분리된 구조로, 나아가 파라메트릭 신경 정책으로 옮기고 있습니다. Memp와 AFTER 벤치마크를 중심으로 이 전환의 지형을 정리하고...
arXiv에 올라온 ‘The Hitchhiker’s Guide to Agentic AI: From Foundations to Systems’는 LLM 기질부터 정렬·추론, 에이전트 시스템, 그리고 프로덕션 배포까지 에이전트 AI의 전 계층을 한 번에 꿰는 실무 레퍼런스입니다. 네 ...
Anthropic이 2026년 6월 26일 공개한 Economic Index ‘Cadences’ 보고서는 7일 샘플을 버리고 시간 단위 연속 텔레메트리로 전환했습니다. 여기에 산출물 분류기와 설문 데이터를 결합해, AI 영향 측정을 채팅 로그에서 다층 혼합 방법론으로 끌어올립니다....
arXiv 2606.24775 ‘Are We Ready For An Agent-Native Memory System?’은 LLM 에이전트 메모리를 RAG가 아니라 하나의 데이터 관리 시스템으로 보고, 12개 메모리 시스템을 4개 모듈로 분해해 측정합니다. 논문 초록과 공개 코드를 ...
Baidu가 공개한 Unlimited OCR은 디코더의 어텐션을 Reference Sliding Window Attention으로 바꿔 KV 캐시를 상수로 유지합니다. 수십 페이지 문서를 한 번의 순전파로 파싱하는 원리와, ThakiCloud 멀티테넌트 추론 관점의 의미를 정리했습...
Alibaba Qwen이 공개한 Qwen-AgentWorld는 행동을 학습하는 대신 환경 자체를 예측하도록 학습한 언어 월드 모델입니다. arXiv 기술 보고서와 공식 벤치마크를 근거로 핵심 아이디어와 실제 수치, 그리고 ThakiCloud 에이전트 플랫폼 관점의 의미를 정리했습니다.
순수 self-play는 빠르지만 사람과 호환되지 않는 운전 관습으로 수렴합니다. arXiv 2606.19370은 사람 데이터를 주 신호가 아니라 30분짜리 경량 정규화 앵커로 얹어, 모방학습 대비 2500배 적은 데이터로 더 안전한 정책을 얻는 방법을 정량적으로 보입니다.
PaddlePaddle이 공개한 0.9B 초소형 비전-언어 모델 PaddleOCR-VL을 직접 설치해 한국어·영어·아랍어가 섞인 문서로 추론을 돌려봤습니다. 2단계 아키텍처와 다국어 성능, 그리고 ThakiCloud의 멀티테넌트 문서 인텔리전스 관점에서 의미를 정리합니다.
사람이 자는 동안 시스템이 어제의 실패에서 배우고 스스로 개선됩니다. ThakiCloud의 야간 자가진화 루프와 arXiv:2606.09498 Self-Harness 패러다임이 만나는 방식을 공개합니다.
스탠퍼드 OVAL 연구실의 STORM은 질문을 던지고, 다관점으로 조사하고, 개요를 잡고, 인용이 달린 보고서를 생성하는 LLM 지식 큐레이션 시스템입니다. 이 방법론을 4프롬프트 워크플로로 옮긴 사례와 ThakiCloud 멀티에이전트 지식노동 관점을 정리합니다.
스탠퍼드 REAP 기반 CoPaper.AI가 공개한 23,000개 이상의 실증 연구 에이전트 스킬 라이브러리를 분석합니다. ‘20분 톱저널 논문’ 주장의 과장을 헷지하고, 멀티에이전트 지식노동 자동화의 진짜 가치와 미해결 과제를 정리합니다.
복합 사용자 요청은 스킬 하나를 고르는 문제가 아니라 여러 개를 조합하는 문제입니다. SkillWeaver(arXiv:2606.18051)는 이 문제를 정식화하고, 진짜 병목이 검색기가 아니라 ‘분해’에 있음을 데이터로 짚어냅니다.
구글이 TPU v2부터 Ironwood까지 5세대 트레이닝 슈퍼컴퓨터의 아키텍처 안정성, 규모, 회복탄력성, 전력 효율, 지속가능성을 정리한 논문(arXiv:2606.15870)을 분석합니다. 대규모 AI 인프라 설계의 교훈을 MLOps 관점에서 정리합니다.
arXiv URL의 ‘arxiv’를 ‘autoarxiv’로 바꾸면 에이전트가 코드베이스 환경 설정, 최소 재현 실행, GPU 복제 비용 추정을 자동 수행합니다. AI 연구 재현성 문제를 에이전트로 자동화하는 접근을 Kueue 기반 GPU 오케스트레이션 관점에서 분석합니다.
LLM 에이전트가 수천 개의 재사용 스킬을 운용할 때 정확한 스킬 검색이 병목이 됩니다. ThakiCloud가 직접 연구하고 Apache-2.0로 전부 공개한 대규모 벤치마크 SkillRet을 소개합니다.
에이전트 스킬 문서를 외부 최적화 대상으로 삼아 스코어링된 롤아웃을 제어된 편집(추가/삭제/교체)으로 변환하는 SkillOpt를 분석한다. GPT-5.5에서 최대 +23.5 포인트 성능 향상을 보고한다.
외부 보상 신호 없이 에이전트가 자체적으로 세계 지식을 생성하고 그 지식으로 다운스트림 성능을 높이는 훈련 방법론을 분석한다. 웹 태스크 성능 20% 향상, Qwen3-14B가 Gemini-2.5-Flash를 넘어선 결과를 포함한다.
코드가 AI 에이전트 시스템의 기반 인프라로 기능하는 방식을 하네스 인터페이스, 하네스 메커니즘, 멀티에이전트 조율 세 계층으로 체계화한 서베이를 분석한다.
프롬프트, 툴, 메모리를 버전 관리 가능한 ‘프로토콜 리소스’로 추상화해 에이전트가 스스로 개선 루프를 닫는 Autogenesis Protocol(AGP)의 설계와 실험 결과를 분석한다.
Interleaved-MRoPE, DeepStack 특징 융합, 텍스트-타임스탬프 정렬을 포함한 Qwen3-VL의 아키텍처 혁신과 이를 통해 실현된 우수한 멀티모달 추론 및 장문맥 비디오 이해 능력에 대한 심층 탐구
ByteDance에서 공개한 Dolphin 프로젝트의 Fox 데이터셋과 벤치마크를 상세히 분석합니다. ACL 2025에 게재된 최신 문서 이해 기술과 3천만 개 이상의 샘플로 구성된 대규모 데이터셋을 알아보세요.