Qwen3.6-27B을 4비트로: NVFP4 양자화가 Hopper까지 내려온 이유
NVIDIA가 공개한 Qwen3.6-27B-NVFP4는 27B 하이브리드 어텐션 추론 모델을 4비트로 눌러 메모리를 약 2.5배 줄이면서도 FP8 대비 벤치마크 차이를 1%p 이내로 유지합니다. 지난 Gemma NVFP4가 Blackwell 전용이었던 것과 달리 이번 빌드는 Hop...
오픈 워크플로우 관리
Gemma 4 전체 라인업 정리: Apache 2.0 오픈웨이트 5종 모델과 온프렘 서빙 가이드
Google DeepMind가 2026년 4월 공개한 Gemma 4는 E2B부터 31B까지 5종으로 구성된 멀티모달 오픈웨이트 패밀리입니다. Apache 2.0 라이선스, 256K 컨텍스트, 26B MoE와 31B Dense의 차이, 그리고 온프렘 서빙 관점에서 각 모델을 어떻게 ...
DGX Spark 한 대로 Gemma 4 26B를 16배 병렬로: NVFP4 양자화와 가성비 솔직 리뷰
NVIDIA가 공개한 Gemma-4-26B-A4B-NVFP4를 DGX Spark 한 대에서 16배 병렬로 돌리면 스트림당 약 18토큰/초, 합산 약 300토큰/초가 나옵니다. 25.2B MoE를 4비트로 압축해 14GB대에 올리는 NVFP4의 원리, 단일 스트림 대 동시성의 트레이...
NVIDIA Nemotron-3-Ultra-550B: LatentMoE 하이브리드, 1M 컨텍스트, 한국어 지원 온프렘 분석
NVIDIA가 OpenMDW-1.1 라이선스로 공개한 Nemotron-3-Ultra-550B-A55B는 Mamba-2와 MoE, Attention을 결합한 LatentMoE 하이브리드 아키텍처다. 최소 B200 8장이 필요하고 한국어를 포함한 10개 언어를 공식 지원한다.
MiniMax-M3: 428B MoE 멀티모달, 1M 컨텍스트와 MSA로 M2.7 대비 prefill 9배 빨라졌다
MiniMaxAI가 공개한 M3은 428B 총 파라미터, 23B 활성 파라미터 MoE 멀티모달 VLM이다. 1M 컨텍스트, MiniMax Sparse Attention, SGLang/vLLM 지원. 라이선스는 minimax-community로 상용 배포 전 원문 확인 필수.
MiniMax-M2.7: 229B 오픈웨이트 에이전트 모델, 113종 양자화와 온프렘 라이선스 주의사항
MiniMax가 공개한 M2.7은 229B 파라미터, FP8 지원, 113종 양자화 변형으로 온프렘 경로가 다양하다. 에이전트 팀 협업과 자기진화를 표방하지만, 라이선스가 ‘other’로 상용 배포 전 반드시 원문을 확인해야 한다.
Kimi K2.6: 1T MoE, 32B Active, 300 서브에이전트 스웜 아키텍처 분석
Moonshot AI의 Kimi K2.6은 1T 총 파라미터 중 32B만 활성화하는 MoE 구조로 dense 32B급 추론 비용을 유지하면서 256K 컨텍스트와 멀티모달을 지원한다. 300 서브에이전트 스웜 기능이 K8s 멀티테넌트 에이전트 환경과 자연스럽게 연결된다.
GLM-5.2: 753B MoE, 1M 컨텍스트, MIT 라이선스 온프렘 서빙 가이드
Z.ai의 GLM-5.2는 DSA(Dynamic Sparse Attention)로 1M 컨텍스트를 2.9x FLOPs 절감하며 처리한다. MIT 라이선스로 온프렘 배포가 자유롭고, GGUF 29종 양자화로 소비자급 GPU에서도 실행된다.
FastContext-1.0-4B-SFT: 코딩 에이전트 저장소 탐색 전용 4B 서브에이전트 모델
Microsoft가 공개한 FastContext-1.0-4B-SFT는 Qwen3-4B를 파인튜닝한 코딩 에이전트 서브에이전트 모델이다. READ/GLOB/GREP 세 가지 도구만 써서 저장소를 탐색하고 근거를 찾는다. 262K 컨텍스트, MIT 라이선스.
DiffusionGemma 26B-A4B: 이산 텍스트 확산으로 15~20 토큰을 한 번에 생성하는 Google의 실험
Google DeepMind가 공개한 DiffusionGemma-26B-A4B-it는 MoE 기반 VLM이되, 텍스트 생성을 autoregressive가 아니라 이산 확산(discrete diffusion)으로 수행한다. 25.2B 총 파라미터, 3.8B 활성, 256K 컨텍스트,...