라우터를 지키면 양자화가 덜 아프다: MoE 선택적 NVFP4 양자화의 정확도-비용 지도
Mixture-of-Experts(MoE) 모델을 H200이나 Blackwell급 클러스터에서 서빙하고 있거나, 양자화 정책을 도입할지 검토 중인 클라우드·AI 엔지니어라면 이 글이 도움이 될 것입니다. 오늘 소개할 논문은 MoE 모델 전체를 똑같이 NVFP4 4비트로 눌러버리는 균일 양자화 대신, 라우터(게이팅 네트워크)와 트래픽이 적은 “희귀” 전문가만 골라 전정밀도로 지키고 나머지만 4비트로 압축하는 정책을 형식화합니다. 그리고 계획했던 실측 실험이 인프라 결함으로 실행되지 못했다는 사실까지 숨기지 않고 그대로 보고합니다.
문제의식: 균일 양자화는 모든 파라미터가 똑같이 압축 가능하다고 가정한다
MoE 아키텍처는 토큰마다 소수의 전문가(expert) 서브네트워크만 활성화시켜 파라미터 수와 토큰당 연산량을 분리합니다. 그런데 인터랙티브 서빙처럼 배치 크기가 작은 상황에서는 연산량이 아니라 대역폭이 병목이 됩니다. 토큰이 여러 전문가로 흩어지다 보니 각 전문가의 가중치 행렬은 몇 개 토큰을 처리하려고 매번 HBM에서 새로 실려 나오고, GPU는 대부분의 시간을 연산이 아니라 메모리 대기에 씁니다. NVFP4처럼 4비트로 가중치를 압축하는 초저정밀도 포맷은 이 병목을 정면으로 공략하지만, 모델 전체를 균일하게 양자화하는 접근은 모든 파라미터 블록이 똑같이 압축을 견딘다고 암묵적으로 가정합니다.
저자들은 이 가정이 틀렸다고 지적합니다. MoE에는 구조적으로 특별한 두 부분이 있습니다. 하나는 라우터입니다. 라우터의 출력은 argmax를 거쳐 이산적인 라우팅 결정으로 이어지기 때문에, 다른 은닉 상태처럼 노이즈가 더해지는 것으로 끝나지 않고 로짓이 조금만 흔들려도 토큰이 완전히 다른 전문가로 튈 수 있습니다. 다른 하나는 트래픽이 낮은 “희귀” 전문가입니다. 이들은 실려 나오는 빈도가 낮아 전체 대역폭 비용에는 거의 기여하지 않지만, 그 전문가로 라우팅되는 소수의 토큰은 그 전문가의 특화된 표현에 의존합니다. 트래픽 가중 관점에서 보면 라우터와 희귀 전문가는 스트리밍되는 바이트에서 차지하는 비중이 작기 때문에, 보호하는 데 드는 대가는 작으면서 얻는 안정성은 크다는 것이 논문의 핵심 통찰입니다.
Switch-Base-8 MoE 아키텍처를 바탕으로 한 개념적 트래픽 분포입니다. 실측 데이터가 아니라 논문의 정책 설계를 설명하기 위한 예시 그림으로, 트래픽 순위를 정규화한 뒤 RASQ의 레이어별 중앙값 분할 경계를 표시했습니다.
핵심 기여: RASQ 정책과 정직하게 재정의된 비교 질문
논문은 이 정책을 Router-Aware Selective NVFP4 Quantization, 줄여서 RASQ라고 부릅니다. 정의는 간단합니다. MoE 레이어마다 전문가를 트래픽으로 순위를 매기고 중앙값을 기준으로, 트래픽이 많은 상위 절반은 4비트로 양자화하고 트래픽이 적은 하위 절반은 전정밀도(16비트)로 남겨둡니다. 라우터 선형 레이어는 예외 없이 항상 전정밀도로 고정합니다. 저자들은 이 median split이 진짜 “긴 꼬리의 희귀 전문가”만 골라내는 정교한 방법이 아니라 각 레이어 전문가의 절반을 보호하는 거친 근사치라는 점도 분명히 밝히고, 하위 10퍼센트만 보호하는 식의 더 정교한 변형이나 지식배낭(knapsack) 형태의 예산 제약 할당으로 확장할 수 있는 여지를 남겨둡니다.
이 정책을 실제로 비교 가능하게 만들기 위해 논문은 스토리지 비트 단위의 비용 모델을 수식으로 제시합니다. 4비트로 양자화된 레이어는 가중치 4비트에 채널별 스케일·제로포인트 오버헤드를 더해서 계산하고, 전정밀도로 남긴 레이어는 16비트 그대로 계산합니다. 이 틀 안에서 균일 4비트 양자화는 RASQ의 임계값을 극단으로 밀어 모든 전문가를 4비트로 만든 특수한 경우로 정확히 환원됩니다. 즉 균일 양자화와 RASQ는 같은 한 개 파라미터짜리 임계값 계열 위의 두 점일 뿐입니다.
논문 3장의 비용 모델을 기준으로 계산한 개념적 저장 비용 분해입니다. 균일 NVFP4는 모든 전문가 선형 레이어를 4비트로, RASQ는 라우터와 희귀 전문가 레이어를 16비트로 두고 트래픽이 많은 전문가만 4비트로 압축합니다.
여기서 논문이 특히 정직한 대목이 나옵니다. 저자들은 이 정적 스토리지 지표 아래에서는 RASQ가 구성상 필연적으로 균일 4비트보다 더 많은 비트를 저장할 수밖에 없다는 사실을 스스로 짚습니다. 트래픽이 적은 절반을 전정밀도로 지키는 순간 양자화되는 파라미터 수가 줄어들기 때문입니다. 그래서 RASQ가 균일 양자화를 두 축 모두에서 앞서는 엄밀한 파레토 지배를 주장하는 것은 애초에 산술적으로 불가능하며, 그런 주장을 검증하려는 시도 자체가 틀린 질문이라고 못박습니다. 대신 논문이 던지는 잘 정의된 질문은 보간 효율성입니다. 균일 양자화와 전정밀도 기준선 사이의 정확도 격차 중 RASQ가 얼마나 회복하는지를, 그 대가로 지불하는 저장 공간 프리미엄의 비율과 나란히 놓고 비교하는 것입니다. 이를 위해 논문은 google/switch-base-8이라는 실제 공개 Switch-Transformer 모델을 프록시로 삼아, 채널별 affine 4비트 가짜 양자화 연산자로 NVFP4의 정확도 효과를 하드웨어 독립적으로 근사하는 완전한 재현 가능 평가 프로토콜을 세 가지 설정(전정밀도 기준선, 균일 4비트, 선택적 4비트인 RASQ)으로 구체화합니다.
이 프로토콜을 실행하기 위해 실제로 H200 GPU 클러스터에 Kueue 커스텀 라우트 잡을 제출했지만, tkai-prod-compute-h200이라는 GPU 컨텍스트가 제출 시점에 존재하지 않는다는 오류로 잡 자체가 첫 forward pass도 시작하기 전에 실패했습니다. 저자들은 이를 부정적인 실험 결과로 포장하지 않고, “측정된 것이 아니라 건너뛴 것”이라고 있는 그대로 보고합니다. 그 결과 이 논문이 실제로 내놓는 것은 실측치가 아니라 형식화된 정책과 비용 모델, 그리고 클러스터가 복구되는 즉시 그대로 실행할 수 있는 완결된 프로토콜입니다.
회사·사회·과학에 걸친 기여
논문은 기여를 세 층위로 나눕니다. 플랫폼·산업 층위에서는 RASQ를 Kueue 같은 배치 스케줄러가 H200이나 Blackwell급 클러스터에 MoE 추론 잡을 배치할 때 기본값으로 채택할 수 있는 정책으로 제안합니다. 오프라인에서 한 번 트래픽을 프로파일링하고 나면 정적인 정밀도 맵이 고정되므로, 런타임 제어 루프 없이도 모델 로딩·admission 로직과 깔끔하게 결합됩니다. 사회적 층위에서는 토큰당 추론 비용과 에너지를 낮춤으로써, 강력한 오픈 MoE 모델을 자원이 제한된 조직이나 개인도 전정밀도 서빙 비용 부담 없이 쓸 수 있게 넓히는 효과를 기대합니다. 과학적 층위에서는 전문가 트래픽 분포에 기반한 선택적 정밀도 배분이 균일 NVFP4 양자화 대비 정확도-비용 파레토 곡선을 어디까지 개선하는지를 실측 가능한 형태로 질문하며, 균일·블록 단위 NVFP4 양자화를 다뤄온 기존 PTQ 문헌에 저장 비용 모델과 균일 양자화의 엄밀한 특수 케이스 환원, 예산 제약 할당으로의 확장 경로를 더합니다.
정확도-저장비용 파레토 프론티어 위에서 RASQ가 균일 4비트(최소 저장, 최대 오차)와 전정밀도 기준선(최대 저장, 최소 오차) 사이를 어떻게 보간하는지 보여주는 개념도입니다. 실측치가 아니라 4장 한계에서 밝히듯 실제 측정은 이루어지지 않았으며, 정확도 축은 16문장 프로브셋의 크로스엔트로피 손실, 저장 축은 정적 전체 모델 스토리지 비트 기준입니다.
측정치가 없는 대신 논문은 문헌에 근거한 명시적으로 조건부인 예측을 제시합니다. 라우터 로짓 섭동이 라우팅 자체를 불안정하게 만든다는 기존 연구, 전문가 트래픽이 롱테일이라 균일 배분이 예산을 낭비한다는 utilization-aware 정밀도 연구, 저비트 양자화를 비트 예산 대비 품질의 파레토 문제로 보는 스케일링 법칙 연구를 근거로, RASQ가 균일 4비트 대비 정확도 격차의 큰 부분을 작은 저장 프리미엄만으로 회복하는 효율적인 중간점이 될 것이라 기대한다고 밝힙니다. 다만 이는 어디까지나 예측이며, 그 어떤 것도 발견(finding)으로 제시하지 않습니다.
한계
가장 근본적인 한계는 실측이 전혀 없다는 것입니다. 클러스터 인프라 결함으로 잡이 forward pass 전에 실패했기 때문에, 논문에 나오는 모든 수치적 서술은 정의이거나 예측일 뿐 결과가 아닙니다. 두 번째로, 정확도 측정에 쓰는 채널별 affine 4비트 가짜 양자화 연산자는 NVFP4의 2단계 마이크로블록 스케일링 수치 체계와 반올림 방식이 다른 프록시일 뿐입니다. H200은 Hopper 세대라 네이티브 FP4 텐서코어가 없어 이 프록시가 필요했고, 따라서 이 프로토콜은 정확도 효과만 근사할 수 있을 뿐 NVFP4의 실제 처리 속도 향상은 측정할 수 없습니다. 세 번째로, 프로토콜은 top-1 라우팅을 쓰는 소형 Switch-Transformer 모델 하나만 대상으로 하므로, 더 큰 MoE나 top-k 라우팅, 다른 전문가 수를 가진 아키텍처로 결과가 그대로 전이될지는 불확실합니다. 네 번째로, RASQ가 쓰는 정적·오프라인 트래픽 프로파일은 배포 워크로드가 바뀌면 어긋날 위험이 있습니다. 기존 utilization-aware 연구가 보고하듯 전문가 트래픽은 워크로드에 따라 어느 전문가가 핫한지가 달라질 수 있어서, 한 번 계산한 중앙값 분할이 배포 시점에는 엉뚱한 전문가를 보호하고 있을 수 있습니다. 마지막으로, 트래픽 프로파일링과 정확도 평가 모두 같은 16문장짜리 소규모 프로브셋을 재사용하기 때문에 두 측정이 서로 결합돼 있다는 점도 저자들이 스스로 지적하는 약점입니다.
논문 상세 페이지: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-12-nvfp4-moe-selective-quant