-->

⏱️ 예상 읽기 시간: 8분

서론

대규모 언어 모델 분야가 inclusionAI의 Ring-flash-2.0 출시와 함께 또 다른 획기적인 발전을 목격하고 있습니다. 이 혁신적인 사고형 모델은 전문가 혼합(Mixture of Experts, MoE) 아키텍처에서 상당한 도약을 나타내며, 뛰어난 성능과 놀라운 효율성을 결합했습니다. Ling-flash-2.0-base를 기반으로 구축된 Ring-flash-2.0은 복잡한 추론 작업에 새로운 표준을 설정하는 혁신적인 훈련 방법론과 아키텍처 최적화를 도입했습니다.

Ring-flash-2.0을 특히 주목할 만하게 만드는 것은 뛰어난 계산 효율성을 유지하면서 훨씬 더 큰 모델에 필적하는 성능을 제공할 수 있는 능력입니다. 총 1000억 개의 파라미터를 가지고 있지만 추론당 61억 개만 활성화하는 이 모델은 지능적인 아키텍처 설계가 비례적인 자원 소비 없이 뛰어난 결과를 달성할 수 있음을 보여줍니다.

모델 아키텍처 및 사양

핵심 아키텍처 설계

Ring-flash-2.0은 Ling 2.0 시리즈의 발전을 나타내는 정교한 MoE 아키텍처를 채택합니다. 모델의 설계 철학은 여러 가지 핵심 아키텍처 혁신을 통해 계산 오버헤드를 최소화하면서 성능을 최대화하는 데 중점을 둡니다:

파라미터 구성:

  • 총 파라미터: 1000억 개
  • 추론당 활성화 파라미터: 61억 개 (임베딩 제외 48억 개)
  • 전문가 활성화 비율: 1/32
  • MTP(Mixture of Tensor Parallelism) 레이어 통합

모델의 아키텍처는 용량과 효율성 사이의 놀라운 균형을 달성합니다. 추론 중 총 파라미터의 6.1%만 활성화함으로써, Ring-flash-2.0은 약 400억 개의 파라미터를 가진 밀집 모델에 필적하는 성능을 제공하면서 훨씬 빠른 추론 속도를 유지합니다.

효율성 최적화

Ring-flash-2.0에 구현된 구조적 최적화는 뛰어난 추론 성능을 가능하게 합니다. 단 4개의 H20 GPU에 배포할 때, 모델은 초당 200토큰을 초과하는 생성 속도를 달성합니다. 이러한 고속 추론 능력은 기존 사고형 모델이 확장성 문제에 직면할 수 있는 고동시성 시나리오에서 Ring-flash-2.0을 특히 적합하게 만듭니다.

높은 희소성 설계와 결합된 낮은 활성화 비율은 추론 중 계산 부담을 상당히 줄여, 고급 추론 능력을 실제 애플리케이션에서 더욱 접근 가능하게 만듭니다. 이러한 효율성 돌파구는 프로덕션 환경에서 대규모 사고형 모델을 배포하는 데 있어 주요 우려 사항 중 하나를 해결합니다.

혁신적인 IcePop 알고리즘

훈련-추론 격차 해결

Ring-flash-2.0의 가장 중요한 기여 중 하나는 MoE 모델의 강화학습에서 중요한 도전을 해결하는 IcePop 알고리즘의 도입입니다. MoE 아키텍처의 기존 RL 접근 방식은 특히 시퀀스 길이와 훈련 단계가 증가함에 따라 훈련과 추론 단계 간의 정밀도 불일치로 인해 상당한 어려움에 직면합니다.

IcePop이 해결하는 핵심 문제는 훈련과 추론 정밀도 간의 격차가 점진적으로 확대되는 것과 관련이 있습니다. 기존 접근 방식에서는 동일한 토큰에 대한 훈련과 추론 확률 간의 상대적 차이가 5%를 초과하면 훈련 과정이 사실상 실패합니다. 이러한 제한은 역사적으로 긴 시퀀스를 가진 장기간 강화학습에 중대한 도전을 제기했습니다.

분포 캘리브레이션 메커니즘

IcePop은 마스크된 양방향 절단을 통한 분포 캘리브레이션을 통해 혁신적인 솔루션을 도입합니다. 이 접근 방식은 두 가지 핵심 메커니즘을 통해 훈련과 추론 단계 간의 격차를 효과적으로 줄입니다:

양방향 절단: 알고리즘은 훈련 확률이 추론 확률을 크게 초과하는 시나리오와 훈련 확률이 추론 확률보다 상당히 낮은 반대 상황을 모두 다루는 정교한 절단 작업을 수행합니다. 이러한 양방향 접근 방식은 서로 다른 확률 분포에서 균형 잡힌 최적화를 보장합니다.

마스킹 전략: 훈련과 추론 단계 간에 과도하게 큰 불일치를 보이는 토큰들이 그래디언트 계산에서 전략적으로 제외됩니다. 이러한 선택적 마스킹은 불안정한 그래디언트가 훈련 과정을 불안정하게 만드는 것을 방지하면서 잘 정렬된 토큰에 대한 학습 효율성을 유지합니다.

IcePop 알고리즘은 MoE 아키텍처에 대한 RL 훈련을 안정적이고 효과적으로 만드는 근본적인 발전을 나타내며, 확장된 훈련 주기 동안 복잡한 추론 능력의 지속적인 개선을 가능하게 합니다.

다단계 훈련 파이프라인

포괄적인 훈련 방법론

Ring-flash-2.0은 다양한 영역에서 모델의 능력을 포괄적으로 향상시키도록 설계된 정교한 다단계 훈련 파이프라인을 채택합니다. 훈련 과정은 각각 모델 성능의 특정 측면을 목표로 하는 세 가지 구별되는 단계로 구성됩니다:

1단계: Long-CoT SFT (지도 미세 조정) 초기 단계는 가벼운 Long-Chain-of-Thought 지도 미세 조정을 통해 기본 Ling-flash-2.0 모델에 다양한 사고 패턴을 갖추는 데 중점을 둡니다. 이 기초 단계는 모델의 추론 프레임워크를 확립하고 더 고급 훈련 단계를 위해 준비합니다.

2단계: RLVR (검증 가능한 보상을 통한 강화학습) 두 번째 단계는 검증 가능한 보상을 통한 강화학습을 구현하여 모델의 추론 잠재력을 지속적으로 자극하고 향상시킵니다. 이 단계는 보상 기반 최적화를 통해 객관적으로 평가되고 개선될 수 있는 견고한 추론 능력 개발에 중점을 둡니다.

3단계: RLHF (인간 피드백을 통한 강화학습) 마지막 단계는 인간 피드백을 통합하여 모델의 일반적인 능력을 정제하고 인간의 선호도와 기대에 맞는 정렬을 보장합니다. 이 단계는 모델의 향상된 추론 능력과 실용적인 사용성 및 안전성 고려사항의 균형을 맞춥니다.

훈련 전략 최적화

개발 과정에서 팀은 RLVR과 RLHF를 결합한 공동 훈련 접근 방식과 최종적으로 채택한 2단계 RL 파이프라인을 비교했습니다. 두 방법론 모두 실험 환경에서 유사한 효과를 보였지만, 2단계 접근 방식이 엔지니어링 효율성 관점에서 우수함을 입증했습니다.

RLVR과 RLHF 작업 간의 서로 다른 난이도 수준이 공동 훈련 시나리오에서 도전을 만들었습니다. RLHF 작업은 일반적으로 RLVR 작업에 비해 더 짧은 모델 롤아웃을 포함하여, 공동 훈련 중 더 많은 롱테일 생성을 초래했습니다. 2단계 접근 방식은 각 훈련 단계가 충돌하는 최적화 신호의 간섭 없이 특정 목표에 집중할 수 있도록 하여 이러한 도전을 해결합니다.

성능 벤치마크 및 성과

포괄적인 평가 결과

Ring-flash-2.0은 다양한 도전적인 벤치마크에서 뛰어난 성능을 보여주며, 여러 영역에서 사고형 모델의 새로운 표준을 확립합니다. 평가 과정에는 GPT-OSS-120B(medium), Qwen3-32B-Thinking, Seed-OSS-36B-Instruct, Gemini-2.5-Flash를 포함한 주요 오픈소스 사고형 모델 및 클로즈드소스 API와의 비교가 포함되었습니다.

수학 경시대회 성능: Ring-flash-2.0은 특히 AIME 25 및 Omni-MATH와 같은 경시대회에서 수학적 추론 작업에서 뛰어난 성능을 보입니다. 이러한 벤치마크는 다단계 추론, 패턴 인식, 고급 수학 지식이 필요한 복잡한 수학 문제를 해결하는 모델의 능력을 테스트합니다.

코드 생성 우수성: 모델은 LiveCodeBench 및 CodeForce-Elo 벤치마크에서의 성능으로 입증된 바와 같이 코드 생성 작업에서 우수한 능력을 보여줍니다. 이러한 평가는 프로그래밍 개념을 이해하고, 알고리즘을 구현하며, 다양한 프로그래밍 언어와 복잡성 수준에서 계산 문제를 해결하는 모델의 능력을 테스트합니다.

논리적 추론 능력: 논리적 추론 평가, 특히 ARC-Prize 벤치마크에서 Ring-flash-2.0은 고급 추상적 추론 능력을 보여줍니다. 모델은 패턴을 식별하고, 논리적 추론을 만들며, 정교한 인지 처리가 필요한 문제를 해결할 수 있습니다.

전문 영역 성능

일반적인 추론 작업 외에도, Ring-flash-2.0은 전문 영역에서 강한 경쟁력을 보여줍니다:

과학 및 의학 추론: 모델은 GPQA-Diamond 및 HealthBench 평가에서 인상적인 성능을 보여주며, 복잡한 과학 개념과 의학적 추론 작업을 처리하는 능력을 보여줍니다. 이러한 능력은 Ring-flash-2.0을 의료, 연구, 과학 분석의 전문 애플리케이션에 가치 있게 만듭니다.

창작 글쓰기 능력: 놀랍게도, 주로 복잡한 추론을 위해 설계되었음에도 불구하고, Ring-flash-2.0은 창작 글쓰기 작업(Creative Writing v3)에서 비교된 모든 모델을 능가합니다. 이러한 예상치 못한 강점은 모델의 다재다능함을 보여주고 고급 추론 능력이 창작적 표현을 향상시킬 수 있음을 시사합니다. 모델은 비사고형 모델인 “쌍둥이 형제” Ling-flash-2.0의 창작 능력에 필적합니다.

배포 및 구현

유연한 배포 옵션

Ring-flash-2.0은 여러 배포 프레임워크를 지원하여 다양한 사용 사례와 인프라 요구 사항에 대한 유연성을 제공합니다. 모델은 각각 다른 시나리오에 대한 특정 장점을 제공하는 여러 인기 있는 추론 엔진을 사용하여 배포할 수 있습니다.

Hugging Face Transformers 통합: 모델은 Hugging Face 생태계와 원활한 통합을 제공하여 transformers 라이브러리에 익숙한 개발자들이 쉽게 채택할 수 있습니다. 간단한 API는 모델의 능력을 빠르게 구현하고 테스트할 수 있게 합니다.

vLLM 배포: 고성능 추론 시나리오의 경우, Ring-flash-2.0은 오프라인 배치 추론과 온라인 API 서비스를 모두 제공하는 vLLM을 통한 배포를 지원합니다. vLLM 통합은 최적의 자원 활용을 가능하게 하고 분산 추론을 위한 텐서 병렬성과 같은 고급 기능을 지원합니다.

SGLang 지원: 모델은 전문화된 추론 요구 사항에 대한 추가 옵션을 제공하는 SGLang을 통한 배포도 지원합니다. SGLang 지원에는 BF16 및 FP8 정밀도 옵션이 모두 포함되어 하드웨어 능력과 정확도 요구 사항에 따라 최적화된 성능을 가능하게 합니다.

성능 최적화 기능

Ring-flash-2.0은 배포 최적화를 위한 여러 고급 기능을 포함합니다:

컨텍스트 길이 확장: 모델은 YaRN(Yet another RoPE extensioN) 스케일링을 통한 긴 컨텍스트 처리를 지원하여 성능을 유지하면서 확장된 시퀀스 처리를 가능하게 합니다. 이 능력은 긴 문서 분석이나 확장된 대화가 필요한 애플리케이션에 특히 가치가 있습니다.

추측적 디코딩: 기본 모델 배포의 경우, Ring-flash-2.0은 NEXTN 알고리즘을 통한 추측적 디코딩을 지원하여 적합한 사용 사례에서 추론 속도를 더욱 향상시킵니다.

기술적 혁신과 미래 전망

돌파구의 의미

Ring-flash-2.0은 고급 추론 시스템의 실용적 배포를 제한했던 여러 중요한 도전을 해결하며 사고형 모델 분야에서 중요한 발전을 나타냅니다. IcePop 알고리즘의 성공적인 개발과 구현은 미래 MoE 모델 개발과 훈련 최적화를 위한 템플릿을 제공합니다.

뛰어난 효율성을 유지하면서 선도적인 성능을 달성하는 모델의 능력은 정교한 추론 능력이 계산적 접근성을 희생할 필요가 없음을 보여줍니다. 이러한 돌파구는 다양한 배포 규모에서 고급 AI 추론 능력에 대한 접근을 민주화하는 데 중요한 의미를 갖습니다.

산업 영향

Ring-flash-2.0에 도입된 혁신은 모델 자체를 넘어서 대규모 모델의 효율적인 훈련 방법론에 대한 더 넓은 이해에 기여합니다. IcePop 알고리즘의 훈련-추론 격차 해결 접근 방식은 미래 AI 시스템 개발에 가치 있는 통찰을 제공합니다.

고성능과 효율성을 결합한 모델의 성공은 자원이 제한된 환경에서 고급 추론 능력을 배포할 새로운 가능성을 창출합니다. 이러한 발전은 계산 자원이 제한된 실용적 애플리케이션에서 사고형 모델의 채택을 가속화할 수 있습니다.

결론

Ring-flash-2.0은 돌파구적인 성능과 뛰어난 효율성을 성공적으로 결합하여 사고형 모델의 진화에서 놀라운 성과를 나타냅니다. 혁신적인 IcePop 알고리즘과 정교한 다단계 훈련 파이프라인을 통해, 모델은 다양한 추론 작업에서 선도적인 결과를 제공하면서 MoE 아키텍처 훈련의 근본적인 도전을 해결합니다.

훨씬 더 큰 밀집 모델에 필적하는 성능을 달성하면서 61억 개의 파라미터만 활성화하는 모델의 능력은 지능적인 아키텍처 설계의 힘을 보여줍니다. 적당한 하드웨어 구성에서 초당 200토큰을 초과하는 추론 속도로, Ring-flash-2.0은 실제 애플리케이션에서 고급 추론 능력을 더욱 접근 가능하게 만듭니다.

수학 경시대회, 코드 생성, 논리적 추론, 창작 글쓰기 작업에서의 포괄적인 평가 결과는 Ring-flash-2.0을 복잡한 문제 해결을 위한 다재다능하고 강력한 도구로 확립합니다. 창작 작업에서의 예상치 못한 강점은 서로 다른 인지 능력의 상호 연결된 특성을 더욱 보여줍니다.

AI 분야가 계속 진화함에 따라, Ring-flash-2.0은 성능, 효율성, 실용적 배포 가능성을 결합하는 측면에서 가능한 것에 대한 새로운 표준을 설정합니다. 이 모델에 도입된 혁신은 사고형 모델의 미래 개발에 영향을 미치고 고급 AI 능력의 더 넓은 민주화에 기여할 것입니다.

고급 추론 능력을 구현하려는 조직과 연구자들에게 Ring-flash-2.0은 광범위한 애플리케이션에 대한 탁월한 선택이 되는 성능, 효율성, 접근성의 매력적인 조합을 제공합니다. 모델의 오픈소스 가용성과 포괄적인 배포 지원은 AI 커뮤니티에 대한 가치를 더욱 향상시킵니다.

참고 자료:

참고