-->

⏱️ 예상 읽기 시간: 12분

서론: 선호도 최적화의 진화

인공지능 분야는 모델이 바람직한 출력과 바람직하지 않은 출력을 구별하는 방법을 학습하는 과정에서 근본적인 변화를 경험하고 있습니다. 선호도 최적화는 인간의 기대치와 모델 성능 사이의 격차를 메우는 중요한 패러다임으로 부상하였으며, 머신러닝 훈련에 대한 우리의 접근 방식을 근본적으로 재정립하고 있습니다. 이 분야는 Proximal Policy Optimization(PPO)과 Group Relative Policy Optimization(GRPO)과 같은 전통적인 방법을 넘어 빠르게 발전하여, 현대 AI 시스템의 복잡한 도전과제들을 해결하는 정교한 기법들을 도입하고 있습니다.

선호도 최적화의 이론적 기반은 모델이 출력의 질적 차이를 이해하기 위해 구조화된 피드백 메커니즘이 필요하다는 원리에 근거하고 있습니다. 일반적으로 쌍별 비교나 보상 신호를 통해 표현되는 이러한 피드백은 모델 행동을 원하는 결과로 이끄는 실행 가능한 훈련 신호로 변환되어야 합니다. 이 과정의 수학적 공식화는 매개변수 $\theta$로 매개화된 정책 $\pi_\theta$를 최적화하여 기대 보상을 최대화하는 것입니다:

\[J(\theta) = \mathbb{E}_{x \sim D, y \sim \pi_\theta(y|x)}[R(x, y)]\]

여기서 $D$는 데이터 분포를 나타내고, $R(x, y)$는 입력 $x$와 출력 $y$에 대한 보상 함수를 의미하며, 기댓값은 데이터 분포와 정책의 출력 분포 모두에 대해 취해집니다.

현대 선호도 최적화의 도전과제들은 여러 근본적인 문제들로부터 발생합니다: 모델이 보상 함수의 허점을 악용하는 보상 해킹; 불량한 기울기 추정으로 인한 훈련 불안정성; 샘플링과 비교 과정에서의 계산 비효율성; 그리고 복잡한 다중 모달 작업으로의 확장 어려움 등입니다. 이러한 도전과제들은 현재 이 분야의 최첨단 기술을 대표하는 다섯 가지 혁신적인 접근법의 개발을 촉진하였습니다.

Pref-GRPO: 쌍별 선호도를 통한 보상 해킹 해결

Pref-GRPO는 보상 설계에 대한 혁신적인 접근을 통해 텍스트-이미지 강화학습의 안정화에서 중요한 진전을 나타냅니다. 이 방법은 점별 보상 최대화에서 쌍별 선호도 적합으로의 전환을 통해 최적화 목표를 근본적으로 재개념화하여, 전통적인 보상 기반 훈련의 중요한 취약점을 해결합니다.

Pref-GRPO의 핵심 통찰은 생성된 이미지들 간의 최소한의 점수 차이가 정규화 절차 후에 인위적으로 증폭된다는 관찰에서 비롯됩니다. 이러한 현상은 모델이 사소한 이득을 위해 과도하게 최적화하도록 유도하는 착각적 장점을 만들어내어, 궁극적으로 생성 과정을 불안정하게 만듭니다. 이 문제의 수학적 공식화는 표준 정규화 과정을 통해 표현될 수 있습니다:

\[\hat{r}_i = \frac{r_i - \mu}{\sigma}\]

여기서 $r_i$는 이미지 $i$에 대한 원시 보상을 나타내고, $\mu$는 배치 전체의 평균 보상, $\sigma$는 표준편차입니다. 원시 보상의 분산이 작을 때, 미세한 차이들이 정규화된 공간에서 불균형적으로 확대되어 불안정한 훈련 역학을 야기합니다.

Pref-GRPO는 생성된 이미지 그룹 내에서 쌍별 비교 메커니즘을 구현하여 이 문제를 해결합니다. 절대적인 보상 점수에 의존하는 대신, 이 방법은 선호도 보상 모델을 사용하여 선호도 기반 순위를 통해 이미지를 평가합니다. 이러한 비교에서 파생된 승률이 보상 신호로 사용되어 훈련을 위한 더 안정적인 기반을 제공합니다. 프롬프트 $x$가 주어졌을 때 두 이미지 $y_1$과 $y_2$ 간의 선호도 확률은 다음과 같이 모델링됩니다:

\[P(y_1 \succ y_2 | x) = \sigma(R_{pref}(x, y_1) - R_{pref}(x, y_2))\]

여기서 $R_{pref}$는 선호도 보상 모델을 나타내고 $\sigma$는 시그모이드 함수입니다. 이 공식화는 스케일 불변성 문제를 자연스럽게 처리하면서 상대적 품질 차이에 대한 더 미묘한 피드백을 제공합니다.

UniGenBench를 포괄적인 평가 프레임워크로 도입한 것은 이 연구의 또 다른 중요한 기여를 나타냅니다. 이 벤치마크는 5개의 주요 테마와 20개의 하위 테마에 걸쳐 분산된 600개의 프롬프트를 포함하여, 다양한 의미론적 기준에 걸쳐 텍스트-이미지 모델의 철저한 평가를 가능하게 합니다. 평가 방법론은 다중모달 대형 언어 모델을 활용하여 벤치마크를 구성하고 평가하며, 이전의 인간 주석 의존적 접근법보다 더 객관적이고 확장 가능한 평가 패러다임을 제공합니다.

PVPO: 참조 앵커를 통한 비판자 없는 학습

Pre-Estimated Value-Based Policy Optimization(PVPO)은 이점 추정과 계산 효율성의 근본적인 도전과제를 해결하는 비판자 없는 강화학습에 대한 새로운 접근법을 도입합니다. 전통적인 그룹 기반 정책 방법들은 그룹 내 비교로 인한 누적 편향과 다중 롤아웃에 대한 과도한 의존으로 인해 최적이 아닌 성능과 증가된 계산 비용을 겪습니다.

PVPO의 이론적 기반은 사전 훈련된 참조 모델에서 파생된 참조 앵커 개념에 근거하고 있습니다. 이 앵커는 이점 추정의 기준선 역할을 하여, 동일한 그룹 내에서 샘플을 비교할 때 축적되는 편향을 효과적으로 수정합니다. PVPO에서의 이점 추정은 다음과 같이 공식화될 수 있습니다:

\[A^{PVPO}(x, y) = R(x, y) - R_{ref}(x, y_{ref})\]

여기서 $R_{ref}(x, y_{ref})$는 입력 $x$에 대해 참조 모델을 롤아웃하여 얻은 참조 보상을 나타냅니다. 이 공식화는 그룹 내 비교에만 의존하는 방법들에 비해 더 안정적이고 편향되지 않은 이점 추정을 제공합니다.

PVPO의 데이터 사전 샘플링 구성요소는 참조 모델의 샘플 난이도 평가 능력을 활용하는 지능적인 선택 메커니즘을 도입합니다. 주요 훈련 과정 이전에 다양한 훈련 예제들의 잠재적 학습 가치를 평가함으로써, PVPO는 높은 이득을 가진 데이터 포인트에 계산 자원을 집중할 수 있습니다. 샘플 선택 기준은 현재 정책과 참조 모델 간의 불일치를 기반으로 합니다:

\[S(x) = |\mathbb{E}_{y \sim \pi_\theta}[R(x, y)] - \mathbb{E}_{y \sim \pi_{ref}}[R(x, y)]|\]

더 높은 불일치 점수를 가진 샘플들이 훈련에서 우선순위를 받는데, 이는 현재 정책이 추가 학습으로부터 가장 큰 이익을 얻을 수 있는 영역을 나타내기 때문입니다. 이 접근법은 훈련 효율성을 향상시킬 뿐만 아니라 다양한 작업과 규모에 걸쳐 모델의 일반화 능력을 향상시킵니다.

PVPO의 실험적 검증은 두 개의 서로 다른 도메인에 걸친 9개의 데이터셋에서 효과성을 입증하며, 계산 효율성을 유지하면서 최첨단 성능을 달성합니다. 다양한 규모의 모델에 걸친 방법의 견고한 일반화 능력은 계산 자원과 모델 다양성이 중요한 고려사항인 실제 시나리오에서의 실용적 적용 가능성을 강조합니다.

DCPO: 향상된 토큰 수준 탐색을 위한 동적 클리핑

Dynamic Clipping Policy Optimization(DCPO)은 기존 강화학습 방법의 근본적인 한계인 Group Relative Policy Optimization(GRPO)에서 빈번하게 발생하는 제로 기울기 문제를 해결합니다. 이 문제는 토큰 수준 확률 비율에 적용되는 고정된 클리핑 경계와 동일한 보상의 표준화에서 비롯되며, 이는 비효과적인 기울기 업데이트와 생성된 응답의 불량한 활용으로 이어질 수 있습니다.

DCPO의 핵심 혁신은 토큰별 사전 확률을 기반으로 클리핑 경계를 적응적으로 조정하는 동적 클리핑 전략에 있습니다. 전통적인 클리핑 메커니즘은 모든 토큰에 걸쳐 균일한 경계를 적용하여, 토큰 수준의 불확실성과 중요도에서의 고유한 변동성을 고려하지 못합니다. DCPO에서의 동적 클리핑 경계는 다음과 같이 공식화됩니다:

\[\epsilon_t = \epsilon_{base} \cdot f(p_{prior}(t))\]

여기서 $\epsilon_{base}$는 기본 클리핑 매개변수를 나타내고, $p_{prior}(t)$는 토큰 $t$의 사전 확률, $f(\cdot)$는 토큰 특성에 기반하여 클리핑 경계를 조정하는 스케일링 함수입니다. 이 공식화는 토큰 수준에서 더 미묘한 탐색을 가능하게 하며, 특히 더 적극적인 탐색이 필요할 수 있는 낮은 사전 확률을 가진 토큰들에게 유익합니다.

부드러운 이점 표준화 기법은 DCPO의 또 다른 중요한 구성요소로, 훈련 단계에 걸친 보상 표준화 문제를 해결합니다. 개별 배치 내에서 보상을 표준화하는 대신, DCPO는 여러 훈련 반복에 걸친 보상 통계를 고려하는 누적 표준화 접근법을 구현합니다:

\[\hat{A}_t = \frac{A_t - \mu_{cum}}{\sigma_{cum}}\]

여기서 $\mu_{cum}$과 $\sigma_{cum}$은 최근 훈련 단계들의 슬라이딩 윈도우에 걸쳐 계산된 이점의 누적 평균과 표준편차를 나타냅니다. 이 접근법은 더 안정적인 이점 추정을 제공하고 배치 수준 표준화로 인한 분산을 줄입니다.

AIME24와 AIME25 벤치마크에서의 실험 결과는 DAPO와 GRPO 모두에 비해 DCPO의 우수한 성능을 보여줍니다. Qwen2.5-Math-7B 모델을 사용한 AIME24 벤치마크에서 DCPO는 탐욕적 디코딩 하에서 46.7의 Avg@1과 32번 샘플링 하에서 38.8의 Avg@32를 달성하여, 기준선 방법들을 크게 앞섰습니다. 이 방법은 또한 4개의 서로 다른 모델에 걸쳐 GRPO에 비해 비영점 이점에서 28% 향상을 보여주었으며, 뛰어난 성능을 달성하면서도 GRPO와 DAPO 모두에 비해 토큰 클리핑 비율을 한 자릿수 감소시켰습니다.

ARPO: 다중 턴 에이전트 시스템 최적화

Agentic Reinforced Policy Optimization(ARPO)은 외부 도구와 상호작용하는 다중 턴 대형 언어 모델 에이전트를 최적화하기 위해 특별히 설계된 전문화된 접근법을 나타냅니다. 이 방법은 에이전트 시스템에서 발생하는 고유한 도전과제들을 해결하는데, 여기서 도구 사용의 순차적 성격과 다단계 추론의 복잡성은 정교한 최적화 전략을 요구합니다.

에이전트 시스템 최적화의 근본적인 도전과제는 시간적 신용 할당 문제에 있습니다: 순서에서 각 행동이 최종 결과에 얼마나 기여하는지를 결정하는 것입니다. 전통적인 강화학습 방법들은 특히 외부 도구 사용이 추가적인 복잡성과 잠재적 실패 지점을 도입할 때 이러한 귀속으로 어려움을 겪는 경우가 많습니다. ARPO는 엔트로피 기반 적응형 롤아웃 메커니즘과 이점 귀속 방법을 통해 이를 해결합니다.

ARPO의 엔트로피 기반 적응형 롤아웃 전략은 에이전트의 현재 상태의 불확실성을 기반으로 탐색 행동을 동적으로 조정합니다. 도구 사용 후, 에이전트가 새로운 정보를 처리하고 활용해야 할 때, 탐색 전략은 최적의 도구 후 행동을 발견하기 위해 더 적극적이 됩니다. 탐색 계수는 에이전트의 행동 분포의 엔트로피를 기반으로 조절됩니다:

\[\beta_t = \beta_{base} \cdot \exp(\alpha \cdot H(\pi_\theta(\cdot|s_t)))\]
여기서 $H(\pi_\theta(\cdot s_t))$는 상태 $s_t$에서의 정책 분포의 엔트로피를 나타내고, $\beta_{base}$는 기본 탐색 계수, $\alpha$는 스케일링 매개변수입니다. 더 높은 엔트로피 상태는 증가된 탐색을 받아 에이전트가 도구 출력 활용을 위한 효과적인 전략을 더 잘 발견할 수 있게 합니다.

ARPO의 이점 귀속 방법은 다단계 추론 과정에 걸친 신용 할당에 대한 더 정교한 접근법을 제공합니다. 모든 단계에 걸쳐 균일한 할인을 적용하는 대신, 이 방법은 신용을 분배할 때 의미론적 중요성과 도구 상호작용 패턴을 고려합니다. 시간 단계 $t$에서 행동 $a_t$에 대한 귀속된 이점은 다음과 같이 계산됩니다:

\[A_{attr}(s_t, a_t) = \sum_{k=0}^{T-t} \gamma^k \cdot w_{t,t+k} \cdot r_{t+k}\]

여기서 $w_{t,t+k}$는 미래 보상이 현재 행동에 대한 관련성을 설명하는 가중 인수를 나타내며, 특히 시간 단계 $t$와 $t+k$ 사이에 도구 상호작용이 발생하는지를 고려합니다.

ARPO의 실용적 이익은 향상된 성능 지표를 넘어 향상된 자원 효율성과 더 원칙적인 도구 사용 패턴을 포함합니다. 각 행동이 전체 결과에 대한 기여를 더 잘 이해함으로써, ARPO로 훈련된 에이전트들은 외부 도구의 더 전략적이고 경제적인 사용을 보여주며, 작업 성능을 유지하거나 향상시키면서 계산 오버헤드를 줄입니다.

GRPO-RoC: 품질 중심의 재샘플링 전략

Group Relative Policy Optimization with Resampling-on-Correct(GRPO-RoC)는 지능적인 재샘플링 전략을 통해 강화학습에서 품질-다양성 트레이드오프를 관리하는 정교한 접근법을 도입합니다. 이 방법은 견고한 추론 시스템을 훈련하는 데 있어 중요한 도전과제를 해결합니다: 고품질 학습 신호를 보장하면서 훈련 예제에서 충분한 다양성을 유지하는 것입니다.

GRPO-RoC의 핵심 방법론은 2단계 과정을 포함합니다: 과샘플링 후 전략적 재샘플링. 초기 과샘플링 단계에서, 이 방법은 표준 훈련 절차에서 일반적으로 사용되는 것보다 더 많은 수의 롤아웃을 생성합니다. 이 과샘플링은 다양한 추론 경로와 잠재적 해결 전략을 포착하는 풍부한 다양한 응답 풀을 만듭니다. 과샘플링 비율은 일반적으로 특정 작업 요구사항과 계산 제약에 따라 표준 롤아웃 수의 2-5배로 설정됩니다.

재샘플링 전략은 GRPO-RoC의 혁신적인 핵심을 나타내며, 최고 품질의 올바른 해답만을 유지하면서 잘못된 응답에서 다양성을 보존하는 품질 인식 선택 메커니즘을 구현합니다. 이 접근법은 다양한 잘못된 응답이 일반적인 실패 모드와 추론 함정에 대한 가치 있는 학습 신호를 제공하는 반면, 중복된 올바른 응답은 학습 효율성 측면에서 수익이 감소한다는 통찰에 기반합니다.

올바른 응답에 대한 재샘플링 기준은 추론 명확성, 해결책 우아함, 계산 효율성과 같은 품질 지표를 우선시합니다. 올바른 응답 집합 ${y_1^+, y_2^+, …, y_k^+}$에 대해, 선택 과정은 복합 품질 점수에 따라 순위를 매깁니다:

\[Q(y_i^+) = \alpha \cdot R_{quality}(y_i^+) + \beta \cdot R_{efficiency}(y_i^+) + \gamma \cdot R_{clarity}(y_i^+)\]

여기서 다양한 보상 구성요소들은 해결책 품질의 여러 측면을 포착하고, $\alpha$, $\beta$, $\gamma$는 작업별 우선순위에 따라 조정될 수 있는 가중 매개변수입니다.

잘못된 응답의 경우, 재샘플링 전략은 잠재적 실패 모드의 포괄적 커버리지를 보장하기 위해 다양성 보존을 강조합니다. 다양성 지표는 임베딩 기반 유사성 측정이나 추론 체인의 구조적 분석과 같은 기법을 사용하여 계산됩니다. 목표는 추가적인 학습 가치를 제공하지 않는 중복된 잘못된 응답을 제거하면서 다양한 오류 유형의 대표적인 샘플을 유지하는 것입니다.

코딩 환경에서의 GRPO-RoC의 실험적 검증은 추론 견고성과 노이즈 감소에서 상당한 개선을 보여줍니다. 잘못된 응답에서 교육적 다양성을 보존하면서 고품질 올바른 해답에 집중하는 방법의 능력은 더 안정적이고 효과적인 학습 과정으로 이어집니다. 이 접근법은 해결책 품질이 크게 변하고 실패 모드로부터 학습하는 것이 올바른 행동을 강화하는 것만큼 중요한 도메인에서 특히 가치가 있습니다.

이론적 함의와 미래 방향

이러한 다섯 가지 선호도 최적화 기법의 출현은 선호도 기반 피드백을 통해 AI 시스템을 효과적으로 훈련하는 방법에 대한 우리의 이해에서 중요한 진화를 나타냅니다. 각 방법은 모델 행동을 인간의 기대와 작업 요구사항에 맞추는 더 넓은 도전과제의 특정 측면을 해결하여, 선호도 최적화를 위한 더 포괄적인 이론적 프레임워크에 기여합니다.

이러한 발전의 이론적 함의는 개별적 기여를 넘어 이 분야의 몇 가지 중요한 트렌드를 시사합니다. 첫째, 더 정교한 보상 모델링과 선호도 도출로의 전환은 복잡한 작업에 대해 단순한 점별 보상 함수가 불충분하다는 인식이 증가하고 있음을 나타냅니다. Pref-GRPO의 쌍별 선호도 접근법과 PVPO의 참조 앵커 방법론 모두 더 미묘하고 안정적인 보상 신호 생성으로의 움직임을 나타냅니다.

둘째, DCPO와 ARPO에서 적응형 메커니즘에 대한 강조는 맥락 인식 최적화 전략의 중요성을 강조합니다. 모든 상황에 걸쳐 균일한 최적화 정책을 적용하는 대신, 이러한 방법들은 토큰 확률, 상태 불확실성, 또는 추론 순서 내의 시간적 위치와 같은 지역적 특성에 기반하여 훈련 절차를 동적으로 조정하는 가치를 보여줍니다.

셋째, GRPO-RoC가 해결하는 품질-다양성 균형은 학습 효율성을 최대화하는 훈련 분포를 구성하는 방법에 대한 근본적인 질문을 지적합니다. 다양한 유형의 훈련 예제(올바른 대 잘못된, 다양한 대 중복된)가 학습 결과에 다르게 기여한다는 통찰은 더 정교한 커리큘럼 학습과 데이터 선택 전략의 필요성을 시사합니다.

미래 연구 방향을 살펴보면, 몇 가지 영역에서 발전을 위한 중요한 기회가 있습니다. 시각적, 텍스트적, 그리고 기타 양식들이 동시에 고려되어야 하는 다중모달 선호도 최적화의 통합은 현재 텍스트-이미지 작업의 자연스러운 확장을 나타냅니다. 작업 특성에 기반하여 최적화 전략을 자동으로 적응시킬 수 있는 메타학습 접근법의 개발은 더 일반화 가능하고 효율적인 훈련 절차를 위한 잠재력을 제공합니다.

더 나아가, 불확실성 정량화와 견고한 최적화 원리의 통합은 훈련 안정성과 분포 외 성능과 관련된 남은 도전과제들을 해결할 수 있습니다. 선호도가 다양한 추상화 수준에 걸쳐 조직되는 계층적 선호도 구조의 탐색은 더 정교하고 미묘한 선호도 모델링을 가능하게 할 수 있습니다.

결론: 더 효과적인 AI 정렬을 향하여

이 분석에서 검토된 다섯 가지 선호도 최적화 기법은 인간의 선호도와 작업 요구사항에 더 잘 맞는 AI 시스템을 훈련하는 우리의 능력에서 중요한 발전을 나타냅니다. 쌍별 선호도를 통해 텍스트-이미지 생성을 안정화하는 Pref-GRPO부터 품질 중심의 재샘플링 전략을 가진 GRPO-RoC까지, 각 방법은 이 분야에 독특한 통찰과 실용적 개선을 기여합니다.

이러한 발전의 집합적 영향은 개별적인 성능 향상을 넘어 선호도 기반 훈련이 어떻게 수행되어야 하는지에 대한 성숙한 이해를 시사합니다. 단순한 보상 최대화에서 더 정교한 선호도 모델링으로의 움직임, 적응형이고 맥락 인식적인 훈련 전략의 통합, 그리고 품질-다양성 트레이드오프의 신중한 고려는 모두 더 효과적이고 신뢰할 수 있는 AI 정렬을 향한 중요한 단계를 나타냅니다.

이 분야가 계속 발전함에 따라, 이러한 다양한 접근법들로부터의 통찰의 통합은 아마도 더욱 강력하고 일반화 가능한 선호도 최적화 기법들로 이어질 것입니다. 인간의 가치와 기대에 일관되게 맞는 출력을 생성하는 AI 시스템을 만드는 궁극적인 목표는 여전히 도전적이지만, 이러한 방법들이 보여준 진전은 인공지능 연구의 이 중요한 영역에서 지속적인 발전을 위한 강력한 기반을 제공합니다.

이러한 발전의 실용적 함의는 고품질 콘텐츠를 생성하는 창의적 AI 시스템부터 외부 도구와 자원을 효과적으로 활용할 수 있는 에이전트 시스템까지 수많은 응용 도메인에 걸쳐 확장됩니다. 이러한 기법들이 성숙하고 더 널리 채택됨에 따라, 그들은 AI 시스템이 유익하고, 신뢰할 수 있으며, 인간의 의도와 일치하는 방식으로 행동하도록 보장하는 데 있어 점점 더 중요한 역할을 할 것입니다.

참고