OMAD: 분산 Diffusion 정책과 변분 엔트로피로 온라인 다중 에이전트 강화학습의 새 지평을 열다

안녕하세요! 오늘은 최신 논문 "Diffusing to Coordinate: Efficient Online Multi-Agent Diffusion Policies"를 분석해보려고 합니다. 이 논문은 온라인 환경에서 여러 에이전트가 협력하며 학습하는 Multi-Agent Reinforcement Learning(MARL) 분야에서, 표현력이 뛰어난 diffusion 모델을 성공적으로 적용한 첫 시도를 보여준다는 점에서 의미가 큽니다. 특히 기존의 MARL 연구와 비교했을 때 왜 이 접근법이 기술적으로 중요한지, 그리고 실질적으로 어떤 차별점이 있는지 집중해볼게요.

---

1. Multi-Agent RL, 그런데 왜 diffusion 모델?

기존의 온라인 MARL 연구들(MADDPG, MAPPO, QMIX 등)은 대부분 행동 정책을 가우시안처럼 단일 모드(uni-modal) 확률 분포로 모델링했습니다. 하지만 협력이나 경쟁이 복잡하게 얽힌 환경에선 행동이 하나가 아닌 여러 가지 방식으로 나올 수 있어요. 예를 들어 로봇 2대가 장애물을 피해 양쪽으로 둘러가는 방법이 여러 가지일 수 있죠. 기존 방식은 그런 다양한 전략의 표현에 한계가 있어요.

 

그래서 등장한 게 diffusion-based generative 모델입니다. 본래 이미지나 영상을 만드는 데서 “노이즈를 점차 제거하는” 방식으로 매우 복잡하고 다양한 데이터 분포를 모델링하는 데 특화되어 있죠. 이를 강화학습의 정책(policy)으로 활용하면, 하나의 정확한 행동말고도 여러 가능성을 동시에 표현할 수 있어 훨씬 표현력이 풍부한 정책이 됩니다. 하지만 문제는 온라인 학습, 특히 여러 에이전트가 동시에 학습하는 상황에서 diffusion 모델을 효율적으로 쓰는 건 매우 어렵다는 점이에요.

---

2. 기존 Diffusion 강화학습 연구와 OMAD의 차이점

기존 연구들

• 오프라인 RL: Diffuser, Diff-QL 같은 연구들은 이미 확보된 데이터에서 ‘행동’을 생성하는 데 diffusion 정책 활용 → 좋은 성과 기록.
• 단일 에이전트 온라인 RL: DACER, MaxEntDP 등의 연구에서 diffusion 정책으로 온라인 강화학습 시도하긴 했지만, 단일 에이전트에 한정.
• Multi-Agent 온라인 RL에서 diffusion: 아직 거의 연구가 없거나 naive하게 단일 에이전트 방식을 단순 확장한 수준.

OMAD의 혁신

논문에서는 꾸준히 언급한 ‘intractable likelihood (확률밀도 계산 불가)’ 문제를 근본적으로 Relaxed Policy Objective (느슨한 정책 목표함수)와 Scaled Joint Entropy (확장된 공동 엔트로피) 개념으로 해결합니다.

• 중앙집중 학습(CTDE) 프레임워크에서, 각 에이전트마다 분산된 diffusion 정책을 학습하되,
• *분포적 가치분석(distributional critic)**를 통해 전체 에이전트 행동의 복잡한 상호작용을 명확히 평가.
• 그리고 분산된 정책의 엔트로피 불가능한 계산 문제를 하한(lower bound)으로 근사해 기존 불가능한 joint entropy 최대화 탐험(exploration)을 실현.

즉, 단순히 diffusion 모델을 몇 개 늘리는 게 아니라, multi-agent 시스템에 맞도록 본질적으로 모델 설계와 학습 방법을 바꿨다는 점이 핵심입니다.

---

3. 기술적 가치: OMAD가 왜 대단한가?

• 표현력과 탐험의 균형: 기존 MARL은 가우시안 정책 등 제한된 확률 분포 때문에 협력 행동의 ‘다중 모드’(예: 여러 동등한 협력전략)를 표현하기 어려웠어요. 반면 OMAD는 diffusion 모델이 가진 수많은 가능성들을 표현하며 탐험도 엔트로피 정규화를 통해 균형있게 유지합니다.
• 분석적 접근: 변분 하한 증명: diffusion 정책의 복잡한 엔트로피를 정확히 계산 못 한다는 문제를, 증명(Thm 1)으로 각 에이전트별 evidence lower bound의 합으로 근사 가능하다는 이론적 기반을 마련해 신뢰도를 높임.
• 분포적 가치함수 도입: 단일 기대값 기반 Q함수가 아닌 값의 분포 전체를 학습해, 에이전트들의 상호작용에서 발생하는 불확실성과 다양성을 효과적으로 포착.
• 동기화된 정책 업데이트: 개별 에이전트가 아닌 joint 정책에 대한 KL 발산을 통한 하나의 통합 목표 아래 학습 → 다중 에이전트 간 안정적 조율 가능.
• 자동 온도 튜닝: 엔트로피 계수 α를 학습 과정 중 적절히 조절해 탐험과 수렴 사이 자기 균형 유지.

---

4. 기존 MARL/디퓨전 확장 사례와의 주요 차이

특징	기존 MARL (HATD3, HASAC 등)	단일에이전트 Diffusion (DPMD, DACER 등)	OMAD (본 논문)
정책 분포	가우시안 등 단일 모드 제한	Diffusion 기반 multimodal	분산 diffusion 정책, 높은 표현력과 유연성
학습 환경	온라인, 다중에이전트	온라인/오프라인, 주로 단일에이전트	온라인, 다중에이전트, CTDE 프레임워크 엄격 준수
엔트로피 처리	계산 가능, 최대 엔트로피 목적 가능	곤란 (확률밀도 미지수), 단순 무시하거나 근사	변분 하한 이용 통합 엔트로피 근사, 최대 엔트로피 프레임 적용
가치함수	기대값 Q-learning	임의, 일부 최신은 분포적 접근	중앙 집중 분포적 가치함수, joint action 모형화
탐험 전략	임의의 엔트로피 가중 컴포넌트	단일에이전트 기반, 비효율적일 수 있음	자동 온도 조절 통한 탐험/수렴 최적화
표준 과제	MPE, MAMuJoCo 등 광범위 적용	연속 제어 단일 에이전트 위주	MPE, MAMuJoCo에서 다중에이전트 완벽 적용 및 우월한 성능

 

OMAD는 단순히 diffusion 정책을 다중 에이전트에 병렬로 적용한 것이 아니라, 그 구조를 수학적으로 재해석하고, 분포적 가치 비평가와 동기화 업데이트, 변분 근사 기반 엔트로피 최적화 등 전혀 새로운 방식으로 온라인 MARL 학습을 가능하게 만들었습니다.

---

5. 실험으로 본 OMAD의 기술적 가치

• 표본 효율성 : 2.5배~5배 빠른 학습 속도! (기존 최고 성능 알고리즘 대비)
• 탐험의 다양성 증가 : 넓은 상태 공간을 탐험, 지역 최적점 회피
• 다양한 환경에서 범용성 : 낮은 차원의 MPE부터 인체 로봇 제어 수준의 고차원 MAMuJoCo까지 안정적 적용
• 성능저하 없는 높은 표현력 : 기존 diffusion 기반 MARL 확장(MADPMD, MASDAC)보다 수렴 안정성↑, 성능↑

고성능 multi-agent 강화학습에 있어서 얼마나 빠른 샘플 효율성과 좋은 조율 능력을 가지는지는 핵심인데, OMAD는 단지 논리적 설계뿐 아니라 이 모든 부분에서 실험적으로 명백히 입증했습니다.

---

6. 마무리하며

기술적으로 심오한 확률 모델링과 고성능 강화학습을 접목한 OMAD는 기존 다중에이전트 RL의 한계를 뛰어넘는 발전입니다.

특히 ‘분포적 가치함수 + 변분 엔트로피 하한 + 동기화된 분산 diffusion 정책’의 조합은, 단일 모드 정책 표현에 머물러 있는 전통적 방법론과 달리, 다중 모드 행동 분포를 자연스럽게 모델링하고 조율하는 강력한 수단으로 자리매김했습니다.

 

앞으로 마르지 않는 탐험과 정밀한 협력 전략을 요구하는 첨단 로봇, 자율주행, 분산 센서 시스템 등에 이 기법이 폭넓게 응용될 수 있을 것으로 기대되며, diffusion 모델의 다른 효율적 샘플링 기법과 결합하거나 discrete action에 적용하는 후속 연구도 흥미로운 발전 방향입니다.

---

혹시 이번 글에서 풀어낸 OMAD 논문의 기술적 핵심이나 궁금한 점 있으면 언제든 댓글로 질문해 주세요! 새롭게 떠오르는 MARL과 diffusion 정책의 만남, 앞으로 더욱 주목받을 영역임을 확신합니다. 감사합니다 😊

---

참고 논문 및 이미지 링크는 위 각 구간 클릭하시면 원문 확인 가능합니다.