안녕하세요! 이번에 소개해드릴 논문은 “Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization”입니다. 큰 틀은 ‘프로액티브(Proactive) 대형언어모델(LLM) 에이전트’를 어떻게 더 똑똑하고 효율적으로 만드는지에 관한 내용입니다. 특히 ‘사용자 만족도(즉, 사용자와 상호작용하는 횟수)’와 ‘과제 수행 능력’ 사이의 균형 문제를 깊게 다뤘어요. AI 에이전트, 특히 LLM을 활용한 인터랙티브 시스템 개발에 관심 있으신 분이라면 흥미를 가질 만한 가치가 매우 높습니다.
우선, 논문의 핵심 기술적 가치를 캐주얼한 톤으로 요약해보겠습니다!
1. 프로액티브 LLM 에이전트란?
최근 LLM들이 단순히 주어진 질문에 답하거나 지시를 따르는 수준을 넘어, 주도적으로 ‘계획하고, 질문하고, 탐색하는’ 능력을 갖추고 있어요. 예를 들어, 어떤 문제를 맞닥뜨렸을 때 한 번에 답을 내놓는 대신, 필요하다면 여러 번 질문을 통해 정보를 모으고, 점진적으로 정답에 접근하는 겁니다.
이걸 가능하게 하는 게 바로 Agentic Reinforcement Learning (Agentic RL)인데요, 이건 말 그대로 ‘멀티턴(Multi-turn)’ 대화 속에서 에이전트가 행동을 학습하도록 하는 강화학습 방법입니다. 기존 RL이 보통 한 번의 행동으로 끝나는 경우가 많았다면, Agentic RL은 여러 턴에 걸쳐 계획적이고 전략적인 행동 시퀀스를 만들어가도록 돕죠.
2. 기존 연구와의 차이점: 딸꾹질처럼 반복하는 ‘사용자 고통’을 줄이면서 성능 UP
기술적으로 꽤 큰 도전은 “사용자와 얼마나 자주 상호작용할 것인가?” 입니다. 상호작용이 많으면 당연히 ↑ 과제 수행 능력은 높아지지만, ↑ 사용자의 피로도, ↓ 만족도라는 딜레마가 생기죠.
- 예를 들어, 어떤 에이전트가 잘못된 답을 냈을 때 계속해서 사람에게 확인을 요구한다면, 사용자 입장에서는 점점 답답해지고 신뢰가 떨어집니다.
- 반면, 적은 상호작용만 하려 하면 정보를 충분히 모으지 못해 성능이 떨어지죠.
기존 논문들(예: UserRL 등)은 주로 과제 수행이나 사용자 인터랙션 중 하나에 치중하거나 간단한 가중치 조정을 통해 양쪽을 조절했지만, 최적의 ‘균형점(Pareto Frontier)’을 적극적으로 찾는 시도는 부족했어요.
BAO는 다중 목표 최적화(Multi-Objective Optimization) 문제로 공식화해서, 사용자 노력(상호작용 횟수)과 과제 퍼포먼스(점수)를 동시에 고려합니다. 단순히 가중치 하나 바꾸는 게 아니라, 행동 패턴 자체를 ‘증진(enhancement)’하고 ‘규제(regularization)’하는 데 집중한 점이 진짜 혁신인 거죠.
3. BAO: 핵심 기술 포인트
- Retrospective Reasoning (후향적 추론)
기억을 잘 관리해서, 이전 대화 내용을 치밀하게 복습하고, 모순되는 정보가 나오면 가설을 제대로 수정합니다. 반복해서 같은 질문하거나 헛다리 짚는 걸 막는 거예요. - Prospective Planning (전향적 계획)
남은 대화 횟수(인터랙션 예산)를 알고, 초반에는 적극적으로 질문하고, 후반으로 갈수록 답변 제출에 집중하는 전략적 시간 배분을 합니다. 그리고 중요한 정보만 쏙쏙 골라서 묻는 ‘전략적 질문’도 포함됩니다. - Behavior Enhancement + Behavior Regularization
먼저 SFT(지도학습으로 사전학습)를 통해 멀티턴 행동을 모델에 ‘주입’(behavior injection)하고, RL 단계에선 특정 나쁜 행동(예: 중복 질문, 답변 제출 없이 지나치게 오래 고민 등)에 벌점(penalty)을 줘서 효율적 상호작용을 유도합니다.
4. 기술적 실험 결과: 실제로 성능과 사용자 만족도를 동시에 잡다
논문에선 UserRL 같은 기존 강화학습 기반 에이전트와 Qwen3, Gemini, GPT계열 최신 대형 모델들과 비교 실험을 했는데요,
- BAO는 더 적은 사용자 피로도(낮은 사용자 개입률)로 더 높은 혹은 동등한 성능(Pass@U-k, 누적 점수 등)을 달성했습니다.
- 특히 복잡한 Function-Gym과 Turtle-Gym 같은 도전적인 환경에서도 GPT-4o 같은 상용 모델을 능가하거나 대등한 결과를 보였죠.
- 추가로 BAO는 ‘보상 조작(reward hacking)’ 문제도 덜 발생하게 만들어서, 실제 평가에서 훈련 점수에 비해 떨어지는 성능 저하를 줄였습니다.
기존 논문과 비교해 이 논문이 더 매력적인 이유
| 포인트 | UserRL 및 기존 연구 | 본 논문 BAO |
| 목표 설정 | 성능 최적화 또는 사용자 개입 최소화 중 하나에 초점 | 두 목표를 동시에 최적화하는 다중 목표 설정 (MOO 공식화) |
| 행동 설계 | 단순한 행동 및 상호작용 조절 | Retrospective + Prospective 행동 패턴 명시적 설계 및 주입 |
| 훈련 기법 | RL 위주, 하지만 나쁜 행동 관리 미흡 | 강화학습 과정에서 행동 규제(벌점) 추가 → 효율적 상호작용 |
| 성능과 사용자 만족도 균형 | 둘 중 하나 희생하는 경우多 | Pareto frontier를 밀어내는 성능, 균형 잡힌 사용자 경험 제공 |
| 외부 모델과 비교 | 일부 성능은 추종, 사용자 부담은 큼 | 상용 LLM 대비 동급 이상, 사용자 부담은 크게 줄임 |
이 논문 기술, 왜 꼭 봐야하나요?
- 실무 유용성: 사용자와의 대화형 AI 서비스가 늘어나는 상황에서 ‘사용자 만족도와 성능을 동시에 잡는’ 솔루션은 매우 중요합니다. BAO는 현실적 제약 조건을 고려해 실제 응용 가능성이 높아요.
- 기술 혁신성: 단순 RL + 가중치 조정을 넘어서, ‘에이전트 행동 패턴’ 자체를 정교하게 설계하고 강화학습에 융합하는 새로운 관점을 제공합니다. 이게 LLM 에이전트 연구에 큰 도약점입니다.
- 광범위한 응용 가능성: 프로액티브 에이전트 개념은 코딩 어시스턴트, 웹 자동화, 맞춤형 대화 등 여러 핵심 AI 분야와 연계됩니다. 즉, 이 기술을 이해하고 활용하면 다양한 차세대 AI 서비스 개발에 마중물 역할을 하죠.
마무리하며
BAO는 사용자와 LLM 에이전트가 함께 만들어가는 협업 과정에서, ‘너무 자주 물어서 귀찮게 하지 않으면서도’ ‘최종 결과물은 아주 똑똑하게 만드는’ 최적의 시도를 합니다.
기존의 단일 목표 강화학습이나, 피드백만 많이 받는 시스템과 달리, 다중 목표 최적화와 행동 설계/규제의 조화로 이 문제를 근본적으로 해결하는 점에서 높게 평가됩니다.
▶ 혹시 프로액티브 에이전트, 대화형 RL, 사용자 경험과 AI 결합에 관심이 있으시다면 반드시 한 번쯤 정독해볼 만한 논문입니다!
읽어주셔서 감사합니다. 더 궁금한 점 있으시면 편하게 말씀해 주세요!