작은 AI가 ‘말 잘 듣고’ 스스로 진화한다: 자연어 피드백으로 대형 모델 성능 쫓는 혁신적 다중 턴 학습법

안녕하세요! 오늘은 최근에 발표된 논문 "Improving Interactive In-Context Learning from Natural Language Feedback"를 살펴보고, 기존 연구들과의 차별점까지 쉽게 설명해 드릴게요.

---

사용자가 알려주는 ‘말로 배우는 AI’ — 핫한 혁신의 현장!

우리가 흔히 접하는 대형 언어모델(LLM)은 대규모 텍스트 데이터로 ‘지식’을 습득하는 데 탁월하지만, 한 가지 큰 약점이 있어요. 바로 ‘대화 중 실시간 피드백을 받아 능동적으로 학습하고 적응하는 능력’이 부족하다는 점입니다.

 

예를 들어, 누군가가 모델에게 “아니, 그 답은 좀 아니야. 이렇게 생각해봐”라고 피드백을 줘도, 현재 최첨단 모델들은 제대로 문제를 이해하고 답변을 수정하는 데 어려움을 겪어요. 왜냐하면 대부분 모델은 ‘한 번에 한 문제 풀이’만 학습하거든요. 그래서 학자들이 개발한 특별한 전략이 바로 이번 논문의 핵심입니다.

---

기술적 가치 ①: ‘다중 턴 상호작용’ 학습법 도입

논문의 핵심 아이디어는 ‘단발성 문제풀이→교사 모델이 주는 피드백→학생 모델이 답 수정’ 과정처럼, 일방적 정답암기가 아니라 학생-교사 간 지속적 대화(‘다중 턴’ 혹은 multi-turn interaction)에서 자연어 피드백을 통한 학습능력 자체를 명확한 학습 목표로 삼았다는 점이에요.

• 교사 모델: 문제의 정답이나 유닛 테스트의 결과 등 ‘특권 정보’를 통해 학생이 틀린 부분에 대해 자연어로 피드백을 제공하는 역할
• 학생 모델: 교사의 피드백을 듣고, 이를 학습·적용해 답안을 점차 개선하는 역할

기존 연구들은 보통 더 크거나 능력좋은 모델을 ‘교사’로 삼아 단일 턴 문제풀이의 결과만을 학습에 활용했습니다. 그런데 이 논문처럼 교사와 학생을 동일한 모델로 놓고, 정보 비대칭(teacher만 정답을 알고 student는 모름)을 통해 대화하며 학습하는 설정은 처음이에요. 이 덕분에 모델이 ‘대화 중 피드백 해석과 적용’ 능력을 실질적인 학습 대상으로 삼을 수 있게 되었죠.

---

기술적 가치 ②: 강화학습(RL)와 자연어피드백 결합한 ‘RL2F’ 기법

피드백 기반 학습은 강화학습과 닮았지만 ‘보상’이 단순 점수나 승패가 아니라 교사의 자연어 피드백이라는 점이 독특합니다.

• 논문은 이를 ‘Reinforcement Learning with Language Feedback (RL2F)’로 명명하며,
• 기존 메타러닝과 강화학습의 개념을 자연어 대화에 맞게 재정의했어요.

즉, 모델 내부적으로 ‘피드백 해석→답변 수정’이라는 정책을 학습시켜, 실제 대화하면서 스스로 문제풀이 태도를 점점 개선하도록 하는 거죠.

---

기술적 가치 ③: 놀라운 결과! 작은 모델이 큰 모델 성능 근접

논문의 실험에서 보시면,

• ‘Gemini 2.5 Flash’(작은 모델)가 RL2F를 통해 ‘Gemini 2.5 Pro’(큰 모델)와 거의 대등한 성과를 낸다는 점,
• 수학 문제로 훈련했지만 다른 영역(코딩, 퍼즐 게임, 미로 탐색 등)에서도 능력이 잘 이전된다는 점,

이 두 가지가 특히 눈에 띕니다.

즉, 다중 턴 언어 피드백으로 학습하는 능력 자체가 범용적이며, 모델 크기 대비 탁월한 효율을 보여 ‘경량화+고성능’ AI 개발에 큰 기여를 할 수 있다는 의미죠.

---

기술적 가치 ④: ‘스스로 교사 역할’ 해내는 자기개선 가능성

가장 흥미로운 혁신 중 하나입니다.

• 모델에게 ‘교사가 하는 말(피드백)을 예측하고 생성하는 능력’을 학습시키니,
• 실제로는 ‘외부 교사 없이도 자기 검토, 자기 수정’이 가능한 자기주도 학습(autodidactic AI)이 가능해졌어요.

이는 마치 사람이 스스로 책을 읽고, 질문하고, 해답을 점검하는 것과 같은 학습 메커니즘을 AI가 내부화했다고 볼 수 있답니다.

---

기존 논문 대비 차별점 한눈에 보기

구분	기존 연구	이번 논문 차별점
학습 방식	단일 턴 문제 풀이 중심 (SFT, RL)	다중 턴 자연어 피드백 대화 학습 (RL2F)
교사-학생 모델	큰 모델이 교사	동일 모델 기반 정보 비대칭 교사-학생
일반화	특정 도메인에 맞춤	수학학습 → 코딩, 퍼즐 등 다양한 영역으로 강한 이전 가능
자기개선	외부 피드백 필요	교사 피드백 생성 자체도 학습해 자가 수정 가능
모델 크기 대비 효율	크기 의존적 성능	작은 모델도 효과적 다중 턴 학습으로 고성능 달성

---

조회수 쏠릴 만한 핵심 메시지: 작은 AI가 '말 잘 듣고' 스스로 '계속 공부해서' 대형 AI 성능까지 추격하는 시대!

이 논문이 제시하는 ‘말로 배우는 AI’는 실생활 사용자들의 피드백을 AI가 효과적으로 흡수해, 점차 지능이 향상되는 혁신적 접근법입니다. 기존에는 ‘크고 무거운 모델’과 ‘사람의 직접 재훈련’에 의존했다면, 이젠 대화 안에서 실시간으로 배우고 스스로 발전하는 AI 시대가 열렸다고 볼 수 있어요.

 

특히, 사용자가 ‘한두 마디 코멘트’만 던져도 AI가 이를 이해하고 답을 보정한다면, 앞으로 챗봇, 코딩 도우미, 교육용 AI, 문제 해결 AI 등에서 혁신적 사용자 경험이 기대됩니다.

---

마무리하며: ‘언어 게임’ 통해 AI가 배우는 방법, 지금부터 달라집니다

이번 연구처럼 자연어 피드백을 통한 ‘사회적 학습(social learning)’을 AI에게 가르치고, 학습 능력을 훈련시키는 방법은 AI 발전의 새로운 장을 열 것으로 기대됩니다.

 

다른 LLM들도 점차 이 방향을 채택해 ‘사람과의 지속적 상호작용’을 통해 진화하는 AI로 나아가는 중이니, 그냥 ‘말귀 못 알아듣는 기계’ 시대는 곧 끝날 것 같아요!

 

더 궁금하신 점이나 논문 토픽에서 다뤘으면 하는 기술적 포인트가 있다면 언제든 질문해 주세요. 감사합니다!

---

참고 논문: Martin Klissarov et al., “Improving Interactive In-Context Learning from Natural Language Feedback”, arXiv:2602.16066 (2026).

관련 링크: 논문 원문