AI와 RAG 기술로 익명 온라인 ‘직장 추천 요청서’ 성공률을 혁신하다: 약한 글은 크게, 강한 글은 안정적으로 개선하는 자동 에이전트 시스템

안녕하세요! 오늘은 최신 논문 “Building AI Agents to Improve Job Referral Requests to Strangers”를 풀어보려고 합니다. 구직 시장에서 ‘직장 내 추천’이 얼마나 중요한지는 다들 아실 텐데요. 이번 논문은 AI를 활용해 온라인 커뮤니티에서 ‘추천 요청서’를 어떻게 효과적으로 써서 성공률을 높일 수 있을지 다룹니다. 기존 연구와 무엇이 어떻게 차별화되는지도 자세히 이야기하면서, AI 특히 대형 언어 모델(LLM)과 ‘검색-증강 생성(RAG)’ 기술을 활용하는 최신 트렌드를 함께 살펴볼게요.

---

1. 왜 ‘직장 추천 요청서’인가?

우리가 흔히 아는 ‘직원 추천’은 구직자가 해당 회사 직원의 추천을 받으면 인터뷰 기회를 훨씬 더 쉽게 얻을 수 있다는 점에서 실질적인 힘이 있습니다. 그런데 실제로 접촉 가능한 인맥이 없거나 부족한 이들은 온라인 커뮤니티를 통해 모르는 이에게 추천을 요청하죠. 그런데 많은 요청이 간과되거나 실패하는 경우가 많습니다. 본 논문은 바로 이 부분에 착안해 ‘추천 요청서’를 AI로 개선하면 어떻게 성공률을 높일 수 있을지 고민했습니다.

---

2. 기존 연구와 차별점

과거 연구들은 주로 다음 세 갈래로 나뉩니다.

• 오프라인 네트워크 기반의 추천 연구 (ex. Beaman, Hensvik 등): 제한된 샘플과 실험 중심.
• 온라인 커뮤니티에서 ‘효과적인 요청’을 만드는 사회심리학/경영학 접근 (ex. Reddit의 ‘Random Acts of Pizza’ 사례): 감사, 긴급성, 보답 의지 등이 작동 요인으로 꼽힘.
• LLM(대형 언어 모델)이 실제 쓰기/설득 작업에서 얼마나 효과적인가를 평가 (ex. 최근 연구들): AI가 어떤 경우에 쓰기 능력을 크게 향상시키는지 탐구.

이번 논문의 최대 기술적 차별화는?

• 대규모 익명 온라인 플랫폼(Blind)에 특화된 진짜 ‘추천 요청’ 텍스트 데이터를 대량 확보
• 문서 내 개인 신상 정보(경력, 직장 등)를 마스킹해 게임의 공정성을 유지하며 AI가 ‘글쓰기 스타일 자체’로만 성공 확률을 학습하게 설계
• LLM 기반 ‘개선자’와 ‘평가자’ 에이전트를 만들어 프로세스 자동화 및 성능 최적화에 집중
• 검색-증강 생성(RAG) 기술을 활용해 문맥에 맞는 성공 사례를 예시로 LLM에 주입, 단순 생성보다 높은 품질의 개선안 도출
• 수치적 예측 모델(AUROC 0.68에 달하는 변환기 기반 문장 임베딩 모델)을 ‘퇴고 에디터’에 적용해 실시간 평가 가능

---

3. 논문 핵심 기술: “Improver”와 “Evaluator”, 그리고 RAG

(1) Improver Agent: GPT-5 미니 기반 ‘추천 요청서 재작성’

• GPT-5 미니 API를 호출해 사용자 원본 요청서를 재작성
• ‘[ROLE]’, ‘[LOCATION]’ 등 마스크 토큰으로 비핵심 개인 정보 감춤
• 단순히 길게 늘이거나 과장하는 게 아닌, 플랫폼 데이터에서 성공적 요청서의 특성을 학습해 ‘성공 확률’을 높이는 방향으로 문장 교체

(2) Evaluator Agent: 성공 확률 예측 모델

• 문서의 텍스트를 입력받아 해당 요청이 실제 Referral 댓글을 받을 확률을 예측
• 최고 성능은 사전학습된 ‘sentence transformer’ 미세조정 버전으로 AUROC 0.681, 약 63% 정확도 기록
• 추천 성공률은 단순 조회 수가 아닌, 댓글 내 ‘직접추천 의사 표현’ 기반으로 집계

(3) RAG Workflow: 검색-증강 생성

• 단순 LLM 개선 대신, 성공한 실제 예시를 벡터 기반 검색(FAISS)으로 5개 찾아주고, 이를 LLM 재작성 시 ‘참고용’으로 제공
• ‘explainer agent’가 요청서 각 문장별로 ‘성공 기여도’를 등급화(강/중/약)해 ‘수정 강도’를 섬세히 조절
• 결과는 ‘약한 요청서는 크게 개선’하지만 ‘원래 좋은 요청서는 과도한 수정을 방지’하는 이상적 결과 창출

---

4. AI가 진짜 ‘추천 요청서’를 더 잘 만들 수 있을까? 성능 분석

• 개선 전후 ‘예측 성공 확률’이 가장 낮은 하위 50% 요청서는 기본 LLM 개선 시 3.4%p(8.6% 상대 증가)의 성공 확률 향상
• RAG 시스템 도입 시 같은 구간에서 효과 더 커져 5.5%p(14% 상대 증가)로 상승폭 확대
• 한편, 개선 전 성공률 상위 50% 요청서는 기본 workflow에서 개선 후 오히려 성공 확률 3.4%p 하락
• 그러나 RAG 도입 후에는 ‘하락 없이 유지’되며, 이 점이 본 연구의 핵심 기술 가치 중 하나
• 이처럼 AI는 ‘잘못된 글’을 좋은 글로 만들어주되, 이미 좋은 글엔 ‘과도한 수정’으로 피해 주지 않도록 RAG가 효과적으로 제어함을 확인

---

5. 왜 이 기술이 주목받을까? – 기술적 가치와 미래 전망

• 사용자별 맞춤 AI 피드백 시스템: 추천 요청서뿐 아니라 자기소개서·커버레터 등 각종 구직문서에 AI 피드백을 실시간 제공 가능
• 검색-증강 생성으로 ‘내용 풍부 및 맥락 적합’ 해결: 기존 단순 미세조정 LLM 개선에 비해 실제 예시 제시로 품질 균형과 신뢰도 개선
• 마스크 토큰 전략으로 개인정보 과대 활용 방지: AI가 ‘팔방미인 이력 과장’이 아닌 ‘글쓰기 스킬’에 집중하게 해 공정성 및 일반화 가능성 높임
• 대화형 챗봇, AI 에이전트 설계에 활용될 메타 워크플로우 제시: improver(개선자)⇄evaluator(평가자) 분리 설계 및 협업 모델 프로토콜이 추후 다양한 AI 적용에 큰 영감
• 실제 대규모 익명 데이터 기반 연구: 경제 및 인사 분야 실제 온라인 커뮤니티 데이터를 기반으로 한 AI 성능 평가, 산업적 인사이트 확보 차별화

---

6. 한계와 풀어야 할 숙제

• 모델 기반 ‘성공 예측’(simulate success)은 실제 ‘추천 제공’과 완벽히 일치하지 않음 → 실제 현장 테스트 필요
• 데이터는 테크 산업 및 Blind 특화 → 다른 산업, 비익명 플랫폼 일반화 가능성 불확실
• AI가 ‘잘한 부분’을 빠짐없이 인간이 평가하는 ‘정성평가’ 미흡 → 인간 피드백 및 A/B 테스트 병행해야

---

7. 요약 및 마무리: ‘실용 AI’로 구직 시장 혁신할 수 있을까?

이번 논문은 AI가 사람과 사람 사이, 특히 생소한 이에게 ‘도움 요청’ 메시지를 더 매력적이고 설득력 있게 써주어 실질적 성공률을 높이는 방향을 제시했습니다. 기존에 ‘알트루이즘 요청’, ‘감성 호소’ 등의 아이디어가 있던 연구에 대형 언어 모델과 RAG를 접목해, 꽤 현실적이고 시스템화된 방법론을 개발한 점에서 기술적 의미가 크죠.

 

특히 ‘약한 요청에는 큰 도움, 강한 요청에는 부작용 없는 안정적 개선’이라는 패턴은 AI 지원 서비스 전체에 시사하는 바가 큽니다. LLM 기반 AI 에이전트가 인간 작업자를 어떻게 보완하며, 언제는 억제해야 하는지 알려주니까요.

 

여러분도 AI를 활용해 자기소개서, 이메일, 공공청원문 등 ‘사람을 설득하는’ 글쓰기 작업에 도전해보고 싶다면, 이 논문의 기술과 워크플로우에서 배울 점이 많을 겁니다.

---

더 심도 깊은 AI+글쓰기 혁신 소식 원하시면 꾸준히 지켜봐 주세요! :)

감사합니다!