불완전한 정보 속에서도 묻고 검증하는 AI: SQ-BCP가 제시하는 실행 가능 계획의 새로운 패러다임

안녕하세요, 주말 잘 보내셨나요? 오늘도 아주 흥미로운 논문 한 편을 소개해드리려고 합니다. 제목은 “Teaching LLMs to Ask: Self-Querying Category-Theoretic Planning for Under-Specified Reasoning”으로, Stanford 대학의 Shuhui Qu님이 작성한 연구입니다. 이 논문은 대형 언어 모델(LLM)이 우리의 의도나 환경이 불완전하게 주어진 상황에서도 정확하고 실행 가능한 계획을 세울 수 있도록 돕는 ‘자기 질문(self-querying)’ 기반 계획 프레임워크, SQ-BCP를 제안합니다.

---

1. 왜 이 논문이 특별할까요? — 기술적 가치 관점에서 바라본 SQ-BCP

사실, LLM이 계획(planning) 문제를 푸는 연구는 이미 많습니다. 예를 들어, Chain-of-Thought(CoT), Tree-of-Thought(ToT), ReAct 같은 방법들이 있죠. 그런데 문제는 이런 기존 접근법들이 ‘주어진 정보가 완전하다’는 가정 하에 설계되었다는 점입니다.

현실에서는 사용자가 모든 제약조건이나 자원 정보를 정확히 명시하지 않는 일이 많기 때문에, LLM은 빠르게 ‘모호한 상황(hallucination)’에 빠지거나 위배되는 계획을 만들기 쉽습니다. 즉, “목표를 이루기 위해 어떤 도구가 필요한데, 그 도구가 있는지조차 모른 채 계획에 포함시키는” 경우가 많죠.

 

SQ-BCP는 이런 문제에 정면으로 도전합니다. 크게 세 가지 핵심 아이디어가 있습니다:

• 명시적인 전제조건(precondition) 상태 표현: 각각의 행동에 대해 Sat(충족) / Viol(위배) / Unk(미확인) 상태를 붙여 불확실성을 명확하게 표현합니다.
• 자기 질문(self-querying)과 브리징(bridging) 행동 도입: 모르는 전제조건에 대해는 질문을 던져 답을 얻거나, 그 조건을 만들어내는 중간 단계를 계획에 넣어 해결합니다.
• 범주이론(category theory) 기반의 ‘풀백 검증(pullback verification)’: 계획의 실행 가능성을 수학적으로 엄밀히 검증해, ‘비슷해 보인다고’ 섣불리 채택하지 않고 진짜로 목표 조건을 만족하는지 확인합니다.

이 세 가지 구성요소를 유기적으로 묶어, “부분적으로만 관찰 가능한 상황(under-specified)”에서도 실행 가능성을 보장하는 솔루션을 제공하는 것이 SQ-BCP의 기술적 가치입니다.

---

2. 기존 연구와의 차별점

기존 LLM 기반 계획 연구와 비교하면 다음과 같이 차별점을 명확히 알 수 있습니다.

연구군	주요 특징	한계	SQ-BCP 의 개선점
Chain-of-Thought (Wei et al., 2022)	직관적 중간 추론 단계 생성	정보 불완전시 허상 발생 쉬움	불확실 상태 Unk를 명시해 단계별 확인 유도
Tree-of-Thought (Yao et al., 2023)	후보 풀이 트리구조 탐색	전제조건 체크 없이 단순 확장	전제조건 상태에 맞는 ‘자기 질문’+‘브리징’으로 불확실성 해소
ReAct (Yao et al., 2022)	환경과 상호작용하며 행위	무조건적 질문, 검증 미흡	‘풀백 검증’으로 최종 계획 엄격 인증, 고비용 브리징 회피
Self-Ask (Press et al., 2023)	질문생성에 집중	전제조건 상태 추적 미흡, 검증 부재	라벨링 기반 프리컨디션 관리 및 단계별 매커니즘 확보

 

특히, Self-Ask가 ‘정보 획득’에 중점을 두었다면, SQ-BCP는 그것에 ‘전제조건 상태 관리’와 ‘수학적 검증’을 더해 실행 가능한 계획만 도출합니다. 논문 실험 결과도 SQ-BCP가 기존 Self-Ask 대비 2배 이상 제약 위배율을 감소시켜 실효성을 입증했습니다.

---

3. SQ-BCP의 기술적 구조 핵심 요약

• 상태(state): 자원, 구조, 논리적 조건, 시간정보를 묶음.
• 행동(action)/가설(hypothesis): {행동, 전제조건 목록(라벨포함), 효과(리소스, 상태 변경), 점수} 형태.
• 전제조건 라벨: Sat(충족), Viol(위반), Unk(미확인).
• 자기질문(Self-querying): Unk 상태의 전제조건에 명확한 답변이 필요하면 질문 생성.
• 브리징(Bridging): 중간 행동으로 미충족 조건을 ‘만들어내는’ 행동 제안.
• 이중 방향 탐색(Bidirectional Search): 목표에서 출발하는 백워드 탐색과 초기 상태에서 출발하는 포워드 탐색을 동시에 수행.
• 풀백 검증(Pullback-based Verification): 계획의 최종 상태와 목표의 조건이 엄격하게 일치하는지 수학적/논리적 검증.

---

4. 실험 결과: 품질과 실행 가능성의 절묘한 균형

• 데이터셋: WikiHow, RecipeNLG (실제 불완전 자원/조건 포함 과제).
• 평가: Rouge/BLEU (텍스트 유사도)와 제약조건 위배율(리소스 위반 등) 혼합 지표 사용.
• 결과:
  • SQ-BCP는 최저 위배율(15~6%대)을 기록, Self-Ask(26~16%) 대비 큰 폭 개선.
  • 반면, Rouge/BLEU 점수는 약간 내려가지만, 여전히 CoT, ToT 등 기존 연구와 비교해 경쟁력 유지.
  • ‘더 많아진 탐색, 질문+행동 반영’만으로는 실패율을 낮추지 못한 사례도 발견.

즉, “질문을 많이 한다고 전제조건을 올바르게 다루는 게 아니다”라는 점을 명확히 보여줍니다.

---

5. 왜 SQ-BCP가 미래 AI 계획 분야에 중요한가?

• 실제 불완전한 상황을 직시: 우리가 흔히 겪는 정보 부족 상황(특히 사용자-시스템 상호작용에서)에서 LLM이 ‘잘 묻고, 확인해서, 실행 가능한 계획’을 세울 수 있습니다.
• 명확한 수학적 근거: 범주이론과 풀백 검증은 독창적이며, 계획의 완전성과 일관성을 엄격히 검증하는 커다란 진전입니다.
• 확장성: 범주 이론 기반이라 형식적 모델이나 고정 오퍼레이터에 의존하지 않고, 자연어 환경에 적합한 점이 눈에 띕니다.
• 활용 가능성: 로보틱스, 자동화, 복잡한 워크플로우 설계 등에 직결되는 주제이며, LLM이 ‘계획 → 실행’ 루프의 신뢰성을 대폭 높일 수 있습니다.

---

마치며

오늘 소개해드린 SQ-BCP 논문은 LLM 계획 능력 향상에 있어 “모르는 건 모른다고 묻고, 불가능한 건 고치거나 포기하며, 최종 검증까지 확실히 하자”는 매우 현실적이면서도 수학적으로 단단한 접근법을 제시합니다. 여러분도 앞으로 계획이 필요한 AI 응용 분야에서 ‘무엇을 물을 것인지, 어떻게 해결할 것인지, 그리고 실제 맞추어졌는지 엄밀히 확인하는’ SQ-BCP 아이디어를 참고하시면 좋을 것 같아요.

 

궁금하신 점 있으면 언제든 댓글로 물어봐 주세요! 읽어주셔서 감사합니다~ 😄

이처럼 AI 계획 분야에서 점차 ‘설명 가능하고, 검증 가능한’ LLM 활용법이 대두되고 있으니, 우리 모두 최신 연구에 주목하며 발전해 나가면 좋겠습니다!

---

참고

논문 원문: https://arxiv.org/abs/2601.20014v1

논문 코드 및 실험 세부사항은 링크에서 확인 가능합니다.