M3-Bench: 복잡한 멀티모달-멀티홉-멀티스레드 도구 사용 AI의 성능과 한계를 새롭게 조명하다

안녕하세요, 여러분께 오늘은 “M3-Bench: MULTI-MODAL, MULTI-HOP, MULTI-THREADED TOOL-USING MLLM AGENT BENCHMARK” 논문을 바탕으로 최신 멀티모달 대형 언어 모델(MLLM)의 ‘도구 사용(툴 사용, tool use)’ 평가를 얘기하고자 합니다.

---

M3-Bench: 멀티모달 도구 사용 MLLM 에이전트의 새로운 평가 기준

1. 왜 멀티모달과 멀티홉, 멀티스레드인가?

기존의 LLM 도구 사용 연구는 주로 텍스트 데이터와 단일 작업(한 번에 한 API 호출) 중심이었습니다. 그런데 현실의 문제들은 훨씬 복잡하죠.

• 멀티모달(Multimodal): 이미지와 텍스트 등 다양한 형태의 입력을 함께 이해해야 합니다. 예컨대, 사진 속 제품명을 인식하고 가격을 조회하는 작업에서 사진 인식과 텍스트 검색이 동시에 필요하죠.
• 멀티홉(Multi-hop): 문제를 단계별, 연속적(인과적)으로 해결해야 합니다. 앞선 단계 결과가 다음 단계의 입력이 되는 흐름이 존재합니다.
• 멀티스레드(Multi-threaded): 한 단계 내에서 여러 작업이 병렬 혹은 독립적으로 진행될 수도 있습니다. 예를 들어, 이미지 내 여러 객체를 동시에 분석하거나, 한꺼번에 여러 연산을 호출하죠.

기존 MCP (Model Context Protocol) 기반 벤치마크들은 이런 복합성을 전부 담지 못했습니다. 단지 ‘선형 API 호출’이나 ‘텍스트 중심 쿼리’에 치중한 분석이 대부분이었죠.

---

2. M3-Bench가 가진 기술적 차별점

평가 지표	기존 사례	M3-Bench
입력 형식	텍스트 중심	이미지·텍스트 멀티모달
호출 구조	단일 혹은 선형 API 체인	멀티홉 + 멀티스레드 복합 워크플로우
벤치마크 도구 수	수십~수백 개 도구	28 MCP 서버, 231개 도구
정확도 평가 방식	문자열 매칭 또는 단순 검증	유사도 기반 Bucketed Hungarian 알고리즘 사용
인간 검증 포함 여부	적거나 없음	Executor–Judge 루프 + 휴먼 체크 포함

2-1. 유사도 기반 Bucketed Hungarian 매칭

실제로 모델의 도구 호출이 올바른지 평가하려면, 단순 텍스트 일치에 의존하면 안 됩니다. 예컨대,

“search_products(Item=‘watermelon’)” 과 “search_products(Item=‘Watermelon’)”

처럼 표현이 다르거나, 인자의 순서가 다르더라도 의미가 같다면 맞다고 인정해야 하니까요.

 

M3-Bench는 이 문제를 풀기 위해,

• 호출을 일종의 ‘텍스트 시그니처’로 직렬화하고,
• 문장 임베딩(‘SentenceTransformers’)을 통해 유사도를 계산한 뒤,
• 각 도구별로 Bucket(버킷)을 나누어,
• ‘Hungarian 알고리즘’을 이용해 최적의 일대일 매칭을 수행합니다.

이 덕분에 평가가 자동화되면서도, ‘비슷하지만 정확한’ 호출들도 소홀히 하지 않고 엄밀하게 채점할 수 있습니다.

2-2. 멀티스레드·멀티홉 평가 지표

기존 벤치마크는 작업 순서나 병렬 구조를 평가하지 않았지만, M3-Bench는

• Step Coherence (한 단계 내 불필요 분할 최소화),
• Merge Purity (필요한 단계 병합 여부),
• Order Consistency (단계 순서 올바름) 등을 도입하여 보다 구조적인 평가를 합니다.

이것은 단순 ‘하나씩 맞는지’ 넘어서, ‘적절한 단계 구조를 잘 유지했는지’를 판단해줍니다.

---

3. M3-Bench가 가져온 MLLM 성능 평가의 신세계

논문에서는 GPT-5, Gemini 2.5 Pro, Grok 4 같은 최신 멀티모달 LLM들의

• 도구 호출 정확도(Recall, Precision),
• 인자 유사도(Argument Similarity),
• 복잡한 워크플로우 보존력(멀티스레드 Coherence, 멀티홉 Consistency),

을 종합한 평가결과를 통계적으로 발표했습니다.

3-1. 핵심 관찰 포인트

1. GPT-5 (특히 Nano 버전)는 Recall(0.627), Argument Similarity(0.583), Multi-threaded Coherence(0.502) 등에서 최상위권으로 평가되었습니다.
2. 반면, GLM 4.5v, Qwen2.5-VL-72B, InternVL 3.5 등은 도구 호출 정확도와 구조적 일관성에서 낮은 점수를 보여 ‘기초 도구 사용 능력’에서 격차가 큽니다.
3. 성능 차이는 단순 ‘비전-언어 이해’ 능력뿐 아니라 ‘MCP 프로토콜 준수’, ‘도구 파라미터 이해 및 합리적 호출 계획 수립’ 능력에 상당히 기인하는 것으로 보입니다.

3-2. 예외 사례 및 오류 분석

M3-Bench는 오류 케이스도 상세 분석했는데,

• 일부 모델은 호출 포맷을 잘못 생성해 도구가 실행되지 않거나,
• 존재하지 않는 도구 호출을 반복하며 워크플로우가 붕괴되는 경우가 잦았습니다.
• 이미지 인식 오류로 인한 연쇄적 후속 작업 실패도 빈번했습니다.

이 때문에 ‘도구 사용’ MLLM 개발에 있어 기초적인 ‘호출 스키마 준수’와 ‘이미지 이해 강건성’이 반드시 선행되어야 함을 시사합니다.

---

4. 기존 연구 대비 M3-Bench의 의의

기존 대표 연구	한계점	M3-Bench 기여
ToolBench	텍스트-API 중심, 단순 호출 평가	멀티모달 포함, 통합 워크플로우 다룸
MCP-Bench	멀티홉 평가 가능하나 멀티스레드·멀티모달 부족	멀티스레드 병렬성, 유사도 매칭 도입
MCPEval	텍스트 지향, LLM 추론 의존 점수	독립적, 정확한 유사도 기반 자동매칭 적용
MCP-Atlas	다중도구 평가 지원하나 멀티모달 미흡	Immersive 과제, 231개 도구+28서버 체계 구축
Toolformer, ReAct 등	개별 제어 최적화 중점, 평가체계가 상대적으로 단순	평가프레임워크의 재현성, 정량성 강화

 

한마디로, M3-Bench는 ‘현실에서 쓰이는’ 복잡하고 동시성 있는 다중 도구 워크플로우를 MLLM이 얼마나 잘 다루는지 처음으로 체계적이고 수학적·구조적으로 포괄 검사합니다.

---

5. 마치며: M3-Bench가 열어젖힌 미래

M3-Bench는 단순히 모델 점수표를 뜯어보는 데 그치지 않고,

• 멀티모달 대화형 에이전트가 “지금 어떤 도구를 써야 하지?”, “중간 결과를 어떻게 관리하지?”, “순서가 엉키면 어떻게 수정하지?” 하는 현실적 문제에 맞게 훈련·평가할 수 있는 과학적 땅을 마련했다는 점에 그 기술적 가치가 있습니다.
• 게다가 유사도 기반의 자동 평가 메커니즘과 인간 검증 병행으로, 정확하고 재현 가능한, 논문의 다른 MCP 지표들과 차별화되는 평가 체계를 완성했습니다.
• 최신 GPT-5, Gemini, Grok 등이 좋은 성과를 내지만, 멀티모달 도구 사용 능력에는 여전히 큰 진전 여지가 있다는 점도 분명히 보여주면서, 이 분야 연구자들에겐 연구 방향성 제시 역할도 하죠.

---

참고해볼 놀라운 활용 사례 (태스크 샘플)

• 사진 속 상품 인식 + 아마존 가격 검색 → 상품 리스트화 (쇼핑에 최적!)
• 관광 명소 사진 인식 → 날씨, 인근 식당 검색 → 여행 일정 추천
• QR코드 촬영 → 웹페이지 이미지 획득 → 위치 추론 → 실시간 대기오염 정보 제공
• 동물 사진 인식 → 생태계 먹이사슬 검증 → 프라이버시 보호용 인물 블러 처리

이처럼 현실감 넘치는 ‘멀티모달 + 멀티인터랙션’ 배경에서 도구 사용을 평가하니, 정말 현장 적용 가능성이 탁월합니다.

---

다시 강조: M3-Bench의 기술적 핵심

요소	기술적 의의 & 가치
멀티스레드·멀티홉 워크플로우 지원	현실적 병렬 작업과 인과관계 모델링 가능
유사도 버킷 기반 Hungarian 매칭	엄밀, 재현 가능, 의미적으로 유연한 평가 달성
Executor–Judge + 휴먼 검증 파이프라인	안정적 정답 생성과 품질 보장
대규모 MCP 서버·도구 생태계 구축	적용 범위 확장과 통합 평가 환경 제공
포괄적 성능 지표(Recall, Precision 외 구조지표)	오류 원인까지 정확히 분리하는 진단 툴 제시

---

마무리: 여러분의 AI 연구와 개발에 팁!

• 멀티모달 LLM 도구 사용을 연구한다면, M3-Bench를 강력히 참고하셔서 실제 도구 호출 로직에 대한 세밀한 평가를 계획하세요.
• 유사도 기반 평가 방식은 단순히 맞았는지 여부 그 이상의 의미적 정확도를 반영하기에 추천합니다.
• 멀티스레드 병렬성, 멀티홉 인과성 도입은 복잡한 작업에서도 실제 적용 가능성을 높이는 핵심 설계임을 명심하세요.
• 최첨단 모델들도 아직 완전체가 아니기에, MCP 프로토콜 준수와 호출 스키마 정확성을 우선 챙겨야 하는 점도 인지해 두시면 좋습니다.

---

이제 M3-Bench에 대해 이해가 좀 더 쉽고, 실무에서 왜 이 벤치마크가 중요한지 감이 잡히셨나요? 계속 발전 중인 멀티모달 AI, ‘도구 사용하는 AI’에 대한 이해를 바탕으로 여러분의 연구가 더 탄탄해지길 바랍니다. 궁금한 점 있으시면 언제든 질문 주세요!

읽어주셔서 감사합니다! 🚀

---

관련 링크

• M3-Bench 오픈소스 리포지터리: https://github.com/EtaYang10th/Open-M3-Bench
• 논문 원문: https://arxiv.org/abs/2511.17729
• MCP 프로토콜 정보: https://mcp-spec-2025