자동으로 멀티모달 지식그래프 구축해 LLM 답변력 2배 높인 MegaRAG 혁신!

안녕하세요! 오늘은 최근 발표된 MegaRAG 논문을 풀어볼게요. MegaRAG는 멀티모달 지식 그래프(Multimodal Knowledge Graph, MMKG)를 자동으로 구축해 대형 언어모델(LLM)의 질문응답 역량을 대폭 향상시킨 최신 Retrieval-Augmented Generation(RAG) 시스템입니다. 기존 논문들과 무엇이 다르고 왜 좋아졌는지, 핵심 기술과 실험 결과를 살펴보겠습니다.

---

1. RAG와 MMKG, 그리고 MegaRAG가 해결한 과제

먼저 RAG는 말씀드린 것처럼 LLM이 외부 지식을 실시간 검색해 답변 품질을 높이는 기술입니다. 원래는 텍스트 기반 문서 청크(chunk)를 임베딩 공간에 넣고 유사도 검색하는 방식이었는데요, 최근엔 지식 그래프(KG) 기반으로 문서 내 엔티티와 관계를 추출해 더 구조적이고 심층적인 추론을 시도합니다.

 

하지만 기존 KG-RAG들은 전부 텍스트 모달리티에 국한된 데다, 문서를 페이지 단위로 자르고 별도로 처리해 전역적(contextual) 관련성을 제대로 구현하지 못하는 한계가 있었어요. 시각·레이아웃 정보가 많은 멀티모달 문서에는 편향된 이해만 하게 된 거죠.

 

바로 여기서 MegaRAG가 혁신을 일으킵니다. 평범한 텍스트 KG가 아니라 텍스트, 표, 이미지 등 시각 데이터를 모두 통합한 멀티모달 KG(MMKG)를 ‘자동으로’ 구축하고, 이를 지능적으로 정제(refinement)하며, 최종 질문답변에도 MMKG를 활용하는 최초 시도입니다.

---

2. MegaRAG의 핵심기술: 자동 생성부터 두단계 생성까지

2.1 자동 MMKG 구축과 정제

MegaRAG는 ‘페이지 단위로’ 텍스트와 이미지(도표, 표 등)에서 엔티티와 관계를 병렬로 추출하는 데서 시작합니다. 기존 연구들이 주로 텍스트만, 또 커다란 문서를 쪼개 독립적으로 처리하는 것과 달리, MegaRAG는 초기 MMKG를 만든 뒤 이를 전역 그래프로 합치고, 각 페이지에 대해 전역 그래프 일부분(subgraph)을 불러와 보완하는 ‘2라운드 연쇄 추론’을 도입했습니다.

 

예를 들어, 텍스트에선 “2023년 전기차 판매 증가”라고 쓰여 있고, 시각 자료에 ‘전기차 판매량’ 그래프가 있으면, 이 둘을 초기에 분리된 엔티티로 처리했다가 정제 단계에서 서로 연관시키고 ‘시각자료가 텍스트를 뒷받침한다’는 관계를 추가하죠.

 

이는 지연적 KB보완이 아니라 ‘모달 간 연계’와 ‘문서 전체 이해’를 가능케 하는 신선한 접근입니다.

2.2 통합 임베딩 인덱싱과 효과적인 검색

KG 단위뿐 아니라 페이지 이미지 자체도 임베딩해 전통적 텍스트·이미지 검색을 통합 처리합니다. GME라는 최신 멀티모달 임베더를 활용해 ‘텍스트-텍스트’, ‘텍스트-이미지’, ‘이미지-이미지’ 등 모든 유형을 같은 공간에 임베딩해 편리하고 유연한 검색이죠.

 

사용자가 질문하면 LLM이 핵심 키워드(로우클래스·하이클래스)를 뽑고, 이를 토대로 관련 엔티티·관계 서브그래프와 페이지를 한꺼번에 검색해, 시각과 텍스트 정보를 모두 풍부하게 확보합니다.

2.3 두단계 답변 생성(Generation)

다수 모달이 한꺼번에 입력되면 종종 ‘모달 편향’이 심해 한쪽에 치우칠 위험이 있는데, MegaRAG는 시각 기반 답변과 텍스트 기반 답변을 나눠 독립 생성 후, 마지막에 이 둘을 통합하는 2단계 합성 방식을 씁니다.

이 덕에 둘 간 시너지 효과를 극대화하면서, 시각 데이터와 텍스트가 공평하게 답변에 반영되도록 해줘요.

---

3. 기존 논문들과 차별점

• GraphRAG, LightRAG: 텍스트 KG 자동 생성에 집중. 하지만 여전히 문서 쪼개고 로컬리 정제하며, 시각 정보 배제. 단일 모달 텍스트가 강점.
• VisRAG, ColPaLi 등: 멀티모달 임베딩과 직접 이미지 검색 도입했지만, 문서 전역 구조나 KG로의 통합 지원 부족.
• Lee et al. ‘24 MMKG: 수동으로 도메인 특화 MMKG 제작. 자동화와 범용성 한계명확.

MegaRAG는 완전히 ‘자동’으로 MMKG를 구축하면서, 글로벌 문서 관계까지 점진적으로 정제하는 기법 도입해 한계를 뛰어넘었고, 답변 생성에도 모달별 분리 전략을 사용해 균형 잡힌 결과를 보여줍니다.

---

4. 실험 결과와 기술 가치

MegaRAG는 10여 개 이상의 광범위한 데이터셋(백과사전 수준 텍스트, 슬라이드·교재 등 멀티모달 문서)에서 광역 문서 질의응답(Global QA)과 지역 단위 질문(Local QA) 모두에서 기존 최고 수준 RAG 대비 압도적 성능을 냅니다.

• 텍스트 전용 QA(UltraDomain): 59~75% win rate로 최고 수준. 사전 생성만으로 글로벌 컨텍스트를 통합했기에, 분절 처리 위주의 GraphRAG 대비 큰 폭 개선.
• 멀티모달 QA(World History, DLCV, GenAI 등): 83~90% win rate 대성공. 시각자료와 텍스트를 결합한 KG 덕분에 슬라이드 기반 시각집중 문서도 능숙히 처리.
• 슬라이드·테이블 특화 SlideVQA, RealMMBench: 정확도가 2배 이상 천정부지. 특히 테이블, 그래프 밀집 콘텐츠에 선명한 강점.
• Ablation Study를 보면 비주얼 입력 제거 시 성능 급강하, 2단계 생성 없애면 다양성과 정보 제공량 감소, 구조화된 MMKG 검색이 핵심요소임을 다시 확인했습니다.

즉, MegaRAG의 기술 가치란

• 완전 자동화된 멀티모달 KG 구축으로 도메인·포맷 무관 범용성 확대
• 글로벌 컨텍스트를 연결하는 정제 루프로 KG 완성도·일관성 및 추론력 강화
• 통합 임베딩 검색과 모달 균형적 생성 프로토콜로 답변 질 한층 향상

이 세 가지 혁신적 요소의 앙상블 덕분에, 장기간·다양 문서에 대한 LLM 활용도를 실제 환경 급상승시키는 출발점이라고 할 수 있습니다.

---

5. 결론 및 앞으로 기대점

MegaRAG은 LLM 활용 각광 받는 Retrieval-Augmented Generation 분야에서, 실용성과 기술 혁신 모두를 갖춘 ‘멀티모달 KG RAG’의 새 시대를 열었다고 평가할 수 있어요. 기술적으로는 KG 자동 생성→정제→검색→2단계 생성 흐름으로, 단일 모달/분절 처리에 머물던 기존 판도를 바꿨습니다.

앞으로는

• 더 복잡한 멀티모달 데이터(비디오, 음성) 확장
• 실시간 KG 업데이트와 상호작용성 개선
• 다양한 MLLM과 모델 경량화/효율화 연계

등으로 이어진다면, 우리 삶 곳곳에 AI가 힘을 더하는 일상적 도구가 될 가능성도 큽니다.

---

긴 글 읽어주셔서 감사해요! MegaRAG 논문은 멀티모달 데이터 활용과 장기 지식 융합 기술에서 대형 모델의 보완재로 무척 매력적인 연구인데요, 큰 그림과 디테일 모두 잘 잡힌 최신 RAG 모델을 찾으시는 분께 강력 추천합니다.

필요하시면 논문 링크와 깃허브도 공유 가능하니 마지막에 댓글 남겨주세요! 다음 리뷰에서 또 만나요~ 😊

---

참고: 본 리뷰는 MegaRAG 논문(arXiv:2512.20626) 내용을 바탕으로 작성했습니다.