Blueprint-Bench: 대형 AI 모델들이 사진으로 집 평면도 그리기에서 ‘공간지능 한계’를 드러내다

안녕하세요! 오늘은 2025년 최신 논문인 “BLUEPRINT-BENCH: COMPARING SPATIAL INTELLIGENCE OF LLMS, AGENTS AND IMAGE MODELS”를 “기술적 가치”에 집중하여 소개드리려고 합니다.

---

Blueprint-Bench: AI가 사진에서 평면도를 그리는 새로운 도전과제

최근 AI 연구 트렌드는 “범용 인공지능”을 지향하며, 언어만 잘하는 모델을 넘어서 시각, 공간, 행동 영역까지 넓혀가고 있습니다. 하지만 실제로 이런 AI 모델들이 ‘공간지능’ 즉, 현실 세계의 3D 공간을 얼마나 잘 이해하고 표현하는지는 아직 명확하지 않죠?

 

이번 논문에서는 ‘Blueprint-Bench’라는 벤치마크를 제안했습니다. 이름에서도 알 수 있듯, 이 벤치마크는 집 내부의 사진들을 가지고 실제 2D 평면도를 그리는 작업을 AI에게 시킵니다. 매우 직관적인 공간지능 테스트인 셈인데요,

• 왜 이게 중요한가? 사진을 인식하는 능력(모달리티)은 요즘 대형 멀티모달 AI들이 엄청나게 발전했지만, 그걸 ‘공간적으로’ 재구성하는 작업은 완전히 다른 차원의 인지 능력입니다. 즉, AI가 사진들을 ‘진짜 공간으로 이해’할 수 있는지 보는 거죠.

---

종전 논문들과의 차별점

1. 기존 연구는 특정 모델과 특정 과제 중심이었다
   보통 공간 재구성 연구는 NeRF(신경 방사장) 같은 3D 재구성에 특화된 모델(예: Mildenhall et al., 2021)을 씁니다. 즉, ‘공간 인지’ 특화 모델 대상으로 엄밀한 평가를 해왔죠. 하지만 LLM(대형언어모델)이나 이미지 생성 모델이 일상 언어/사진을 ‘공간 정보’로 해석하는 능력은 아직 안 알려져 있었어요.
2. 입력은 사진인데 출력은 규격화된 2D 평면도
   사진은 요즘 멀티모달 LLM들이 수백억 장 이상 학습한 데이터 중 하나여서 ‘입력 모달리티’ 문제는 없지만, 평면도라는 엄밀한 공간 표현으로 변환하는 ‘추론 및 생성’ 작업은 전혀 다른 문제입니다.
3. 모델 다양성과 비교
   GPT-5, Claude 4 Opus, Gemini 2.5 Pro 같은 최첨단 LLM, GPT-Image, NanoBanana 같은 이미지 생성 모델, 그리고 Codex CLI 같은 AI ‘에이전트’ 시스템까지 한 벤치마크에 올려, 이들을 똑같은 기준으로 평가했다는 점에서 독창적입니다.

---

벤치마크 진행과 평가 방법

• 50개의 아파트, 각 약 20장 사진들
• 엄격한 평면도 규칙(검정 선: 벽, 초록 선: 문, 빨강 점: 방 중심, 배경은 하양)
• 모델에게 주어진 사진에서 규칙에 따라 SVG 코드 혹은 평면도를 ‘한 번에’ 생성하게 요청
• 평가 알고리즘은 방 간 연결 그래프, 문 위치, 방 크기 순위를 기준으로 ‘구조적 유사도’ 점수 산출

---

핵심 결과: 놀랍도록 낮은 AI 성능과 새로운 시사점

• 대부분 AI 모델들이 무작위 수준에 머물렀다!
  GPT-5, Gemini 2.5 Pro 등 몇몇 모델은 근소하게 무작위보다 낫지만, 전반적으로는 인간 성능과 비교 자체가 어려울 정도의 격차를 보였습니다. 인간은 사진만 보고도 방 연결을 거의 정확히 파악한 반면, AI는 크기뿐 아니라 연결마저 어긋나는 경우가 많았어요.
• 이미지 생성 모델은 ‘지시문 따르기’에서 큰 약점
  NanoBanana와 GPT-4o의 경우, 의도와 다르게 가구나 창문까지 그림에 넣는 등 평면도 제작에 필요한 엄격한 지시를 제대로 따르지 못해 평가 대상에서 제외되는 경우가 빈번했습니다.
• AI 에이전트들(Iterative agents)의 기대 이하 성능
  사람이 여러 번 보면서 조금씩 평면도를 그려가는 ‘반복 작업’ 방식을 시뮬레이션한 에이전트 모델들도 단번 생성 모델보다 나은 결과를 내는 데 실패했습니다. 이는 단순히 ‘한방 생성’의 한계가 아니라 에이전트를 설계하는 방법에도 개선 여지가 있다는 뜻입니다.

---

이 논문의 기술적 가치 – 왜 꼭 봐야 할까?

1. 범용 AI의 ‘공간지능’ 실태를 최초로 수치화하다
   이전 연구들은 ARC(Abstraction and Reasoning Corpus)처럼 매우 추상적이거나 훈련 데이터와 완전히 다른 태스크 위주였기 때문에, 대형 멀티모달 모델의 실제 ‘공간 이해력’을 정량적으로 확인하기 어렵웠습니다. Blueprint-Bench는 자연스러운 입력(아파트 사진)을 사용하여 직접 성능을 비교하며, ‘보편적 공간지능’이 아직 먼 미래임을 수치로 보여줍니다.
2. 대형 언어모델 vs 이미지 생성모델 vs 에이전트의 기술적 비교 제공
   단순히 한 종류 AI끼리 비교하지 않고, 서로 다른 아키텍처들 간의 공간 지능 수준을 가늠할 수 있도록 해 줍니다. 특히 이미지 생성 모델의 ‘일반지능’ 주장은 이제 막 나오는데, 구체적 성능 수치가 거의 없었죠. 본 논문은 이 공백을 메웠습니다.
3. 오픈소스 데이터와 공개 리더보드로 커뮤니티 참여 유도
   AI 연구의 중요한 트렌드인 ‘공개 검증’ 문화를 적극 장려하며, 시간이 지날수록 다양한 모델들이 참여하여 AI의 공간지능 발전 궤적을 추적할 수 있게 해줍니다.

---

앞으로 AI 기술 개발에 주는 교훈

• 사진이란 입력은 친숙하지만, 공간에 대한 ‘추론 능력’은 별개 문제입니다.
• LLM과 이미지 모델 모두 ‘단일 샷’ 생성 구조가 공간 지능에 불리한 점이 많고, 단순 반복 개선만으로는 한계가 있습니다.
• 에이전트 설계부터 평가 기준까지 공간 인지 전문성 반영이 필요하며, ‘지시문 준수 능력’도 공간지능 평가의 한 축으로 고려해야 합니다.

---

마무리: Blueprint-Bench가 열어줄 AI 공간지능의 미래

요약하자면, Blueprint-Bench는 우리가 ‘범용 AI’라 부르는 신기술들이 현실 세계 공간을 얼마나 이해하고 실생활 문제에 적용할 수 있을지 가늠할 수 있도록 해 주는 혁신적 벤치마크입니다.

 

기술적으로는 현재 LLM과 이미지 생성 모델 모두 공간 지능에서 아직 큰 폭발적 성과를 내지 못했지만, 이번 연구가 알려준 ‘어느 부분을 손봐야 하는지’ 명확한 이정표가 있습니다. 새로운 아키텍처 개발이나 에이전트 반복 전략, 그리고 스코어링 알고리즘 개선과 같은 연구 방향이 열릴 것이고요.

 

일상 사진을 통해 집의 공간 계획도를 정확히 그릴 수 있는 AI, 상상만 해도 멋지지 않나요? 음성 비서가 직접 집 평면도 작성해 주거나, 가상 부동산 중개 서비스가 실제 방문 없이도 공간을 완벽히 파악하는 시대가 머지않았습니다.

---

읽어주셔서 감사합니다! 여러분의 생각이나 질문은 언제든 댓글로 환영합니다. 앞으로도 Blueprint-Bench와 같은 첨단 AI 기술 트렌드 소식으로 다시 찾아뵐게요.

---

참고 링크

– Blueprint-Bench 논문 : https://arxiv.org/html/2509.25229v1

– 오픈소스 및 리더보드 : https://github.com/AndonLabs/Blueprint-Bench-generation, https://andonlabs.com/

#AI #공간지능 #멀티모달AI #평면도제작 #GPT5 #NanoBanana #BlueprintBench