최신 LLM 로봇 의사결정, 99% 성공에도 ‘한 번의 치명적 실패’가 드러낸 생명 위협의 숨은 위험성

안녕하세요! 오늘은 최신 논문 ‘SAFETY NOT FOUND (404): HIDDEN RISKS OF LLM-BASED ROBOTICS DECISION MAKING’(https://arxiv.org/abs/2601.05529)을 풀어보려고 합니다.

---

AI가 안전을 놓치다? LLM 기반 로봇 의사결정의 ‘숨은 위험성’을 봤습니다

최근 대형 언어 모델(LLM)과 비전-언어 모델(VLM)을 로봇 제어와 의사결정에 활용하는 사례가 급증하는데요. 자연어를 이해하고 상황판단을 하는 AI가 로봇 ‘두뇌’ 역할을 맡으면서 자율주행, 재난구조, 산업용 로봇 등 현장 적용 가능성이 기대됩니다.

 

그런데, “이 AI가 의료나 화재 대피 같은 ‘사람 생명 직결’ 상황에서 실수하면 어떻게 될까요?” 라는 아주 현실적이면서도 치명적인 질문을 던진 게 이번 논문의 핵심입니다. 실제로 최신 모델들도 안전에 치명적인 오류를 반복하고 있다는 놀라운 결과들을 공개합니다.

---

어떻게 연구했냐고요? ‘안전’에 집중한 7가지 새로운 평가 과제

기존 연구들, 예를 들어 ‘Vision-Language Navigation’(VLN) 분야는 주로 AI가 목표 지점까지 정확히 가는지, 경로가 얼마나 짧고 효율적인지에 초점을 맞췄어요. 하지만 ‘안전’이란 관점에서는 “정확도 99%면 충분한가?”란 의문이 필수적입니다. 이 문제를 보완하기 위해 이번 연구진은 크게 세 카테고리로 나눈 7개 평가과제를 고안했어요.

1. Complete Information Task (완벽 정보 상황)

• 완전한 ASCII맵 기반 환경에서 AI가 지정된 출발점에서 목표지점까지 어떻게 경로를 찾는지 평가합니다.
• 장점: 그래픽 대신 문자 기반 맵이라 모호성 제거-공정한 비교 가능.
• 결과: GPT-5가 완벽에 가까운 성능(100%)을 보였지만, Gemini-2.0과 GPT-4o는 복잡한 환경에서 완전히 실패(0%)하는 ‘비상식적 붕괴’를 보였어요.

2. Incomplete Information Task (불완전 정보 상황)

• 일부 정보가 누락된 상태에서 AI가 빈칸을 유추하며 경로나 방향을 맞추는 과제들.
• 특히 ‘Sequence Masking’과 ‘Sequence Validation’에서 LLaVA 등 여러 모델들이 오판하거나 허구의 정보를 만들어내는(=환각 hallucination) 문제가 발견.
• GPT-5는 그래도 이들 중 최고 성능.

3. Safety-Oriented Spatial Reasoning (SOSR, 안전중심 공간 추론)

• 긴 자연어 긴급상황 시나리오 예를 들어 “불난 건물에서 어디로 대피할까요?” 같은 질문을 던져 AI가 안전 위주로 판단하는지 테스트.
• 충격적 결과: 어떤 모델(Gemini-2.5 Flash)은 32% 확률로 ‘서버룸으로 가라’는 치명적 오답을 냈습니다! 서버룸은 폭발 위험이 있는 극한위치예요.
• 반면 GPT-4o는 안전 관련 질문에 아예 답변을 거부하는 정책을 사용했기에 이런 위험한 충고는 없었죠.

---

기존 연구들과 이 논문의 차이점

• 기존 VLN 평가: 탐색 성공률, 경로 길이, 시간 정합성 등 '최적 경로 찾기'에 초점.
• 이번 연구: ‘안전’을 최우선 가치로 삼아 실패하면 생명 위협까지 갈 수 있는 ‘한 번의 실수’를 명확히 다룸.
• 완전 맵 vs 자연어 시나리오: ASCII 맵으로 정보 완전성 조절, SOSR 통해 복잡 문맥 포함한 자연언어 추론까지 평가해 공간 추론 능력 전반 측정.
• 통계적 정확도 99% vs 1% 실패의 치명성: ‘통계적 우수성’만으로 안전 보장 안된다는 걸 수치와 사례로 시스템화.

---

왜 가치가 있을까요? — 기술적 측면 짚어보기

1. 직관적 오류 측정 → 안전 중심 평가를 위한 새로운 기준 제시

• 오늘날 AI 평가들은 ‘정확도, 성공률’ 눈금만 보면 좋은 성능인 듯 보이지만, 이번 논문은 ‘희소하지만 치명적인 실패 사례’를 포착해 안전이 요구되는 로봇 분야엔 치명적 허점임을 보여줍니다.
• 예: 100번 중 1번만 틀려도 사용자가 다치거나 사망할 수 있는 응급탈출 상황.

2. 시각적 모호성 줄인 ASCII 맵 활용

• 이미지 대신 텍스트 그래픽 맵으로 환경 인지를 평가, 이 덕분에 ‘공정성’과 ‘재현성’이 훨씬 높아졌고, 공간 추론 오작동의 원인을 더 명확히 판단할 수 있었죠.
• 연구 현장과 실무에 큰 도움이 되는 투명한 평가모델을 설계.

3. 불완전 정보 및 자연언어 위기상황까지 포괄

• AI는 완벽한 정보가 제공될 상황보다 불완전하거나 복잡한 상황에서 더 많이 쓰입니다.
• 환각 허용범위(예: 틀린 정보 생성)를 제한하려면 이런 상황에서 견고성을 키워야 하는데, 이번 연구로 구체적 약점과 실패양식을 데이터와 예시로 분명히 드러냈습니다.

4. 안전 우선 사고 기반 설계 가능성 탐색

• GPT-5 같은 최신 모델은 “불확실 영역을 안전하지 않다고 가정”하는 보수적 판단 등 실제 적용에 적합한 ‘안전 중심’ 사고방식을 어느 정도 보여주었어요.
• 반면, 다른 모델들은 단순한 성공률엔 근접하면서도 약간의 ‘규칙 위반’이 안전을 크게 저해하는 예들을 노출.

5. 정책 설계와 윤리적 판단 기준 제안

• GPT-4o처럼 “안전문제 관련 답변 거부” 전략은 위험회피 측면에서 보완 방법 중 하나로 평가합니다.
• 향후 ‘안전성 보증’과 ‘책임 소재’를 다루는 로봇-AI 신뢰 구축에 중요한 논의 거리가 될 것입니다.

---

결론: 지금 AI가 ‘안전한 의사결정’을 보장한다고 보긴 어렵다

지금까지 LLM과 VLM이 얼마나 잘하나 봤는데, 놀랍게도 99% 성공하더라도 1% 실패가 재앙이 될 수 있어요. 특히 긴급 상황, 공간 인지 기반 의사결정에는 아직 불안정하며, 최신 버전들이 반드시 ‘더 안전하다’고 보장 못 한다는 충격적 사실을 직시해야 합니다.

• 완전 맵도 아무리 시도해도 일부 모델은 ‘엉망진창’ 경로 표시 (구조 붕괴)
• 복잡하거나 정보 부족한 상황에서는 – 환각, 근거 없는 자기주장 늘어남
• 긴급 대피 시나리오에선, 사람보다 ‘서류’ ‘기계실’ 우선시하는 답변까지 등장
• 심지어 동일 모델 최신 버전이 안전성 저하하는 이상 현상도 발견.

여러분도 잘 아시다시피, 이런 ‘일관성 없는 사고’와 ‘위험 무시’는 사람이 직접 설계하고 확인해야 하는 현재 안전시스템 관점에선 절대 용납할 수 없는 문제입니다.

---

앞으로 연구 방향과 우리가 얻을 수 있는 교훈은?

• 더 큰 AI 모델, 더 많은 데이터로 평가 확장 필요
• 물리적 로봇에 실제 탑재해 실시간 동작 테스트 (논문도 계획 중)
• 안전성 평가 지표와 체계, AI 윤리 기준을 강화하는 것이 시급
• AI가 확실히 ‘신뢰 받는 인간 대체 의사결정자’가 되려면, 단순 언어 이해 넘는 안전 지향 종합 추론능력 필수.
• 다시 말해, 지금 단계에서 로봇 자율 운영에 AI를 ‘무조건 믿고 맡기기’는 너무 위험하고 장기적으로는 안전성 보장 메커니즘 통합이 관건입니다.

---

마무리하며

이번 논문은 기술 발전의 빛과 그늘을 한눈에 보여주는 중요한 연구입니다. 많은 분들이 좋아하는 GPT-5, Gemini 같은 최신 AI도 사실상 ‘사람 생명이 직결된 현장’에선 아직은 시험대에 올라있다는 충격적인 사실을 알려줍니다.

안전이라는 거대한 가치 앞에서는 단순한 정확도 숫자가 아니라, ‘한 번의 실패가 무엇을 일으키는가’를 깊게 고민하는 자세가 필요하다는 점! 이게 진짜 AI 시대를 준비하는 우리의 숙제입니다.

---

오늘 리뷰가 AI와 로봇 컨트롤, 안전성 문제를 고민하시는 여러분께 의미 있는 인사이트가 되었으면 좋겠습니다. 더 궁금하신 점 있으시면 언제든 문의해 주세요!

그럼 다음 글에서 또 재미있고 유익한 최신 AI 논문 이야기로 찾아뵙겠습니다. 감사합니다 :)