진짜 임상 데이터로 돌아본 LLM 희귀질환 진단의 한계와 미래: MIMIC-RD가 보여준 현실적 도전과 기회

안녕하세요! 오늘은 2025년 ML4H 워크숍에서 발표된 흥미로운 논문 ‘MIMIC-RD: Can LLMs Differentially Diagnose Rare Diseases in Real-World Clinical Settings?’를 보려고 합니다. 특히, 기존 연구들과 비교해 왜 이번 연구가 의미 있고, 앞으로의 AI 의료 진단 분야에 어떤 영향을 미칠지 풀어볼게요.

---

LLM과 희귀질환 진단, 어디까지 와있나?

우선 배경부터 짚어볼게요. 희귀질환은 미국 인구 10명 중 1명꼴로 영향을 받을 만큼 생각보다 많지만, 그 진단은 엄청 어렵습니다. 증상이 다양하고, 의료 데이터 자체가 희귀질환을 잘 대표하지 못하니까요. 이에 따라 LLM(대형 언어 모델)들이 기억력과 복잡한 정보 처리 능력을 살려 이런 희귀질환 진단 보조에 대한 기대가 컸습니다.

 

하지만 기존 연구들은 크게 두 가지 한계가 있었어요.

1. 깨끗한 임상 사례만 썼다: 예를 들어 기존 연구들은 실제 병원 기록이 아니라 깔끔하게 정리된 케이스 스터디 데이터만 썼습니다. 현실 임상에서는 증상 기록이 훨씬 복잡하고 노이즈가 많거든요.
2. 희귀질환 라벨링을 ICD 코드로 한정: ICD(국제질병분류) 코드를 기반으로 희귀질환을 찾았는데, ICD와 희귀질환 표준인 Orphanet 간 매핑이 불완전해서 희귀질환 누락이 많았습니다. 실제 희귀질환 데이터 커버리지가 떨어진 거죠.

---

이번 ‘MIMIC-RD’ 논문의 혁신점: 리얼 월드 환자 데이터 직접 마이닝

이번 연구가 주목되는 점은 바로

• 실제 임상 텍스트(전자건강기록)에서 희귀질환과 표현형(phenotype)을 직접 LLM 기반으로 추출하고,
• 의학 전공 학생 4인이 검수해 정말 ‘희귀질환’ 상태인지 확정했으며,
• Orphanet과 Human Phenotype Ontology(HPO)처럼 전문 희귀질환 온톨로지에 맵핑했다는 겁니다.

특히, MIMIC-IV 임상 기록 중 145명 희귀질환 환자를 엄선하여 평균 약 128개의 표현형 데이터를 확보한 대용량 벤치마크를 만들었어요. 기존 RAMEDIS, MME, HMS 등과 비교해도 10배 이상 많은 표현형 정보가 담겨 있어서, 훨씬 실제 임상에 근접한 ‘현실적인’ 진단 문제를 풀 준비가 된 거죠.

---

LLM 진단 성능은 어찌되나?

여러 공개된 LLM 모델들(Llama 3.3 70B, Mistral 24B, OpenBioLLM 70B 등)을 돌려본 결과, 놀랍게도 희귀질환 진단 정확도(Hit@10 기준)가 40%를 넘지 못했습니다.

 

기존 Chen(2025) 연구에선 75% 가까운 성과를 보고했는데, 이런 큰 차이는 현실 임상 데이터가 훨씬 복잡해 모델이 제대로 학습과 평가를 하기 어렵다는 점을 극명하게 보여줍니다.

 

또 흥미로운 건,

• Llama 3.3(일반 대형모델)이 바이오메디컬 파인튜닝된 OpenBioLLM보다 성능이 더 좋았다는 점인데요,
  이는 무작정 파인튜닝만 하는 게 능사가 아니라, 모델이 실제 희귀질환 표현형 분포를 잘 이해하도록 학습 데이터와 전략이 중요하다는 의미로 볼 수 있습니다.
• 환자 표현형과 실제 희귀질환 간 대표적 증상 일치가 많을수록 LLM 진단 성공률이 올라갔다는 분석도 인상적이에요. 즉, LLM의 최대 약점은 희귀하거나 모호한 증상 조합에 대한 이해와 적절한 우선순위 판단 능력이라는 거죠.

---

기술적 가치와 차별점

기술 관점에서 “MIMIC-RD” 논문이 주는 큰 메시지는,

• 직접 임상 노트에서 LLM을 이용해 희귀질환 및 표현형 데이터를 정밀하게 마이닝하는 새로운 ‘데이터 전처리’ 방법론이 의료 AI 정확도 향상의 열쇠임을 제시했습니다. (기존은 케이스 스터디·ICD 코드에만 의존)
• 실험적 벤치마크가 현실 임상 조건을 제대로 반영하면서, LLM 성능 평가가 한층 엄격해짐을 알림으로써 진짜 의료 현장 적용 가능성을 높였다는 점에서 의미가 큽니다.
• 단편적인 텍스트 정보 외에도 다중 모달 데이터(영상, 검사 결과) 결합이 필요하다는 점을 명확히 짚어, 단일언어 모델만으로 한계 극복 어려움을 나타냈습니다.
• 의료전문가와 협업해 질 높은 검증 데이터를 만든 과학적 접근은, 의료 AI 신뢰성 향상에도 중요하다는 점을 보여줬습니다.

---

결론 : 희귀질환 진단 보조 AI, 앞으로의 기술 방향은?

이번 논문은 희귀질환 진단에 LLM을 활용하는 연구에서 ‘리얼 월드 임상 데이터 기반 평가’가 필수적임을 단단히 증명했습니다. 그리고 단순 모델 크기나 파인튜닝 만으로는 부족하다는 걸 보였죠.

 

앞으로는,

• 다중 모달 통합 AI (텍스트+영상+검사 데이터) 개발과,
• 깊고 객관적인 도메인 지식 주입 및 전문가 검증,
• 대규모真实 임상 데이터셋 구축 및 공개

등이 맞물려 발전해야 진짜 의료 현장에 실질적인 도움을 줄 수 있을 겁니다.

---

에필로그

희귀질환 진단처럼 어려운 의료 문제에 AI가 뛰어들려면, 기술적 완성도 뿐 아니라 데이터 전처리, 도메인 온톨로지 활용, 전문가 협업 등 실질적 ‘엔드 투 엔드’ 체계 구축이 중요합니다.

 

‘MIMIC-RD’ 논문은 이런 기술과 과학의 시너지를 보여준 멋진 사례로, 앞으로 의료 AI 연구하시는 분들에게 강력히 추천드리고 싶은 공부거리입니다!

---

읽어주셔서 감사합니다 :) 혹시 희귀질환 AI 진단 도전, 혹은 LLM 의료 활용 관련해서 궁금한 점 있으시면 댓글 남겨주세요!