XrayGPT: 메디컬 비전-언어 모델(VLM)을 이용한 흉부 방사선 사진 요약
(github.com/mbzuai-oryx)- 흉부 방사선 엑스레이 사진을 자동 분석하는 연구
- Vicuna LLM을 메디컬 데이터(10만개의 환자/의사간의 실제 대화)와 3만개의 방사선학(Radiology)대화 기반으로 파인 튜닝
- 무료 텍스트 방사선학 리포트 데이터셋(MIMIC-CXR 과 Openl)으로부터 대화형으로된 깔끔한 요약(~217k)를 생성하여 LLM 성능을 향상
- Frozen Medical Visual Encoder(MedClip)을 파인튜닝된 LLM(Vicuna)에 얼라인(Simple Linear Transformation을 이용)