# XrayGPT: 메디컬 비전-언어 모델(VLM)을 이용한 흉부 방사선 사진 요약

> Clean Markdown view of GeekNews topic #9610. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9610](https://news.hada.io/topic?id=9610)
- GeekNews Markdown: [https://news.hada.io/topic/9610.md](https://news.hada.io/topic/9610.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-07-04T10:02:01+09:00
- Updated: 2023-07-04T10:02:01+09:00
- Original source: [github.com/mbzuai-oryx](https://github.com/mbzuai-oryx/xraygpt)
- Points: 7
- Comments: 1

## Topic Body

- 흉부 방사선 엑스레이 사진을 자동 분석하는 연구   
- Vicuna LLM을 메디컬 데이터(10만개의 환자/의사간의 실제 대화)와 3만개의 방사선학(Radiology)대화 기반으로 파인 튜닝   
- 무료 텍스트 방사선학 리포트 데이터셋(MIMIC-CXR 과 Openl)으로부터 대화형으로된 깔끔한 요약(~217k)를 생성하여 LLM 성능을 향상  
- Frozen Medical Visual Encoder(MedClip)을 파인튜닝된 LLM(Vicuna)에 얼라인(Simple Linear Transformation을 이용)

## Comments



### Comment 17001

- Author: cosine20
- Created: 2023-07-06T09:17:26+09:00
- Points: 1

흉부 X레이 사진이 있으면 직접 데모도 해볼 수 있네요.