- “텍스트를 이미지로 표현하면 훨씬 적은 토큰으로 동일한 정보를 담을 수 있다” 는 통찰에서 시작
- 텍스트 정보를 2D 시각 표현으로 압축하는 새로운 접근법을 제안한 모델로, 긴 문맥을 효율적으로 다루기 위한 비전 기반 압축(Optical Compression) 개념을 실험적으로 검증함
- 모델은 DeepEncoder(인코더) 와 DeepSeek3B-MoE-A570M(디코더) 로 구성되며, 고해상도 입력에서도 낮은 활성 메모리와 10~20배 수준의 토큰 압축 비율을 달성함
- 10배 압축에서도 97% OCR 정밀도, 20배 압축에서도 60% 이상 정확도를 유지하며, 이는 장문 문맥 압축·기억 망각 메커니즘 연구에 실질적 가능성을 제시함
- OmniDocBench에서 GOT-OCR2.0(256 토큰/페이지) 대비 100개 비전 토큰만으로 상회 성능, MinerU2.0(평균 6000+ 토큰/페이지) 대비 800 토큰 이하로 우수 성능을 기록함
- 단일 A100-40G GPU로 하루 20만 페이지 이상 데이터 생성이 가능하며, LLM/VLM 대규모 학습용 데이터 엔진으로 실용 가치가 높음
1. 연구 배경
- 기존 LLM은 시퀀스 길이에 따라 계산량이 제곱으로 증가하는 구조적 한계를 지님
- 논문은 “텍스트를 이미지로 표현하면 훨씬 적은 토큰으로 동일한 정보를 담을 수 있다” 는 통찰에서 출발
- 이를 시각 토큰 기반 장문 맥락 압축(Context Optical Compression) 으로 정의하고, OCR을 그 실험적 무대로 설정함
- 결과적으로 시각 표현이 LLM의 문맥 처리 효율을 개선할 수 있는 새로운 경로를 보여줌
2. 모델 구조
-
DeepSeek-OCR = DeepEncoder + DeepSeek3B-MoE 디코더
- DeepEncoder: SAM(Window Attention) + CLIP(Global Attention) + 16배 토큰 압축기
- DeepSeek3B-MoE: 64개의 전문가 중 6개 활성화, 총 570M 활성 파라미터
-
다중 해상도 모드 지원 (Tiny~Gundam)
- 512~1280 해상도 입력을 지원하며, 최대 9개 타일을 합성 처리
- Gundam 모드는 초고해상도 문서(신문 등)에 대응, 최대 800 비전 토큰 사용
3. 데이터 엔진
- 총 3종류의 데이터 조합:
- OCR 1.0 데이터: 30M 페이지(100개 언어) 문서 기반, 세밀한 레이아웃·텍스트 주석 포함
- OCR 2.0 데이터: 차트·화학식(SMILES)·기하 도형 등 복합 인식용 16M 데이터
- 일반 비전 데이터: CLIP 기반 시각 이해 유지용, 전체의 20%
- 텍스트 전용 데이터: 10% 비중으로 언어 능력 보완
- 전체 훈련 데이터 구성 비율
- OCR 70% / 비전 20% / 텍스트 10%
4. 훈련 파이프라인
- DeepEncoder → DeepSeek-OCR 두 단계로 학습
- 총 20개 노드(8×A100 GPU)에서 데이터 병렬도 DP=40, 글로벌 배치 640
- 학습 속도: 텍스트 데이터 90B 토큰/일, 멀티모달 데이터 70B 토큰/일
5. 평가 결과
(1) 압축 실험 (Fox 벤치마크)
- 10배 압축에서 97% 정확도, 20배 압축에서도 60% 이상 유지
- 문서가 길거나 복잡할수록 성능 저하 발생하지만, 이는 “망각 메커니즘” 시뮬레이션 가능성으로 해석
- 압축률 10× 이하에서는 거의 손실 없는 문맥 복원 가능
(2) 실제 문서 인식 (OmniDocBench)
- Tiny(64 토큰)~Gundam(800 토큰) 모드 비교
- GOT-OCR2.0(256 토큰) 대비 Small(100 토큰) 모드에서 우수
- MinerU2.0(7,000 토큰) 대비 Gundam(800 토큰)으로 상회 성능
- 특정 문서 유형별로 요구 토큰 수가 다름
- 슬라이드, 리포트: 64~100 토큰으로 충분
- 신문, 논문: 400~800 토큰 필요
6. 질적 분석 (Qualitative Study)
-
Deep Parsing 모드
- 차트, 도형, 화학식, 자연 이미지까지 단일 프롬프트로 구조적 추출 가능
-
다국어 인식
- 약 100개 언어의 PDF 지원, 아랍어·싱할라어 등 소수 언어 포함
-
일반 시각 이해
- 이미지 설명, 객체 탐지, 그라운딩까지 수행
- LLM 연계 시 비전-언어 복합 추론의 기반 모델로 활용 가능
7. 논의 및 시사점
- DeepSeek-OCR은 비전 토큰 기반 장문 압축의 경계를 탐색한 첫 실험으로,
“한 이미지가 천 단어를 담는다”는 개념을 수량화함 - 압축률 10×에서도 거의 손실 없는 복원 가능 → 대화 히스토리 압축, 장기 기억 최적화 등으로 확장 가능
- “시간이 지나며 이미지 해상도를 줄이는 방식”을 통해 생물학적 망각 곡선과 유사한 토큰 감쇠 시뮬레이션 제안
8. 결론
- DeepSeek-OCR은 텍스트-시각 간 10~20배 압축 매핑의 실증 모델로,
LLM의 장문 문맥 처리 한계 극복을 위한 새로운 패러다임을 제시함 - OCR을 넘어서, 향후에는 디지털-광학 혼합 프리트레이닝 및
‘Optical Context Memory’ 기반 초장기 맥락 모델로 확장될 전망 - 코드는 공개되어 있으며, 연구 및 상용 데이터 엔진으로 활용 가능
Repo 내용 정리 : https://github.com/deepseek-ai/DeepSeek-OCR
- DeepSeek-OCR는 기존 OCR 오픈소스 대비, 시각 정보를 효과적으로 인코딩하는 대형 언어 모델(LLM) 기반 구조로 주목받음
- 다양한 해상도 지원(512×512~1280×1280) 과, 동적 해상도를 위한 Gundam 모드가 포함되어 다양한 환경 대응이 뛰어남
- 명확한 프롬프트 설계로 일반 이미지 설명, 마크다운 변환, 레이아웃 무시 OCR, 도표 파싱 등 다양한 작업 모드 지원함
- Fox, OminiDocBench와 같은 업계 벤치마크와의 연동 성능 확인, 실제 문서 처리 실험 기반 검증 진행함
- GOT-OCR2.0, PaddleOCR 등 다른 인기 프로젝트들의 장점과 아이디어를 수용해 구현되었음
-
지원 해상도
- Tiny: 512×512 (64 vision tokens)
- Small: 640×640 (100 vision tokens)
- Base: 1024×1024 (256 vision tokens)
- Large: 1280×1280 (400 vision tokens)
- Dynamic mode(=Gundam): 자유 해상도(n×640×640 + 1×1024×1024)
-
PDF, 이미지에 대한 병렬 추론 및 빠른 처리 속도
- A100 GPU 기준 PDF 처리~2,500 토큰/초 가능
- 기술적 배경 및 생태계 연계
- Python 100%로 구현되어 있음
- vLLM·Transformers 두 가지 주요 인퍼런스 환경 모두 지원
- OpenChart, Fox, OminiDocBench와 같은 주요 벤치마크 및 평가 프레임워크 활용
- GOT-OCR2.0, PaddleOCR, Vary 등의 선행 모델과 연동, 아이디어 차용, 성능 보강
