# Ollama, 이제 AMD 그래픽 카드 지원

> Clean Markdown view of GeekNews topic #13838. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=13838](https://news.hada.io/topic?id=13838)
- GeekNews Markdown: [https://news.hada.io/topic/13838.md](https://news.hada.io/topic/13838.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-03-16T09:45:53+09:00
- Updated: 2024-03-16T09:45:53+09:00
- Original source: [ollama.com](https://ollama.com/blog/amd-preview)
- Points: 3
- Comments: 1

## Topic Body

- Ollama가 프리뷰 버전에서 Windows와 Linux에서 AMD 그래픽 카드를 지원하기 시작함  
- Ollama의 모든 기능이 이제 Linux와 Windows에서 AMD 그래픽 카드로 가속화될 수 있음  
  
### 지원되는 그래픽 카드  
  
- AMD Radeon RX 시리즈: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56  
- AMD Radeon PRO 시리즈: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG  
- AMD Instinct 시리즈: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50  
- 더 많은 AMD 그래픽 카드에 대한 지원이 곧 제공될 예정임.

## Comments



### Comment 23749

- Author: neo
- Created: 2024-03-16T09:45:54+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=39718558) 
- **llama.cpp의 기여에 대한 인정 부족**
  - llama.cpp가 제공하는 기술을 기반으로 하는 도구에 대해 llama.cpp가 직접적으로 인정받거나 감사를 받지 못하는 것이 눈에 띔.
  - 다른 "로컬 실행" 소프트웨어는 적절한 수준의 크레딧을 받는데, Ollama는 MIT 라이선스에 문제가 없는 것처럼 보이지만, 저장소나 블로그, Ollama 웹사이트 어디에도 감사의 표시가 없음.

- **Ollama의 AMD 지원과 관련된 블로그 포스트에 대한 의견**
  - 블로그 포스트가 재미있게 느껴짐. 이미 몇 주 동안 AMD RX 6650에서 Ollama를 실행하고 있었음.
  - 21일 전부터 ROCm 컨테이너를 제공했고, 최신 릴리스인 0.1.29와 함께 게시된 것 같음. AMD 지원과 관련하여 이번 릴리스에서 실제로 변경된 사항이 궁금함.
  - 공식적으로 지원하지 않는 AMD 카드에서 Ollama를 실행하는 과정을 거친 이슈가 있음. 환경 변수를 설정하는 것이 전부임.
  - starcoder2 모델이 이제 작동한다는 변경 사항을 발견함. 이전에는 충돌이 발생했었음.

- **Ollama에 대한 과도한 관심에 대한 의문**
  - Ollama가 많은 관심을 받는 이유가 확실하지 않음. 한 번에 하나의 모델만 지원하고 실험용으로만 사용되는 제한된 가치를 가짐.
  - 실험 과정을 매우 쉽게 만들지만, llama.cpp에 완전히 의존하고 주된 가치 제안이 쉬운 모델 관리인 것을 고려하면, 받는 주목과 찬사에 비해 가치가 과대평가되었다고 생각함.
  - 초기 실험 후에는 결국 모델을 생산 환경에 배포해야 함. llama.cpp에 대한 크레딧을 주는 것이 아니라, 이 제품이 제공하는 가치에 비해 과도한 주목을 받고 있다는 점을 지적함.

- **RX 6800/6800 XT / 6900 XT에 대한 지원에 대한 감사**
  - 코로나 이후 부족으로 인해 과도한 금액을 지불하고 구입한 카드를 ML 작업에 사용할 수 있게 되어 기쁨.
  - Ollama 프로젝트와 llama.cpp에 감사함.

- **Ollama 실행 시 AMD 관련 경고 메시지**
  - fooocus는 실행되지만 Ollama 실행 시 AMD 리눅스 드라이버와 관련된 경고 메시지가 나타남.
  - ROCm 라이브러리가 없어 CPU를 사용하게 됨.
  - Arch Linux에서 ROCm을 다시 설치하는 방법을 확인해야 함.

- **CUDA의 경쟁력 감소에 대한 긍정적인 반응**
  - 이러한 프로젝트가 늘어날수록 CUDA는 덜 중요해지고, Nvidia의 경쟁력이 줄어듦.

- **로컬 LLM 소프트웨어가 새로운 하드웨어 구매를 유도**
  - RX 570/580 같은 오래된 카드는 지원받지 못하고 새로운 하드웨어가 더 강력함에도 불구하고, CUDA가 2007년, ROCm이 2016년에 출시되었기 때문에 최신 카드가 필요하지 않을 것이라고 생각함.

- **Ollama의 간편한 사용 경험**
  - 로컬 모델을 실행해본 경험이 없지만, Ubuntu 22에서 7600 카드로 바로 작동하여 매우 훌륭함.

- **OpenCL의 활용과 관련된 궁금증**
  - OpenCL이 Cuda에 비해 드물게 사용되는데, 이를 어떻게 성공적으로 구현했는지 궁금함.
  - 4090 카드에 상당한 금액을 지불했지만, 선택의 여지가 있었으면 좋겠음.

- **NVidia 카드 가격과 AMD 지원 개선 노력**
  - 최상위 NVidia 카드의 가격이 매우 높고 구하기 어려운 상황에서 AMD 지원을 개선하기 위한 많은 노력이 이루어지고 있음을 시사함.