Ollama, 이제 AMD 그래픽 카드 지원

 (ollama.com)
3P by GN⁺ | ★ favorite | 댓글 1개
  • Ollama가 프리뷰 버전에서 Windows와 Linux에서 AMD 그래픽 카드를 지원하기 시작함
  • Ollama의 모든 기능이 이제 Linux와 Windows에서 AMD 그래픽 카드로 가속화될 수 있음

지원되는 그래픽 카드

  • AMD Radeon RX 시리즈: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
  • AMD Radeon PRO 시리즈: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
  • AMD Instinct 시리즈: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
  • 더 많은 AMD 그래픽 카드에 대한 지원이 곧 제공될 예정임.

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견

  • llama.cpp의 기여에 대한 인정 부족

    • llama.cpp가 제공하는 기술을 기반으로 하는 도구에 대해 llama.cpp가 직접적으로 인정받거나 감사를 받지 못하는 것이 눈에 띔.
    • 다른 "로컬 실행" 소프트웨어는 적절한 수준의 크레딧을 받는데, Ollama는 MIT 라이선스에 문제가 없는 것처럼 보이지만, 저장소나 블로그, Ollama 웹사이트 어디에도 감사의 표시가 없음.

  • Ollama의 AMD 지원과 관련된 블로그 포스트에 대한 의견

    • 블로그 포스트가 재미있게 느껴짐. 이미 몇 주 동안 AMD RX 6650에서 Ollama를 실행하고 있었음.
    • 21일 전부터 ROCm 컨테이너를 제공했고, 최신 릴리스인 0.1.29와 함께 게시된 것 같음. AMD 지원과 관련하여 이번 릴리스에서 실제로 변경된 사항이 궁금함.
    • 공식적으로 지원하지 않는 AMD 카드에서 Ollama를 실행하는 과정을 거친 이슈가 있음. 환경 변수를 설정하는 것이 전부임.
    • starcoder2 모델이 이제 작동한다는 변경 사항을 발견함. 이전에는 충돌이 발생했었음.

  • Ollama에 대한 과도한 관심에 대한 의문

    • Ollama가 많은 관심을 받는 이유가 확실하지 않음. 한 번에 하나의 모델만 지원하고 실험용으로만 사용되는 제한된 가치를 가짐.
    • 실험 과정을 매우 쉽게 만들지만, llama.cpp에 완전히 의존하고 주된 가치 제안이 쉬운 모델 관리인 것을 고려하면, 받는 주목과 찬사에 비해 가치가 과대평가되었다고 생각함.
    • 초기 실험 후에는 결국 모델을 생산 환경에 배포해야 함. llama.cpp에 대한 크레딧을 주는 것이 아니라, 이 제품이 제공하는 가치에 비해 과도한 주목을 받고 있다는 점을 지적함.

  • RX 6800/6800 XT / 6900 XT에 대한 지원에 대한 감사

    • 코로나 이후 부족으로 인해 과도한 금액을 지불하고 구입한 카드를 ML 작업에 사용할 수 있게 되어 기쁨.
    • Ollama 프로젝트와 llama.cpp에 감사함.

  • Ollama 실행 시 AMD 관련 경고 메시지

    • fooocus는 실행되지만 Ollama 실행 시 AMD 리눅스 드라이버와 관련된 경고 메시지가 나타남.
    • ROCm 라이브러리가 없어 CPU를 사용하게 됨.
    • Arch Linux에서 ROCm을 다시 설치하는 방법을 확인해야 함.

  • CUDA의 경쟁력 감소에 대한 긍정적인 반응

    • 이러한 프로젝트가 늘어날수록 CUDA는 덜 중요해지고, Nvidia의 경쟁력이 줄어듦.

  • 로컬 LLM 소프트웨어가 새로운 하드웨어 구매를 유도

    • RX 570/580 같은 오래된 카드는 지원받지 못하고 새로운 하드웨어가 더 강력함에도 불구하고, CUDA가 2007년, ROCm이 2016년에 출시되었기 때문에 최신 카드가 필요하지 않을 것이라고 생각함.

  • Ollama의 간편한 사용 경험

    • 로컬 모델을 실행해본 경험이 없지만, Ubuntu 22에서 7600 카드로 바로 작동하여 매우 훌륭함.

  • OpenCL의 활용과 관련된 궁금증

    • OpenCL이 Cuda에 비해 드물게 사용되는데, 이를 어떻게 성공적으로 구현했는지 궁금함.
    • 4090 카드에 상당한 금액을 지불했지만, 선택의 여지가 있었으면 좋겠음.

  • NVidia 카드 가격과 AMD 지원 개선 노력

    • 최상위 NVidia 카드의 가격이 매우 높고 구하기 어려운 상황에서 AMD 지원을 개선하기 위한 많은 노력이 이루어지고 있음을 시사함.
답변달기