AMD, AI 추론 성능·효율 높이려 MK1 인수

 (mkone.ai)
1P by GN⁺ | ★ favorite | 댓글 1개
  • AMD는 MK1 인수를 통해 AI 추론 성능과 효율을 하드웨어부터 소프트웨어까지 스택 전반에서 끌어올리려 함
  • Mountain View 기반 MK1은 대규모 배포에 맞춘 고속 추론과 reasoning 기반 AI 기술에 집중해 온 팀임
  • MK1의 Flywheel은 AMD 하드웨어에 최적화돼 있으며, 현재 하루 1조 개 이상의 토큰을 처리함
  • MK1 팀은 AMD Artificial Intelligence Group에 합류해 엔터프라이즈 AI 소프트웨어 스택과 추론 역량 강화에 투입됨
  • Flywheel과 comprehension engines는 AMD Instinct GPU의 메모리 아키텍처를 활용해 대규모 reasoning의 정확성, 비용 효율성, 추적 가능성을 높이는 데 초점을 둠

AMD AI 스택에 합류한 MK1

  • AMD는 MK1 인수를 완료하고, 이를 AI 성능과 효율을 스택 전반에서 높이기 위한 전략적 이정표로 삼음
  • MK1은 Mountain View, California 기반 팀으로, 대규모 배포에 최적화된 고속 추론과 reasoning 기반 AI 기술을 개발해 옴
  • MK1의 Flywheel 기술은 AMD 하드웨어에 최적화돼 있으며, 현재 하루 1조 개 이상 토큰을 처리함
  • MK1 팀은 AMD Artificial Intelligence Group에 합류함
    • 이 팀의 기술과 전문성은 AMD의 고속 추론 역량과 엔터프라이즈 AI 소프트웨어 스택을 발전시키는 데 활용됨

Flywheel이 겨냥하는 엔터프라이즈 AI

  • MK1의 Flywheel과 comprehension engines는 AMD Instinct GPU의 메모리 아키텍처를 활용하도록 설계됨
  • 이 기술은 대규모 환경에서 정확성, 비용 효율성, 완전한 추적 가능성을 갖춘 reasoning 제공에 초점을 둠
  • AMD는 MK1의 소프트웨어 혁신과 자사 컴퓨팅 역량을 결합해 엔터프라이즈 AI의 다음 단계를 가속하려 함
    • 고객이 복잡한 비즈니스 프로세스를 자동화하도록 지원
    • 고부가가치 애플리케이션에서 새로운 기회를 열 수 있도록 지원
  • 인수의 기대 효과와 관련된 문장은 미래예측진술에 해당하며, 실제 결과는 AMD의 SEC 제출 문서에 기재된 위험과 불확실성에 따라 달라질 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들
  • 기존에 나와 있는 양자화 기법을 한 번도 언급하거나 결과와 비교하지 않는 게 이상함
    보통은 선의로 보려 하지만, 이미 널리 쓰이는 같은 목적의 기법들을 모를 리는 없으니 비교 벤치마크가 있어야 함
    빠진 부분을 보완하자면, Llama 1에 대해 llama.cpp가 제공하는 양자화별 비교표[0]가 있음. Llama 2 지표와 직접 비교할 수는 없지만, 속도와 퍼플렉서티 변화율만 보면 MK-1은 Q5_1과 매우 비슷해 보임. 퍼플렉서티는 작지만 무시 못 할 정도로 나빠지고, 속도는 2배 조금 넘게 빨라짐
    이 수치가 맞다면 Hugging Face에서 미리 양자화된 Llama 2 모델을 내려받아 MK-1이 제공하는 것과 사실상 같은 성능을 낼 수 있음. Q5 파일은 여기 있음: https://huggingface.co/TheBloke/Llama-2-13B-GGML/tree/main
    [0] https://github.com/ggerganov/llama.cpp#quantization
    • 창업자 중 한 명임. 기존 방법과 비교하지 않기로 한 이유는 공정하게 비교하기가 어렵다고 봤기 때문임
      기법마다 절충점과 사용 사례가 많고, 한쪽이 나쁘고 다른 쪽이 좋은 문제가 아니라 목표 설계 지점이 다름. 예를 들어 클라우드와 로컬은 다름. 우리는 수치와 벤치마크를 공개하고 있고, 현재 가치 제안에 맞는 초기 파트너를 찾고 있어서 비공개 베타로 진행 중임
      예를 들어 llama.cpp는 단일 사용자 사례(batch=1)에서 로컬로 모델을 돌리는 훌륭한 프레임워크임. llama.cpp가 RPi, CPU, GPU 같은 여러 백엔드를 지원하긴 하지만, 다중 사용자 사례(batch >> 1)의 GPU에서 특정 퍼플렉서티, 압축률, 속도 기준으로 MKML이 더 낫다고 비교해 보이는 건 공정하지 않다고 봄. 그건 내가 알기로 llama.cpp의 목표 사용 사례가 아니기 때문임. 예를 들어 MKML은 Llama-2 7B를 4090에서 batch 32, 즉 32개 프롬프트 병렬 처리로 약 2700 tok/sec를 내고, 메모리 사용량은 5.2GB, 퍼플렉서티는 거의 fp16 수준임
      또한 현재 우리는 양자화용 오픈소스 도구나 기법을 감싸서 쓰고 있지 않음. 전부 자체 기술이고 곧 더 공개할 소식이 있음. 구체적인 기술 질문이 있으면 가능한 한 답하겠음
    • “코덱”이라는 단어를 쓰는 것도 좀 찝찝함. 완전히 새로운 패러다임을 발명한 것처럼 보이게 하면서, 비디오 압축을 떠올리게 하는 멋진 이름을 붙이려는 느낌임
    • 이번 주말에 AMD 7900 XTX에서 llama.cpp와 q5_k_s 양자화로 Llama2를 이것저것 실험해 봤음
      그들이 제시한 RTX 4090의 MK600 수치와 비교하면, 더 싼 GPU를 쓰는데도 처리량은 더 높고 퍼플렉서티는 더 낮게 측정됨
    • Q5_1도 이미 오래된 방식임. K 계열 양자화가 같은 퍼플렉서티 손실에서 더 빠르고 공간 효율도 좋음
      https://old.reddit.com/r/LocalLLaMA/comments/142q5k5/updated...
    • MKML은 Llama2-13B 모델 크기를 26GB에서 10.5GB로 줄였다고 함. TheBloke의 비슷한 제공물은 10.7GB짜리 Q6_K 모델임
      어쩌면 GGML과 llama.cpp를 사용해 보기 좋게 포장하면서, 사람들이 독점 기술이라고 믿게 만드는 것일 수도 있음
  • 기존 양자화 기법을 단 한 번도 언급하지 않음? 10달러 걸 수 있는데, 이건 그냥 bitsandbytes나 ggml을 감싼 래퍼일 가능성이 큼
  • 오픈소스가 아니면 쓰기 어려울 것 같음
    이 분야는 너무 빨리 움직이고, 그렇지 않으면 편의성도 충분하지 않음
    덧붙이면 브랜딩이 MK-ultra를 떠올리게 하는데, 피하는 편이 좋을 듯함
  • 머신러닝 모델 양자화를 해본 적이 있음. 오픈소스의 4비트나 8비트 양자화가 얻을 수 있는 최선은 아님
    크기를 줄이면서 예측 성능을 유지하는 훨씬 더 정교한 기법들이 있음. 일부 기법, 예를 들어 양자화 인지 학습은 학습 과정 변경을 포함
    • 더 나은 방법이 있다는 건 확실함. 하지만 이 경우 MKML의 수치는 이미 널리 쓰이는 대표 양자화 기법들과 나란히 놓으면 인상적이지 않음
      이 표[0]에 따르면 크기는 Q6_K 양자화와 가장 비슷하고, 퍼플렉서티는 오히려 약간 더 나빠 보임
      그들의 기법이 더 낫다면, 원시 fp16 모델만이 유일한 대안인 것처럼 보이게 하기보다 오픈소스 기법의 존재를 인정하고 비교표에 넣었을 것 같음
      [0] https://old.reddit.com/r/LocalLLaMA/comments/142q5k5/updated...
    • Unum의 양자화 방법은 어떰?
      https://github.com/unum-cloud/usearch
  • 또 하나의 AI 스타트업 그리프트처럼 보임. GGML을 쓰고 닫아버린 뒤 VC 돈을 받으려는 식임
    또 다른 AI 래퍼 회사가 같은 짓을 하면서 LLM 열풍이 식기 전에 올라타려는 것으로 보임
    오픈소스가 아니고 닫혀 있다면 시작부터 물 건너간 셈임
  • 이거 그냥 양자화 아닌가?
    • 데모 영상을 보면 두 경우의 출력이 정확히 같아서, 양자화를 쓰는지는 의심스러움
    • 딱 그 생각이었음. 이미 다들 하고 있는 일임. 뭔가 다른 걸 하는 게 아니라면, 그냥 빠르게 8비트나 4비트 등으로 양자화하는 것보다 왜 나은지 보여줘야 함
    • 뭐가 됐든 곧 llama.cpp 같은 오픈소스 도구에 복제되거나 비슷한 기능이 들어갈 가능성이 큼
      방어 가능한 우위처럼 보이지 않음. 빠르게 움직이는 오픈소스 대안과 싸우는 하나의 기능처럼 보임
  • 오픈소스 노력이 아니라서 아쉬움
    내 스택에 독점 의존성이 들어가는 건 전혀 선호하지 않음
    • 이게 어디까지 갈지 꽤 회의적임. 오픈소스 커뮤니티는 이미 양자화로 사실상 같은 성능 개선을 이뤄냈음
      기존 라이브러리를 다시 포장해서, 조심성 없고 정보가 부족한 AI 스타트업에 팔려는 것처럼 느껴짐
  • 4비트 양자화를 쓰는 mlc-llm과 비교하면 어떰? 내 4090에서 llama2 13B가 엄청 빠르게 돎
    같은 4비트 양자화를 쓰더라도 GPU의 llama.cpp보다 몇 배 빠름
    • 맞음, TVM Vulkan 자동 튜닝은 놀라움. 내 생각엔 matmul Vulkan 확장도 쓰지 않는 것 같음
      MLC의 4비트 양자화는 llama.cpp에 비하면 단순한 편이라 퍼플렉서티를 낮추고, 속도 차이 일부도 설명해 줌. 하지만 가장 크게 빠진 기능은 CPU 오프로딩임. 이게 있으면 4090에서 70B도 꽤 그럴듯하게 돌릴 수 있음
      로컬 LLM 추론의 성배는 Llama 70B를 TVM으로 돌리면서 GPU와 내장 GPU에 나눠 싣는 것이라고 봄. 거의 코앞까지 온 느낌임. 조각들은 다 있는데, 그 점들을 이어주는 프런트엔드 개발자가 없음
  • 요즘은 이런 걸 MacBook Pro에서도 할 수 있음. 여기서 또 다른 벤더에 묶이고 싶은 이유가 잘 모르겠음
    최고를 쓰려면 OpenAI나 Anthropic을 쓰고, 아니면 직접 굴리면 됨
  • 이게 진짜 Ultra Instinct^H^H Llama2의 효과인가?
    Facebook이 생태계와 도구 제작자, 더 작은 추론 서비스들을 사실상 강화하고 있음
    이 회사는 신뢰도 있고 인기 있는 모델, 실제 오픈소스 라이선스가 있는 모델과 관련 가중치에 접근할 수 있었고, 그래서 가중치 자체의 라이선스나 제한을 걱정하지 않고 그 위에 최적화를 해 판매할 수 있었음
답변달기