▲

GN⁺: 애플, 클라우드가 아닌 자체 하드웨어에서 직접 실행되는 AI를 원해

 (arstechnica.com)
12P by neo with xguru 11달전 | favorite | 댓글 1개

Apple, AI를 클라우드가 아닌 하드웨어에서 직접 실행하려 함

  • Apple이 최근 연구를 통해 스마트폰에서 대규모 언어 모델을 실행하는 방법을 제시함으로써, 인공지능 분야에서 경쟁사들을 따라잡으려는 계획을 밝힘
  • 연구 논문 "LLM in a Flash"는 현재의 계산 병목 현상에 대한 해결책을 제시하며, 제한된 메모리를 가진 기기에서 LLM을 효과적으로 추론하는 방법을 개척함
  • 이러한 접근 방식은 ChatGPT와 같은 앱을 구동하는 대규모 데이터 저장소가 사용자의 질문에 어떻게 반응하는지, 즉 추론하는 방법에 대한 길을 열어줌

Apple의 AI 연구와 시장 전망

  • Apple은 이미지 생성 모델인 Stable Diffusion을 자체 칩에서 실행할 수 있도록 하는 등, AI 연구에 있어서 새로운 움직임을 보임
  • 스마트폰 제조사와 칩 제조사들은 새로운 AI 기능이 스마트폰 시장을 부흥시킬 것으로 기대하고 있으며, Counterpoint Research에 따르면 2024년에는 AI 중심의 스마트폰이 1억 대 이상 출하될 것으로 예상됨
  • Apple은 Siri를 2011년에 출시했음에도 불구하고, OpenAI의 ChatGPT 출시 이후 Silicon Valley를 휩쓴 인공지능에 대한 열기에서 다소 소외되었다는 인식이 있음

기술적 도전과 개인정보 보호

  • 개인 기기에서 ChatGPT나 Google의 Bard와 같은 대규모 AI 모델을 실행하는 것은 기술적으로 매우 도전적인 일로, 스마트폰은 데이터 센터와 같은 방대한 컴퓨팅 자원과 에너지를 갖추고 있지 않음
  • 이 문제를 해결하면 AI 비서가 클라우드보다 더 빠르게 반응하고 오프라인에서도 작동할 수 있으며, 개인 기기에서 질문에 답함으로써 데이터를 클라우드로 보내지 않아도 되므로 개인정보 보호에도 도움이 될 수 있음

논문의 결론

  • Apple 연구원들은 논문 결론에서 다음과 같이 이야기함

    “우리의 연구는 현재의 컴퓨터 병목 현상에 대한 해결책을 제공할 뿐만 아니라 향후 연구를 위한 선례를 제시합니다. 우리는 LLM의 규모와 복잡성이 지속적으로 증가함에 따라 이 작업과 같은 접근 방식이 광범위한 장치 및 응용 프로그램에서 LLM의 잠재력을 최대한 활용하는 데 필수적이라고 믿습니다”

GN⁺의 의견

  • Apple의 이번 연구는 스마트폰 사용자들에게 더 빠르고 개인적인 AI 경험을 제공할 수 있는 가능성을 열어줌.
  • 개인정보 보호에 대한 사용자들의 우려를 감안할 때, 데이터를 클라우드가 아닌 개인 기기에서 처리하는 것은 많은 사람들에게 매력적인 대안이 될 수 있음.
  • 이 기술이 상용화되면, 사용자는 인터넷 연결 없이도 고급 AI 기능을 사용할 수 있게 되어, 스마트폰의 사용성과 편의성이 크게 향상될 것으로 기대됨.
▲
neo 11달전  [-]
Hacker News 의견

  • 애플이 인공지능(AI) 분야에서 뒤처졌다고 말하는 것은 미친 짓이다.

    • OpenAI가 주목받고 있지만, 검색은 링크 광고와 데이터 판매에 기반을 두고 있어 AI에게 덜 유망하다.
    • 현재 "큰" AI는 훈련을 위한 클라우드 비용에 발목 잡혀 있으며, 대형 플레이어들은 소프트웨어를 하드웨어로 옮기기 위해 안간힘을 쓰고 있다.
    • OpenAI는 전 세계 상업 파트너들과 협력하며 AGI(일반 인공지능)에 대해 이야기하지만, 이는 중앙은행을 대체하는 암호화폐만큼 현실적이지 않다.
    • 한편, 애플은 4년 이상 기기에 신경 프로세서를 탑재해왔으며, AI 기능은 모든 마케팅 캠페인에 포함되어 있다.
    • VisionOS 증강현실은 AI 유틸리티를 위한 새로운 영역을 제공하며, 재미뿐만 아니라 원격 근무가 규칙이 되는 업무에도 목표를 두고 있다.
    • 애플은 존재하는 유일한 안전하고 개인정보를 보호하는 생태계이다.

  • 최신 iOS의 일부로 AI가 하드웨어에서 실행되는 것은 기쁘게 생각한다.

    • 운전 중 메시지를 받았을 때 Siri가 사진의 내용을 정확히 설명해준 경험을 공유한다.
    • 이 기능은 끝단에서 끝단까지(E2E) 암호화되어 있으므로, 메시지가 전송되는 동안이 아닌 로컬에서 식별되었을 것이다.
    • 이는 품질 향상 업데이트로서 흥미롭고, AI가 하드웨어에서 더 많은 처리를 할 수 있게 되면서 성장할 가능성에 대해 기대감을 표현한다.

  • Mistral 7B를 모바일 기기에서 사용해보라고 권장한다.

    • iPhone 15에서 해당 앱을 사용해보고 성능이 매우 좋다고 평가한다.
    • 단점은 앱이 전화기의 거의 모든 메모리를 필요로 하며, 다른 앱으로 전환하고 돌아오면 상태가 초기화되고 모델을 처음부터 다시 불러와야 한다.

  • 강력한 휴대폰/기기가 있는 현 세계에서 AI를 기기에서 실행하는 것이 다음 단계라고 생각한다.

    • 2021년 모델의 강력한 스펙을 가진 휴대폰을 사용하며, 애플이 비싼 AI 앱을 이러한 강력한 사용자 기기로 오프로드하길 원할 것으로 본다.
    • 이는 개인 데이터가 훈련에 사용되는 것을 원하지 않는 사람들에게 프라이버시 승리로 보이며, 사용하는 모델과 모델이 따르는 윤리에 대한 통제를 선호한다.

  • 애플의 CoreML 라이브러리는 몇 년 동안 존재해왔으며, BERT 모델을 포함한다.

    • iOS와 iPadOS에 BERT보다 더 발전된 트랜스포머 모델을 도입하기를 기대한다.
    • iPad Pro에는 16GB RAM이 있으며, 13B 모델을 실행할 수 있다.
    • 32GB Mac Mini를 구입한 후 6주 동안 실행할 수 있는 모델이 크게 향상되었다고 느낀다.
    • 미래에 대한 기대가 높다.

  • AI가 스마트폰의 새로운 업그레이드 주기를 만들어낼 수 있는 잠재력을 가지고 있다는 것이 흥미롭다.

    • AI 기능이 실제로 업그레이드를 정당화할지 여부는 미지수이며, 배터리 수명에 영향을 미칠 경우 가치 제안이 크게 변하지 않을 수도 있다.

  • AI가 개인정보 보호 위험을 제시하는 상황에서 로컬에서 실행하는 것이 최선의 방법이라고 생각한다.

    • 미래에 AI로 인지 능력을 10배 향상시키길 원하며, 이를 위해서는 정보가 뇌와 실시간으로 교환되어야 한다.
    • 클라우드 데이터 싱크에 연결하여 광고주와 스파이 기관이 생각을 엿보는 것을 원하지 않는다.

  • 애플이 AI/ML 옵션을 아이폰 사용자에게 제공하기 위해 인프라를 운영하는 비용을 절감한다.

    • 이는 계산을 분산시켜 비용을 절약하고 기기 제조에 이미 지출한 비용을 활용한다.
    • 데이터가 전화기를 떠나지 않으므로 소비자의 프라이버시를 제공한다.

  • 기기에서 AI가 주류가 되면 OpenAI와 같은 회사들이 어떻게 대응할지 궁금하다.

    • 비즈니스 모델이 API 접근에 기반을 두고 있으므로, 오프라인 모델을 판매하기 시작할 수도 있다.
    • 그러나 그렇게 되면 해적판 문제가 발생할 수 있다.

  • 애플이 최신 세대에서 신경 엔진에 대한 증분 다이 공간을 거의 할당하지 않았음에도 불구하고 기기에서 AI를 실행하려는 명시적인 의도를 밝혔다.

    • 이에 대한 몇 가지 가능한 설명이 있으며, 어떤 것이 사실인지 더 잘 아는 사람의 관점이 궁금하다.
    • 기존 하드웨어가 충분히 강력하다고 생각할 수도 있고, ANE의 활용도가 증가된 자원을 정당화하지 않을 수도 있다.
    • AI 계산을 벡터 연산과 같은 것들을 통해 다시 일반화할 계획일 수도 있다.
    • 가장 비관적인 시나리오로, 업그레이드를 강제할 필요가 있을 때 큰 증가를 위해 저장하고 있을 수도 있다.
답변달기