Hacker News 의견

• Adapter 활용: 사전 학습된 모델에 다양한 레이어에 플러그인할 수 있는 작은 신경망 모듈인 어댑터를 사용하여 특정 작업에 맞게 모델을 미세 조정함. 이는 앱 개발자가 각 하드웨어 모델에 최적화된 모델을 사용할 수 있게 해줌.

• 기대감: 아직 서드 파티 훈련 지원에 대한 발표는 없지만, 계획 중일 것이라 기대함. 로컬+프라이빗 ML의 어려움은 앱마다 큰 용량의 가중치를 필요로 하지 않도록 하는 것임.

• 애플의 기회: 애플이 각 칩에 맞게 최적화된 모델을 제공하고, 새로운 사용 사례에 대해 몇 MB의 가중치만 필요로 하는 어댑터를 제공할 수 있는 기회가 있음. 이는 모델의 앱 슬리밍과 유사함.

• 개발자 경험: 기본 모델이 최신 상태가 아니더라도 개발자 경험이 훌륭하고 반복 가능함. 서버 측은 훨씬 쉬우며, 로컬+프라이빗이 많은 사용 사례를 차지할 것으로 기대함.

• 어댑터의 역할: 어댑터를 사용하여 모델을 특정 작업에 맞게 미세 조정하고, 메모리를 효율적으로 관리하며 운영 체제의 응답성을 보장함. 어댑터 매개변수는 16비트로 표현되며, 약 3억 개의 매개변수를 가진 모델의 경우 10MB 정도의 메모리가 필요함.

• Loras와 유사: 이 접근 방식이 Loras와 유사하게 들림.

• 비교 차트: 기사 중간에 다른 관련 모델과의 비교 차트가 포함되어 있음. 서버 측 모델은 GPT-3.5보다 좋고, GPT-4보다는 나쁨. 그러나 "출력 유해성의 인간 평가" 차트가 특히 흥미로움.

• 모델의 신중함: GPT를 "레벨 3"으로 만들고, OpenAI의 모델을 사용하여 "이것은 ChatGPT가 말한 것"임을 명확히 하는 방식으로 모델을 더 신중하게 만듦.

• 서버 모델 사용 기대: 이 두 페이지의 내용이 매우 훌륭하며, 애플 스택에 최적화된 클라우드를 구축하기 위해 서버 모델을 사용해 보고 싶음.

• 메모리 증가 기대: 애플이 모든 맥의 기본 메모리를 8GB 이상으로 높일 것이라 기대함. 16GB M4가 기본이 되길 바라지만, 애플은 12GB를 제공하고 16GB 옵션에 추가 비용을 부과할 가능성이 있음.

• 데이터 프라이버시: 애플이 제3자 서비스에 무엇을 전달하는지 명확히 하고, 사용자가 원할 경우 옵트아웃할 수 있는 기능을 제공해야 함. 기기에서 추론을 실행하는 것과 데이터를 OpenAI의 API를 통해 보내는 것은 다름.

• 도메인 이름 선호: machinelearning.apple.com을 사용하는 것이 마음에 듦.

• 최적화 결과: 3.5B 가중치를 품질 손실 없이 사용하는 것은 최첨단 최적화 결과임.

• 출력 유해성 평가: Mistral-7B가 작은 모델 중에서 거짓 긍정 거부를 최소화하는 데 가장 우수함을 확인함.

• 배터리 수명 영향: 이러한 모델이 배터리 수명에 어떤 영향을 미치는지 궁금함. iPhone 15 Pro에서 PrivateLLM 앱을 사용해 본 결과, 몇 분 사용 후 배터리 충전이 급격히 감소함.