GN⁺: 애플의 새로운 'Transformer' 기반 예측 텍스트 모델
(jackcook.com)- 애플, 트랜스포머 언어 모델을 활용한 iOS와 macOS의 새로운 기능 발표: 사용자가 타이핑하면서 예측 텍스트 추천 제공
- 애플이 공개적으로 인정한 첫 번째 트랜스포머 기반 모델 중 하나로, 운영 체제에 통합될 예정
- Gmail의 자동완성과 유사하게, 개별 단어를 완성하고 때때로 한 번에 두 단어 이상을 제안하는 기능
- 예측 텍스트 모델은 사용자가 타이핑하면서 철자와 문법 오류를 확인하는 macOS 내부 애플리케이션인 AppleSpell에서 발견
- 모델은 타이핑 중 사용되는 여러 Espresso 모델 파일이 포함된 /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle에 위치
- 예측 텍스트 모델의 어휘는 특수 토큰, 축약어, 이모티콘을 포함한 15,000개의 토큰으로 구성
- 예측 텍스트 모델의 구조는 토큰 임베딩, 위치 인코딩, 일련의 디코더 블록, 출력 계층을 포함하여 GPT-2를 기반으로 한 것으로 보임
- 애플의 예측 텍스트 모델은 약 3,400만 개의 파라미터와 512개의 히든 유닛을 가지고 있어, GPT-2의 가장 작은 버전보다 훨씬 작음
- 모델의 작은 크기로 인해 기기의 배터리를 많이 소모하지 않고 빠르고 자주 실행 가능, 사용자 경험 향상
- 모델의 크기 제한으로 인해 전체 문장이나 문단을 작성하는 데는 능력이 부족하지만, 다음 단어나 두 단어에 대한 높은 확신을 보일 때는 사용자에게 제안하기에 충분히 좋음
- 예측 텍스트 기능을 직접 시도해보고 싶은 사람들을 위해 저자가 GitHub에 스크립트를 제공
Hacker News 의견
- 게시글의 저자가 HackerNews에서 자신의 기사가 인기를 끌고 있는 것에 놀라고 있으며, 이에 대한 질문에 답하겠다고 밝혔습니다.
- 일부 사용자들은 Apple의 새로운 예측 텍스트 모델이 GPT2보다 우수한지 의문을 제기하고 있습니다. 후자는 사용자의 입력에 기반하여 관련 없는 텍스트를 생성하는 경향이 있습니다.
- 예측 텍스트 모델이 전체 문장을 생성해야 하는지, 아니면 사용자의 의도한 입력을 단순히 예측해야 하는지에 대한 논란의 여지가 있습니다.
- 상위 예측이 아닌 토큰을 선택할 확률을 제어하는 온도 설정이 테스트에서 언급되지 않았습니다. 이 설정은 모델의 출력의 창의성과 반복성에 영향을 줄 수 있습니다.
- 일부 사용자들은 iOS 시뮬레이터의 콘솔 로그를 관찰함으로써 "unilm.bundle"이 새로운 텍스트 예측 모델임을 발견했습니다.
- 애플의 모델의 미래 버전이 더 높은 품질의 데이터로 훈련된 더 작은 모델로 전환할 것인지, 그리고 애플이 Xcode용 Copilot의 자체 버전을 개발할 것인지에 대한 추측이 있습니다.
- 일부 사용자들은 텍스트 예측의 목적이 텍스트 입력을 가속화하는 것이라면, 입력 인터페이스가 병목 현상이 될 수 있으며, 이는 텍스트를 더 빠르게 입력할 수 있는 방법의 필요성을 제안합니다.
- AI의 배포가 논의되고 있으며, 일부 사용자들은 AI가 end-to-end 솔루션으로 판매되기보다는 작고 신뢰할 수 있는 작업을 수행하는 데 사용되어야 한다고 제안합니다.
- 새로운 예측 텍스트 모델이 경험 또는 iMessage 기록을 바탕으로 개선할 수 있는지에 대한 질문이 제기되었습니다.
- "UnilmCtrl"이라는 용어는 Socher의 CTRL 모델에 어떤 의존성을 시사하는 것으로 추측되지만, 이는 확인되지 않았습니다. 일부 사용자들은 애플이 NLP 분야에서 더 오랫동안 일해왔다면 더 존경할 것이라고 말합니다.