Hacker News 의견

• CoreNet은 CVNets에서 발전한 것으로, 컴퓨터 비전을 넘어 더 광범위한 애플리케이션을 포괄하게 됨. 이는 LLM을 포함한 기반 모델 학습을 용이하게 함.
• CoreNet의 default_trainer.py를 보면 PyTorch의 Tensor를 사용하지만 자체 학습 방법을 구현하고 있음. 자체 LR 스케줄러와 옵티마이저를 구현하고, 호출자는 선택적으로 PyTorch의 Adam을 사용할 수 있음.
• 기존 프레임워크와 협력하는 대신 처음부터 구축하는 것은 흥미로운(아마도 매우 Apple스러운) 선택임.
• MLX 예제는 현재 추론만 가능한 것 같음. MLX 특화 구현을 위한 착륙장이 될 수 있을 것으로 보임.
• 최근 Datakalab과 DarwinAI 인수를 고려할 때 앞으로 1년 동안 어떻게 진행될지 흥미로움.
• Apple은 Jax 위에 구축된 axlearn 라이브러리도 적극적으로 개발 중. Apple의 ML 팀 중 절반은 PyTorch를, 나머지 절반은 Jax를 사용하는 것으로 보임.
• README에서 CatLIP이라는 새로운 모델도 언급되었지만 링크는 깨져있음.
• CoreNet은 PyTorch 기반으로 구축됨.
• MLX는 Apple Silicon에 최적화된 PyTorch와 동등한 것으로 이해됨. CoreNet이 MLX 모델을 분산 학습하기 위한 것인지, 아니면 그 목적이 무엇인지 궁금함.
• 이 저장소에서 다양한 모델과 사용 방법에 대한 작은 API 예제를 생성할 수 있는 LLM 에이전트가 있으면 좋겠음.
• Apple M1에서 신경망 학습과 추론을 위해 어떤 라이브러리를 추천하는지? C++ 또는 Rust에서 사용하고 싶고, 신경망은 최대 5M 파라미터를 가질 것임.
• MPS 백엔드를 사용하는 Huggingface Transformers 대신 이것을 사용하는 이점은 무엇인지?
• Apple Silicon에서의 학습을 지원하는지 README에서 놓친 것이 아니라면 명확하지 않음.
• Apple이 LLM 학습에 대한 개방형 정보를 추진하고 있다는 점이 흥미로움. 세상이 변하고 있음.