GN⁺: Fly.io, 이제 GPU 탑재

AI는 정말 멋지다

• Fly.io는 사용자에게 가까운 곳에 컴퓨팅 파워를 배치할 수 있는 새로운 공개 클라우드 서비스임.
• 이제 GPU를 사용하여 에지 컴퓨팅 환경에서 AI 워크로드를 처리할 수 있음.
• Fly.io는 전체 스택 앱이나 Fly Machines API를 기반으로 한 개발 플랫폼을 사용자에게 가까운 곳에서 실행할 수 있게 해줌.

Fly.io GPU를 활용한 실제 사례

• Fly.io의 클라우드 백본 위에 자신만의 코드와 선호하는 모델을 배포할 수 있음.
• Fly.io GPU를 사용하면 Ollama(텍스트 생성 분야의 친구들)를 실행하는 GPU 앱을 두 단계로 쉽게 구동할 수 있음.
• fly.toml에 설정을 추가하고 fly apps create sandwich_ai && fly deploy 명령어를 실행하여 앱을 배포할 수 있음.

빛의 속도는 한계가 있다

• GPU를 신속하게 구동하는 것은 좋지만, Fly.io는 에지에서의 추론에서 진가를 발휘함.
• 사용자가 주방에 있는 재료를 입력하면 샌드위치 레시피를 즉시 받을 수 있는 앱을 예로 들 수 있음.
• Fly.io는 전 세계 데이터센터에 GPU를 보유하고 있으며, GPU 지원이 있는 모든 지역에서 동일한 프로그램을 실행할 수 있게 해줌.

실제로 필요할 때만

• GPU는 강력한 병렬 처리 장치이지만 저렴하지 않음.
• fly.toml 파일에 services 섹션을 추가하여 앱의 확장 및 축소 방법을 지정할 수 있음.
• 사용자가 샌드위치 레시피를 요청하지 않을 때 GPU 비용을 지불하지 않도록 설정할 수 있음.

상세 정보

• 미국과 유럽, 시드니의 여러 지역에서 사용할 수 있는 GPU를 제공함.
• 다양한 GPU 옵션과 가격을 제공하며, 기본적으로 모든 배포에는 여덟 개의 AMD EPYC CPU 코어가 사용됨.
• 볼륨은 최대 500GB까지 연결할 수 있으며, 예약 인스턴스와 전용 호스트에 대한 할인도 제공함.

GN⁺의 의견:

• Fly.io는 AI 워크로드를 에지 컴퓨팅 환경에서 처리할 수 있는 혁신적인 클라우드 서비스를 제공하여 사용자 경험을 개선하는 데 중점을 두고 있음.
• GPU를 활용한 서비스는 빠른 추론 속도와 비용 효율성을 모두 고려한 솔루션을 제공하며, 특히 실시간으로 높은 컴퓨팅 파워가 요구되는 애플리케이션에 적합함.
• 이 서비스는 AI 기술의 접근성을 높이고, 개발자들이 새로운 혁신적인 애플리케이션을 만드는 데 도움을 줄 수 있어 매우 흥미롭고 유익한 발전임.

[neo]

Hacker News 의견

• 한 사용자는 Fly의 기본 기능에 실망감을 표현함. 지원팀이 내부 플랫폼 문제를 확인하지 못하고, 오류 메시지가 애매하거나 없는 점 등을 지적함. 이 사용자는 Kubernetes에 대한 두려움이나 무지로 Fly를 사용하는 사람들에게는 매력적일 수 있지만, 본인은 Kubernetes를 그리워하게 됨.
• Fly.io의 개발자 관계자가 GPU가 일반 사용자에게 공개되었다고 소개하며, 사용자들이 GPU를 실험해볼 수 있다고 함. 또한, GPU에 대한 블로그 포스트 링크를 공유하며, 질문이 있으면 물어보라고 권장함.
• 다른 사용자는 Fly가 Firecracker를 사용하여 VM을 구동한다고 언급하며, Firecracker가 기본적으로 GPU를 지원하지 않는다는 점을 지적함. Fly가 어떻게 GPU 지원을 구현했는지 궁금해하며, 이에 대한 기술적인 포스트를 기대함.
• 한 사용자는 Fly가 0으로 스케일링하는 기능을 칭찬하며, 사용자가 거의 없는 실험적인 사이트를 운영할 때 서버 비용을 절감할 수 있다고 언급함. 요청당 청구 시간에 대한 예시를 원함.
• Fly에 대한 S3 대체 서비스가 없다는 점을 아쉬워하는 사용자가 있음. GNU Affero 프로젝트를 대안으로 제시하지만, 이는 비즈니스에는 적합하지 않다고 느낌. Fly의 간단함과 가성비, 내장 VPN을 좋아하지만, 사용자 자산을 저장하기 위해 Fly를 떠나야 한다는 점이 다음 프로젝트에서 Fly 사용을 막는 결정적인 이유임.
• Fly의 타겟 시장이 무엇인지 궁금해하는 사용자가 있음. AI 모델을 실행해야 하지만 호스팅 서비스를 사용하지 않는 작은 또는 검증되지 않은 앱이 대상인지, 아니면 다른 목적이 있는지 의문을 제기함.
• Fly의 성능에 대한 경험을 묻는 사용자가 있으며, 첫 인상으로는 비싸다고 느낌. 예를 들어 Hetzner의 CPU 머신과 비교함.
• Beam.Cloud 서비스와 Fly를 비교한 경험이 있는지 묻는 사용자가 있음.
• 스케일을 0으로 조정할 때의 속도가 얼마나 빠른지, 빠르다면 매우 흥미로울 것이라고 언급하는 사용자가 있음.
• Fly가 replicate가 사용하는 cog 파일을 실행할 수 있는지, 그리고 같은 예측 API로 사전 패키징된 모델을 실행할 수 있는지 궁금해하는 사용자가 있음. replicate 때문에 주저할 수도 있지만, 이를 채택하면 더 매끄러운 경험을 제공할 것이라고 생각함.