Hacker News 의견

• 개발자들은 GPU나 AI/ML 모델보다 LLMs를 원함. 시스템 엔지니어들은 CUDA와 GPU에 대해 신경 쓰지만, 소프트웨어 개발자들은 그렇지 않음

  • 소프트웨어 개발자들 사이에 큰 분열이 있음. 일부는 코드의 실행 위치와 작동 방식을 이해하고 싶어함
  • 다른 그룹은 git push만으로 끝내고 싶어하며, DNS나 리눅스 같은 것을 이해하고 싶어하지 않음
  • fly.io 같은 회사는 후자에게 매력적임. GPU 인스턴스는 전자에게 매력적임
  • 두 시장을 다르게 접근해야 함. 후자에게는 추상화와 자동화를 많이 판매할 수 있음

• 2012년부터 무어의 법칙이 사실상 끝남. 단일 스레드 실행은 2GHz에서 멈춤

  • 2012-2022년 동안 클라우드로 이동하면서 단일 스레드의 정체를 눈치채지 못함
  • 2022년 데이터 센터는 더 많은 코어를 가진 차세대 칩을 구매할 필요가 없음을 깨달음
  • LLMs는 100% 병렬 처리 가능하므로 다시 자본을 투자할 수 있음
  • 2024년 웨이퍼 스케일 실리콘이 등장할 것임. Llama 모델을 A100보다 10배 빠르게 실행할 수 있음
  • 소프트웨어는 이 성능을 활용할 방법을 찾아야 함

• fly GPU 머신은 매우 빠르고 신뢰할 수 있으며, 대안에 비해 가격이 비싸지 않음

  • DX가 훌륭함. 새로운 명령어를 배울 필요가 없음
  • 가격이 더 저렴하고 더 많은 지역에서 사용할 수 있기를 바람

• 4090을 구매했지만, 24GB VRAM으로는 충분하지 않음

  • 2개 이상의 3090과 맞춤형 전원 공급 장치가 더 나았을 것임
  • 성능과 품질이 아직 부족함

• Fly를 선택하는 고객은 전용 GPU 서버를 장기간 사용하는 마지막 사람일 것임

  • 서버리스 솔루션을 사용할 가능성이 높음

• GPU 슬라이스가 없는 것이 아쉬움. 월 $1,000의 비용은 정당화하기 어려움

  • AMD 소비자 GPU를 Raspberry Pi에 연결하는 것이 경제적일 수 있음

• "우리가 틀렸다"는 말은 영어에서 가장 고귀하고 아름다운 말 중 하나임

• Fly.io는 Cloudflare의 Workers 플랫폼과 유사한 개발자를 끌어들임

  • PaaS 환경의 개발 속도를 원함
  • Cloudflare는 GPU와 함께 PaaS 접근 방식을 유지하며 Workers AI를 구축함

• Runpod에서 서버리스 엔드포인트를 설정하는 데 한 달이 걸렸고, 비싸고 신뢰할 수 없었음

  • Google Cloud 크레딧을 사용하여 제품을 고객에게 제공할 수 있었음
  • GPU 제공자에 대한 수요가 있음. Fly가 이 시장에 진입할 수 있을지는 확실하지 않음