기업이 AI 도입시 겪는 인프라 비용의 문제

AI 워크로드의 인프라 요구 사항

• AI 워크로드는 대부분의 IT 팀이 예상하지 못하는 방식으로 컴퓨팅, 저장소, 네트워크에 부담을 준다.
• 많은 조직이 기업 AI 여정을 시작할 때, 라이센스 비용, 컨설팅 서비스, 인재와 같은 명백한 지출에 집중한다.
• 그러나 AI 워크로드를 지원하기 위한 인프라 요구 사항은 덜 가시적이지만, 동일하게 중요한 비용 센터로 부각된다.
• AI 구현은 기술 생태계 전반에 파급 효과를 일으키며, 전통적인 용량 계획 프레임워크로는 예측할 수 없는 문제를 발생시킨다.

전통적인 IT 계획의 한계

• AI 워크로드는 전통적인 기업 애플리케이션과 자원 소비 패턴에서 근본적으로 다르다.
• 예측 불가능한 사용 패턴:
  • 전통적인 용량 계획은 상대적으로 예측 가능한 사용 패턴을 가정하지만, AI 워크로드는 채택이 증가함에 따라 기하급수적으로 확장될 수 있다.
  • 성공적인 AI 사용 사례는 부서 전반에 빠르게 퍼지며, 각 새로운 구현은 추가적인 컴퓨팅 자원을 요구한다.
• 자율 AI 에이전트의 출현은 전통적인 계획이 예측할 수 없는 새로운 비용 동태를 도입한다.
• 전문 하드웨어 가속기:
  • 많은 AI 애플리케이션은 GPU나 TPU와 같은 전문 하드웨어 가속기를 필요로 하며, 이들은 표준 CPU와는 다른 가격-성능 곡선을 따른다.

AI 인프라의 세 가지 주요 기둥

1. 컴퓨팅 아키텍처:
   • 현대 AI 워크로드는 대규모 병렬 처리 능력을 요구하며, 기존 인프라의 용량을 초과할 수 있다.
   • 고객 서비스 챗봇과 같은 겉보기에는 가벼운 AI 이니셔티브도 수천 개의 동시 상호작용을 처리하기 위해서는 상당한 컴퓨팅 요구를 발생시킨다.
2. 저장소 아키텍처:
   • AI 개발 및 배포는 막대한 데이터 볼륨을 생성하여 저장 시스템에 부담을 준다.
   • 모델 훈련 및 검증을 위한 원시 데이터 저장 외에도, 모델 아티팩트, 추론 데이터 캡처 및 AI 자산의 백업 솔루션을 위한 용량이 필요하다.
3. 네트워크 인프라:
   • 데이터의 이동은 상당한 네트워크 요구를 발생시킨다.
   • AI 워크로드는 대량의 데이터 세트를 네트워크 인프라를 통해 전송해야 하며, 이는 성능 저하를 초래할 수 있는 병목 현상을 유발할 수 있다.

AI의 진정한 영향 측정

• 조직은 AI의 인프라 영향을 측정하기 위한 보다 정교한 접근 방식이 필요하다.
• 최고의 관행은 단순한 지표를 넘어, 자원 활용에 대한 포괄적인 이해를 개발하는 것이다.
• 작업별 벤치마킹은 공급업체 사양이나 일반 산업 벤치마크보다 더 현실적인 관점을 제공한다.
• 총 자원 회계는 기본적인 컴퓨팅 메트릭을 넘어 메모리 활용, 저장소 I/O 패턴, 네트워크 트래픽 및 전문 가속기 사용을 측정해야 한다.

전략적 인프라 최적화

• 문제에 단순히 더 많은 자원을 투입하는 대신, 조직은 AI 워크로드를 최적화하기 위한 전략적 접근 방식을 구현할 수 있다.
• 작업 인식 배포 모델은 서로 다른 AI 애플리케이션이 고유한 자원 소비 프로필을 가지고 있음을 인식한다.
• 자원 거버넌스 프레임워크는 자원 할당을 위한 명확한 정책을 설정하고, 사용 패턴을 모니터링하며, 청구 메커니즘을 구현하여 책임을 부여한다.
• 하이브리드 인프라 접근 방식은 성능, 비용 및 유연성의 최적 균형을 제공할 수 있다.

AI 인프라 팀의 중요성

• AI 인프라 비용 관리에서 가장 중요한 도전 과제는 기술적 문제보다 조직적 문제이다.
• 전통적인 IT 팀은 종종 사일로로 운영되며, 컴퓨팅, 저장소, 네트워킹 및 애플리케이션 개발을 별도로 관리한다.
• AI 워크로드는 보다 통합된 접근 방식을 요구하며, 성공적인 조직은 전통적인 IT 도메인, 데이터 과학 및 비즈니스 유닛의 전문 지식을 결합한 교차 기능 팀을 구성하고 있다.
• 이러한 통합은 전체적인 솔루션 개발을 가능하게 하여, 인프라 능력과 애플리케이션 요구 사항 간의 격차를 해소한다.

AI 인프라 전략의 미래

• AI 기술이 빠르게 발전함에 따라, 조직은 즉각적인 필요와 장기적인 유연성을 균형 있게 유지하는 인프라 전략을 개발해야 한다.
• 많은 기업 고객이 RAG(검색 증강 생성) 구현을 위해 상당한 자원을 투자하고 있지만, 이러한 시스템의 기업급 사용성을 달성하는 것은 예상보다 훨씬 더 어려운 것으로 나타났다.
• 표준화된 프로토콜의 출현은 AI 시스템이 기업 인프라와 통합되는 방식을 근본적으로 변화시키고 있다.
• 모듈성은 애플리케이션이 기본 기술 변화로부터 격리될 수 있도록 하여, 새로운 접근 방식을 쉽게 채택할 수 있게 한다.

지속 가능한 AI 생태계 구축

• 기업 AI의 진정한 경쟁 우위는 가장 정교한 알고리즘이나 가장 큰 모델에서 오는 것이 아니다.
• 지속 가능한 인프라 생태계를 구축하는 것이 AI 혁신을 지원하면서도 조직을 재정적으로 압박하지 않는 방법이다.
• 정기적인 검토 프로세스를 통해 AI 인프라 성능과 비용 효율성을 평가하여, 변화하는 요구 사항에 적응할 수 있도록 해야 한다.
• AI 투자에서 지속적인 가치를 보장하기 위해, 기술 리더는 인프라 고려 사항을 전략적 계획의 초기에 통합해야 한다.

[clumsypupil]

ai 활용한 실서비스 유저 비용이 기존의 서비스와 달라서 낭패를 맞는 경우가 더러 있는 것 같네요. 위의 얘기한 기존 서비스 패턴과 다른게 가장 큰 문제점인듯