Google Web AI Summit 2024 요약: 개발자를 위한 클라이언트 측 AI

• 2024년 10월 18일, Google은 첫 Web AI Summit을 개최함
• 클라이언트 측에서 브라우저 내 머신러닝 모델을 사용하여 오프라인에서도 저지연 추론, 비용 절감, 개인정보 보호 등의 기능을 제공

주요 발표 세션 요약

• Transformers.js: 웹을 위한 최신 머신러닝

  • Transformers.js는 Hugging Face의 Python Transformers 라이브러리와 기능적으로 동일한 자바스크립트 라이브러리로, 웹에서 직접 사용 가능
  • 1,000개 이상의 사전 학습된 모델을 지원하며, 텍스트, 이미지, 음성 등의 다양한 작업과 모달리티를 다룸
  • 사용자는 사전 학습된 모델을 선택하거나, 사용자 정의 모델을 브라우저에서 직접 실행 가능
  • WebGPU 지원으로 최신 GPU 기능을 활용하여 빠르고 효율적인 모델 실행이 가능

• Web Neural Network (WebNN) API: 현재와 미래

  • WebNN API는 웹 표준으로 제안된 새로운 API로, 클라이언트 측에서 머신러닝 작업을 빠르고 효율적으로 실행하기 위한 도구
  • WebAssembly와 WebGPU를 사용해 브라우저 내에서 AI 가속화 기능을 제공
  • 다양한 장치에서 AI 작업을 실행할 수 있도록 CPU, GPU, NPU와 같은 하드웨어 가속기를 지원
  • API의 최신 개발 사항, 장치 지원, 프레임워크 호환성 및 브라우저 구현에 대한 내용을 다룸

• Intel의 Web AI PC 기술

  • Intel은 WebNN API를 활용하여 클라이언트 측 웹 ML 가속화를 제공하며, 이를 통해 CPU, GPU, NPU에서 고성능 실행이 가능
  • 현재 Chrome과 Edge 브라우저에서 개발자 프리뷰 버전으로 제공 중
  • ONNX Runtime Web과 통합되어 다양한 머신러닝 프레임워크에서 사용 가능
  • 데모와 초기 사용자 피드백을 통해 “네이티브에 가까운” 성능을 제공하며, 새로운 웹 경험의 가능성을 시연

• ml5.js: 웹 친화적인 머신러닝

  • ml5.js는 TensorFlow.js를 기반으로 만들어진 오픈 소스 라이브러리로, 머신러닝을 더 쉽게 접근할 수 있도록 설계
  • 예술가, 창의적인 코더, 학생들을 대상으로 한 간단하고 직관적인 인터페이스 제공
  • p5.js와 Processing의 철학을 이어받아, 코드의 접근성을 높이고 학습 과정을 쉽게 만들어줌
  • 이미지 인식, 텍스트 분석, 포즈 추정 등의 다양한 기능을 포함하며, 초보자도 쉽게 사용할 수 있음

• WebLLM: 고성능 브라우저 내 LLM 추론 엔진

  • WebLLM은 브라우저에서 직접 대형 언어 모델(LLM)을 실행할 수 있는 고성능 추론 엔진
  • WebGPU를 통해 GPU 가속을 활용하여 빠른 추론 성능을 제공
  • 모든 계산이 클라이언트 측에서 이루어져, 개인정보 보호가 강화되고 설정이 필요 없음
  • OpenAI API 스타일의 인터페이스를 제공해, 표준화된 통합이 가능하며 채팅 애플리케이션, 구조화된 JSON 생성 등 다양한 사용 사례 지원

• LangChain을 통한 브라우저 내 LLM 애플리케이션 개선

  • LangChain은 브라우저에서 작동하는 소형 LLM을 활용한 애플리케이션 개발을 위한 프레임워크
  • 작은 모델의 한계를 극복하기 위해 LangGraph.js를 사용하여 상태 기반 애플리케이션을 설계하고 최적화된 프롬프트 기술을 제공
  • 로컬 LLM이 제공하는 장점(저지연, 개인정보 보호)을 활용하면서도 제한된 성능 문제를 해결하기 위한 방법론 제시

• Visual Blocks: AI 파이프라인의 시각적 프로토타이핑

  • Visual Blocks는 간단한 드래그 앤 드롭 인터페이스를 통해 AI 파이프라인을 빠르게 프로토타이핑할 수 있는 시각적 프로그래밍 플랫폼
  • 실시간 데이터 증강 및 테스트가 가능하며, 다양한 사용자 정의 노드와 파이프라인을 통해 창의적인 솔루션을 개발 가능
  • 대화형 그래픽, LLM 체인, 컴퓨터 비전, 멀티모달 솔루션 등 다양한 AI 응용 프로그램을 시연
  • 커뮤니티 기여를 장려하여 더 풍부한 ML 파이프라인 생태계를 구축하고자 함

• 크롬의 내장 AI 기능 개요

  • Prompt API와 고수준 작업 API(요약, 텍스트 재작성 등)의 현재 상태와 초기 사용자 피드백 공유
  • 크롬의 내장 AI 기능을 활용한 다양한 애플리케이션과, 향후 계획에 대해 설명
  • 고성능 및 안정적인 성능을 위한 API 최적화 및 개선 사항 소개

• TensorFlow.js와 소비재 산업 적용 사례

  • 브라질의 대형 소비재 기업이 TensorFlow.js를 사용하여 상점 내 마케팅 전략을 개선한 사례
  • AI 기술을 활용해 실시간으로 제품 식별 및 분석 수행
  • 이 프로젝트는 오픈 소스로 공개되어 다른 기업에서도 사용 가능하게 되었으며, 업계의 다양한 응용 사례로 확장됨

• Chrome의 빌트인 API 사용 경험

  • Chrome의 API를 사용한 AI 애플리케이션 개발 경험과 학습한 교훈에 대해 설명
  • AI 기반 앱의 성능 최적화 및 프롬프트 튜닝 기술 소개
  • Synonym Finder 앱 사례를 통해 Prompt API의 유연한 사용 방법 및 실용적인 팁 공유

• 웹 확장의 AI 활용 가능성

  • Chrome 확장 프로그램은 브라우저의 제어와 웹 콘텐츠 관찰, UI 추가가 가능하여 AI 기능과 결합했을 때 유용한 확장성 제공
  • 현재 웹스토어에 등록된 AI 기반 확장 프로그램의 사례와 향후 가능성에 대해 설명
  • AI와 Chrome 확장 프로그램의 통합을 통해 브라우징 경험을 개선하고 생산성을 높이는 방법 소개

• WebAI를 통한 의료 접근성 혁신

  • WebAI 기술을 사용하여 IncludeHealth는 물리치료를 가상으로 제공, 환자들이 언제 어디서나 맞춤형 치료를 받을 수 있게 함
  • 비용과 접근성의 장벽을 허물어, 더 많은 환자가 치료를 받을 수 있는 가능성 열어줌
  • 개인 맞춤형 데이터를 활용하여 더 정확하고 효과적인 치료 제공

• Google Sheets용 Simple ML

  • Google Sheets 애드온으로 제공되는 Simple ML은 사용자가 스프레드시트 내에서 직접 머신러닝 작업을 수행할 수 있게 함
  • WebAssembly, JavaScript, Chrome의 내장 AI를 사용해 복잡한 머신러닝 작업을 간단하게 수행 가능
  • 오픈 소스 라이브러리를 통해 다른 개발자들도 쉽게 자신만의 ML 솔루션을 개발 가능하도록 지원

[brain1401]

JS조아