Skyvern – LLM 및 컴퓨터 비전을 활용한 브라우저 워크플로우 자동화

• 기존의 브라우저 자동화 방식은 웹사이트가 변경될 때마다 쉽게 깨지는 DOM 파싱이나 XPath 기반의 스크립트 작성이 필요했음
• Skyvern은 실시간으로 뷰포트 내 항목을 파싱하고 계획을 생성하여 웹사이트와 상호작용함으로써 이러한 문제를 해결
  • 시각적 엘리먼트를 액션에 연동하기 때문에 처음 보는 웹사이트에서도 동작
  • 웹사이트 레이아웃 변경에도 잘 대응
  • LLM을 이용하여 추론함으로써 복잡한 상황에도 대응함
• BabyAGI와 AutoGPT에 의해 대중화된 Task-Driven 자율 에이전트 설계에서 영감을 받았으며, Playwright와 같은 브라우저 자동화 라이브러리를 사용하여 웹사이트와 상호작용할 수 있는 능력을 추가
• 인프라 관리 없이 여러 Skyvern 인스턴스를 병렬로 실행하여 워크플로우를 대규모로 자동화할 수 있는 관리형 Skyvern 클라우드 버전도 별도 제공
• Python 3.11, Brew(맥 사용자의 경우), Poetry, PostgreSQL 14 필요