- 자연어 명령을 브라우저 인터랙션(셀레니움 코드)으로 바꿔서 브라우저를 자동화
- 사용자를 대신하여 반복적이고 시간이 많이 소요되며 인지적 노력이 거의 필요하지 않은 단순 작업을 자동화하는 것을 목표로 함
- 자연어 질의를 Selenium 코드로 변환하는 엔진을 제공하여 웹 워크플로우를 쉽게 자동화하고 브라우저에서 실행할 수 있도록 설계됨
주요 기능
- 자연어 처리: 자연어로 된 지시사항을 이해하여 브라우저 상호작용을 수행함
- Selenium 통합: Selenium과 원활하게 통합되어 웹 브라우저를 자동화함
- 오픈 소스: transformers와 llama-index와 같은 오픈 소스 프로젝트를 기반으로 구축되었으며, 사용자의 이익과 일치하도록 투명성을 보장하는 오픈 소스 모델을 활용함
- 개인 정보 보호 및 제어를 위한 로컬 모델 지원: 사용자가 AI 비서를 완전히 제어하고 개인 정보 보호를 보장할 수 있도록
Gemma-7b와 같은 로컬 모델을 지원함 - 고급 AI 기술: 로컬 임베딩(
bge-small-en-v1.5)을 사용하여 RAG를 수행하고 가장 관련성 높은 HTML 부분을 추출한 후, Few-shot 학습과 Chain of Thought를 활용하여 LLM(Nous-Hermes-2-Mixtral-8x7B-DPO)을 코드 생성을 위해 미세 조정할 필요 없이 작업을 수행할 가장 관련성 높은 Selenium 코드를 도출함
시작하기
- Colab 노트북에서 LaVague를 시도해볼 수 있음.
로드맵
- 초기 프로젝트이지만, 사용자를 위해 인터넷에서 행동을 취할 수 있는 투명하고 일치하는 AI 모델을 대중화하는 데 성장할 수 있음.
- Text2Action에서 전문가가 될 수 있도록 로컬 모델을 미세 조정하고, 코드 생성을 위해 관련성 있는 코드 부분만 사용하도록 검색을 개선하며, 다른 브라우저 엔진(예: playwright) 또는 다른 자동화 프레임워크를 지원하는 것을 주요 탐색 영역으로 봄.
GN⁺의 의견
- LaVague는 사용자의 반복적인 작업을 자동화하여 시간을 절약하고 생산성을 높일 수 있는 잠재력을 가지고 있음. 이는 특히 반복적인 데이터 입력이나 폼 작성과 같은 작업에 유용할 수 있음.
- 오픈 소스 기반으로 개발되어 사용자와 개발자 모두에게 투명성과 수정 가능성을 제공함. 이는 커뮤니티 기반의 혁신을 촉진하고 사용자 신뢰를 구축하는 데 도움이 될 수 있음.
- LaVague가 다루는 자동화 기술은 이미 많은 기업과 개발자들에게 익숙한 Selenium과 같은 도구와 통합되어 있어, 기존의 워크플로우에 쉽게 통합될 수 있음.
- AI 기술을 활용한 자동화는 높은 정확도와 효율성을 요구함. LaVague가 제공하는 Few-shot 학습과 Chain of Thought 같은 기술은 복잡한 작업을 처리할 때 발생할 수 있는 오류를 최소화하는 데 도움이 될 수 있음.
- 이러한 기술의 도입은 사용자의 개인 정보 보호와 데이터 보안에 대한 고려가 필요함. 로컬 모델을 지원하는 것은 이러한 우려를 해소하는 한 방법이 될 수 있으나, 사용자는 여전히 자신의 데이터가 어떻게 처리되고 있는지 주의 깊게 모니터링해야 함.