Show HN: Autotab - AI 기반 Chrome 확장 프로그램으로 Selenium 스크립트 생성

 (autotab.com)
3P by GN⁺ | ★ favorite | 댓글 1개
  • Autotab은 AI 기반 Chrome 확장 프로그램으로, 로컬 브라우저에서 작업을 수행하며 Selenium 스크립트 생성까지 겨냥함
  • 사용자는 업무 흐름을 영상 메시지나 문서로 전달해, 사람에게 설명하듯 Autotab에 작업을 가르칠 수 있음
  • Fortune 500 기업과 빠르게 확장하는 기술 지향 기업에서 채용·온보딩·관리 병목을 줄이는 용도로 활용 중임
  • 적용 범위는 데이터 수집, 양식 입력, 메시지 전송, 환불 트리거처럼 브라우저 기반 반복 업무 전반으로 넓음
  • 처리 가능 여부가 불확실하면 작업 녹화본을 보내 24시간 내 답변을 받을 수 있고, BPO 대체를 검토하는 기업은 별도 문의가 가능함

로컬 브라우저에서 배우고 실행하는 방식

  • Autotab은 범용 AI 에이전트로, 사용자가 맡긴 작업을 사람이 일하는 방식에 가깝게 학습하고 수행함
  • 작업은 사용자의 로컬 브라우저에서 진행되며, 사용자는 Autotab이 수행하는 과정을 볼 수 있음
  • 특정 업무 흐름은 사람에게 인수인계하듯 전달할 수 있음

    • 영상 메시지와 문서 기반 교육

      • 영상 메시지나 준비된 문서로 작업 절차를 알려줄 수 있음
      • 복잡한 워크플로도 사람이 업무를 설명하는 방식에 맞춰 전달하는 구조임

기업에서 겨냥하는 반복 업무

  • Autotab은 Fortune 500 기업과 빠른 확장이 필요한 기술 지향 기업에 배포되어 있음
  • 채용, 온보딩, 관리 업무가 성장 속도를 따라가지 못하는 상황을 주요 사용 사례로 삼음
  • 수행 가능한 업무 예시는 다음과 같음
    • 데이터 수집: 리드 찾기, 보고서용 정보 수집, 전체 시스템 마이그레이션
    • 양식 입력: 정부 양식, 내부 관리자 앱, ERP·RMS·TMS 같은 벤더 시스템에 데이터 입력
    • 행동 실행: 임의 플랫폼에서 메시지 전송, 환불 트리거 등 맥락에 맞는 조치 수행

문의와 적용 가능성 확인

  • 처리할 수 있는 작업인지 확실하지 않다면 작업 녹화본을 record@autotab.com으로 보내면 24시간 내 답변을 받을 수 있음
  • BPO를 다른 방식으로 대체하려는 기업은 enterprise@autotab.com으로 문의할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Selenium 프로젝트 만든 사람으로서, 테스트 자동화가 AI의 킬러 앱 중 하나가 될 거라고 봄
    생성된 코드에서 AI가 세부사항을 환각하지 않도록 어떻게 보장하는지 궁금함

    • 지금은 기본적인 안전장치로, Selenium의 XPath가 DOM에서 정확히 하나의 요소만 선택하는지 확인함
      앞으로는 미러링된 브라우저가 마지막 동작을 그대로 따라 하는 실시간 미리보기를 제공해서, 오류가 나거나 의도와 다르면 바로 디버깅할 수 있게 하는 게 가장 좋아 보임

  • 내 에이전트 시스템 웹 앱을 의미 있게 자동화해보려 함. 재귀적으로 자동화가 자동화를 다루는 느낌임
    홍보를 조금 하자면 https://github.com/agi-merge/waggle-dance
    평소 Chrome은 쓰지 않지만 왜 Chrome부터 시작했는지는 이해함. 그래도 Firefox나 Safari 버전도 나오면 좋겠음

    • waggledance.ai를 봤는데 할 수 있는 일이 멋지고 흥미로움
      다만 잘 만든 UI를 제외하면, GPT-4 답변으로는 제공되지 않는 무엇을 waggledance가 해주는지 궁금함
      내가 겪어본 바로는 작업을 생성하고 쪼개는 방식이 ChatGPT에 물어봤을 때 얻는 결과와 꽤 비슷함
    • 다른 브라우저 지원도 언젠가는 확실히 계획에 있음

  • 아버지 업무를 자동화하려고 Selenium 스크립트를 직접 짠 적이 있음. 예를 들어 스프레드시트에서 이름을 가져와 웹사이트 검색창에 넣고, 같은 동작을 수백 명에 대해 반복하는 작업이었고 시간을 많이 아껴줬음
    기계에 직접 보여주는 것만으로 브라우저 자동화를 더 쉽게 만들 수 있다면 많은 사람의 삶이 훨씬 편해질 것 같아서 빨리 써보고 싶음

    • 이런 일을 돕는 게 우리가 기대하는 방향과 잘 맞음. 써본 뒤 느낌을 듣고 싶고, 대화할 의향이 있으면 프로필에 이메일이 있음

  • 이걸 서버에 올리고 BrowserBox로 제공해서, 모바일에서도 자동화를 만들 수 있게 하고 싶음
    원래 BrowserBox를 만든 이유도 확장 프로그램에 묶이지 않는 웹 스크래핑 작성 도구 전달 플랫폼이었는데, 원격 브라우저 자체를 제품으로 만들다 보니 아직 자동화 작성 도구까지는 못 갔음
    이걸 만들고 MIT로 공개해줘서 고마움. AI가 보강한, 사람이 안내하는 웹 스크래핑 작성 방식이 이 분야의 미래라고 봄
    이름도 좋음. autotab
    곧 내놓을 BrowserBox SaaS 이름을 Cloudtabs로 부르고 있어서 약간의 “시너지”도 있음
    https://github.com/BrowserBox/BrowserBox

    • BrowserBox가 멋져 보이는데, README만으로는 어떤 브라우저 엔진을 쓰는지 알기 어려웠음. 직접 만든 건지 궁금함

  • https://ray.run/에서 Playwright용으로 거의 정확히 같은 걸 만들고 있음. 테스트 작성의 미래가 이쪽이라는 데 의심이 없고, 다음 주 출시 예정임
    접근 방식은 조금 달라 보임. LLM은 요소 식별에만 쓰고, 실제 생성기는 https://ray.run/browser-extension로 만들고 있음

    • 방문자가 prefers-reduced-motion을 설정했을 때는 애니메이션 배경을 꺼야 함
      아니면 그냥 전반적으로 꺼도 좋겠음. 꽤 거슬림

  • Chrome의 Recorder 기능과 어떻게 다른지 궁금함
    DevTools > Recorder에서 사용자 여정을 기록하고 Puppeteer 스크립트로 출력할 수 있음

    • 가장 큰 차이는 autotab이 Python 스크립트를 출력한다는 점일 듯함. 기존 Python 코드베이스에 통합하기 더 쉬움
      앞으로는 Python 코드와 생태계의 유연성 덕분에 더 많은 기능을 만들기 쉬울 거라고 봄. 예를 들어 브라우저 기반 작업은 완전히 결정적이지 않고, 웹페이지 정보를 요약하거나 텍스트 박스에 맞는 답을 동적으로 채우는 것처럼 자동화 도중 더 많은 지능이 필요한 경우가 많음

  • YC 투자를 보고 https://www.ztool.co 창업자라는 걸 알게 됨. 피벗한 건지, 아니면 ztool을 보완하는 제품인지 궁금함

    • 이건 확실히 피벗에 가까움. 다만 ZTool 제품 자체도 그동안 몇 번 큰 변화를 거쳤음
      지난 몇 달 동안 만들고 사용자와 이야기하며 배운 건 autotab을 하게 된 두 가지 이유로 정리됨
      첫째, AI 생성 소프트웨어는 아직 비기술 사용자에게 준비되지 않았음. ZTool에서는 코딩을 모르는 사람이 자동화를 쉽게 만들 수 있게 하는 데 집중했지만, 지금은 모델 출력이 코드인 편이 낫다고 봄. 그래서 autotab은 Python 코드를 검토하고 수정할 수 있는 사용자에 초점을 둠
      둘째, 의도를 전달하는 방식이 중요함. “이 작업이 귀찮다”에서 구조화된 표현을 만드는 데는 의외로 많은 정신적 노력이 들어감. AI 데모는 짧은 프롬프트로 의도를 전달하는 데 집중했지만, 복잡한 영역에서는 잘 작동하지 않음. 브라우저로 의도를 전달하는 방식은 매우 직관적이고 익숙해서 강력해 보임

  • “Selenium이 제어하는 Chrome 세션을 실행한 뒤 Google에 로그인한다”고 되어 있는데, 왜 Google 로그인이 요구사항인지 궁금함

    • 이제 이 부분을 고쳐서 autotab.com/dashboard에서 API 키를 받을 수 있고, autotab record 실행 시 그 키만으로 인증할 수 있음. 더 이상 Selenium 브라우저에서 Google에 로그인하지 않아도 됨
    • 현재는 autotab 자체 로그인에 Google 로그인만 허용하지만, 곧 사용자명/비밀번호 로그인과 다른 옵션도 추가할 예정임
      피드백에 따라 사용자가 자기 OpenAI API 키를 가져오는 옵션도 만들 수 있음

  • 열린 브라우저 창에서 단축키처럼 쓸 수 있는 워크플로 또는 매크로를 기록할 수 있는지, 아니면 브라우저 창을 열고 몇 가지 동작을 실행하는 자동화 프로세스에만 제한되는지 궁금함
    예를 들어 탭이 여러 개 열려 있고 각 탭에 YouTube 전체화면 버튼 같은 동일한 요소가 있다고 할 때, “전체화면 종료, 다음 탭으로 이동, 그 페이지의 비디오를 전체화면으로 전환” 같은 걸 Autotab으로 기록할 수 있는지 알고 싶음

    • autotab 스크립트가 띄운 브라우저 인스턴스 안에서 항상 YouTube 영상을 연다면 어느 정도는 가능하지만, 짧게 답하면 지금은 어렵다고 봄
      이런 매크로는 매우 흥미롭고, 브라우저가 이런 AI와 자동화를 위해 어떻게 설계될 수 있을지 많이 이야기해왔음
    • 어떤 매크로를 정의하고 싶은지 궁금함. 더 배우고 싶은 영역임

  • 이걸 최대한 유용하게 만들려면, 규칙 집합을 가진 LLM이 페이지의 동적 상황을 해석하고 행동할 수 있어야 함
    예를 들어 장바구니에 추가하려고 할 때 LLM이 품절이라는 규칙을 감지하면 다른 동작을 하는 식임
    앞으로 이런 LLM 보강형, 규칙 기반 분기 로직이 이 소프트웨어에서 가능할지 궁금함

    • 매우 동의하고, 지금 적극적으로 작업 중임
      흥미로운 질문은 두 가지임. 1) 사용자가 의도를 전달하기에 가장 효과적인 형식이 무엇인지, 어쩌면 포인트 앤 클릭이 아닐 수도 있음 2) 모델 출력을 감사 가능하고 편집 가능하게 표현하려면 어떻게 해야 하는지가 핵심임
답변달기