안녕하세요.
최근에 브라우저에서 수행한 작업을 자동으로 사용자 설명서(SOP)로 변환하는 Chrome Extension을 만들었습니다.
기존 화면 녹화 방식과 달리, 클릭과 입력 이벤트를 DOM 맥락(Context) 과 함께 수집하여 사람이 이해하기 쉬운 작업 단계로 재구성합니다.
현재 파이프라인은 다음과 같습니다.
Browser Recording → DOM Context Extraction → Solar Pro 3 → AI Validation → Word / PDF / Markdown
구현하면서 가장 어려웠던 부분은 "어디까지를 하나의 Step으로 볼 것인가"였습니다.
브라우저 이벤트를 그대로 기록하면 너무 세분화되고 반대로 너무 많이 병합하면 중요한 사용자 의도가 사라집니다. 현재는 DOM 변화, 입력 상태, 페이지 전환 등을 기준으로 이벤트를 병합한 뒤, Solar Pro 3가 각 단계를 자연어 설명으로 생성하고 AI가 순서와 누락 여부를 한 번 더 검증하는 방식으로 구현했습니다.
현재는 문서를 생성하는 단계까지 구현되어 있으며 다음으로는 생성된 매뉴얼를 구조화된 Task Plan으로 활용하는 방향을 실험하고 있습니다. 목표는 단순한 문서가 아니라 AI Agent가 작업을 이해하고 안내하거나 반복적인 브라우저 작업을 재현할 수 있는 실행 가능한 워크플로우로 발전시키는 것입니다.
아직 Interaction Segmentation과 Task Planning은 계속 개선 중입니다. 관련 연구나 구현 경험이 있으신 분들의 피드백을 듣고 싶습니다.