Show GN: 브라우저에서 생성형 AI를 로컬로 실행하는 크롬 익스텐션
(github.com/tantara)프로젝트 설명
자바스크립트로 생성형 AI 모델을 실행하는 Transformers.js의 크롬 익스텐션 프로젝트입니다.
Ollama, llama.cpp 등 로컬에서 생성형 AI 모델을 실행할 수 있는 방법은 많지만, 설정 과정이 번거롭고 매번 화면을 전환해야 하는 불편함이 있습니다. 이를 해결하기 위해 Transformers.js를 사용해서 크롬 익스텐션의 사이드패널에서 바로 실행할 수 있도록 구현했습니다.
로컬 실행의 장점 중의 하나는 인터넷이 끊긴 환경에서 사용할 수 있다는 것인데, 인터넷이 열악한 환경 (비행기, 캠핑장 등)에서 간단한 업무 처리할때 유용하게 사용했습니다.
지원 모델
Transformers.js를 사용하기 때문에 허깅페이스의 거의 모든 모델을 실행할 수 있지만 현재는 아래 모델만 지원하고 있습니다.
- LLM : 라마 3, Phi 3.5, Qwen 2.5, SmolLM2
- Reasoning : DeepSeek R1 (M1 맥북 기준으로 DeepSeek R1 (1.5B) 30토큰/초 생성)
- Multimodal LLM : Janus
- Speech to Text : Whisper
추가 기능
Summarize, Rewrite 기능도 추가했습니다. 브라우저에 보이는 텍스트를 드래그한 상태로 우클릭하여 익스텐션을 실행하면 해당 텍스트를 요약하거나 (Summarize), LLM 출력으로 바꿔줍니다 (Rewrite). 아래 데모 영상을 보시면 이해에 도움이 될 것 같습니다 (1분 10초 - 1분 25초 구간).
데모 영상: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s
익스텐션 실행
Github 프로젝트를 직접 빌드하시거나 크롬 웹스토어에서 다운로드 받으실 수 있습니다.
크롬 웹스토어: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…