# Show GN: 브라우저에서 생성형 AI를 로컬로 실행하는 크롬 익스텐션

> Clean Markdown view of GeekNews topic #19020. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=19020](https://news.hada.io/topic?id=19020)
- GeekNews Markdown: [https://news.hada.io/topic/19020.md](https://news.hada.io/topic/19020.md)
- Type: show
- Author: [tantara](https://news.hada.io/@tantara)
- Published: 2025-02-02T17:20:01+09:00
- Updated: 2025-02-02T17:20:01+09:00
- Original source: [github.com/tantara](https://github.com/tantara/transformers.js-chrome)
- Points: 17
- Comments: 2

## Summary

이 프로젝트는 자바스크립트를 사용하여 생성형 AI 모델을 로컬에서 실행할 수 있는 크롬 익스텐션을 개발한 것입니다. Transformers.js를 활용하여 인터넷 연결이 불안정한 환경에서도 AI 모델을 실행할 수 있으며, Summarize와 Rewrite 기능을 통해 브라우저에서 직접 텍스트를 요약하거나 변환할 수 있습니다. 이 익스텐션은 Github에서 빌드하거나 크롬 웹스토어에서 다운로드할 수 있습니다.

## Topic Body

#### 프로젝트 설명  
  
자바스크립트로 생성형 AI 모델을 실행하는 Transformers.js의 크롬 익스텐션 프로젝트입니다.  
  
Ollama, llama.cpp 등 로컬에서 생성형 AI 모델을 실행할 수 있는 방법은 많지만, 설정 과정이 번거롭고 매번 화면을 전환해야 하는 불편함이 있습니다. 이를 해결하기 위해 Transformers.js를 사용해서 크롬 익스텐션의 사이드패널에서 바로 실행할 수 있도록 구현했습니다.  
  
로컬 실행의 장점 중의 하나는 인터넷이 끊긴 환경에서 사용할 수 있다는 것인데, 인터넷이 열악한 환경 (비행기, 캠핑장 등)에서 간단한 업무 처리할때 유용하게 사용했습니다.  
  
#### 지원 모델  
  
Transformers.js를 사용하기 때문에 허깅페이스의 거의 모든 모델을 실행할 수 있지만 현재는 아래 모델만 지원하고 있습니다.  
  
1. LLM : 라마 3, Phi 3.5, Qwen 2.5, SmolLM2  
2. Reasoning : DeepSeek R1 (M1 맥북 기준으로 DeepSeek R1 (1.5B) 30토큰/초 생성)  
3. Multimodal LLM : Janus  
4. Speech to Text : Whisper  
  
#### 추가 기능  
  
Summarize, Rewrite 기능도 추가했습니다. 브라우저에 보이는 텍스트를 드래그한 상태로 우클릭하여 익스텐션을 실행하면 해당 텍스트를 요약하거나 (Summarize), LLM 출력으로 바꿔줍니다 (Rewrite). 아래 데모 영상을 보시면 이해에 도움이 될 것 같습니다 (1분 10초 - 1분 25초 구간).  
  
데모 영상: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s  
  
#### 익스텐션 실행  
  
Github 프로젝트를 직접 빌드하시거나 크롬 웹스토어에서 다운로드 받으실 수 있습니다.  
  
크롬 웹스토어: https://chromewebstore.google.com/detail/private-ai-assistant-runn/jojlpeliekadmokfnikappfadbjiaghp

## Comments



### Comment 34040

- Author: sjssjs1344
- Created: 2025-02-02T20:16:25+09:00
- Points: 1

잘 봤습니다.  
Deepseek R1이 아니라 Distil된 모델이라는 것을 명확하게 표시해주셔야 하지 않을까 싶습니다. 기술적으로 전혀 다른 두 모델이니까요.

### Comment 34044

- Author: tantara
- Created: 2025-02-03T07:00:25+09:00
- Points: 1
- Parent comment: 34040
- Depth: 1

의견 감사합니다. 테스트한 1.5B 모델이 Distillation 된 모델이라 Distilled가 좀 더 정확한 표현인 것 같네요. 글 수정이 불가능한 것 같아서 다음 업데이트때 반영하겠습니다.