- 인공지능 (AI)은 웹을 변화시키고 사람들의 삶에 영향을 미치고 있습니다.
- Mozilla는 투명성, 개인 정보 보호, 사용자 대행성, 공정성을 포함한 신뢰할 수 있는 AI에 헌신하고 있습니다.
- 생성적 AI 챗봇은 인기가 있지만 대부분 강력한 기술 회사에 의해 제어됩니다.
- Mozilla는 오픈 소스의 힘을 믿으며 몇 개의 기업에 의한 기술 통제를 방지하고 사용자에게 권한을 부여하기 위해 노력하고 있습니다.
- Mozilla는 최근 내부 챗봇 프로토타입을 구축하기 위해 해커톤을 개최했습니다.
- 팀은 오픈 소스 대형 언어 모델 (LLM)을 사용하고 호스팅, 런타임 환경, 모델 선택, 편견, 챗봇의 지식 확장 등의 문제에 직면했습니다.
- 그들은 개인 정보 보호와 통제를 위해 챗봇을 Mozilla의 클라우드 인프라에 호스팅하기로 결정했습니다.
- 그들은 LLaMA 아키텍처 기반 모델을 실행하기 위해 오픈 소스 프로젝트인 llama.cpp를 사용했습니다.
- 그들은 독성, 편견, 잘못된 정보, 위험한 콘텐츠에 대한 모델을 평가하고 Facebook의 LLaMA 2 모델을 선택했습니다.
- 그들은 임베딩과 벡터 검색 기술을 사용하여 내부 Mozilla 특정 지식을 통합했습니다.
- 그들은 Python과 다양한 라이브러리를 사용하여 수동 솔루션을 개발했습니다.
- 챗봇 개발에서 프롬프트 엔지니어링은 맥락을 제공하고 응답을 개선하는 데 중요합니다.
- 시스템 프롬프트와 맥락 창은 챗봇 기능과 대화 맥락에 중요합니다.
- LangChain은 언어 모델 공간에서 선도적인 오케스트레이션 도구입니다만, 배우고 사용하기에 복잡할 수 있습니다.
- chatbot-ui와 Companion과 같은 오픈 소스 챗봇 UI를 사용하여 언어 모델의 프론트 엔드를 만들 수 있습니다.
- Mozilla는 그들의 가치를 반영하고 조직 내에서 안전하게 호스팅되는 프로토타입 챗봇을 개발했습니다.
- 오픈 소스 챗봇은 여전히 발전 중이며 모델을 평가하고 올바른 선택을 하는 데 어려움이 있습니다.
- Mozilla는 개발자들이 오픈 소스 기계 학습 생태계에 참여하고 커뮤니티에 기여하기 쉽도록 노력하고 있습니다.