- 인공지능 (AI)은 웹을 변화시키고 사람들의 삶에 영향을 미치는 파괴적인 기술입니다.
- Mozilla는 투명성, 사용자 개인정보 보호, 사용자 주체성, 안전성 및 편견 최소화에 주안점을 둔 신뢰할 수 있는 AI에 헌신하고 있습니다.
- ChatGPT와 Bard와 같은 생성적 AI 챗봇은 인기가 있지만 강력한 기술 기업이 운영하고 있습니다.
- Mozilla는 오픈 소스의 협력적인 힘을 믿으며 사용자를 강화하고 소수 기업에 의한 기술 통제를 방지합니다.
- Mozilla는 최근 내부 챗봇 프로토타입을 구축하기 위해 해커톤을 개최했으며, 이는 자체 포함, 오픈 소스이며 그들의 원칙과 일치합니다.
- 호스팅, 런타임 환경, 모델 선택, 편견 및 내부 지식 통합 등의 문제에 직면했습니다.
- 런타임 환경으로 llama.cpp와 Hugging Face의 text-generation-inference를 사용했습니다.
- LLaMA 2 모델이 챗봇에 선택되었지만, 제한 사항을 인정하고 앞으로 재평가할 계획입니다.
- 임베딩과 벡터 검색을 사용하여 Mozilla의 내부 지식을 챗봇에 통합했습니다.
- 챗봇 기능성을 위해 프롬프트 엔지니어링은 중요하며, 지속적인 대화를 추적하는 데 도움이 됩니다.
- 시스템 프롬프트는 챗봇에게 기능과 동작을 정의하는 초기 지시문입니다.
- 챗봇의 컨텍스트 창은 그것의 기억력과 이전 질문과 답변을 참조하는 능력을 결정합니다.
- 컨텍스트 창 관리는 프롬프트 엔지니어링과 대화 컨텍스트를 유지하는 데 중요합니다.
- LangChain은 언어 모델 공간에서 선도적인 오케스트레이션 도구입니다만, 배우고 사용하기에 복잡할 수 있습니다.
- 챗봇의 사용자 인터페이스는 지속적인 대화, 이전 쓰레드 및 기타 복잡성을 처리해야 합니다.
- chatbot-ui와 Companion과 같은 오픈 소스 챗봇 UI는 언어 모델의 프론트엔드로 사용될 수 있습니다.
- Mozilla는 그들의 가치를 반영하고 조직 내에서 안전하게 호스팅되는 프로토타입 챗봇을 개발했습니다.
- 오픈 소스 챗봇은 여전히 발전 중이며, 모델 평가와 올바른 선택을 하는 데 도전이 있습니다.
- Mozilla는 개발자가 오픈 소스 기계 학습 생태계에 참여하기 쉽도록 노력하고 오픈 소스 커뮤니티에 기여할 계획입니다.