Hacker News 의견

• @ggerganov의 llama.cpp에 대한 놀라운 작업 덕분에 이것이 가능해졌습니다. 이상적인 로컬 AI 앱에서 원하는 기능이 있다면 듣고 싶습니다.

• Full Text Search. Blazingly fast search over thousands of messages.

• 자연어 처리가 완전히 발전하여 Ctrl+F를 새롭게 발명했습니다.

• 수천 개의 메시지를 빠르게 검색하는 기능에 대해, 90년대 검색 기능이 현대적으로 재해석되었다는 의견.

  • 전문 검색 기능에 대한 설명으로, 자연어 처리 기술이 발전하여 기존의 텍스트 검색 기능을 혁신적으로 개선했다는 평가.

• 로컬 문서, 북마크, 브라우저 기록 등에서 답을 찾아주는 기능이라면 기꺼이 지불할 의향이 있음

• 훌륭해요! 몇 가지 사항:

  • ChatGPT의 UI가 유용한 이유는 대화 중 어느 부분이든 변경할 수 있고, 그 지점부터 대화를 다시 생성하며 그 이후의 대화는 삭제되는 기능 때문입니다.
  • 피드백 버튼이 크롬으로 포커스를 변경하는 것 외에는 아무런 기능을 하지 않습니다.
  • LLaVA 모델은 텍스트 기반 AI 모델이기 때문에 이미지 생성이 불가능하다고 합니다.

• 좋은데, ChatbotUI+Ollama 대신 이것을 사용할 이유를 볼 수 없음

  • MacOS 네이티브 앱으로서의 장점과 빠른 가져오기 및 검색 기능 외에는 차별점을 찾기 어렵습니다.
  • ChatbotUI는 크로스 플랫폼, 사용자 정의 가능, 개인 정보 보호, 디버깅 가능 등의 장점이 있습니다.

• 몇 가지 질문:

  • 이미지 생성에 무엇을 사용하고 있나요? 로컬에서도 가능한가요(예: stable diffusion)? 통합된 프롬프트 생성이 있나요?
  • ChatGPT 기록을 가져올 수 있다고 했는데, 다른 문서도 가져올 수 있나요?
  • 몇 가지 "에이전트" 스타일 기능이 있나요? 웹을 검색할 수 있나요? 다른 API를 사용할 수 있나요? 스스로 프롬프트를 생성할 수 있나요?
  • 플러그인 프레임워크가 있나요? "사용자 정의 가능"이라고 하셨지만, 이는 거의 모든 것을 의미할 수 있습니다.
  • 라이선스는 무엇인가요? 사용자의 사용이 개인적임을 어떻게 보장하나요? 많은 "로컬" 앱들이 대량의 데이터를 외부로 전송한다는 것을 우리 모두 알고 있습니다.

• 몇개의 제안

  • 시스템 폰트(San Francisco)를 UI 옵션으로 추가해주세요. SF Mono도 좋을 것 같습니다.
  • 초보자를 위한 모델 사용에 대한 도움이 필요합니다. 시작하는 방법을 알려주는 소개 화면이 있으면 좋겠습니다.
  • 대부분의 Mac 앱처럼 Command-comma가 설정을 여는 기능이 있으면 좋겠습니다.
  • 웹 링크를 클릭하면 Safari(또는 선호하는 브라우저)가 열리게 하는 것이 좋겠습니다.

• OpenAI API를 같은 인터페이스에서 사용할 수 있는 옵션을 추가하는 것도 좋을 것 같습니다.

  • 현재 jan.ai를 사용하고 있습니다.

• 온라인 모델을 앱에 추가할 계획이 있나요? 로컬 모델은 아직 온라인 모델과 비교할 수 없는 수준입니다.

  • 일관된 채팅 인터페이스에서 GPT/Claude/로컬 모델 간 전환할 수 있으면 좋겠습니다.

• "로컬 AI와 대화하기"라고 말하는 대신, 로컬 AI와 대화함으로써 우리가 달성할 수 있는 것이 무엇인지 알려주면 더 많이 팔릴 것입니다.

  • 대화가 필요한 것이 아니라 특정 작업을 수행할 필요가 있습니다. 어떤 작업을 할 수 있나요? (저에게 답하지 말고, 랜딩 페이지와 앱 스토어 목록에 넣으세요)