Show GN: Node.js 용 초간단 청킹 라이브러리
(github.com/golbin)오늘 LLM 프로토타이핑을 위해 만든 간단한 벡터DB를 소개드렸었는데요..(https://news.hada.io/topic?id=10798)
내친김에 Node.js 용 초간단 텍스트 청킹 라이브러리도 만들어 봤습니다.
LLM 이용해서 문서를 임베딩 할 때 간단하게 쓸 수 있는게 거의 없고, Node.js 용은 더더군다나 없어서 매번 덩치 큰 라이브러리를 쓰는게 찝찝했는데요. (Edge에서 쓰는 건 생각도 못하고)
VectorDB 간단하게 만든 김에 같이 쓰려고 만들어봤고, 어차피 LLM에 쓸 거면 대부분 매우 정밀하지 않아도 되니, 간단한 문장/문단 구분으로 자르고 overlap을 적당히 할 수 있게 정도만 만들어 두었습니다.
잠깐 사용해보니, 역시 뭐든 It just works, simple is the best 네요. ㅎㅎㅎ