GeekNews 최신글 예전글 쓰레드 댓글 Ask Show GN⁺ Weekly | 글등록 | @frida
로그인

frida

2 karma 가입일 2024-05-28

최근 활동

최근 작성한 글

전체 보기
LLM 컨텍스트 길이 늘이기 2024-07-01 · 4점 · 댓글 2개

최근 작성한 댓글

전체 보기
컨텍스트 길이가 긴 한국어 LLM을 사용하고자 LLM의 컨텍스트 길이를 효율적으로 늘이기 위해 조사 및 시도해본 다양한 방법들 1. LongLoRA shifted sparse attention과 LoRA 파인튜닝을 활용해 8배까지 확장 2. Rope based Position Interpolation Llama와 같이 RoPE 기반 임베딩을 사용하는 모델에

전체 배지

GeekAward

스페셜
First Topic First Comment

더 많은 GeekBadge가 있습니다. 활동을 통해 모으거나, GeekGold로 구매해 보세요.

처음 오셨나요 사이트 이용법 FAQ About 긱배지 이용약관 개인정보 처리방침   | Blog Lists RSS   | Bookmarklet
X (Twitter) Facebook   |   긱뉴스봇 : Slack 잔디 Discord Teams Dooray! Google Chat Swit
시작하기 이용법 FAQ About 긱배지 약관 개인정보
Lists Blog RSS X 긱뉴스봇