▲iolothebard 2025-02-27 | parent | ★ favorite | on: Llms.txt - LLM에게 웹사이트 이용정보를 제공하기 위한 표준 제안(llmstxt.org)Robot.txt를 확장해도 될거 같은데… LLM을 위한 crawler에게 특별한 지위를 부여할 필요가 있을까요? 그보다는 LLM crawler들의 user-agent를 좀 정리했으면… 싶지만… user-agent자체가 오늘내일하고 있으니 애매하네요. 뱀다리1. Txt라고 해놓고 왜 markdown일까요? 나도 마크다운 참 좋아하지만 굳이…
Robot.txt를 확장해도 될거 같은데… LLM을 위한 crawler에게 특별한 지위를 부여할 필요가 있을까요?
그보다는 LLM crawler들의 user-agent를 좀 정리했으면… 싶지만… user-agent자체가 오늘내일하고 있으니 애매하네요.
뱀다리1. Txt라고 해놓고 왜 markdown일까요? 나도 마크다운 참 좋아하지만 굳이…