minelee 1달전 | parent | ★ favorite | on: 데이터만이 유일한 해자다(thebootstrappedfounder.com)

알파고 학습을 알파고vs알파고 자체 대전 데이터로 했듯이, LLM 학습은 LLM으로 데이터를 만들어 학습시키고 있습니다. 데이터 샘플 몇 개 있으면 데이터들도 쉽게 만드는 판이라 이 또한 안전한 해자라고 보기 어렵습니다.

강화학습과 딥러닝의 차이같기도 해요. 결정적인 피드백 루프를 제공하지 못하는 곳에선 인간 데이터가 아직까진 해자가 되는것 같습니다.