▲fudiso 2023-02-15 | parent | ★ favorite | on: ChatGPT는 웹의 흐릿한 JPEG입니다(newyorker.com)테드창 본인도 언어모델을 설명하는데 JPEG라는 손실압축된 비유를 들고 왔듯이, 오리지널이 있더라도 압축정보는 필요합니다. 그리고 언어모델이 자기가 만든 결과물로 다시 학습을 하게 되더라도 정보의 손실은 거의 없습니다. (내부 모델 Parameter에 대한 업데이트가 거의 안일어납니다. 원래 알고 있는 정보라 학습 효과가 없는 거죠.)
테드창 본인도 언어모델을 설명하는데 JPEG라는 손실압축된 비유를 들고 왔듯이, 오리지널이 있더라도 압축정보는 필요합니다.
그리고 언어모델이 자기가 만든 결과물로 다시 학습을 하게 되더라도 정보의 손실은 거의 없습니다. (내부 모델 Parameter에 대한 업데이트가 거의 안일어납니다. 원래 알고 있는 정보라 학습 효과가 없는 거죠.)