12P by xguru 2021-09-14 | favorite | 댓글과 토론

1. 모델을 만들기 전에 해야할 일
1.1. 데이터를 살펴보세요
1.2. 모든 데이터를 보지 마세요
1.3. 충분히 많은 데이터를 확보하세요
1.4. 도메인 전문가들과 소통하세요
1.5. 많은 사전 조사를 하세요
1.6. 모델이 배포되는 상황을 고려하세요

2. 신뢰할 수 있는 모델을 만드는 방법
2.1. 테스트 데이터의 정보가 유출되지 않게 하세요
2.2. 다양한 모델을 사용해보세요
2.3. 부적절한 모델 사용하지 않기
2.4. 하이퍼파라미터를 최적화하세요

3. 모델을 올바르게 평가하는 방법
3.1. 적절한 테스트 데이터를 사용하세요
3.2. 검증 데이터를 사용하세요
3.3. 모델을 여러 번 평가하세요
3.4. 불균형한 데이터에는 정확도를 사용하지 마세요

4. 모델을 공정하게 비교하는 방법
4.1. 더 큰 숫자가 더 좋은 모델을 의미하지 않습니다
4.2 커뮤니티 벤치마크를 신뢰하지 마세요

5. 결과를 보고하는 방법
5.1. 결과를 투명하게 공개하세요
5.2. 여러가지 방법으로 성능을 측정하세요
5.3. 데이터를 넘어선 일반화를 하지 마세요