21P by xguru 2022-10-21 | favorite | 댓글 8개
  • 실제 사용하는 일상언어는 정규적이지 않고 혼란스러움
  • 언어학자들은 이런 제멋대로인 특성을 억제하기 위해서 일종의 접착제 역할로서 "문법"이 필요하다고 생각했음
  • 하지만 대규모 AI 언어 모델은 방대한 양의 언어 데이터 기반으로 언어를 구사하며, 놀랍게도 대부분 문법의 도움이 없이 가능
  • 만들어낸 문장의 단어 선택이 이상하거나 무의미 한 경우도 있지만, 대부분 문법적으로 정확
  • 다음 단어를 생각해내는 능력에 있어서 이 AI모델과 사람의 뇌는 비슷하게 동작함
  • GPT-3는 인간의 2만년 분량의 언어 경험으로 훈련되어서 그렇다고 생각할 수 있지만,
    연구에 의하면 약 1억 단어로 훈련된 GPT-2도 인간의 두뇌가 다음 단어를 생각하는 것과 비슷하게 가능
    (1억 단어는 평균적인 어린이가 10년간 듣는 단어량과 비슷함)
  • 이게 증명하는 것은, 단순히 노출 만으로도 충분히 좋은 문법의 문장을 생성할수 있을 만큼 언어를 잘 배우고, 인간의 두뇌 처리와 유사한 방식으로 학습할 수 있다는 것
  • 수년 동안 많은 언어학자들은 기본 제공되는 문법 템플릿 없이는 언어학습이 불가능 하다고 믿어왔음
    • 하지만 새로운 AI 모델들은 그렇지 않다는 것을 증명함. 문법적인 언어를 생성하는 능력이 언어적 경험으로 배울수 있다는 것을 보여줌
    • 즉, 아이들이 언어를 배우는데 있어서 문법보다는 언어 경험이 더 중요하다는 것

알파고가 바둑을 잘 둔다고 바둑에 규칙이 없는 건 아니죠.

맞습니다 언어를 배우는 가장 정확한 방법은 많은 경험이 중요하죠 하지만 인공지능이 보여주듯 기본 전제는 "엄청나게 많은 경험" 입니다 인공지능 기준으로 무려 10년동안 노출이죠 사람은 이정도까지는 아니겠지만 그 나라 사람도 아닌 외국에서 이런 언어 경험을 만들기 어려워요
맞아요, 영어를 가장 빠르고 정확하고 효율적으로 공부 할려면 그냥 유학을 몇년 보내고 공부하면 됩니다 하지만 대부분 사람들은 경제적으로든 뭐든 이렇게 못하는 가정 환경이 더 많죠 그래서 문법을 배우는거죠
다만 한국 교육에서 너무 문법이 강조되고 언어를 학습하기 위한 도구로서 활용이 아닌 내신에서 문법 문제을 위한 문법 공부를 하는것은 좀 고쳐야하지 않나 싶습니다

전 오히려 단순 노출 전략이 10년 어치 노출을 필요로 하는 비효율적인 방법이란 생각이 드네요.

| 단순히 노출 만으로도 충분히 좋은 문법의 문장을 생성할수 있을 만큼 언어를 잘 배우고
이 부분이 제가 GPT 결과물들 보면서 느낀 점 그대로이네요.

흥미롭네요! 저는 언어를 포함하여 다른 분야의 지식 또한 위 맥락과 비슷하게 적용이 가능하다는 생각이 듭니다. 그해 비해 우리나라 교육은 모두가 알고있는것과 같이 일괄 된 지식을 암기하는 방식이 주로 이루어지는 현실이 안타깝네요. 시스템측면에서 구성원에게 알맞는 경험을 제공하는것은 어렵고 비용이 비싸지만, 위 결과와 같이 뇌세포를 모방해 탄생 된 AI의 결과를 보고 더 나은 방향을 바라봤으면 좋겠습니다.
무엇보다도 어른들에 의해 우울하게 학습하고 있을 아이들이 너무 가여워요 😢 학습의 본질은 즐거운것인데 말이죠!

사실 어릴때 영어교육 받을 때 부터 의문이었습니다. 우리가 한글 배울때 문법부터 배웠냐고..

지금도 외국인들 한국어 교육받을때 문법 내용 보면 뭔 내용인지 어렵고 어색합니다. 그래도 한국어 잘만 하죠.

흥미롭네요. 촘스키의 시대가 저무는 것일까요.

제 생각에는 오히려 촘스키의 시대가 오는 것 같습니다. 촘스키에게 문법은 배우는 것이 아니라 오히려 타고난 것, 정확히는 타고난 능력으로 만들어내는 것이거든요. 그리고 지금의 인공지능은 촘스키가 보기엔 컴퓨터나 할 수 있는 사치스러운 학습입니다. 촘스키는 유아가 단어를 수십만 개나 배워서 언어를 배우는 게 아니라고 지적하거든요. 기계학습에 비해 상당히 부족한 1-2년간의 언어 경험만으로도 언어를 배우는 유아의 능력을 설명하기 위한 것이 촘스키의 이론이고, 지금의 기계학습은 컴퓨터가 사람도 아닌데 굳이 유아처럼 언어를 배울 필요가 있냐면서 십년간의 데이터로 언어를 배우게 하는 겁니다.