LLM의 ‘급발진’ 능력은 점진적이고 예측 가능할 수 있음

 (quantamagazine.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Stanford 연구진은 LLM의 일부 창발 능력이 갑자기 생긴 게 아니라, 성능을 재는 측정 방식 때문에 급격한 도약처럼 보였을 수 있다고 봄
  • BIG-bench는 204개 과제로 LLM을 평가하며 일부 과제에서 성능이 0에 가깝다가 특정 규모 뒤 급상승하는 불연속적 향상을 관찰함
  • 세 자리 덧셈처럼 정답/오답만 보는 정확도 지표는 부분적으로 맞춘 답도 실패로 처리해 실제 개선 과정을 가릴 수 있음
  • 자릿수별 부분 점수를 쓰면 파라미터 증가에 따라 더 많은 숫자를 맞히는 점진적 개선이 드러나며, 덧셈의 창발성 해석이 약해짐
  • 어떤 지표가 급격한 향상을 보일지 예측하는 문제와 실제 정답이 중요한 과제의 평가 문제는 남아 있어, 다음 세대 모델을 위한 예측 과학이 필요함

BIG-bench가 본 갑작스러운 성능 도약

  • Beyond the Imitation Game benchmark, 즉 BIG-bench는 450명의 연구자가 만든 204개 과제로 대규모 언어 모델의 능력을 평가함
  • 많은 과제에서는 모델이 커질수록 성능이 예측 가능하고 매끄럽게 좋아졌지만, 일부 과제에서는 한동안 거의 0에 머물던 성능이 갑자기 상승함
  • 2022년 8월 논문은 이런 행동이 놀랍고 예측하기 어려우며, AI 안전성·잠재력·위험 논의에 반영돼야 한다고 봄
  • 이 능력은 시스템이 높은 복잡도에 도달했을 때만 나타나는 집단적 행동을 뜻하는 창발(emergence) 이라는 말로 불림

Stanford의 반론: 모델보다 지표가 만든 착시일 수 있음

  • Stanford University의 Sanmi Koyejo, Rylan Schaeffer, Brando Miranda는 새 논문에서 갑작스러운 능력 출현이 LLM 성능을 재는 방식에서 비롯될 수 있다고 반박함
  • 핵심은 능력이 예측 불가능하게 생기는 것이 아니라, 측정 지표에 따라 매끄럽고 예측 가능한 개선이 급격한 도약처럼 보일 수 있다는 점임
  • 연구진은 LLM이 규모가 커질수록 더 효과적이 된다는 사실 자체는 인정함
  • 다만 개선 곡선이 매끄럽게 보일지, 들쭉날쭉하고 날카롭게 보일지는 모델 내부 작동뿐 아니라 지표 선택이나 테스트 예시 부족에도 영향을 받을 수 있음

모델 규모와 평가 대상

  • LLM은 책, 웹 검색, Wikipedia 등 온라인 출처의 거대한 텍스트 데이터셋을 분석하며 자주 함께 등장하는 단어 사이의 연결을 찾는 방식으로 훈련됨
  • 모델 크기는 파라미터 수로 측정되며, 파라미터는 단어들이 연결될 수 있는 방식에 대략 대응함
  • 주요 모델 규모는 다음과 같음
    • GPT-2: 15억 개 파라미터
    • GPT-3.5: 3,500억 개 파라미터
    • GPT-4: 2023년 3월 공개, Microsoft Copilot 기반, 1.75조 개 파라미터를 사용한다고 알려짐
  • 큰 LLM이 작은 모델이 못 하는 과제를 수행할 수 있다는 점은 논쟁의 핵심이 아님
  • Stanford 연구진도 더 큰 모델의 추가 복잡성이 더 어렵고 다양한 문제에서 성능을 높일 수 있다는 점을 인정함

세 자리 덧셈에서 드러난 정확도 지표의 한계

  • 2022년 BIG-bench 연구에서는 GPT-3와 LAMDA가 파라미터가 적을 때 덧셈 문제를 정확히 풀지 못한다고 평가됨
  • GPT-3는 130억 개 파라미터로 훈련됐을 때 갑자기 덧셈을 할 수 있는 것처럼 보였고, LAMDA도 680억 개 파라미터에서 비슷한 변화를 보임
  • 이 결과는 덧셈 능력이 특정 임계값에서 창발한다는 해석으로 이어짐
  • Stanford 연구진은 이 평가가 정확도만 봤기 때문에 완전히 맞지 않으면 실패로 처리됐다고 지적함
    • 예를 들어 100+278의 답으로 376을 낸 경우는 −9.34보다 실제 답에 훨씬 가깝지만, 정답/오답 지표에서는 둘 다 실패임
  • 연구진은 첫 번째 숫자, 두 번째 숫자, 세 번째 숫자를 각각 얼마나 잘 예측했는지 보는 부분 점수 지표를 사용함
  • 이 지표에서는 파라미터가 증가할수록 LLM이 덧셈 결과의 숫자열을 점점 더 정확히 예측하는 양상이 나타남
  • 따라서 덧셈 능력은 갑작스럽고 예측 불가능한 도약이 아니라 점진적이고 예측 가능한 개선으로 해석될 수 있음

아직 남은 논쟁

  • Northeastern University의 Tianshi Li는 Stanford 논문이 어떤 지표가 언제 LLM의 급격한 개선을 보일지 예측하는 방법까지 설명하지는 못한다고 봄
  • 이 점에서는 일부 능력이 여전히 예측 불가능하다고 볼 여지가 남아 있음
  • OpenAI의 Jason Wei는 산술처럼 정답이 중요한 능력에서는 정확한 답 자체가 중요하므로, 이전 창발 보고도 타당하다고 주장함
  • Anthropic의 Alex Tamkin은 새 논문이 다단계 과제를 잘게 나누어 각 구성 요소의 기여를 인식하게 만들었다고 평가함
  • 동시에 Tamkin은 모든 점프가 착시라고 말할 수는 없으며, 단일 단계 예측이나 연속 지표를 사용해도 불연속성이 보이는 문헌이 있다고 봄

더 큰 모델을 예측하기 위한 과제

  • Rice University의 Xia “Ben” Hu는 현재 LLM의 창발을 다른 측정 도구로 설명할 수 있더라도, 미래의 더 크고 복잡한 LLM에는 같은 설명이 적용되지 않을 수 있다고 봄
  • Hu는 LLM이 다음 수준으로 커지면 다른 과제와 다른 모델에서 지식을 빌려올 것이라고 말함
  • Tamkin에게 창발 논의는 LLM이 어떻게 행동할지 예측하려는 노력과 직접 연결됨
  • LLM 기술은 적용 범위가 넓기 때문에, 다음 세대 모델에서 놀라지 않기 위한 예측 과학을 만드는 일이 중요해짐

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이 연구에는 몇 가지 문제가 있음: 1) 합격/불합격식 정확도를 토큰 편집 거리 같은 더 부드러운 지표로 바꾸는 건 과제에 따라 실력의 형편없는 대리 지표가 될 수 있음
    2) 저자들의 지표로 봐도 여전히 몇몇 잠재적 창발 능력이 발견됨
    3) 지나고 나면 다 쉬워 보임. 데이터를 다시 보고 창발이 사라지는 변환을 찾을 때까지 만질 수는 있지만, 당시에는 흔한 테스트 정확도 지표를 썼고 결과가 예측 불가능하고 놀라웠다는 점이 진짜 주목할 현상임
    논문에는 가치가 있지만, 결론을 너무 멀리 가져가면 안 됨

    • 글 뒤쪽에도 나오듯이, 덧셈은 거의 맞는다고 별 의미가 없음. 맞거나 틀리거나 둘 중 하나임
      그래도 채점 방식을 바꾼 뒤에도 창발 능력이 일부 남아 있었으니 그 노력은 좋게 봄

  • “다른 잣대를 쓰면 창발이 사라진다”는 건 대부분의 창발 행동에도 해당하지 않나 싶음
    척도를 바꿔 물 분자 하나하나를 보면, 갑자기 얼음 덩어리가 생기는 게 아니라 분자들이 하나씩 결정 구조로 붙는 모습이 보일 것임

    • 꼭 그렇지는 않음. 문제는 기계학습에서의 정의가 특히 허술하다는 데 있음
      여기서 더 자세히 썼음[0]. 지금 말한 건 창발을 설명하는 것이지만, LLM에 창발 능력이 있다고 했을 때 주장된 것과는 다름. 그 구분은 글에서도 설명됨
      [0] https://news.ycombinator.com/item?id=39812315
    • 하지만 50°C와 75°C에서의 분자 구조를 알아도 어는점에 대해서는 거의 알 수 없음
      다른 예로, 어떤 바이러스의 감염 사례 수를 측정하면 전 세계로 퍼지거나(R0 > 1, 예: COVID-19) 널리 퍼지지 못함(R0 < 1, 예: Ebola). 완전히 이분법적이지는 않아도 겉보기에는 이분법처럼 보여서 창발 행동임
      반대로 R0를 직접 측정하면 점진적 증가가 보이고, 미래 변이·백신 효율 등을 훨씬 쉽게 예측할 수 있음
      “창발”은 예를 들어 시그모이드를, “점진적”은 선형이나 로그 함수를 가리킨다고 봄
    • 얼음을 갑작스러운 창발로 착각하는 사람은 없음. 맨눈으로 봐도 점진적으로 생기는 것이 분명함

  • 논문: Are Emergent Abilities of Large Language Models a Mirage? https://arxiv.org/abs/2304.15004

  • 미래가 도착한 뒤에는 예측하기가 항상 더 쉬움
    실제로는 회고해도 예측하기 어려운 상전이 같은 창발 특성이 있을 수 있지만, 흔하지는 않을 것 같음. 설득력 있는 LLM 사례가 하나라도 있는지도 의문임
    더 일반적인 경우는 상위 능력이 여러 하위 능력에 의존하고, 그 관계를 예측하기 어려운 쪽이라고 봄. 구성 요소의 매끄러운 개선은 있었겠지만, 무엇을 봐야 하는지, 즉 핵심 구성 요소가 무엇인지 알아야 함
    창발 능력을 예측하려면 필요한 구성 요소를 미리 식별하고, 기대하는 행동을 뒷받침하려면 각 요소가 어느 수준이어야 하는지도 어느 정도 시뮬레이션해야 함
    물론 모델 크기나 데이터 규모만의 문제가 아니라 데이터의 종류와 품질도 중요하고, 모델 버전 사이에 급격한 변화가 있을 수 있음. 업데이트된 학습 세트에서 모델이 어떤 새 패턴이나 조작, 즉 구성 요소 능력을 배울지 사전에 분석하기는 매우 어려움
    반대 방향도 얼마나 자주 일어나는지 궁금함. 모델 설계자가 “X를 하려면 A, B, C 능력이 필요하고, A, B, C를 얻으려면 새 데이터셋 P와 Q가 필요하다”고 성공적으로 식별한 경우 말임. 그런 가상 상황이라면 X 능력으로 가는 진행 상황을 측정할 수 있었을 것임

    • 아는 한 Transformer 이전에는 그런 일이 아예 일어나지 않았음. 모델이 그렇게 많은 개별 기술을 서로 간섭 없이 담을 수 없었기 때문임
      여러 고품질 능력을 가진 모델이라는 것 자체가 아직 꽤 새로운 현상임
      그래도 그런 접근이 필요하다고 보고, 오늘날 최고의 LLM들은 이미 비슷한 일을 하고 있을 가능성이 큼. 다만 무엇을 하는지 공개한 곳은 없어서 추측일 뿐임

  • “하지만 다른 과제에서는 능력 향상이 매끄럽지 않았다. 성능이 한동안 거의 0에 머물다가 갑자기 뛰었다. 다른 연구들도 비슷한 능력 도약을 발견했다.”
    와, 제출 제목이 꽤 부정확한 것 아닌가

    • 그 문단은 이전 연구 결과를 정리한 것이고, 이 논문은 바로 그 결과에 도전하는 내용임
    • 이 맥락에서는 그런 능력이 의도적으로 연구되고 만들어진 것이지, 아무 데서나 갑자기 튀어나온 게 아니라는 뜻으로 보임
      세계 상당수는 “AI”의 갑작스러운 등장에 허를 찔렸지만, 이런 것들이 올 거라고 알고 있던 사람들도 있었음

  • 부분 점수를 주는 접근은 괜찮지만, 모델이 정답을 내도록 학습시키려 한다면 정답 여부는 중요함
    작은 모델로 산술을 학습시킬 때 손실 곡선이 안정 상태에 도달해도, 일부 숫자는 맞지만 답은 여전히 틀리는 모습을 봤음. 더 학습시킬 수는 있지만 필요한 학습 에폭 수가 모델 크기와 지수적으로 반비례하는 것처럼 보임
    그래서 매개변수가 x개인 모델은 2x개인 모델보다 n²배 오래 걸리는 식이 됨
    특정 매개변수 수에서는 경사 하강법 학습으로 정답을 얻는 것이 사실상 거의 불가능해짐
    매개변수가 많을수록 수렴으로 몰고 가기 쉬운데, 이는 실제로 중요한 지표임
    어느 시점부터는 그 능력이 자발적으로 나타나기까지의 예상 시간이 인간 수명, 심지어 인류 전체의 수명보다 길어짐. 모델 크기 증가가 이를 실현 가능하게 만든다는 의미에서는, 그 능력이 충분히 갑작스럽게 창발한다고 말해도 된다고 봄

    • 핵심은 정답을 내는 모델을 원하더라도, 목표에서 얼마나 떨어져 있는지 보려면 이분법적 정확도 대신 부분 점수를 써야 한다는 것임
      개선이 갑작스럽고 예측 불가능하게 나타나는 지표를 쓰면, 능력이 자발적으로 나타날 수도 있어서 얼마나 더 학습해야 하는지조차 추정할 수 없음
      반대로 부분 점수 지표가 매끄럽고 예측 가능하게 좋아진다면, 정확도 자체를 직접 외삽하는 것보다 학습 진행을 외삽해 목표 정확도에 언제 도달할지 가늠할 가능성이 생김
      예상 시간이 너무 길어서 더 큰 모델을 학습시키기로 한다면, 모델 크기 간 외삽으로 어느 정도 큰 모델이 필요한지도 추정해볼 수 있음
    • 모델 학습은 연속성에 너무 최적화된 것처럼 보임. 예를 들어 연속 변수는 무한히 쪼갤 수 있지만, 논리와 알고리즘은 이런 식의 흐릿한 것이 아니라 단단한 구조임
      학습 에이전트가 논리와 알고리즘을 제대로 배우려면 흐릿한 개념에서 단단한 개념으로 일반화할 수 있어야 할 듯함. 그게 단순 확장으로 자동 발생할지, 근본적 전환이 필요할지는 불확실함
    • 이 제출 봤음? https://news.ycombinator.com/item?id=39575264
      서로 연결된 얘기처럼 들림

  • 좋은 논문임. 다만 창발이 꼭 지표의 갑작스러운 도약이나 예측 불가능성을 요구하는 것은 아님. 새로운 능력은 점진적으로도 생길 수 있음

    • 기계학습에서 “창발”을 말할 때는, 그 용어를 도입한 논문에서 설명한 것처럼 갑작스러운 도약이 있는 지표를 말함: https://arxiv.org/abs/2206.07682

  • 모델이 불연속적인 점프 없이도 더 똑똑해지고 있을 수 있음. 부분 답안에 점수를 주지 않는 방식으로 측정하다 보니, 계속 날카로워져 왔다는 신호를 놓쳤을 뿐일 수 있음
    이건 Sam Altman의 생각으로 보이는 것과도 어느 정도 맞아 보임. OpenAI는 학습 연산량과 데이터 크기만으로도 모델의 추론 능력을 꽤 잘 예측할 수 있다고 느끼는 듯함

    • Sam Altman은 영업 담당자에 가깝고, 그건 그의 생각이라기보다 OpenAI에서 일하는 수많은 전문가들의 생각을 그가 되풀이하는 것임

  • 멈춘 시계도 하루에 두 번은 맞음
    LLM은 그럴듯함 엔진임. 여기서 검증 중인 근본 가설은 그럴듯함이 증가하면 정확성도 증가한다는 것임
    이 가설은 LLM 학습에 쓰이는 인간 작성 콘텐츠만 봐도 쉽게 기각되며, 따라서 그에 의존하는 모든 현상에는 상한이 생김. 그러므로 LLM을 단순히 키우는 것만으로는 AGI가 나오지 않음

    • “LLM은 그럴듯함 엔진”이라는 건 LLM을 보는 한 방식이지만, 그것만으로 능력에 자동으로 상한이 생기지는 않음
      인간은 번식하는 생물이라는 말도 참임. 얼핏 보면 인간은 번식 능력에 대해서만 선택되므로 지능을 갖도록 진화할 수 없을 것처럼 보이지만, 실제로는 그렇지 않음. 참인 분류라 해도 인간 능력의 상한을 정하지는 않음
      LLM은 지식을 최대한 효율적으로 보존하도록 진화함
      지식 보존의 단순한 전략은 암기이고, 신경망은 확실히 암기를 할 수 있음
      다른 전략은 알고리즘을 사용하는 것임. 신경망도 알고리즘으로 지식을 보존하도록 진화할 수 있음. 예를 들어 작은 신경망이 덧셈을 수행하기 위해 FFT와 비슷한 구조를 진화시킨 것이 보였음. 처음에는 암기로 시작해 완벽하지 않았지만, 학습 후반에는 FFT를 쓰는 덧셈 알고리즘으로 전환해 완벽한 결과를 냈음
      더 나은 LLM들은 정교한 압축으로 지식을 보존한다고 봄. 여기에는 세계 모델을 만들고 입력 텍스트를 그 모델과 연결하는 방법이 들어감
      이것은 추론 기계의 구성 요소라고 봄. 불완전하고 버그도 있으며 현재 구조가 곧 한계에 닿을 수도 있지만, 순수 암기와는 완전히 다른 것임
    • 인간이 그럴듯함이 아니라 정확성을 안정적으로 추구한다고 가정하고 있음
      과학 시스템 전체가 그럴듯해 보이지만 틀린 주장을 억제하도록 설계되어 있다는 사실은 오히려 반대를 보여줌
    • 철학적 의미에서는 맞지만, 현실적으로는 AI가 이전에는 지능이 필요하다고 여겨졌던 많은 과제와 직무에서 인간을 능가하는 길 위에 있음
    • “의존하는 모든 현상에는 상한이 생긴다”는 결론은 그럴듯하지만, 반례로 쉽게 깨짐. 좋은 학생은 스승을 뛰어넘을 수 있고, 평범한 학생도 여러 스승에게 배우면 모두를 넘어설 수 있음
      곁가지로, 그래서 중세의 master-journeyman 제도가 매우 효율적이었다고 생각함
      더 추상적으로 말하면, 그 결론은 전이 학습이 존재하지 않는다고 가정하는 것처럼 보임

  • 저자들이 쓰는 지표가 헷갈림
    편집 거리는 모델이 산술을 이해하는지 테스트하기에는 이상한 방식 같음([1], Figure 3). 1+3=3은 1+1=9와 똑같이 맞는 것으로 취급될 듯함
    왜 모델 출력이 실제 값에서 얼마나 벗어났는지 abs(actual-expected)로 보지 않는지 궁금함. 그 지표에서도 변곡점이 있는지 궁금함
    https://arxiv.org/abs/2206.07682

    • 산술을 어떻게 하느냐에 달려 있음. 사람이 세로셈을 한다면 12345+35791=58136은 48146만큼이나 큰 실수임. 실제 결과는 48136이고, 둘 다 한 자리 열만 틀린 것임. 이진 반가산기도 같은 방식으로 동작함
      LLM이 산술을 어떻게 하는지는 모름. 토큰 편집 거리가 흥미로울 수도 있지만, 어느 쪽이든 논문의 주장 자체가 크게 바뀌지는 않음
      별개로, 링크가 틀렸음. 말하는 논문은 여기임: https://arxiv.org/pdf/2304.15004.pdf
답변달기