대학생들이 Claude를 사용하는 방법

(anthropic.com)
10P by GN⁺ | ★ favorite | 댓글 1개
  • Anthropic은 Claude.ai에서 발생한 100만 건의 익명 대화 데이터를 분석하여 실제 교육 환경에서 대학생들이 AI를 어떻게 활용하는지 조사
  • 기존의 설문조사나 실험 기반 연구의 한계를 보완하는 최초의 대규모 실사용 분석임

주요 발견 요약

  • STEM 계열 학생들이 Claude 도입에 가장 적극적이며, 특히 Computer Science 전공이 전체 대화의 36.8%를 차지했음 (미국 학위 비중은 5.4%에 불과)
  • 학생의 AI 사용 방식은 네 가지 유형으로 나뉨: 직접 문제 해결, 직접 출력 생성, 협업 문제 해결, 협업 출력 생성
  • 대부분의 학생들은 '창조(Creating)'와 '분석(Analyzing)' 같은 고차 인지 기능에 Claude를 활용하고 있음
  • 이는 Bloom의 교육 목표 분류 체계의 상위 단계에 해당하며, AI에 의존함으로써 비판적 사고력 약화를 우려할 수 있음

교육용 AI 사용 유형 식별 방식

  • Clio라는 내부 분석 도구를 사용하여 Claude 대화를 주제별로 분류하고, 개인 정보를 제거한 뒤 집계함
  • 100만 건 중 574,740건이 학업 또는 연구와 직접 관련된 대화로 식별됨
  • Clio는 ‘코드 디버깅’, ‘경제 개념 설명’ 등 상위 개념으로 자동 분류하여 분석함

학생들이 Claude를 사용하는 목적

  • 전체 대화 중 39.3%는 교육 콘텐츠 생성과 향상에 사용됨 (예: 연습문제 제작, 에세이 편집, 요약 등)
  • 33.5%는 과제 해결 및 기술적 설명을 위한 사용 (예: 코드 디버깅, 알고리즘 구현, 수학 문제 풀이 등)
  • 기타 사용 목적:
    • 데이터 분석 및 시각화: 11.0%
    • 연구 설계 및 도구 개발: 6.5%
    • 기술 다이어그램 생성: 3.2%
    • 언어 번역 및 교정: 2.4%

학문 분야별 Claude 사용 비율 비교

  • 과도하게 사용된 전공:
    • Computer Science: 학위 비중 5.4% → 대화 비중 38.6%
    • 자연과학 및 수학: 학위 비중 9.2% → 대화 비중 15.2%
  • 적게 사용된 전공:
    • Business: 18.6% → 8.9%
    • Health Professions: 13.1% → 5.5%
    • Humanities: 12.5% → 6.4%
  • STEM 학생들이 Claude를 빠르게 수용하고 있음

학생-AI 상호작용 유형 분석

  • 두 가지 축을 기준으로 네 가지 상호작용 유형을 정의함:
    • 직접 vs 협업 (응답을 빠르게 얻기 vs AI와의 대화형 협업)
    • 문제 해결 vs 출력 생성 (질문에 대한 해결책 vs 에세이 등 출력 생성)
  • 네 가지 유형은 각각 전체 대화의 23~29%를 차지하여 비율이 고르게 분포됨
  • 긍정적 학습 예시:
    • 철학 개념 설명
    • 화학 교육 자료 제작
    • 근육 해부학 개념 설명

AI를 이용한 부정행위 가능성

  • 약 47%의 대화가 직접형 상호작용으로, 부정행위 가능성이 있음
    • 예: 기계학습 문제 정답 요청, 시험문제 답안 요청, 표절 회피 문장 재작성
  • 협업형 대화도 학습 기여도가 낮을 수 있음
    • 예: 통계 숙제 문제 풀이 요청 등

전공별 상호작용 패턴

  • 자연과학 및 수학: 문제 해결 위주 (예: 단계별 풀이 요청)
  • 컴퓨터공학, 공학, 자연과학: 협업형 상호작용 선호
  • 인문학, 비즈니스, 보건계열: 직접형과 협업형 균형
  • 교육 전공: 출력 생성 비중이 가장 높음 (74.4%)
    • 교사들이 교육 자료 및 수업 계획서 작성을 위해 Claude를 사용하는 사례 포함

학생이 AI에 위임하는 인지 작업 분석

  • Bloom’s Taxonomy를 기반으로 Claude가 수행한 인지 기능 분석
    • 상위 인지 작업 비중:
      • 창조(Creating): 39.8%
      • 분석(Analyzing): 30.2%
    • 하위 인지 작업 비중:
      • 적용(Applying): 10.9%
      • 이해(Understanding): 10.0%
      • 기억(Remembering): 1.8%
  • 생성형 AI가 상위 사고 기능을 수행할 수 있음은 교육적으로 유의미하나, 학습자 역량 저하를 유발할 가능성 있음

연구의 한계점

  • 초기 도입자 중심 데이터일 가능성이 높음
  • Claude 외 다양한 AI 사용은 반영되지 않음
  • 일부 데이터는 교수나 직원의 대화일 수 있음
  • 학기 중 시기에 따른 사용 차이는 반영하지 않음
  • AI의 출력이 실제 학습 성과에 기여하는지 여부는 분석하지 않음
  • 전공 간 융합적 활용 사례는 분류되지 않음
  • Bloom 분류 체계를 AI에 적용하는 데 한계 있음

결론 및 향후 과제

  • AI는 학습에 많은 가능성을 제공하나, 비판적 사고 및 학습 윤리 측면에서 도전 과제도 큼
  • 핵심 질문:
    • AI 시대에도 학생이 기초 인지 역량을 갖추려면 어떻게 해야 하는가?
    • 시험과 평가 기준을 어떻게 재정의할 것인가?
    • AI가 에세이 작성, 복잡한 문제 해결까지 할 수 있는 시대에 학습의 의미는 무엇인가?
  • Claude는 이미 교육 현장에서 의미 있는 학습 도구로 사용 중이며, 교육자와의 협력도 확대 예정

Anthropic의 교육 접근법

  • 대학과의 협력을 통해 AI의 교육적 역할을 지속적으로 연구 중
  • 직접 해답 제공보다는 개념 이해 중심의 'Learning Mode' 실험 중
  • 향후 AI가 학습에 어떤 영향을 주는지 심층 연구할 계획
GeekNews Weekly에 포함된 글입니다. 에디터 코멘트 보기

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견
  • 학생들이 AI를 사용하여 부정행위를 얼마나 하는지에 대한 질문이 흔함. 이는 답하기 어려운 문제이며, Claude의 응답이 사용되는 교육적 맥락을 알지 못하기 때문임
    • 교사들이 이 문제를 해결하는 데 도움을 주는 인기 있는 제품을 개발했음
    • AI에 의존하는 것이 매우 유혹적임. 복잡한 데이터 구조를 구현하는 데 어려움을 겪었던 기억이 있음
    • AI를 통해 코드를 복사/붙여넣기하고 문제를 해결할 수 있음. 이는 놀라운 일이지만 학습 과정에 해를 끼칠 수 있음
    • Anthropic이 학생들이 LLM을 사용하여 과제를 작성하는 것을 최소화하려는 인센티브가 있다고 느껴짐
    • 학생들이 Claude를 사용하여 기술적 설명이나 솔루션을 얻는 경우가 많음
    • "에세이 작성"은 학업 과제의 솔루션으로 간주될 수 있음
    • 학생들이 LLM을 사용하여 과제를 완료하는 것을 별도의 계정에서 수행할 가능성이 있음
  • 학생들이 AI 시스템을 주로 새로운 것을 배우기 위해 사용함
    • 이는 "부정행위"라는 말을 피하고 창의성을 긍정적으로 반영하는 방법임
    • 학생들이 AI 시스템에 중요한 인지 작업을 맡기지 않도록 보장하는 것이 중요함
    • 학생-AI 대화의 거의 절반이 직접적인 답변을 찾는 데 사용됨
    • 기계 학습 문제에 대한 답변 제공, 영어 시험 문제에 대한 직접적인 답변 제공 등의 예시가 있음
    • 이러한 문제는 교육의 원칙을 위반하는 것이 아니라 학습을 방해할 수 있음
    • 50년 전에도 계산기가 AI의 역할을 했던 것처럼 비슷한 대화가 있었음
  • 이 기사가 LLM 사용에 대한 엄격한 통제를 피하기 위한 PR 조각이라는 의심이 있음
    • 부정행위 외에도 지속적인 학습 세션이 필요한 학문적 주제가 있음
    • 학생들이 "작업을 보여주고 설명하라"는 요청을 하는 것이 부정행위의 증거일 수 있음
    • 학생들이 과제를 LLM에 맡기면 심각한 능력 문제를 초래할 수 있음
    • 자기 학습에서도 해답을 찾는 유혹이 있음
    • Anthropic이 모든 텍스트의 해답이 즉시 무료로 제공된다는 것을 인정해야 함
    • 이는 교육 방식을 근본적으로 변화시켜야 함
    • 음악과 같은 분야에서도 AI를 사용하여 학습을 피하는 경우가 있을 수 있음
    • 현재의 "임시" 기간 동안 곡선에 따른 채점 문제도 있음
    • 게으른 교수나 새로운 채점 방법을 채택하지 않는 교수의 경우, 정직한 학생들이 어려운 방법으로 학습할 인센티브가 없음
  • 글쓰기는 중요하지 않다는 의견이 있음
    • 글쓰기는 사고를 대변하는 것이며, 사고를 배제하면 문제를 초래할 수 있음
    • 학생들이 사고를 통해 글쓰기를 배우지 않으면 부정적인 결과가 발생할 수 있음
    • 사고를 강조하는 방식으로 글쓰기를 보는 사람들이 더 많아지기를 바람
    • 학생과 작가들이 전통적인 방식으로 글을 작성했음을 증명하는 도구를 개발 중임
  • 학생으로서 언어 모델로 인해 학습을 방해하지 않으려면 어떻게 해야 하는지에 대한 질문이 있음
    • Claude를 많이 사용하며, 슬라이드를 업로드하고 질문을 함
    • 문제를 해결하는 데 Claude와 대화를 많이 나눔
    • 기계 학습 수업에서 부정행위가 큰 문제임
    • 학생들이 퀴즈에서 LLM을 사용하여 답변을 찾는 경우가 있음
    • Claude를 사용하여 과제의 오류를 확인했지만, 스스로 해결했을 때 더 많이 배웠을 것이라는 의문이 있음
  • 학생들이 Claude를 기초 기술을 쌓는 대안으로 사용하는 경우가 많다고 생각함
    • Claude와의 대화가 주로 학생들이 문제를 해결하는 데 도움을 받는 것으로 보임
  • 학생들이 여러 AI 모델을 사용하여 응답을 혼합하고 이를 교사에게 제출하는 것을 막을 방법이 없음
  • AI 시대의 교육의 물질적 단점에도 불구하고, 이러한 시스템에 접근할 수 있는 학생들이 부러움
    • 몇몇 교수들이 학생들이 자료를 이해하는지에 관심이 없었던 경험이 있음
    • 현대의 LLM을 사용하여 개념을 다른 방식으로 설명받을 수 있는 능력을 원했을 것임
답변달기