비즈니스 컨설턴트의 성능을 크게 향상시킨 ChatGPT-4

 (d3.harvard.edu)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Harvard Digital Data Design Institute와 BCG의 현장 실험은 758명 컨설턴트를 대상으로 AI가 지식 노동자의 생산성과 품질을 얼마나 바꾸는지 평가함
  • 과제는 컨설턴트의 실제 업무에 가까운 창의성, 분석적 사고, 글쓰기, 설득력을 포함해 단순 벤치마크보다 업무 적용성을 보려는 설계였음
  • ChatGPT-4는 AI가 잘 맞는 과제에서 작업 속도 25% 이상, 인간 평가 성과 40% 이상, 작업 완료율 12% 이상을 끌어올림
  • 모든 업무가 같은 효과를 얻지는 않으며, 강한 영역과 약한 영역이 갈리는 들쭉날쭉한 기술 경계가 핵심 제약으로 드러남
  • 실무 활용은 일을 나눠 맡기는 Centaurs와 워크플로에 AI를 녹이는 Cyborgs로 나뉘며, 과제별로 인간과 AI의 조합을 따져야 함

BCG 컨설턴트 대상 현장 실험

  • Harvard Digital Data Design Institute의 Karim Lakhani 등은 Boston Consulting Group(BCG)과 함께 AI가 지식 노동자 생산성과 품질에 미치는 영향을 평가함
  • 실험 대상은 758명 컨설턴트였으며, BCG 개인 기여자 인력의 7%에 해당함
  • 과제는 컨설턴트의 일상 업무 범위를 반영함

    • 창의성

    • 분석적 사고

    • 글쓰기 능력

      • 설득력

성과 향상과 한계

  • AI가 잘 작동하는 과제 영역에서는 ChatGPT-4가 성과를 크게 높임
    • 작업 속도는 25% 이상 증가함
    • 인간 평가 기준 성과는 40% 이상 증가함
    • 작업 완료율은 12% 이상 증가함
  • 반대로 AI 성능은 모든 과제에서 균일하지 않음
    • 일부 작업에서는 뛰어난 결과를 내지만, 다른 작업에서는 부족함
    • 이런 차이가 jagged technological frontier로 정리됨

지식 업무에서 나타난 두 가지 사용 방식

  • AI 사용자는 크게 두 가지 패턴으로 나뉨
    • Centaurs: 사람과 AI 사이에 작업을 나누고 위임함
    • Cyborgs: 자신의 워크플로에 AI를 통합함
  • AI를 쓸지 말지의 이분법보다, 각 업무 흐름에서 인간과 AI의 조합이 어떤 가치를 내는지 평가하는 일이 중요함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이 과제들은 GPT에 딱 맞는 일처럼 보임: 창의성, 분석적 사고, 글쓰기, 설득력 같은 영역에서 신발 아이디어 10개, 시장 세분화, 보도자료, 직원용 영감 메모를 쓰게 하는 식임
    첫 번째 과제에 대한 GPT 응답: https://chat.openai.com/share/db7556f7-6036-4b3d-a61a-9cd253...
    확신에 찬 GPT 환각은 전형적인 경영 컨설팅 자료와 거의 구분이 안 됨

    • “아이디어가 별로다, 스프레드시트가 있다, 마케팅 문구엔 아무도 관심 없다, 최고경영진식 헛소리에 아무도 영감받지 않는다”는 식의 작업이라면 애초에 가치가 낮아서 LLM에 거의 완벽한 입력임
    • 결과물만 보면 맞지만, 지식노동자의 가치는 주로 입력의 질에서 나옴
      고객은 “아이디어 10개”가 아니라 “사업과 시장 이해에 기반한 가치 있는 아이디어 10개”를 원함. 경영 컨설턴트가 이 질문에 “보트 슈즈” 같은 답을 하면 고객을 오래 유지하지 못함
      같은 식으로 소프트웨어 엔지니어링에도 “코드 10줄 써줘”라고 하면 ChatGPT가 매일 찍어내는 코드와 구분 안 된다고 할 수 있음
    • “개 산책자용, 배변 봉투 디스펜서 내장”은 싫어해야 할지 좋아해야 할지 모르겠고, “시각장애인용, 햅틱 피드백”은 햅틱 신발이라니 참 혁신적임
    • 확신에 찬 GPT 환각이 경영 컨설팅 자료와 비슷하다면 Harvard와 그 주변 기관에도 잘 맞아 보임
      내 고용주는 HYP 출신을 뽑는 것으로 알려진 McKinsey를 몇 번 고용했는데 결과물은 좋게 말해도 미흡했음. 이런 기관들에 대한 내 경험은 대체로 비슷했음
      일화에 불과하다는 건 알지만, 이런 연구에는 확증편향이 많이 끼어 있는 느낌임
    • GPT 답변은 MAD magazine에서 가져온 것처럼 읽힘

  • 이 연구는 핵심을 묻어버렸음. LLM은 어떤 작업에서는 더 좋았지만, 다른 작업에서는 실제로 더 나쁘게 만들었음
    첫 번째 작업은 연구에서 “경계 안쪽”이라고 부르는 일반ist 작업이라 성능이 오른 게 놀랍지 않음. 강한 도메인 지식이 없어도 잘 정의된 영역을 조사하는 일이라 LLM의 강점에 맞춰져 있음. 초기 컨설턴트가 비즈니스 애널리스트 같은 역할로 커리어 초반에 하는 일도 대체로 이런 일반ist 업무임
    LLM은 많은 정보를 일반화했기 때문에 이런 일반 조사에 강하지만, 바로 그 일반화가 약점이기도 함. 연구 분야의 기자 같다고 보면 됨. 신문을 읽을 때는 통찰을 얻는 것 같지만, 내가 잘 아는 분야의 기사를 읽는 순간 분석에 결함이 많고 주제를 내 수준으로 이해하지 못한다는 걸 알게 됨
    두 번째 “경계 바깥” 작업은 스프레드시트 분석, 인터뷰, 근거가 뒷받침된 더 깊은 분석을 요구했는데, 현재 LLM이 약한 작업들임. 그래서 비LLM 그룹은 84.5%를 받았고 LLM 사용자는 60~70.6%에 그쳤음
    결론은 LLM이 일반화된 조사에는 훌륭하지만, 전문적인 분석 작업에는 덜 적합하다는 것임

    • 이건 Gell-Mann amnesia의 새 버전 같음. LLm-man amnesia라고 부르고 싶음
      프로그래밍 질문을 하면 ChatGPT는 약 20% 정도 환각을 내고, 내가 충분히 숙련되어 있어서 알아차릴 수 있음. 다른 분야에 대해 물어볼 때도 최소 그만큼의 환각과 잘못된 정보가 있다고 가정해야 할 듯함
    • LLM은 평균적인 지식노동자가 잘하거나 비교적 빨리 훈련받아 잘할 수 있는 일에 대체로 강함
    • LLM을 기자에 비유한 건 좋은 통찰임

  • 이건 웃김. GPT-3/4의 글쓰기 능력도 인상적이지만, 더 충격적인 건 인간의 글쓰기가 얼마나 허풍투성이냐는 점임
    “비즈니스 컨설턴트”는 그런 허풍 글쓰기가 필요한 역할의 정점이고, ChatGPT는 최고의 비즈니스 컨설턴트보다 더 비즈니스 컨설턴트답게 굴 수 있음
    직장에서 진지하게 받아들여지려면 간결한 아이디어나 데이터를 여러 페이지 문서나 슬라이드 덱으로 부풀려야 할 때가 있음. 그래야 다른 사람들이 “노력을 들였다”고 바로 알아봄
    지금 ChatGPT에 가장 잘 맞는 역할은 간결한 글을 받아 훨씬 길고 군더더기 가득한 문서로 확장하는 일일지도 모름. 받는 쪽은 장황한 문서나 슬라이드를 견디며 “일을 했다”고 인정한 뒤, 다시 ChatGPT에 넣어 원래 핵심만 요약하게 될 것임

    • 대부분은 LLM이 무엇을 할 수 있는지에 집중했지만, 그만큼 또는 그보다 더 흥미로운 건 무엇을 못 하는지와 그 이유임
      “LLM이 텍스트를 생성할 수 있다”고 말할 때 우리는 10차선 고속도로만큼 넓은 붓질을 하고 있음. 글쓰기라는 것이 실제로 무엇이고 어떤 범주와 수준이 있는지에 대한 어휘가 꽤 제한적인 듯함
      예를 들어 정중한 이메일, LinkedIn식 영감 스팸, 기업식 표현에서는 GPT가 첫 시도부터 인간을 압도하는 게 재미있고 내 기준으로는 완전히 예상 가능함. 반면 Game of Thrones 다음 권이나 잘 쓴 문학을 요구하면 지루하고, 일반적이고, 상투어와 빈 줄거리·인물로 가득해져 무너짐
      이제 글쓰기의 지형을 더 나은 개념 공간으로 매핑해야 함. 지금은 산술과 추상대수에 해당하는 차이조차 구분하지 못하는 것처럼 보임

  • LLM은 언어 작업에서 놀랄 만큼 좋음. 예전 사람들이 자연어 처리라고 부르던 것 대부분이 이제 거의 압도당했음. 요약, 질의응답, 감성 분석 등 정말 놀라운 수준임
    “사실”의 경계가 뚜렷하지 않고 Pynchon 소설처럼 조밀하게 맞물릴 필요가 없는 생성 작업도 매우 강함. 짧은 소설, 의견글, 제품 문구는 1분에 아이디어 20개를 시제품처럼 뽑을 수 있는 생산성 증폭기임
    하지만 현재 위치는 대략 여기까지임. 자연어를 잠재공간으로 올려 어느 정도 분리 가능한 개념을 만들고, 아핀 변환 비슷한 걸 한 뒤 다시 내리는 것임
    컴퓨터로서는 엄청나게 인상적이지만, 비싼 Penn 졸업생 몫을 정말 대신할 수 있느냐고 하면, 돈을 내는 대상은 눈부신 제품 전략 통찰이 아닌 다른 무언가일 가능성이 큼

    • AI가 법률에 능숙해지기까지 얼마나 걸릴지 궁금함. 지금 잘하는 언어 작업은 예술 작업과 비슷함. 해 공간이 엄청나게 크고 작은 변화에 강한 문제를 푸는 것임
      화난 나무 인간 그림을 조금 바꿔도 여전히 좋은 화난 나무 인간 그림일 가능성이 높다는 식임
    • 동의하기 어려움. LLM은 영역이 아무리 제한되어도 어떤 일도 신뢰성 있게 하지 못함
      출력이 받아들일 만해 보이는 건 사람이 인간 두뇌로 균열을 메우기 때문임. 사람은 쓰레기 출력을 알아보고, 작은 모호성을 해소하고, 사소한 사실·논리 오류를 무의식적으로 고침
      하지만 LLM 결과를 다른 컴퓨터 프로그램에 직접 넣지는 않을 것임. 이러면 전통적인 자연어 처리 작업 대부분이 제외됨
    • “예전 사람들이 자연어 처리라고 부르던 것 대부분이 이제 압도당했다”가 대부분의 프로덕션 서비스 용도에서 사실이 되려면 LLM이 적어도 10배 더 빨라야 함
      이런 작업을 꽤 잘할 수 있다는 데는 대체로 동의하지만, 대규모 데이터셋에서 돌리기엔 성능이 아직 부족함
    • 특정하게 자연어 처리화된 텍스트를 요청해보면 아주 잘해줌
      그런데 곧바로 그걸 그대로 쓰지 말라고 “비윤리적”이라고 말함

  • 이건 BCG 컨설턴트가 얼마나 쓸모없는지를 더 말해줌

    • LLM에도 “언론은 내가 전문가인 분야만 빼고 다 정확하다”는 옛말에 해당하는 현상이 있는 듯함. LLM 출력도 내가 전문가인 분야만 빼고는 다 좋아 보임
      글쓰기나 편집 배경이 없는 사람은 LLM이 그 분야를 혁명적으로 바꿀 거라고 생각함. 실제 작가와 편집자는 LLM 출력을 한 번 보면 고치는 시간이 처음부터 쓰는 시간과 비슷해서 사실상 가치가 없다는 걸 알아봄
      마찬가지로 프로그래밍을 못하거나 주제 이해가 얕은 사람, 특히 기술적으로 보이려는 관리자들은 LLM 출력을 보고 바로 배포 가능하다고 생각하지만, 좋은 프로그래머는 큰 문제와 작은 문제가 너무 많아 처음부터 쓰는 것보다 고칠 가치가 없다는 걸 알아봄
    • 대부분의 경영 컨설턴트는 쓸모없지만, 받아들여야 할 현실도 있음
      20~30명 엔지니어 팀에는 기술도 뛰어나고 사람 상대도 잘하는 “왜 우리와 같이 있지?” 싶은 엔지니어가 보통 한 명뿐임. 하지만 아무리 성격이 좋아도 일은 일이고, 그는 경영이 어떻게 되어야 하는지 힌트만 줄 뿐임. 비디오게임도 하고 가족도 있고 삶도 있어서 회사가 어디로 가는지, 경영과 불필요한 책임에는 관심이 없음. 게다가 위쪽 사람들은 그를 “엔지니어”로만 보고 “관리자”로 보지 않음
      나머지 엔지니어와 관리자도 “내 문제 아님”이라는 태도를 갖다 보면 이상한 소통 공백이 생김. 제품과 가까이 일하는 엔지니어는 “그렇게 잘 알면 네가 해보지?”가 될까 봐 관리자와 얘기하기 싫어하고, 관리자는 “그렇게 관심 있으면 네가 해보지?”가 될까 봐 엔지니어와 얘기하기 싫어함
      이 관리자와 엔지니어 사이의 점점 커지는 거리에 경영 컨설턴트가 들어옴. 경영 컨설턴트는 상위 경영진이 부여한 유연성 덕분에 엔지니어와 관리자 사이를 오가며 누구와도 이야기할 수 있고, “그럼 네가 해보지?”에 묶이지 않음. 보고서를 내고 한 달 만에 관리자·엔지니어 1년치 연봉을 가져감
      진지하게 돌아보면 회사가 해야 한다는 걸 알고도 말하지 않는 일이 많음. 말하면 일이 늘고 위험도 늘기 때문임. “좋은” 경영 컨설턴트는 그런 “하기 싫지만 해야 하는” 일을 찾아 상위 경영진에 보고하고, 경영진은 그 일을 시키는 시스템을 만듦. 누가 경영 컨설턴트가 필요하면 나를 고용해도 됨. 회사가 왜 별로인지 20가지 방식으로 말해줄 텐데 그중 18개는 ChatGPT가 생성할 것임
    • 어느 정도 동의함. LLM은 내 프로그래밍 산출물을 주로 JSDoc과 PR 설명 작성에서 늘려줬음. 내가 별로 하고 싶지 않은 일들임
    • 이 연구는 BCG 컨설턴트 작업의 40%가 실제 부가가치 없는 잡음이라는 것만 보여줌. 고객은 이제 40% 할인을 요구해야 할 듯함
    • GPT가 뭔가를 할 때마다 “그건 [대상]에 대해 더 많은 걸 말해준다”는 문구가 반복되는 게 더 많은 걸 말해줌
      어떤 스레드든 이런 댓글을 예측할 수 있다는 게 웃김. “그건 [삽입]에 대해 더 많은 걸 말해준다”를 계속 쓰면 표현 자체가 의미를 잃음. 더 의미 있는 말을 할 수도 있지 않나

  • 놀랍지 않음. GPT는 무서울 정도로 좋고, 프로그래밍과도 아주 잘 맞음
    GPT-4에게 코드를 써달라고 하고 작동하는지 시도해보지만, 그 코드를 그대로 복사해 붙여넣는 경우는 드묾. 코드베이스 맥락에 맞게 직접 다시 씀. 그래도 어떻게 해야 할지 불확실할 때 시간을 많이 아껴줌
    제안이 마음에 안 들 때도 있는데, 그것도 유용함. 문제 공간이 머릿속에서 더 명확해지는 경우가 많음

    • 어제 처음으로 ChatGPT를 코드에 써봤음
      구글로 답을 찾을 수 없고 가능한지도 확신이 없던 꽤 까다로운 작업을 줬음. “Python 객체가 주어졌을 때, 이 객체를 인자로 받은 함수 목록을 달라. 기존 코드는 수정할 수 없고 객체 구조만 바꿀 수 있다”는 요구였음
      처음엔 함수 수정, 데코레이터로 감싸기, 현재 스택 추적 보기 같은 잘 안 맞는 아이디어를 줬지만, 몇 번 주고받은 뒤 Python 추적기를 가로채는 방식으로 해결하자고 했고 실제로 작동했음
      놀라운 점은 이와 같은 것을 훈련 데이터에서 봤을 것 같지 않은데도 조각들을 조합했다는 점임. 거의 인간 수준에 가까웠음. 물어보니 디버거와 간섭할 수 있다는 한계도 쉽게 설명했음
    • 공개된 글은 프로그래밍 작업이 아니라 “전략 컨설턴트”를 위한 텍스트 생성에 관한 것임
      원문 10쪽의 예시는 이런 식임: 소외된 시장이나 스포츠를 겨냥한 새 신발 아이디어 10개 이상 제안, 사용자를 기준으로 신발 산업 시장 세분화, 제품 홍보 보도자료 초안 작성, 경쟁 제품보다 뛰어난 이유를 직원에게 설명하는 영감 메모 작성
      개인적으로는 실제 가치가 거의 없어 보임
    • GPT-4에게 문제를 설명하는 행위 자체가 답변만큼 도움이 될 때도 있음. 거의 강화된 러버덕 디버깅 같음
    • 이건 “될 때까지 이것저것 시도하는” 식의 프로그래밍에서 한 단계 떨어져 있을 뿐임
      당신이 그런 프로그래머라는 뜻은 아니지만, 그런 유형의 프로그래머를 분명 가능하게 만들어줌
    • 정말 말 잘하는 러버덕임: https://en.wikipedia.org/wiki/Rubber_duck_debugging

  • 컨설턴트였던 입장에서, 다음의 명백한 질문이 떠오름. 컨설턴트를 완전히 없애고 GPT-4가 고객을 위해 직접 일하게 하면 어떻게 될까?
    고객이 컨설턴트에게 일을 맡기려면 요구사항을 설명하고, 결과를 검토하고, 피드백을 줘야 하며, 회의도 몇 번 들어감
    그런데 GPT-4가 컨설턴트를 훨씬 더 좋게 만든다면, 그들의 일도 대신할 수 있을 것 같음. 외부 그룹과 일하지 않으면서 생기는 소통 비용 감소까지 합치면, 고객이 외부 컨설턴트 비용과 관리 부담을 없애고 이익을 직접 가져가지 않을 이유가 뭘까?
    특히 고객이 이미 도메인 전문가이고 추가 인력만 필요한 경우엔 더 그렇음. 예를 들어 마케팅 브랜드 매니저는 자기 제품과 마케팅을 잘 알지만, 내부 인원 제한 같은 이유로 더 많은 자원이 필요해서 마케팅 컨설턴트와 일할 수 있음
    BCG가 이 연구에 참여한 의미를 끝까지 생각해봤는지 궁금함. “컨설턴트가 고객을 더 잘 돕게 한다”에서 “고객을 직접 돕고 컨설턴트가 별로 필요 없다는 걸 보여준다”까지는 매우 짧아 보임
    고객이 인턴 하나 뽑아 GPT-4를 쥐여주면 특히 더 그럼

    • BCG나 McKinsey 같은 회사는 대체로 책임 회피를 위한 존재임
      CEO 입장에서는 그들을 불러 큰돈을 주고 계획과 전략을 만들게 한 뒤, 잘되면 공을 가져가고 안 되면 “McKinsey 전문가들과 긴밀히 일했다. 그러니 내 책임은 아니다”라고 할 수 있음

  • HN은 예측을 정말 못함. 불과 몇 달 전만 해도 LLM은 확률적 앵무새에 불과하고 아무것도 못 이룰 거라고 자신 있게 말하는 댓글이 넘쳤음
    “다음 AI 겨울이 코앞이라는 생각을 지울 수 없다”라니, 그래 물론
    [0] https://news.ycombinator.com/item?id=23886325

    • 경영 컨설턴트가 확률적 앵무새가 아니라고 누가 주장했음?
    • 그 댓글은 “콘텐츠 마케팅 스팸을 비용 효율적으로 대체하는 방법을 찾는 거라면, 좋다. 성공했다”라고도 했음
      그리고 글을 읽어보면 우리가 말하는 산출물 수준이 거의 정확히 그 정도임. 소외된 시장이나 스포츠를 겨냥한 새 신발 아이디어 10개 이상, 신발 산업 시장 세분화, 제품 홍보 보도자료, 경쟁 제품보다 뛰어난 이유를 담은 직원용 영감 메모 같은 것들임
      게다가 두 번째 작업에서는 비LLM 그룹이 훨씬 더 잘했음
    • 이 논문이 많은 걸 증명하는지는 잘 모르겠음. 보도자료를 되뱉는 건 확률적 앵무새식 작업에 가까움
    • 예측을 못하는 건 괜찮음. 견디기 힘든 건 재보정의 완전한 부재임
      터무니없이 나쁜 예측을 했다면 그 대상에 대한 내 모델이 어긋났고 수정이 필요하다는 뜻임
      그런데 모델을 전혀 고치지 않고 계속 예측한다면 문제가 큼
    • 그 댓글은 Dropbox가 rsync 같은 걸로 쉽게 대체된다고 했던 사람처럼 HN 명예의 전당에 오를 듯함

  • 시간이 지나면 많은 사무 업무가 GPT 같은 서비스로 최적화될 것임
    내가 하는 사무 업무 중 반복 가능하고 스크립트로 처리할 수 있는 일이 많다는 건 알 만큼 기술 감각은 있었지만, 직접 스크립트를 작성할 만큼은 아니었음. ChatGPT 덕분에 그 스크립트들을 만들 수 있었고, 완벽히 작동하게 하는 데 15~20시간쯤 걸렸음
    Python 스크립팅을 아주 조금만 알았고 pandas나 xlswriter 같은 건 전혀 몰랐지만, 주당 20~25시간을 절약해주는 무언가를 만들 수 있었음
    HN에는 프로그래밍을 잘하는 사람이 많아서 ChatGPT 같은 서비스가 비프로그래머에게 여는 세계를 과소평가하는 듯함. 반대로 호기심 없는 사람은 덜 배우게 만들 수도 있음. 예전이라면 snapd 서비스 여러 개를 스크립트로 멈추는 법을 배우려고 구글링해서 조합했겠지만, 이제는 ChatGPT에 물어보고 1분도 안 되어 작동하는 스크립트를 받음

    • 완전히 동의함. “X가 가능할까, 어떻게 할까”에서 시작해, 검색어조차 모르던 문제에 대한 조잡한 개념증명을 여러 번 만들어냈음

  • 초록에서 짚을 만한 게 두 가지 있음
    “AI 능력의 경계 안에 있는 현실적인 컨설팅 작업 18개”라고 되어 있음. 즉 GPT-4가 할 수 있는 작업을 의도적으로 골랐음. GPT-4가 못 하는 작업은 많으므로, 성능이 크게 증가했다고 말할 때도 GPT-4에 잘 맞는 작업에 한정된다는 맥락을 둬야 함
    또 “평균 미만 수행자는 자기 점수 대비 43%, 평균 이상 수행자는 17% 증가했다”고 되어 있음. GPT-4에 특히 맞는 작업만 골랐는데도 평균 이상 수행자의 향상은 17%였음. 전반적으로 이런 증가가 보인다면 여전히 인상적이지만, 일부가 팔려고 하는 것보다는 17%가 훨씬 작다고 봄

    • 평균 미만 수행자는 GPT 출력을 그대로 받아들이기 더 쉬울 수 있음. 검토하고 편집할 역량이 낮기 때문임
      평균 이상 수행자는 자기 능력에 자신이 있어서 GPT 출력을 더 많이 뜯어고칠 가능성이 큼. 그래서 평균 미만 그룹이 완성물을 더 빨리 만들고, 이 시험은 시간 제한이 있었으니 속도가 중요했을 것임
      ChatGPT는 장황하게 늘어놓는 데 매우 강하고, 마케팅 문구와 영감 메시지는 본질적으로 장황함임. 즉 과제가 도움 없는 ChatGPT에 맞춤 제작된 셈이라, 고성과자는 오히려 불리했음
    • 과소평가하고 있음. 이득은 복리로 누적됨
      효율의 작은 증가는 장기 성장에서 큰 우위가 됨. 17%도 엄청난 개선임
답변달기