12P by kciter1 2일전 | ★ favorite | 댓글 16개
  • AI의 급격한 발전으로 전문성이 대체되는 데서 오는 심리적 우울감을 느끼는 개발자들이 많아짐
  • 이러한 우울감을 느끼는 개발자가 많아지면서 클로드 블루라는 이름이 붙게됨
  • 또한 매일 쏟아지는 신조어가 개발자들의 FOMO와 불안을 가중시키고 있음
  • 공포를 극복하는 핵심은 이해하는 것에 있음
  • 수많은 '엔지니어링'은 전부 "API에 적절한 입력을 보내고 응답을 처리하는 과정"의 변형일 뿐이며, 이는 개발자가 이미 잘해왔던 일임
  • FOMO를 유발하는 콘텐츠에 휘둘리지 말고 본질을 이해하면 새로운 용어가 나와도 기존 지식 체계에 대입하여 냉정하게 판단할 수 있음

공포의 구조와 극복법

  • 사람은 정체를 모르는 것 앞에서 공포를 느낌. AI에 대한 두려움도 AI 자체보다 "어떻게 동작하는지 모른다"는 사실에서 비롯됨
  • 정체를 이해하면 마법이 기술로 보이기 시작하고, 기술이란 배울 수 있고 한계가 있는 것
  • 직장인의 24%가 AI로 인한 정보 과부하로 정신 건강이 악화됐다는 조사 결과도 있음

LLM의 정체

  • LLM은 "주어진 입력에 대해 가장 적절한 출력을 생성하는" 다음 단어 예측 모델임
  • ChatGPT, Claude, Gemini 모두 동일한 원리로 동작하며, 서비스의 실체는 클라이언트가 메시지를 보내고 모델이 토큰을 스트리밍으로 반환하는 HTTP API 호출
  • AI 에이전트의 강력한 코딩 능력도 이 API 호출을 감싸고 있는 것

AI 에이전트가 똑똑해진 과정

  • 프롬프트 엔지니어링: 역할 부여, Few-Shot, Chain-of-Thought 등은 결국 입력 텍스트의 문맥을 구체적으로 만들어 출력 방향을 유도하는 방법임
  • 출력 형식 제어: JSON Schema 지정, Function Calling 등으로 모델의 출력을 프로그램이 파싱 가능한 구조로 만듦. Function Calling을 통해 모델이 도구를 호출하고 런타임이 실행하는 구조가 가능해짐. MCP, RAG도 도구 호출의 한 형태임
  • 컨텍스트 엔지니어링: 어떻게 질문할까가 아니라 모델이 추론 전에 무엇을 볼 것인가를 설계하는 것. 입력이 길어지면 집중력이 떨어지므로, 적절한 정보를 적절한 위치에 넣는 것이 핵심임
  • 프롬프트 분할: 하나의 거대한 프롬프트 대신 작고 집중된 여러 프롬프트로 나누어 처리. Sub-Agent(서브 에이전트), Skill(스킬) 등이 이 범주에 해당함
  • 하네스 엔지니어링: 모델을 둘러싼 실행 환경 전체를 설계하는 것. 가이드(행동 전 방향 설정)와 센서(행동 후 결과 검증)로 구성됨
    • 랄프 루프: 완료 기준 미충족 시 같은 프롬프트를 반복 주입하는 기법. 진행 상황은 파일 시스템과 git에 저장하여 매번 새 컨텍스트에서도 이어갈 수 있음. 하네스의 하위 전략 중 하나일 뿐 하네스 자체와는 다른 개념임

FOMO에서 벗어나기

  • 지식이 있어도 불안한 것은 FOMO 유발자들로 인해 우리가 마치 아무것도 모르는 것처럼 느껴지기 때문
  • FOMO를 느끼지 않는 좋은 방법 중 하나는 FOMO 유발자들이 실제로 무엇을 해결했는지 살펴보는 것
    • 대부분 과정을 압축한 것이지 문제를 해결한 것은 아님
  • 본질을 이해하고 있으면 새로운 정보를 접했을 때 새 패러다임인지, 기존 개념의 변형인지 과장인지를 스스로 판단할 수 있게 됨

앞으로 무엇을 해야하는가

  • 꼭 무언가를 해야 할 필요는 없음. AI가 내 문제에 도움이 안 되면 지금 하던 대로 살면 됨. 결국 도구일 뿐이고 필요하면 쓰고 필요 없으면 안 쓰면 그만임
  • 모든 것에 정답이 있지는 않음. 따라서 답지를 찾으려고 노력할 필요는 없음.
  • 지식이 있다면 앞으로 새 용어가 나와도 무엇에 대한 이야기인지 파악할 수 있는 눈이 생김

FOMO를 느끼지 않는 좋은 방법 하나는 FOMO 유발자들이 실제로 AI를 이용해서 무엇을 해결했는지를 살펴보는 것이다.

이 말이 매우 공감이 되는군요 ㅋㅋ

히히 나 이제 뭐하지

전문성 전체가 대체 가능한게 아니지 않나요? 조어 과정부터가 이상합니다

원문에서 AI가 전문성 전체를 대체할 수 있다고 주장한 적은 없습니다. 저 또한 그렇게 생각하지는 않아요...

LLM은 "주어진 입력에 대해 가장 적절한 출력을 생성하는" 다음 단어 예측 모델임

GPT-3 얘기네요.

GPT 이후의 시중에 나온 대형 언어 모델들은 확산 모델 사용한 것 몇몇 제외하곤 모두 다음 토큰을 예측하는 형식인줄 알고 있었는데 다른 방식으로 작동하는 모델이 있으면 알려주시면 고마울 것 같습니다

그러면 최신 모델은 다른걸까요? 만약 잘못된 내용이 있다면 가르쳐주시면 저를 포함해 다른 분들께도 도움이 될 것 같습니다 ㅎㅎ

현대의 LLM을 "다음 단어 예측" 이라고 치부 할거라면 AlphaGo도 "다음 수 예측"에 불구해요.

ChatGPT 부터 다음 단어 예측은 단순 pre-trained에 불구하고요.

헌재는 목표를 달성하는 모델이죠

AlphaGo도 가장 승률이 높게 계산되는 다음 수를 예측하는거 아닌가요?????

혼란스럽네요. 농담이신건지 아니면 무언가 제가 모르는 새로운 기법이나 기술이 나온걸까요??

"승률"이 핵심이죠.
단순히 다음 단어 예측으로는 쓸만한 문장은 커녕 코딩이나 수학을 제대로 하지못해요.
이런 기법은 60~70년대에 나온거고요.

(엄밀히는 단어도 아니죠)

음.. 어쩌면 제 의도와 다르게 글이 전달된 걸지도 모르겠다는 생각이 드네요. 만약 이 글에서 LLM의 기술적인 가치를 폄하하는 것 같이 느껴졌다면 사죄드립니다.

다만, 이 글의 의도는 과장된 포장과 신비화를 걷어내고 냉정하게 보자는 뜻이었습니다. 그래서 개인적으로 '목표를 달성하는 모델'이라고 표현하면 신비화가 된 것으로 느껴집니다. 결국 일반 소프트웨어든 모델이든 어떠한 '목표'를 달성하기 위함이기도 하구요.

그래서 개인적인 궁금함을 더해서 말씀하신 표현이 좀 더 기술적으로 정확한건지 다시 여쭈어보고 싶습니다.

gpt 3 : 다음 단어 예측 -> 맞음
gpt 3 이후 트랜스포머 기반 모델 : 다음 단어 예측 -> 맞음.
AlphaGo, AlphaZero, MuZero, ... : 다음 수 예측 -> 맞음.
(특정)목표를 달성하는 모델 -> 맞음.

이야기 중에 틀린 말 없습니다

그런것도 같네요.
다만 모델 자체는 결국 입출력 함수일 뿐이니까요.
적절한 하네스와 에이전트 루프가 주어진다는 가정 하에, 모델이 목표를 달성한다라는 말이 성립되는것 같습니다.

“다음 토큰 예측”은 구현 수준의 설명으로는 정확하지만, 모델의 능력이나 목적을 설명하는 방식으로는 불완전하다로 정리? 할 수 있나요?

그러면 더 잘 예측하는 모델이라고 중간에서 만나면 될거같아요 😄