Hacker News 의견

• 2023년은 매주 프롬프트 데모를 보여주는 해였음
  AWS 행사에서도 발표자가 Claude를 열고 무작위 프롬프트를 치는 걸로 한 시간을 채웠음
  우리 팀도 6개월째 “에이전트”를 만든다며 툴, 커넥터, 평가 시스템을 붙였다가 결국 다시 프롬프트 엔지니어링으로 회귀했음

  • “그 다음 단계는 오프쇼어링 아니냐”는 농담을 들었음
  • 프롬프트 엔지니어링을 진지하게 쓰는 사람은 믿기 힘듦. 회사 메일에서 그 단어를 보면 그냥 넘김
  • 그런데 그 프로젝트, 실제로 작동했는지가 궁금함. 여러 회사가 AI Agent를 만든다지만, 제대로 돌아가는 걸 본 적이 없음. 루프를 닫아보면 LLM이 허우적거릴 뿐이었음
  • 결국 기존 솔루션을 다시 감싸는 새 솔루션을 만드는 셈이라, 소프트웨어 개발은 영원히 계속될 것 같음

• 예전에 멘토가 “기술에서 전문가란 남들보다 한두 가지 더 아는 사람”이라 했음
  그래서 지금의 프롬프트 엔지니어링 열풍도 자연스러운 흐름이라 생각함. 새로운 기술일수록 기존 스택에 한두 가지를 더 얹는 식으로 발전함

  • 좋은 컨설턴트의 비결은 회의 가는 길에 뭘 읽을지 아는 것이라 들었음
  • 단순한 프롬프트 조정이라도 테스트와 튜닝에 엄청난 시간이 듦. 모델마다 최적의 변형을 찾는 게 핵심임
  • 나는 오히려 복잡한 스택을 줄이고 단순화 전략으로 같은 효과를 내는 접근이 더 흥미로움

• “그냥 프롬프트 엔지니어링일 뿐”이라는 말은 실제 고성능 시스템 구축의 난이도를 과소평가함
  평가 지표 설계, 툴 호출, 캐싱 등은 단순한 프롬프트 수준이 아님. 결과를 보여줄 수 있다면 투자금은 쉽게 모일 것임

  • 현실적으로는 프롬프트 + CRUD 수준이 많고, 대부분의 회사가 사실상 CRUD 기업임
  • 투자금이 몰리는 이유는 성과 때문이 아니라 AI 버블과 투자자들의 수익 집착 때문임. 실제로는 금광 대신 삽만 팔고 있는 셈임
  • 제대로 된 평가 프로세스를 구축해본 사람만 그 어려움을 이해함
  • 하지만 대부분의 내부 AI 프로젝트는 평가 자체를 하지 않음. FAANG에서도 5%도 안 됨

• 2025년 11월에 GPT-4를 언급하는 글이라니 의심스러움
  네트워크 트래픽으로 AI 제공자를 판별했다는 방법론도 이상함. 프론트엔드에서 직접 API를 호출하면 보안 키 노출 위험이 크기 때문임
  뭔가 냄새가 나는 조사 방식임

  • OpenAI는 클라이언트 키를 제공해 직접 호출할 수 있음. 공식 문서 참고
  • 오래된 모델 이름을 언급하는 것도 LLM 생성 흔적 같음

• “그럼 도대체 뭘 해야 하느냐”는 질문이 나옴
  90년대엔 콘솔 시스템에 UI를 얹는 것도 훌륭한 스타트업 아이디어였음

  • 문제는 자신을 AI 회사라 부르면서 실제로는 CRUD 앱을 만드는 점임. 비기술자는 그 차이를 구분하기 어려움
  • 언젠가 OpenAI가 저가 판매를 멈추면, 작은 도메인 특화 모델을 만들어야 함
  • 시장 논리에 맡기면 됨. 다만 AI 과열로 소프트웨어 산업 전체가 피로함
  • 단순 래퍼 플랫폼을 “AI”라 포장하는 건 위험함. 닷컴 버블 때와 비슷한 무방비 구조임
  • 진짜 AI를 만드는 게 아니라, 단지 LLM을 쓰는 수준임

• 사실 이런 현상은 AI 이전 스타트업에서도 흔했음
  기존 기술을 감싸 UX만 개선해도 큰돈을 벌었음. 내부적으로는 오픈소스 툴 조합이었지만, 수익률이 너무 높아 자체 개발이 무의미했음

• ChatGPT 출시 직후부터 생각했음.
  만약 어떤 회사가 진짜 AGI를 가진다면, 그걸 팔 이유가 없을 것임. 그냥 자사 서비스를 직접 만들어 경쟁사를 압도하면 됨

  • 사실 AGI가 없어도 같은 순환이 벌어짐
    1. 스타트업이 GPT/Claude를 감싸 새로운 유즈케이스를 만듦
    2. OpenAI나 Anthropic이 그 기능을 직접 구현해 출시함
    3. 래퍼는 모트(진입장벽) 가 없고, 기반 모델 회사도 경쟁이 쉬움

• LLM을 만드는 회사는 몇 안 되고, 기능도 비슷함
  결국 자동화의 핵심은 프롬프트 엔지니어링임.
  모바일 앱처럼, 빅테크가 마음만 먹으면 쉽게 복제할 수 있음. Perplexity나 Cursor도 위험함

  • 다만 ROI가 낮은 아이디어는 빅테크가 건드리지 않음. 억 단위 수익이 아닌 틈새 시장엔 여전히 기회가 있음

• 문제의 기사 자체가 AI 생성 콘텐츠로 보임
  저자가 실제로 데이터를 분석했는지 신뢰하기 어려움

  • 저자 존재 자체가 의심스러움. 데이터 출처도 불분명하고, 네트워크 트래픽을 마음대로 캡처할 수도 없음. 기본적인 검증이 필요함

• “이 사람은 어떻게 이런 데이터를 수집했을까?”라는 의문이 큼
  내 회사라면 고객 데이터를 이렇게 공개하지 못함

  • 기사 하단의 LinkedIn 링크도 존재하지 않음. Teja Kusireddy가 실존 인물인지조차 불확실함
  • 일부 회사가 프론트엔드에서 OpenAI API를 직접 호출하는 것 같지만, 백엔드에서 누출된 정보일 수도 있음
  • 브라우저에서 직접 호출을 본다는 게 이상함. OAuth나 인증 없는 요청이 가능한지도 의문임
  • API 키를 프론트에 넣는 건 보안 구멍이라 대부분 백엔드에서 호출함. 세부 설명이 없으면 신뢰하기 어려움
  • 기사 전문은 Medium 링크에서 볼 수 있음. NDA 때문에 구체적 회사명을 밝히지 않은 듯함