▲

AI 스타트업 200곳을 역공학해 보니, 73%가 단순한 프롬프트 엔지니어링에 불과

 (pub.towardsai.net)
10P by GN⁺ 1일전 | ★ favorite | 댓글 4개
  • 200개의 AI 스타트업을 리버스 엔지니어링한 결과, 다수의 기업이 자체 기술을 보유했다고 주장하면서 실제로는 외부 API를 호출하는 형태로 운영됨
  • 조사된 기업 중 73%가 OpenAI나 Claude API를 그대로 사용하며, 여기에 단순한 UI나 기능을 덧붙인 수준으로 확인됨
  • 자사 “고유 LLM” 을 내세우는 스타트업 상당수가 실제로는 api.openai.com에 요청을 보내는 GPT-4 래퍼에 불과했고, 단순 시스템 프롬프트만 얹은 구조로 수십~수백 배 마진을 붙여 판매하고 있음
  • RAG 아키텍처를 강조하는 서비스 대부분도 OpenAI text-embedding-ada-002 · Pinecone/Weaviate · GPT-4를 조합한 표준 40줄짜리 스택을 “고유 인프라”로 포장하고 있었으며, 1M 쿼리 기준 월 약 3만 달러 비용에 15만~50만 달러 매출로 80~94% 마진 구조를 보이는 상황
  • 반대로 전체의 27% 는 “Built on GPT-4”처럼 스택을 투명하게 밝히는 래퍼 회사, 실제로 자체 모델을 학습하는 빌더, 멀티모델 투표·에이전트 프레임워크 등 실제 기술적 차별점을 가진 팀들로 구성됨
  • 조사 결과, 많은 AI 스타트업이 API 기반 서비스 비즈니스임에도 “고유 AI 인프라”를 내세우는 구조가 드러났고, 투자자·고객·개발자 모두가 DevTools로 네트워크 탭만 열어도 검증 가능하다는 점을 강조하며 AI 생태계에 정직한 기술 공개가 필요하다는 걸 강조

개요

  • 외부 투자를 받은 AI 스타트업 200곳의 웹 애플리케이션을 대상으로, 네트워크 트래픽·코드·API 호출을 추적해 마케팅 주장과 실제 기술 스택의 차이를 분석함
    • 출발점은 “고유 딥러닝 인프라”를 주장하는 한 회사가 실제로는 OpenAI API만 콜하고 있다는 의심에서 시작
    • 이 회사는 4.3M 달러 투자를 받았고, “근본적으로 다른 인프라를 구축했다”는 스토리로 자금 조달을 진행한 상태였음
  • 조사 결과 73% 회사에서 주장하는 기술과 실제 구현 간에 의미 있는 괴리가 발견되었고, 상당수가 서드파티 모델 API를 단순 래핑한 구조였음
    • 조사 대상은 YC·Product Hunt·LinkedIn “We’re hiring” 포스트 등에서 수집한 AI 스타트업 200곳이며, 설립 6개월 미만 회사는 제외했고 외부 자금 유치와 구체적 기술 주장이 있는 곳에 집중함
    • 조사 방식은 패시브한 브라우저 개발자 도구 수준에서 이뤄졌으며, 비공개 시스템 접근·인증 우회·TOS 위반 없이 진행되었음

조사 방법(Methodology)

  • Playwright·aiohttp 등을 이용해 자동화된 분석 파이프라인을 구성하고, 각 스타트업 사이트에 대해 공통적으로 세 가지를 수집함
    • capture_network_traffic(url)로 네트워크 헤더와 요청 패턴을 캡처
    • extract_javascript(url)로 JS 번들 디컴파일 및 분석
    • monitor_requests(url, duration=60)으로 60초 간 API 호출 패턴을 추적
  • 각 사이트별로 다음 정보를 구조화해 기록함
    • claimed_tech: 마케팅 카피·웹 문구에 나타난 기술 주장
    • actual_tech: HTTP 헤더·JS 번들·API 호출로 확인한 실제 스택
    • api_fingerprints: 호출 도메인·헤더·지연 시간 등으로 추출한 서드파티 API 지문
  • 크롤링 기간은 3주였으며, 모든 패턴은 공개 웹·브라우저 DevTools로 관찰 가능한 공개 데이터만을 활용했음

주요 결과: 73%에서 드러난 괴리

  • 전체 200곳 중 73% 회사에서 마케팅 카피에 적힌 “고유 모델·커스텀 인프라·딥러닝 플랫폼” 등의 주장과, 실제로 동작하는 코드·API 스택 사이에 큰 차이가 확인됨
    • 이 비율은 “고유 LLM”을 내세우지만 OpenAI/Anthropic/Cohere API만 사용하는 회사, “자체 벡터 DB”를 주장하지만 Pinecone/Weaviate를 쓰는 회사 등을 모두 포함한 수치임
  • 이 결과에 놀랐지만, 동시에 “기술적으로 크게 화낼 일은 아니다”는 복합적인 감정임
    • 문제의 핵심은 서드파티 API 사용 자체가 아니라, 이를 “고유 AI 인프라”로 포장하고 투자자·고객을 오도하는 마케팅이라는 점

패턴 1: ‘고유 LLM’이 사실상 GPT-4 래퍼인 경우

  • “our proprietary large language model”이라는 표현이 등장하면 거의 항상 GPT-4 래퍼가 등장했으며, 37곳 중 34곳에서 이 패턴이 확인됨
    • 사용자가 “AI” 기능을 쓸 때마다 api.openai.com으로 나가는 요청
    • 요청 헤더에 포함된 OpenAI-Organization 식별자
    • 150–400ms 수준으로 일관되는 응답 지연 시간 패턴
    • 토큰 사용량·과금 구간이 GPT-4의 가격 구조와 정확히 일치하는 패턴
    • 레이트 리밋 시 지수형 backoff를 적용하는, OpenAI 특유의 재시도 패턴
  • 한 회사의 “혁신적 자연어 이해 엔진”은 실제로는 다음과 같은 코드 수준이었음
    • 시스템 프롬프트에 “전문가 어시스턴트처럼 행동하라, OpenAI 기반임을 말하지 말라, LLM이라고 밝히지 말라” 등을 적고 model: gpt-4 로 chat.completions.create를 호출하는 단일 함수 구조임
    • 별도의 파인튜닝·모델 학습·아키텍처 변경 없이, 시스템 프롬프트와 숨기기용 지침 정도만 추가된 상태였음
  • 비용·가격 구조도 구체적으로 비교함
    • 비용: GPT-4 기준 입력 0.03$/1K 토큰, 출력 0.06$/1K 토큰, 평균 500 in, 300 out으로 쿼리당 약 0.033달러
    • 가격: 쿼리당 2.5달러 혹은 월 200쿼리 299달러로 과금
    • 결과적으로 직접 API 비용 대비 약 75배 마진 구조로 운영되고 있음
  • 세 회사는 거의 동일한 코드(변수명·코멘트 스타일·“never mention OpenAI” 지시)까지 공유하고 있어, 튜토리얼·공통 컨트랙터·액셀러레이터 보일러플레이트 등 같은 출처를 쓰는 것으로 추정되는 상태임
    • 한 회사는 단순 try/catch로 “문제가 생기면 ‘기술적 문제’라는 문구를 반환”하는 코드를 두고, 이를 “Intelligent Fallback Architecture” 로 포장해 투자자에게 설명하고 있었음

패턴 2: 모두가 만드는 RAG 스택과 과장된 표현

  • 많은 회사들이 “custom embedding model, semantic search infrastructure, advanced neural retrieval” 같은 표현으로 고유 RAG 인프라를 내세우지만, 실제 구현은 매우 유사한 표준 스택이었음
    • OpenAI text-embedding-ada-002 로 임베딩 생성
    • Pinecone 또는 Weaviate를 벡터 스토어로 사용
    • GPT-4로 컨텍스트를 붙여 답변 생성
  • 조사자가 “Proprietary Neural Retrieval Architecture”라는 이름으로 소개된 코드를 디컴파일해 본 결과, 약 40줄짜리 Python 코드로 위 세 단계를 그대로 호출하는 구조였음
    • 질문을 임베딩으로 변환
    • 벡터 DB에서 top-k 문서 검색
    • 검색된 텍스트를 이어 붙여 GPT-4에 system 메시지로 전달
    • 사용자 질문을 user 메시지로 함께 보내 답변을 생성
  • 비용·가격 구조 역시 매우 큰 차이를 보임
    • OpenAI 임베딩: 1K 토큰당 0.0001달러
    • Pinecone 쿼리: 호출당 0.00004달러
    • GPT-4 completion: 1K 토큰당 0.03달러
    • 합산 시 쿼리당 약 0.002달러 수준 비용
    • 실제 고객 과금은 쿼리당 0.5~2달러로, API 비용 대비 250~1000배 마진이 발생하는 구조임
  • 42개 회사가 이와 거의 동일한 스택과 코드 구조를 사용했고, 추가 23개 회사는 90% 이상 비슷한 패턴을 공유함
    • 차이점은 주로 Pinecone vs Weaviate 선택 여부, 변수명, Redis 캐시 추가 여부 정도였음
    • Redis 캐시를 붙이고 이를 “optimization engine”, 재시도 로직을 붙이고 이를 “Intelligent Failure Recovery System” 같은 이름으로 마케팅하는 사례도 등장
  • 월 100만 쿼리 수준의 스타트업 경제성도 계산해봄
    • 비용: 임베딩 약 100달러, Pinecone 호스팅 약 40달러, GPT-4 completion 약 3만 달러, 총 약 3만140달러/월
    • 매출: 15만~50만 달러/월
    • 80~94% 수준의 높은 매출 총이익률을 갖는 비즈니스 구조

패턴 3: ‘우리가 직접 파인튜닝했다’의 실제 의미

  • “우리가 직접 모델을 파인튜닝했다”는 표현을 쓰는 회사들에 대해 인프라를 추적한 결과, 크게 두 부류로 나뉨
    • 소수(약 7%)는 실제로 AWS SageMaker, Google Vertex AI 등을 통해 자체 학습 잡을 돌리고, S3 버킷에 모델 아티팩트를 저장한 뒤, 별도 인퍼런스 엔드포인트와 GPU 인스턴스 모니터링을 운영하고 있는 경우임
    • 다수는 OpenAI의 fine-tuning API를 사용하고 있었고, 사실상 “OpenAI에 예시 데이터와 프롬프트를 넘겨 저장하는 수준”에 가까운 구조였음
  • 전자(실제 자체 학습)는 학습 인프라와 배포 파이프라인이 브라우저에서 관찰되는 수준으로도 어느 정도 드러나지만, 후자는 대부분 단일 OpenAI 엔드포인트 호출로 표현되는 차이가 있음

래퍼 회사를 빠르게 구분하는 방법

  • 네트워크 트래픽 패턴

    • 브라우저에서 DevTools(F12) → Network 탭을 열고, 서비스의 AI 기능을 사용하는 동안 나가는 요청을 보면 간단한 구분이 가능
      • api.openai.com
      • api.anthropic.com
      • api.cohere.ai
      • 등과 같은 도메인이 직접 등장하면, 기본적으로 서드파티 모델 API 래퍼로 볼 수 있음
    • 응답 지연 시간도 지문 역할을 함
      • 특히 OpenAI API의 경우 200~350ms 구간에 응답이 몰리는 특유의 레이턴시 패턴이 있어, 이를 통해 백엔드 모델을 추정할 수 있음

  • 자바스크립트 번들과 키 노출

    • 페이지 소스 및 JS 번들 검색에서 다음 키워드를 찾아보는 것도 간단한 방법
      • openai, anthropic, claude, cohere, sk-proj-(OpenAI 프로젝트 키 프리픽스) 등
    • 조사 과정에서 12개 회사가 API 키를 프런트엔드 코드에 그대로 포함한 채 배포하고 있었고, 이에 대해 제보 메일을 보냈지만 어떤 회사도 답하지 않았음

  • 마케팅 언어 매트릭스

    • 마케팅 카피에 나타나는 언어와 실제 기술 구현 간의 패턴을 표 형태로 정리해 “Marketing Language Matrix”라고 표현
      • “GPU 인스턴스 유형, 서빙 아키텍처, 모델 크기” 등 구체적인 기술 용어가 등장하는 경우, 실제로 어느 정도 독자적인 인프라를 갖고 있을 가능성이 더 높았음
      • 반대로 “advanced AI”, “next-gen intelligence”, “proprietary neural engine”처럼 추상적 버즈워드만 반복될수록, 내부는 서드파티 API 래퍼일 가능성이 높았음

인프라 현실 지도와 AI 스타트업 지형

  • 글에서는 여러 다이어그램을 통해 현재 AI 스타트업의 인프라 현실 지도를 정리함
    • 다수의 스타트업이 OpenAI·Anthropic·Cohere 등 모델 제공자 위에 얇은 애플리케이션 레이어를 얹은 형태로 존재하는 구조
    • 각 레이어 위에 “워크플로우·UX·도메인 데이터·파이프라인” 등에서 차별화를 시도하는 서비스들이 쌓여 있는 구조임
  • 이러한 구조를 바탕으로, AI 스타트업의 상당 부분이 실질적으로는 서비스/플랫폼 비즈니스이며, “고유 AI 인프라 기업”이라는 자기 인식과 괴리가 있는 상태

왜 이 문제를 신경 써야 하는가

  • “잘 동작한다면 상관없지 않냐”는 질문에 대해, 조사자는 네 가지 이해관계자 관점에서 이유를 정리함
    • 투자자: 현재 상당수 회사에 투자되는 자금은 AI 연구·모델 개발이 아니라, 실질적으로는 프롬프트 엔지니어링과 워크플로우 레이어에 투입되고 있음
    • 고객: 실제 API 비용에 10배 이상 프리미엄을 얹은 가격을 내고 있으며, 비슷한 기능을 주말 프로젝트 수준으로 직접 구현할 수 있는 경우가 많음
    • 개발자: 겉으로 보이는 “AI 스타트업”의 화려함에 비해, 실제로는 낮은 진입 장벽의 래퍼 서비스인 경우가 많아, 스스로도 비슷한 것을 단기간에 만들 수 있음을 인식할 필요가 있음
    • 생태계: “AI 회사”의 73%가 기술을 과장·오도하는 상황은, 전체적으로 버블에 가까운 상태를 의미하며 건강하지 않은 인센티브를 만듦

래퍼 스펙트럼: 모든 래퍼가 나쁜 것은 아님

  • “Wrapper Spectrum”이라는 도표를 통해, 래퍼 회사에도 질적으로 다른 층위가 있음을 설명함
    • 한쪽 끝에는 단순히 서드파티 API에 얇은 UI만 입힌 수준의 래퍼가 있음
    • 다른 한쪽 끝에는 도메인 특화 워크플로우·우수한 UX·모델 오케스트레이션·가치 있는 데이터 파이프라인 등을 제공하는 고급 래퍼가 있음
  • 핵심 메시지는 “래퍼인지 여부”가 아니라 정직성·가치 제공 방식에 있음
    • 서드파티 API를 쓰면서도 이를 투명하게 공개하고, 문제 해결·경험·데이터에서 차별화를 만드는 회사는 긍정적으로 평가됨

제대로 하고 있는 27%

  • Category 1: 투명한 래퍼(Transparent Wrappers)

    • 이 그룹의 회사들은 홈페이지에 “Built on GPT-4” 같은 문구를 명시적으로 적고, 자신들이 판매하는 것은 워크플로우·UX·도메인 지식이라는 점을 분명히 함
      • 예: GPT-4 + 법률 템플릿 조합으로 법률 문서 자동화를 제공하는 서비스
      • 예: Claude 기반으로 고객 지원 티켓 라우팅에 특화한 서비스
      • 예: 여러 모델과 휴먼 리뷰 프로세스를 결합한 콘텐츠 워크플로우 서비스

  • Category 2: 실제 빌더(Real Builders)

    • 이 그룹은 실제로 자체 모델을 학습하고 있는 회사들임
      • 의료 분야에서 HIPAA 준수를 위해 셀프 호스팅 모델을 운영하는 헬스케어 AI
      • 금융 분석에 커스텀 리스크 모델을 학습·운영하는 서비스
      • 산업 자동화에서 특수한 컴퓨터 비전 모델을 개발·배포하는 서비스

  • Category 3: 혁신적 조합(Innovators)

    • 여기에는 서드파티 모델을 사용하지만, 그 위에 실질적으로 새로운 구조를 쌓은 회사들이 포함됨
      • 여러 모델의 출력을 조합해 투표 기반 정확도 향상을 구현한 시스템
      • 메모리·에이전트 프레임워크를 만들어 복잡한 태스크를 수행하는 시스템
      • 새로운 형태의 리트리벌 아키텍처를 도입한 사례 등
    • 이들 회사는 자신들의 아키텍처를 자세히 설명할 수 있으며, 실제로 스스로 구축한 구조를 가지고 있다는 공통점이 있음

배운 점: 스택보다 문제, 그리고 정직성

  • 3주간의 조사 결과, 다음과 같이 요약 가능
    • 기술 스택 자체보다 해결하려는 문제가 더 중요하며, 실제로 가장 뛰어난 제품들 중 상당수는 “단지 래퍼”라고 부를 수 있는 구조였음
    • 다만, 정직함은 별도의 차원으로 중요하고, 스마트한 래퍼와 사기성 래퍼의 차이는 투명성에 있음
    • AI 골드러시는 “고유 AI”를 요구하는 투자자·고객의 기대 때문에 거짓된 주장을 하도록 압박하는 인센티브를 만들고 있음
    • 그리고 API 위에서 구축하는 것 자체는 부끄러운 일이 아니며, 문제는 이를 숨기고 “고유 신경망 아키텍처”로 포장하는 행위임

평가 프레임워크와 실질적 조언

  • 48시간 복제 가능성 테스트

    • 모든 “AI 스타트업”을 평가하는 간단한 기준을 제안함
      • “그들의 핵심 기술을 48시간 안에 복제할 수 있는가?”
      • 그럴 수 있다면, 기술적으로는 래퍼에 해당하며,
        • 스택을 솔직하게 밝힌다면 괜찮은 회사
        • “고유 AI 인프라”를 주장하며 숨긴다면 피해야 할 회사로 봐야 한다는 구조임

  • 창업자를 위한 조언

    • 창업자에게는 다음과 같은 원칙을 제안함
      • 스택에 대해 정직하게 공개할 것
      • UX·데이터·도메인 전문성으로 경쟁할 것
      • 만들지 않은 것을 만들었다고 주장하지 않을 것
      • “Built with GPT-4”는 약점이 아니라 정직한 설명이라는 점을 받아들일 것

  • 투자자를 위한 조언

    • 투자자에게는 다음과 같은 검증 포인트를 제시함
      • 아키텍처 다이어그램을 요구할 것
      • OpenAI·Anthropic 등 API 청구서를 요청해 실제 의존도를 확인할 것
      • 래퍼 회사는 래퍼 회사로서 적절히 가치평가할 것
      • 정직하게 스택을 공개하는 팀을 인센티브로 보상할 것

  • 고객을 위한 조언

    • 고객에게는 아래와 같은 실천 항목을 제안함
      • 브라우저에서 네트워크 탭을 열고 나가는 요청을 확인할 것
      • 인프라와 모델 사용 방식에 대해 직접 질문할 것
      • API 호출에 불필요한 10배 이상의 마크업을 내고 있지 않은지 검토할 것
      • 기술 주장보다 실제 결과와 문제 해결 능력 기준으로 평가할 것

‘AI 스타트업’의 실체 한 줄 요약

  • “대부분의 ‘AI 스타트업’은 직원 비용 대신 API 비용을 쓰는 서비스 비즈니스에 가깝다”
    • 이는 잘못된 비즈니스 모델이 아니라, 그 자체로 인정하고 정직하게 설명해야 할 현실

조사 이후 전개와 반응

  • 1주 차: 원래는 20~30% 정도가 서드파티 API를 사용할 것이라고 예상했으나, 결과가 훨씬 컸음을 언급함
  • 2주 차: 한 창업자는 조사자에게 “어떻게 우리 프로덕션 환경에 들어왔냐”고 물었고, 조사자는 브라우저 네트워크 탭만 본 것이라고 설명함
  • 3주 차: 두 회사는 조사 결과를 내려달라고 요청했지만, 기사에서는 특정 회사 이름을 공개하지 않았고 지금도 그 상태를 유지 중이라고 밝힘
  • 어제: 한 VC가 다음 이사회 전에 포트폴리오 회사들을 감사(audit) 해 달라고 요청했고, 조사자는 이를 수락했다고 언급함

데이터·도구 공개 계획

  • 이번 연구를 바탕으로 방법론과 도구를 공개할 계획임

  • GitHub에 공개 예정인 내용(무료)

    • 완전한 스크래핑 인프라 코드
    • API 지문(fingerprint)을 추출하는 기법들
    • 누구나 실행해볼 수 있는 감지 스크립트
    • 주요 AI API별 응답 시간 패턴 모음

  • 심화 분석(멤버 전용)

    • 월 3,300만 달러 가치평가를 받은 “AI 유니콘” 이 실제로는 월 1,200달러 OpenAI 비용만 쓰고 있는 케이스
    • “1억 파라미터 모델”이라고 소개하면서 실제로는 시스템 프롬프트 3개로 구성된 구조
    • 공개적으로 서빙되는 프로덕션 코드(클라이언트 측, 익명화된 스니펫)
    • 래퍼를 즉시 드러내는 5가지 질문 프레임워크
    • 투자자 프레젠테이션과 실제 인프라를 비교한 사례 연구들

마지막 메시지와 ‘정직한 AI 시대’ 필요성

  • 조사는 회사 이름을 공개하지 않고 패턴만 공유하는 방식으로 진행되었으며, 시장은 결국 투명성을 보상할 것이라는 믿음을 강조함
  • 실제로 18개 회사는 진정한 의미에서 새로운 기술을 만들고 있는 것이 확인되었고,
    • 이들에 대해서는 “당신들은 스스로 누구인지 알고 있다, 계속 만들라” 는 응원의 메시지를 보냄
  • 조사 이후 7명의 창업자가 개인적으로 연락을 취했으며,
    • 일부는 방어적이었고, 일부는 감사해했고, 세 명은 “proprietary AI”에서 “best-in-class APIs 위에 구축”으로 마케팅 전환을 돕는 방법을 요청함
    • 한 창업자는 “우리가 거짓말한다는 걸 알고 있었다, 투자자들이 그걸 기대했고, 다들 그러고 있다, 이제 어떻게 멈춰야 하느냐”라고 털어놓았다고 전함
  • 기사 말미에서, AI 골드러시는 끝나지 않겠지만 정직의 시대가 시작돼야 한다는 메시지를 재차 강조하며, 누구나 DevTools의 Network 탭(F12) 만 열어보면 스스로 진실을 확인할 수 있다고 정리
▲
geekygeek 19시간전  [-]

댓글 중에 "저자 존재 자체가 의심스러움. 데이터 출처도 불분명하고, 네트워크 트래픽을 마음대로 캡처할 수도 없음. 기본적인 검증이 필요함"가 있는데, 공감합니다.
미디움 프로필에 써있는 링크드인 링크도 존재하지 않는 페이지로 연결되고, 애초에 존재하지 않는 인물인 것 같아요. 11월 25일에 GPT-4o도 아니고 GPT-4랑 계속 언급하는 것도 이상하고요.

구독 결제 시스템까지 넣어서 수익 창출까지 할 정도의 개발자가 AI API와의 통신을 서버가 아닌 클라이언트에 구현해서 이렇게 쉽게 탐지한다는 것도... 믿기 어렵네요.

답변달기
▲
cgl00 20시간전  [-]

저게 왜 부정직한거죠 ㅋㅋ

답변달기
▲
mhj5730 23시간전  [-]

에이전트 만드는 것을 시도해보면 프롬프트 엔지니어링은 AI를 활용한 아주 훌륭한 생산성을 가진 애플리케이션으로 보게됩니다.

답변달기
▲
GN⁺ 1일전  [-]
Hacker News 의견

  • 2023년은 매주 프롬프트 데모를 보여주는 해였음
    AWS 행사에서도 발표자가 Claude를 열고 무작위 프롬프트를 치는 걸로 한 시간을 채웠음
    우리 팀도 6개월째 “에이전트”를 만든다며 툴, 커넥터, 평가 시스템을 붙였다가 결국 다시 프롬프트 엔지니어링으로 회귀했음

    • “그 다음 단계는 오프쇼어링 아니냐”는 농담을 들었음
    • 프롬프트 엔지니어링을 진지하게 쓰는 사람은 믿기 힘듦. 회사 메일에서 그 단어를 보면 그냥 넘김
    • 그런데 그 프로젝트, 실제로 작동했는지가 궁금함. 여러 회사가 AI Agent를 만든다지만, 제대로 돌아가는 걸 본 적이 없음. 루프를 닫아보면 LLM이 허우적거릴 뿐이었음
    • 결국 기존 솔루션을 다시 감싸는 새 솔루션을 만드는 셈이라, 소프트웨어 개발은 영원히 계속될 것 같음

  • 예전에 멘토가 “기술에서 전문가란 남들보다 한두 가지 더 아는 사람”이라 했음
    그래서 지금의 프롬프트 엔지니어링 열풍도 자연스러운 흐름이라 생각함. 새로운 기술일수록 기존 스택에 한두 가지를 더 얹는 식으로 발전함

    • 좋은 컨설턴트의 비결은 회의 가는 길에 뭘 읽을지 아는 것이라 들었음
    • 단순한 프롬프트 조정이라도 테스트와 튜닝에 엄청난 시간이 듦. 모델마다 최적의 변형을 찾는 게 핵심임
    • 나는 오히려 복잡한 스택을 줄이고 단순화 전략으로 같은 효과를 내는 접근이 더 흥미로움

  • “그냥 프롬프트 엔지니어링일 뿐”이라는 말은 실제 고성능 시스템 구축의 난이도를 과소평가함
    평가 지표 설계, 툴 호출, 캐싱 등은 단순한 프롬프트 수준이 아님. 결과를 보여줄 수 있다면 투자금은 쉽게 모일 것임

    • 현실적으로는 프롬프트 + CRUD 수준이 많고, 대부분의 회사가 사실상 CRUD 기업임
    • 투자금이 몰리는 이유는 성과 때문이 아니라 AI 버블과 투자자들의 수익 집착 때문임. 실제로는 금광 대신 삽만 팔고 있는 셈임
    • 제대로 된 평가 프로세스를 구축해본 사람만 그 어려움을 이해함
    • 하지만 대부분의 내부 AI 프로젝트는 평가 자체를 하지 않음. FAANG에서도 5%도 안 됨

  • 2025년 11월에 GPT-4를 언급하는 글이라니 의심스러움
    네트워크 트래픽으로 AI 제공자를 판별했다는 방법론도 이상함. 프론트엔드에서 직접 API를 호출하면 보안 키 노출 위험이 크기 때문임
    뭔가 냄새가 나는 조사 방식임

    • OpenAI는 클라이언트 키를 제공해 직접 호출할 수 있음. 공식 문서 참고
    • 오래된 모델 이름을 언급하는 것도 LLM 생성 흔적 같음

  • “그럼 도대체 뭘 해야 하느냐”는 질문이 나옴
    90년대엔 콘솔 시스템에 UI를 얹는 것도 훌륭한 스타트업 아이디어였음

    • 문제는 자신을 AI 회사라 부르면서 실제로는 CRUD 앱을 만드는 점임. 비기술자는 그 차이를 구분하기 어려움
    • 언젠가 OpenAI가 저가 판매를 멈추면, 작은 도메인 특화 모델을 만들어야 함
    • 시장 논리에 맡기면 됨. 다만 AI 과열로 소프트웨어 산업 전체가 피로함
    • 단순 래퍼 플랫폼을 “AI”라 포장하는 건 위험함. 닷컴 버블 때와 비슷한 무방비 구조임
    • 진짜 AI를 만드는 게 아니라, 단지 LLM을 쓰는 수준임

  • 사실 이런 현상은 AI 이전 스타트업에서도 흔했음
    기존 기술을 감싸 UX만 개선해도 큰돈을 벌었음. 내부적으로는 오픈소스 툴 조합이었지만, 수익률이 너무 높아 자체 개발이 무의미했음

  • ChatGPT 출시 직후부터 생각했음.
    만약 어떤 회사가 진짜 AGI를 가진다면, 그걸 팔 이유가 없을 것임. 그냥 자사 서비스를 직접 만들어 경쟁사를 압도하면 됨

    • 사실 AGI가 없어도 같은 순환이 벌어짐
      1. 스타트업이 GPT/Claude를 감싸 새로운 유즈케이스를 만듦
      2. OpenAI나 Anthropic이 그 기능을 직접 구현해 출시함
      3. 래퍼는 모트(진입장벽) 가 없고, 기반 모델 회사도 경쟁이 쉬움

  • LLM을 만드는 회사는 몇 안 되고, 기능도 비슷함
    결국 자동화의 핵심은 프롬프트 엔지니어링임.
    모바일 앱처럼, 빅테크가 마음만 먹으면 쉽게 복제할 수 있음. Perplexity나 Cursor도 위험함

    • 다만 ROI가 낮은 아이디어는 빅테크가 건드리지 않음. 억 단위 수익이 아닌 틈새 시장엔 여전히 기회가 있음

  • 문제의 기사 자체가 AI 생성 콘텐츠로 보임
    저자가 실제로 데이터를 분석했는지 신뢰하기 어려움

    • 저자 존재 자체가 의심스러움. 데이터 출처도 불분명하고, 네트워크 트래픽을 마음대로 캡처할 수도 없음. 기본적인 검증이 필요함

  • “이 사람은 어떻게 이런 데이터를 수집했을까?”라는 의문이 큼
    내 회사라면 고객 데이터를 이렇게 공개하지 못함

    • 기사 하단의 LinkedIn 링크도 존재하지 않음. Teja Kusireddy가 실존 인물인지조차 불확실함
    • 일부 회사가 프론트엔드에서 OpenAI API를 직접 호출하는 것 같지만, 백엔드에서 누출된 정보일 수도 있음
    • 브라우저에서 직접 호출을 본다는 게 이상함. OAuth나 인증 없는 요청이 가능한지도 의문임
    • API 키를 프론트에 넣는 건 보안 구멍이라 대부분 백엔드에서 호출함. 세부 설명이 없으면 신뢰하기 어려움
    • 기사 전문은 Medium 링크에서 볼 수 있음. NDA 때문에 구체적 회사명을 밝히지 않은 듯함
답변달기