AI가 신기술 채택을 저해함
(vale.rocks)- AI 모델이 개발자 워크플로우에 통합되면서, 특정 기술 사용을 부추기거나 방해함
- 대형 언어 모델이 특정 기술에 편향된 응답을 제공함에 따라, AI가 지원하기 용이한 기술을 우선 채택하려는 경향이 생겨남
- 기존에도 문서화와 지원이 풍부한 도구가 선택되곤 했지만, AI가 이 결정 요소를 과도하게 증폭시키는 현상이 문제로 지적됨
지식 격차
- 대형 언어 모델은 대규모 데이터셋과 긴 학습 기간을 거치므로, 출시 시점 기준으로 이미 구버전 지식을 포함하는 경우가 많음
- 학습 cutoff 이후에 등장한 신기술에 관해서는 AI가 적절한 도움을 주지 못함
- 예: Anthropic, OpenAI 등 주요 모델들은 2023~2024년 무렵의 지식 cutoff를 가짐
- 지식 갭 때문에 새로운 기술을 사용하려는 이들이 AI 지원 부족으로 불편을 겪게 되며, 이로 인해 해당 기술 채택이 지연되는 현상 발생함
- 기존에 시장 지분이 있는 기술은 열성 사용자층이 존재하기에 자료가 쌓이지만, 완전 신규 기술은 문서나 블로그 등 생성되는 자료 자체가 적어 모델 훈련에 반영되기 어려움
- AI가 인터넷 연결 기능을 일부 제공하더라도, 명시적으로 요청해야 하거나 아예 기능이 없는 경우가 많음
- 신기술에 대한 AI 지원 부족 → 사용자와 자료 감소 → 모델 학습 데이터 부족 → 재차 AI 지원 부족으로 이어지는 악순환 가능성 존재함
- 최신 자바스크립트 프레임워크를 쓰려는 개발자가 AI 도움을 받으려 할 때, 모델이 충분한 안내를 주지 못하면 구방식 문서나 익숙한 도구에 대한 선택 유인이 더 커짐
시스템 프롬프트 영향
- Claude 등 일부 AI 모델이 React와 Tailwind에 대한 선호를 자주 보여줌
- 예: Claude에 “바닐라 HTML/CSS/JS를 사용” 요청을 했음에도 React 코드를 제안하거나, 기존 코드를 React로 재작성하려는 양상이 관찰됨
- 일부 모델의 시스템 프롬프트(또는 비공개된 기능별 프롬프트)에 React, Tailwind, Mermaid 등 특정 라이브러리나 도구가 명시되어 있음
- 실제 대화 예시에서 Svelte Runes 사용 요청 시 모델이 React 대안을 제시하며, 결과적으로 사용자가 React를 쉽게 수용하도록 유도하는 모습이 나타남
- 사용자가 가장 간단한 해결책(Path of least resistance)을 택하기에, AI가 제시하는 기본 옵션이 기술 선택에 큰 영향을 미침
테스트
- AI 모델들이 새 웹 앱 제작을 요청받을 때, React를 추천하는지 확인하기 위한 간단 테스트 수행
- Anthropic Claude 3.5 Sonnet: 세 번 모두 React + Tailwind로 프로젝트 생성 예시를 제공함
- OpenAI ChatGPT 4o: 세 번 모두 React + Tailwind로 앱을 생성하고, Canvas 기능으로 미리보기 제시함
- Google Gemini 2.0 Flash: 세 번 모두 바닐라 HTML/CSS/JS를 사용했으나, React, Angular, Vue 사용을 권장함
- DeepSeek-V3: 바닐라 HTML/CSS/JS나 Node.js, Express.js, MongoDB, Bootstrap 같은 다양한 조합을 제시함. 다만 구체적인 코드보다 프로젝트 개요 형태로 제안함
- 이 결과 Claude와 ChatGPT는 React + Tailwind를 매우 선호하고, Gemini는 HTML/CSS/JS 선호지만 React를 추천, DeepSeek은 기술 편차가 가장 크지만 출력 품질은 다소 개요 중심임
회고
- 초보 개발자나 프롬프트로만 앱을 만드는 사람은 ChatGPT 등의 결과물을 그대로 수용할 가능성이 큼
- 다른 프레임워크를 선택해도, 모델이 시스템 프롬프트 등 내부 규칙에 의해 계속 React로 유도할 수 있음
- 이미 AI와 잘 호환된다고 알려진 기술을 선택하는 분위기가 생길 수 있으며, 이는 신규 혹은 소수 기술의 확산을 방해함
- 대형 언어 모델의 편향이 현재 인기 기술의 수명을 늘리고, 신규 기술의 시장 진입 장벽을 높이는 방향으로 작용한다고 봄
- AI 회사들이 모델의 기술 편향 정보를 명시적으로 공개할 필요성을 제안함
- 향후 연구로, 특정 기술이 포함된 시스템 프롬프트의 시계열 변화와 패키지 다운로드 추이를 비교해 상관성을 찾는 방법 등을 고려할 수 있음. 다만 변수가 많아 잡음이 많을 가능성이 있음
[참고 1] ‘가장 인기 있는 AI 챗 플랫폼’은 작성자의 주관적 관찰에 근거함
[참고 2] Claude와 ChatGPT는 artifact, canvas 기능으로 사용자에게 쉽고 즉각적인 결과물을 제공하기 때문에, 개발 입문자나 새로운 사용자에게 특히 영향을 크게 미침
Hacker News 의견
-
AI는 새로운 기술 채택을 방해하지 않음
- 새로운 기술이나 버전 업그레이드는 사람들이 익숙해지는 데 시간이 걸림
- Stack Overflow가 새로운 기술 채택을 방해한다고 말하는 것과 같음
- LLM은 상업적 이유로 주기적으로 재훈련됨
- 초기 수용자들은 LLM에 의존하지 않음
-
OpenAI Codex 논문에서 예측된 사항
- Codex가 제안하는 패키지가 더 유용할 것이라는 가정 하에 사용자가 Codex의 답변을 수용할 가능성이 있음
- 새로운 패키지에 대한 인식 부족 가능성
- 기존 패키지에 대해 폐기된 방법을 제안할 수 있음
- 오픈 소스 개발자들이 이전 버전과의 호환성을 유지하려는 동기가 증가할 수 있음
-
새로운 기술은 데이터와 급여를 빨아들이는 쓰레기라는 의견
- 사람들이 새로운 기술에 피로감을 느낌
- 데이터와 급여를 빨아들이지 않는 새로운 것을 제안해야 함
-
LLM이 특정 기술을 명시하면 그 기술을 사용해야 한다는 의견
- 기술을 명시하지 않으면 기술 선택에 대해 명확히 하고 질문해야 함
- LLM은 제공자의 프롬프트 구조에 의해 고정된 선호도를 가지지 않아야 함
- React와 같은 편향을 방지하기 위한 작업 필요
- 기술 회사로부터 투자받는 Anthropic에 대한 우려
- LLM이 AWS, Azure, GCP 등에서 추천을 받을 수 있는지 여부를 결정할 수 있음
-
LLM이 Elm과 같은 언어에 유용할 것이라는 의견
- 평가 루프에서 작동할 수 있는 에이전트와 함께 사용
-
데이터 시각화에 matplotlib 사용 경험 공유
- AI가 코드 없이 그래프 변경을 요청할 수 있을 정도로 잘 작동함
- 새로운 것에 대한 문이 닫히고 있다는 느낌
- Emacs lisp와 같은 다른 예시
-
새로운 프레임워크와 기술 채택에 대한 LLM의 영향에 대한 질문
- React에 대한 질문은 좋은 답변을 얻지만 새로운 프레임워크에 대한 질문은 그렇지 않음
- AI 도구에 의존하는 개발자가 증가함에 따라 새로운 기술 채택이 어려워질 수 있음
-
Claude 3.5 Sonnet의 코드 생성 선호도 문제
- React로 코드를 생성하거나 기존 코드를 React로 변경하는 경향
-
최신 JavaScript 프레임워크를 사용하는 개발자에 대한 예시
- AI 도구가 의미 있는 지침을 제공하지 못함
- Django와 React가 당연한 선택으로 여겨지는 세계가 더 저렴한 웹 앱 개발을 가능하게 함
-
Anthropic이 추진하는 MCP 표준의 예시
- Claude가 프로토콜을 이해할 수 있도록 최적화된 긴 텍스트/MD 제공
- 새로운 플러그인/서버 부트스트랩에 유용
- 몇 달 된 표준이 이미 수백 개의 구현을 가짐