4P by neo 3시간전 | ★ favorite | 댓글 1개
  • 최근 대형 언어 모델(LLM)과 AI 챗봇이 고객 여정에 미치는 영향을 검증하기 위해 LLM 추천 트래픽과 Organic(오가닉/유기적) 검색 전환율을 비교한 분석을 진행
  • 연구는 6개월간 54개 사이트의 데이터를 기반으로 했으며, 데모 요청·구매 등 매크로 전환만 포함해 결과 신뢰성을 높였음
  • 결과적으로 LLM 트래픽 평균 전환율(4.87%)이 유기적 검색(4.60%)보다 소폭 높았지만, 통계적으로 유의미하지 않음이 확인됨
  • B2B와 B2C, 산업별로 구분해도 일관된 우위는 드러나지 않았으며, LLM 트래픽 비중은 대부분 사이트에서 1% 미만으로 나타남
  • 전체적으로 LLM이 새로운 기회를 제공할 수는 있으나, 현 시점에서는 오가닉 검색이 여전히 핵심 채널임을 보여주는 결과임

연구 목적

  • LLM 트래픽이 오가닉 검색보다 높은 전환율을 보이는지 검증하기 위한 분석임
  • 업계에서는 LLM이 더 ‘질 높은 트래픽’을 제공한다는 가설이 있었으나, 이를 1차 데이터 기반으로 검증하려는 목적임

방법론과 데이터

  • 다양한 산업의 웹사이트를 조사했으나 측정 가능한 매크로 전환이 있는 사이트만 포함
    • B2B: 데모 요청, 폼 제출
    • e-commerce: 구매
  • 54개 사이트가 최종 샘플로 선정됨
  • 데이터 출처는 GA4, 기간은 최근 6개월
  • 세션 기반 전환율을 사용하여 B2B와 B2C 간 차이를 최소화함
  • 데이터 수집 과정에서 이벤트 매핑과 추적 검증을 수작업으로 수행해 신뢰도를 확보함

통계적 접근

  • 평균·중앙값 비교, 표준편차·사분위 범위 측정
  • 사이트별 유기적 vs. LLM 전환율 차이를 검증하기 위해 paired t-test 실시
  • B2B vs B2C 비교에는 Welch’s test 사용

주요 결과

  • 평균 전환율: 오가닉 4.60% vs. LLM 4.87%
  • 사이트별 평균 차이는 +0.27pp, 중앙값 차이는 +0.09pp
  • p-value 0.794 → 통계적으로 유의미하지 않음
  • 56% 사이트에서는 LLM 전환율이 더 높았으나, 41%는 낮음 → 일관된 우위 없음

고트래픽 사이트 분석

  • 조건: ≥10만 세션, ≥50 LLM 세션, ≥5 LLM 전환
  • 샘플은 54개에서 33개로 줄었음
  • 평균 차이는 +1.24pp로 증가했으나 여전히 통계적으로 무의미(p=0.376)

B2B vs. B2C 결과

  • 전체 데이터:
    • B2B → LLM(2.17%) > 오가닉(1.16%)
    • B2C → LLM(6.58%) < 오가닉(6.78%)
  • 트래픽 조건 적용 후에도 차이는 통계적으로 유의하지 않음
  • Welch’s test 결과도 차이 없음(p=0.546)

LLM 트래픽 규모

  • 90% 이상 사이트에서 전체 트래픽의 0.6% 미만이 LLM 기여
  • 평균적으로 세션의 0.24%, 전환의 0.42% 만 차지
  • 반면 오가닉 검색은 전체 세션의 약 32%, 전환의 34%를 차지해 압도적 비중을 보임

산업별 분석

  • 금융, 여행·관광 산업에서는 LLM이 더 높은 전환율을 보였음
  • e-commerce, 소비자 서비스에서는 오가닉 검색이 우위였음
  • 표본 수가 적어 해석은 제한적임

결론과 시사점

  • 현재 데이터 기준으로는 LLM 트래픽이 오가닉 검색보다 높은 전환율을 제공한다는 증거 없음
  • 오히려 LLM 트래픽은 규모가 매우 작음 → 오가닉 검색 대비 영향력 미미
  • 고객 여정은 복잡해지고 있으며, 검색과 LLM을 병행 활용하는 경우가 증가하는 추세임
  • 최근 보고서에 따르면 46%는 전통 검색만 사용, 44%는 검색+AI 병행, 2%만 AI 중심
  • 따라서 기업은 LLM 최적화 추적·모니터링을 병행하면서도, 여전히 오가닉 검색을 최우선 채널로 삼아야 함

???: 바이오-검색을 풀어라! 광고주들은 분간하지 못할 것이다!