Newsletter

크롤링당 비용 지불 혁명: 퍼블리셔가 AI 트래픽으로 수익을 창출하는 방법

Il patto Google funzionava: crawler gratuiti in cambio di traffico referral. L'AI lo distrugge: rapporto crawl-to-refer devastante—Anthropic 38.000:1, OpenAI 1.700:1—con 80% crawling AI per training modelli e zero click verso editori. Cloudflare game-changer (luglio 2025): prima azienda infrastruttura internet a bloccare crawler AI per default su ogni nuovo dominio + marketplace Pay Per Crawl dove editori richiedono compensi diretti. TollBit pioniere monetizzazione già genera $71M/anno con traffico esploso 2.75M→13M accessi bot/giorno, CPM $15 = $195K/giorno. Pricing due livelli: summarization vs syndication rate. Soglie convenienza: <50K visite/mese meglio accesso libero strategico; 100K $75-750/mese; 1M+ $750-10K/mese implementazione immediata. DataDome rileva traffico AI triplicato 6 mesi (2.6%→8.2%), Skyfire costruisce rete pagamenti agenti AI ($8.5M). Commercio AI-to-AI proiezione $46B prossimi 3 anni. Non più "permetti/blocca" ma terza opzione: "fai pagare".

웹에서 무료로 콘텐츠를 수집하던 시대가 끝나가고 있습니다. 새로운 플랫폼이 AI 봇을 통해 비결제 방문자를 실제 고객으로 전환하는 방법을 알아보세요.

문제: AI가 퍼블리셔와의 약속을 어길 때

구글 모델: 성공적인 균형

20여 년 동안 웹은 Google 및 기타 검색 엔진이 무료로 퍼블리셔의 콘텐츠를 색인하고 페이지에 스니펫과 요약을 표시하는 대신 그 대가로 엄청난 트래픽을 원래 사이트로 되돌려 보내는 불문율에 따라 작동해 왔습니다. 퍼블리셔는 가시성, 독자층, 결과적으로 광고 수익을 얻을 수 있었기 때문에 콘텐츠의 이러한 '사용'을 받아들였습니다.

Google 뉴스는 수천 개의 출처에서 뉴스를 취합하여 헤드라인과 짧은 발췌문을 보여주되, 클릭할 때마다 원래 사이트로 이동하는 모델을 완성했습니다. 디지털 정보 생태계를 지탱해 온 상생의 균형.

균형을 깨는 AI

이제 뉴스 사이트를 운영하면서 매일 수천 개의 AI 봇이 기사를 스캔하고, 콘텐츠를 사용하여 템플릿을 제공하고, 사용자에게 완전한 답변을 제공하면서 사이트로 트래픽을 다시 보내지 않는다고 상상해 보세요. 링크를 생성하지 않고 클릭을 생성하지 않는 AI는 직접 응답합니다. 2025년의 현실에 오신 것을 환영합니다.

Cloudflare의 데이터에 따르면, 2025년 중반에는 AI 크롤링 활동의 80%가 모델 학습을 위한 것이 될 것이며, 퍼블리셔(특히 Google)에 대한 추천은 급격히 감소하고 있습니다. 20년간 작동하던 모델이 무너지고 있습니다. Google 자체도 AI 오버뷰를 통해 원본 사이트로 전송하는 트래픽이 점점 줄어들고 있습니다. 크롤링 대 추천 비율은 충격적인 수치를 보여줍니다: Anthropic은 사이트로 전송된 방문자당 38,000건의 크롤링이 발생하는 반면, OpenAI는 1,700:1에 달합니다.

하지만 봇이 단순히 콘텐츠의 무료 소비자가 아니라 유료 고객이 될 수 있다면 어떨까요? AI가 더 이상 구글처럼 리턴 트래픽을 보장할 수 없다면 최소한 콘텐츠에 대한 액세스 비용을 지불해야 할 때입니다.

솔루션: 크롤링당 지불 및 AI 소액 결제

클라우드플레어가 춤을 추다

2025년 7월, Cloudflare는 인터넷 인프라 회사 중 최초로 AI 크롤러를 기본적으로 차단하는 동시에 '크롤링당 지불' 시스템을 도입한다고 발표했습니다. 이 소식은 어떻게 되나요? 이제 Cloudflare에 등록하는 모든 신규 도메인은 AI 크롤러가 콘텐츠에 액세스할 수 있도록 허용할지 여부를 명시적으로 묻습니다.

하지만 진정한 게임 체인저는 마켓플레이스입니다. 퍼블리셔가 AI 회사로부터 수수료를 부과할 수 있는 마켓플레이스입니다. 더 이상 '허용' 또는 '차단'이 아닌 세 번째 옵션인 '과금'이 추가되었습니다.

톨비트: AI 소액 결제의 선구자

클라우드플레어 이전에도, 톨비트는 이러한 인프라를 구축하기 시작했습니다. 인프라를 구축하기 시작했습니다. 이 스타트업은 최근 2,400만 달러의 시리즈 A 투자 유치를 유치한 이 스타트업은 AI 봇이 웹사이트에 직접 비용을 지불하고 콘텐츠를 사용할 수 있는 플랫폼을 만들었습니다.

타임과 애드위크는 이 모델을 실험한 첫 번째 고객사 중 하나입니다. 이 모델을 실험하고 있으며, AI가 특정 니즈를 가진 새로운 범주의 고객을 대표한다는 사실을 발견했습니다.

숫자: 실제로 얼마를 벌 수 있을까요?

톨비트 예측

자세한 분석에 따르면에 따르면, 톨비트는 이미 퍼블리싱 파트너를 위해 연간 7,100만 달러의 수익을 창출할 수 있습니다. 방법은 이렇습니다:

  • 기하급수적으로 증가하는 트래픽: TollBit 고객 사이트에 대한 AI 봇 트래픽은 매 분기 두 배씩 증가했습니다.
  • 2024년 4분기: 일일 봇 접속 수 275만 건
  • 2025년 1분기: 650만 조회 수
  • 2025년 2분기 예상: 1,300만 접속 건수

콘텐츠 사이트의 일반적인 CPM인 15달러를 적용하면, 이는 톨비트 생태계의 잠재적 수익이 하루 19만 5천 달러, 연간 7천 1백만 달러 이상이라는 의미입니다.

가격 모델

TollBit은 두 가지 가격 수준을 제안합니다:

  • 요약 비율: 콘텐츠를 요약하려는 봇의 경우
  • 신디케이션 비율: 전체 기사를 표시하려는 봇의 경우 훨씬 더 높습니다.

그 차이가 상당할 수 있으므로 프리미엄 및 전문 콘텐츠에 특히 매력적인 모델입니다.

현장의 실제 데이터

160개 웹사이트에 대한 톨비트 분석 결과 에 따르면 2024년 4분기에 AI 기업들이 평균 2백만 번 스캔한 것으로 나타났습니다. 각 페이지는 평균 7회 스캔되었습니다.

TollBit의 공동 창립자인 토시트 파니그라히는 "이러한 AI 플랫폼에서 생성되는 봇 트래픽은 20년 동안 존재해 온 검색 엔진의 봇 트래픽과 거의 비슷하며, 이는 놀라운 수치입니다."라고 설명합니다.

진화하는 에코시스템

DataDome: 보호 및 수익화

DataDome은 악성 봇으로부터 실시간으로 보호하고 규정을 준수하는 봇을 수익화할 수 있는 통합 솔루션을 제공합니다.

데이터에 따르면 AI 트래픽은 6개월 만에 전체 확인된 봇 트래픽의 2.6%에서 8.2%로 3배 증가했습니다.

스카이파이어: AI 결제 네트워크

Skyfire는 자율 AI 에이전트 전체에 결제 네트워크를 구축함으로써자율 AI 에이전트를 위한 전체 결제 네트워크를 구축함으로써 다른 접근 방식을 제시합니다. 현재 850만 달러 모금 850만 달러를 모금하고 DataDome과 같은 회사와 파트너십을 맺은 Skyfire는 AI 경제의 표준 결제 인프라가 되는 것을 목표로 하고 있습니다.

퍼블리셔에게 미치는 영향: 기회와 도전 과제

구체적인 이점

  1. 새로운 수익원: 기존 광고를 넘어선 다각화
  2. 세분화된 제어: 어떤 봇을 어떤 가격에 허용할지 선택할 수 있습니다.
  3. 가시성 완료누가 콘텐츠에 액세스하고 얼마나 자주 액세스하는지에 대한 자세한 대시보드
  4. 직접 보상: 광고 중개자 없이 즉각적인 지급

현실적인 과제

  1. 제한된 채택: 모든 AI 회사가 지불에 동의하는 것은 아닙니다.
  2. 복잡한 가격 책정: 콘텐츠 유형별로 정확한 값을 결정하기 어려움
  3. 시행: 많은 봇이 계속해서 규칙을 무시할 것입니다(2024년 3.3%에서 2025년 3월 13%로 증가).
  4. 필요한 규모: 소액 결제는 대량으로 결제할 때만 중요해집니다.

퍼블리셔를 위한 현실적인 예측

편리함의 한계: 차단이 항상 효과가 있는 것은 아닙니다.

수치를 분석하기 전에, 크롤링당 지불 방식이 모든 사람에게 편리한 것은 아니라는 점을 강조할 필요가 있습니다. 트래픽이 제한된 사이트의 경우 AI 봇에 대한 무료 액세스를 허용하는 것이 전략적으로 더 유리할 수 있습니다. AI 시스템에서 콘텐츠의 검색 가능성을 높이고, 새로운 플랫폼과의 관계를 구축하며, 향후 기회를 위해 사이트를 'AI 친화적'으로 포지셔닝할 수 있기 때문입니다.

직접 수익 창출은 볼륨이 관리 복잡성과 구현 비용을 정당화할 수 있을 때만 매력적으로 다가옵니다.

소규모 사이트(월 10,000회 방문)의 경우

  • 예상 봇 트래픽: 월 500~1,000건의 AI 접속/월
  • 잠재 수익: 월 $5-50(CPM 및 수락률에 따라 다름)
  • 영향: 미미함, 가시성을 위해 열어두는 것이 더 나은 경우가 많습니다.
  • 권장 사항: 전략적 무료 액세스 모니터링 및 평가

중간 규모 사이트(월 10만회 방문)

  • 예상 봇 트래픽: 월 5,000~15,000건의 AI 접속 건수
  • 잠재 수익: $75-750/월
  • 영향: 수익 창출을 고려하기 시작하는 임계값
  • 권장 사항: 프리미엄 유료 콘텐츠로 실험하기

대형 퍼블리셔(월 100만회 이상 방문)의 경우

  • 예상 봇 트래픽: 월 50,000-200,000건 이상의 AI 접속 건수
  • 잠재 수익: $750-10,000+/월
  • 영향: 실질적인 신규 비즈니스 라인 창출 가능성
  • 권장 사항: 즉시 구현 권장

콘텐츠 라이선싱의 미래

스택 오버플로우의 CEO, Prashanth Chandrasekar"LLM을 지원하는 커뮤니티 플랫폼은 커뮤니티에 재투자할 수 있도록 기여에 대한 보상을 받아야 합니다."라고 상황을 완벽하게 요약합니다.

와 함께 향후 3년 내 460억 달러에 달할 것으로 예상되는 AI 대 AI 커머스이 생태계에서 일찍 자리를 잡는 퍼블리셔는 상당한 경쟁 우위를 확보할 수 있습니다.

결론: 행동할 때가 되었나요?

크롤링당 과금'은 더 이상 공상 과학 소설이 아니라 운영 현실입니다. 퍼블리셔에게 중요한 것은 이 모델이 자리를 잡을지 여부가 아니라 그 가치를 포착하기 위해 언제, 어떻게 적응할 수 있는지가 문제입니다.

La verità scomoda: non tutti dovrebbero monetizzare subito. Per siti con traffico limitato (<50K visite/mese), mantenere accesso libero ai bot AI può essere più vantaggioso strategicamente, costruendo visibilità e relazioni per future opportunità. La soglia di convenienza per la monetizzazione diretta si raggiunge generalmente con volumi di traffico significativi.

특히 양질의 콘텐츠와 상당한 트래픽을 보유한 중대형 퍼블리셔에게는 매력적인 잠재 수익이 될 것으로 예상됩니다. 하지만 성공 여부는 능력에 달려 있습니다:

  1. 편리함의 한계점 평가 (용량 대비 관리 복잡성)
  2. 선택 전략 권리 (무료 액세스, 전체 차단 또는 수익화)
  3. 적합한 플랫폼 선택 (Cloudflare, TollBit 또는 통합 솔루션)
  4. 경쟁력 있으면서도 수익성 있는 가격
  5. 소액 결제를 정당화하는 콘텐츠 품질 유지
  6. 지속적인 모니터링 및 접근 방식 최적화

실험할 의향이 있는 상당한 트래픽을 보유한 퍼블리셔에게는 2025년이 AI가 단순한 비용이 아닌 비즈니스 기회로 전환되는 해가 될 수 있습니다. 그 외의 모든 퍼블리셔에게는 미래에 이러한 기회를 잡기 위한 기반을 구축해야 할 시기일 수 있습니다.

주요 출처:

비즈니스 성장을 위한 리소스