클라우드플레어는 웹사이트 소유자들이 AI 모델 제공 업체에게 사이트 콘텐츠를 스크랩할 수 있는 권한을 판매할 수 있는 마켓플레이스를 내년에 론칭할 계획을 발표했다. 이 마켓플레이스는 클라우드플레어 CEO 매튜 프린스의 대규모 계획의 마지막 단계로, 게시자들에게 AI 봇이 웹사이트를 스크랩하는 방식과 시기에 더 많은 통제권을 부여하는 것을 목표로 한다.
“창작자들에게 어떻게든 보상을 제공하지 않으면, 그들은 더 이상 창작하지 않게 되고, 이것이 해결되어야 할 문제”라고 프린스는 TechCrunch와의 인터뷰에서 말했다.
클라우드플레어의 새로운 계획의 첫 번째 단계로, 클라우드플레어는 고객들을 위한 무료 감시 도구인 AI 감사를 론칭했다. 웹사이트 소유자들은 AI 모델이 정보를 수집하기 위해 그들의 사이트를 언제, 왜, 얼마나 자주 크롤링하는지에 대한 분석을 볼 수 있는 대시보드를 받게 된다. 클라우드플레어는 또한 고객들이 클릭 한 번으로 AI 봇을 사이트에서 차단할 수 있도록 허용할 것이다. 웹사이트 소유자들은 AI 감사를 사용하여 모든 AI 스크래퍼를 차단하거나, 거래가 있거나 스크랩핑을 유익하게 여기는 경우 특정 웹 스크래퍼를 허용할 수 있다.
TechCrunch와 공유된 AI 감사의 데모는 당신의 사이트를 방문하는 각 스크래퍼가 어디에서 왔는지를 알 수 있고, OpenAI, Meta, Amazon 등의 AI 모델 제공 업체의 스크래퍼들이 사이트를 몇 번 방문했는지 볼 수 있는 선택적 창을 제공한다.
클라우드플레어는 AI 산업에 도사르는 문제에 대처하려고 노력하고 있다. AI 시대에 사람들이 사이트 대신 ChatGPT에 가면 어떻게 하겠는가? 오늘날, AI 모델 제공 업체들은 LLM(언어 모델)을 구동하는 정보를 위해 수천 개의 작은 웹사이트를 스크랩한다. 조금 큰 게시자들은 OpenAI와 컨텐츠 라이센스 계약을 맺었지만 대부분의 웹사이트는 아무것도 받지 못하지만, 그들의 콘텐츠는 여전히 매일 인기있는 AI 모델들로 제공된다. 이러한 일은 많은 웹사이트의 비즈니스 모델을 붕괴시킬 수 있으며, 절망적으로 필요한 트래픽을 감소시킬 수 있다.
올해 여름 일찍 AI 기반 검색 스타트업 Perplexity가 로봇 배제 프로토콜을 사용하여 기계적으로 크롤해 달라고 명시적으로 지정한 웹 사이트를 스크래핑했다는 비난을 받았다. 이후 클라우드플레어는 고객이 한 번의 클릭으로 모든 AI 봇을 차단할 수 있도록 버튼을 출시했다.
“우리는 사람들이 자신의 콘텐츠가 훔쳐지고 있는 느낌을 받았다는 불만을 듣고 그것을 위한 무료를 출시했다”고 프린스는 말했다.
일부 웹사이트 소유자들은 AI 봇이 그들의 웹사이트를 많이 스크래핑해서 서버를 마비시키는 DDoS 공격 같은 느낌을 받았다고 Business Insider에 말했다. 웹사이트가 스크래핑되면 화가 나기만 한 것뿐만 아니라, 클라우드 요금을 상승시키고 서비스에 영향을 줄 수 있다.
그러나 Perplexity의 봇을 차단하고 OpenAI의 것은 차단하고 싶은 경우는 어떻게 할까? 프린스는 클라우드플레어의 고객들이 사이트에 액세스할 수 있는 AI 모델을 선택할 수있는 도구를 요청하고 있다고 TechCrunch에 전했다. 오늘 실행되는 클라우드플레어의 새로운 도구들은 고객이 일부 AI 크롤러를 차단하며 다른 것들을 통과시킬 수 있도록 허용할 것이다.
또한 OpenAI와 라이센스 계약을 맺은 대형 게시자들인 TIME, Condé Nast, The Atlantic 등도 ChatGPT가 그들의 웹사이트를 얼마나 많이 스크랩하는지에 대한 비교적 적은 통찰력을 갖고 있다고 프린스는 말했다. 그들 중 많은 사람들은 OpenAI가 알려주는 것을 받아들여야 하지만, 그 답변이 그들에게 좋은 라이센스 계약을 받고 있는지 여부를 결정한다.
그러나 클라우드플레어의 마켓플레이스, 내년에 론칭될 예정으로, 소형 게시자들이 AI 모델 제공 업체와 협상할 수 있도록 하려고 한다.
“우리가 Reddit, Quora, 그리고 이전에는 세계의 큰 게시자들만이 할 수 있었던 일을 여러분 모두에게 제공해 보겠다”고 프린스는 말했다. “만약 여러분이 접근하고 콘텐츠를 이 시스템에 흡수시키는데 설정할 수 있는 가격을 결정할 수 있게 해준다면 어떨까”
대담한 아이디어일지 모르지만, 클라우드플레어는 마켓플레이스가 실제로 어떻게 보일지에 대한 완전히 명확한 아이디어를 공유하고 있지는 않다. 프린스는 웹사이트가 개별 웹사이트를 스크랩하는 속도에 따라 AI 모델 제공 업체에게 요금을 부과할 수 있지만, 얼마나 지불할 것인지는 분명하지 않다. 더 구체적으로, 그는 웹사이트가 스크래핑되도록 요금을 청구하거나 단순히 AI 연구소가 신용을 제공하도록 요청할 수 있다고 말한다. 세부 사항은 모호하다.
현재 무료로 제공되는 콘텐츠에 대해 지불하지 않는 AI 회사들은 처음에는 즐거워하지 않을 수도 있지만, 클라우드플레어의 CEO는 이것이 궁극적으로는 AI 생태계에 좋다고 생각한다. 프린스는 현재 일부 AI 기업들이 결코 콘텐츠에 대해 지불하지 않는 현재 상황은 지속 가능하지 않다고 말한다.
