Cloudflare telah meluncurkan alat yang memblokir perayap bot agar tidak mengakses konten tanpa izin atau kompensasi untuk membantu situs web menghasilkan uang dari perusahaan AI yang mencoba mengakses dan melatih konten mereka, kata perusahaan perangkat lunak itu pada Selasa.
Alat tersebut memungkinkan pemilik situs web untuk memilih apakah perayap kecerdasan buatan dapat mengakses materi mereka dan menetapkan harga untuk akses melalui model "bayar per perayapan", yang akan membantu mereka mengontrol bagaimana pekerjaan mereka digunakan dan diberi kompensasi, kata Cloudflare (NYSE: NET ).
Dengan perayap AI yang semakin banyak mengumpulkan konten tanpa mengarahkan pengunjung ke sumber aslinya, pemilik situs web berupaya mengembangkan sumber pendapatan tambahan karena rujukan lalu lintas pencarian yang pernah menghasilkan pendapatan iklan menurun.
Inisiatif ini didukung oleh penerbit besar termasuk Condé Nast dan Associated Press, serta perusahaan media sosial seperti Reddit dan Pinterest (NYSE: PINS ).
Chief Strategy Officer Cloudflare, Stephanie Cohen, mengatakan tujuan dari alat tersebut adalah untuk memberikan penerbit kontrol atas konten mereka, dan memastikan ekosistem yang berkelanjutan bagi pembuat konten daring dan perusahaan AI.
"Perubahan pola lalu lintas berlangsung cepat, dan ada sesuatu yang perlu diubah," kata Cohen dalam sebuah wawancara. "Ini hanyalah awal dari model baru internet."
Google (NASDAQ: GOOGL ), misalnya, telah melihat rasio perayapannya terhadap pengunjung yang dirujuk kembali ke situs turun menjadi 18:1 dari 6:1 hanya enam bulan yang lalu, menurut data Cloudflare, yang menunjukkan raksasa pencarian itu mempertahankan perayapannya tetapi mengurangi rujukan.
Penurunan ini bisa jadi merupakan hasil dari pengguna yang menemukan jawaban langsung dalam hasil pencarian Google, seperti AI Overviews. Namun, rasio Google jauh lebih tinggi daripada perusahaan AI lainnya, seperti OpenAI yang sebesar 1.500:1.
Selama beberapa dekade, mesin pencari telah mengindeks konten di internet dengan mengarahkan pengguna kembali ke situs web, sebuah pendekatan yang memberi penghargaan kepada kreator karena menghasilkan konten berkualitas. Namun, perayap perusahaan AI telah mengganggu model ini karena mereka mengumpulkan materi tanpa mengarahkan pengunjung ke sumber asli dan mengumpulkan informasi melalui chatbot seperti ChatGPT, yang menyebabkan kreator kehilangan pendapatan dan pengakuan.
Banyak perusahaan AI yang menghindari standar web umum yang digunakan oleh penerbit untuk memblokir pengambilan konten mereka untuk digunakan dalam sistem AI, dan berpendapat mereka tidak melanggar hukum apa pun dalam mengakses konten secara gratis.
Sebagai tanggapan, beberapa penerbit, termasuk New York Times (NYSE: NYT ), telah menggugat perusahaan AI karena pelanggaran hak cipta, sementara yang lain telah membuat kesepakatan untuk melisensikan konten mereka.
Reddit, misalnya, telah menggugat perusahaan rintisan AI Anthropic karena diduga mengambil komentar pengguna Reddit untuk melatih chatbot AI-nya, saat menandatangani kesepakatan lisensi konten dengan Google.