- Cloudflare memperkenalkan cara untuk mengisi daya pengikis internet AI
- Pembuat konten dapat melindungi situs mereka dari pencakar yang tidak diinginkan
- Perayap spesifik dapat diberikan akses gratis, dibebankan, atau diblokir
Pembuat online sering memiliki sedikit kontrol atas jenis perayap yang dapat mengakses konten mereka, tetapi Cloudflare mungkin memiliki solusi.
Perusahaan telah menghidupkan kembali kode respons HTTP 402 sebagai cara yang rapi untuk memblokir atau menagih crawler AI untuk mengakses situs Anda dalam fitur baru yang disebutnya ‘bayar per merangkak’.
Bagian terbaiknya adalah, ini bukan blok atau menagih semua kontrol – pengguna akan dapat mengizinkan perayap tertentu untuk mengakses situs mereka secara gratis, membebankan biaya akses kepada orang lain, dan memblokir yang Anda tidak ingin menjelajah konten Anda.
Mengisi AI Crawlers untuk akses
Kode Respons HTTP 402, atau dikenal sebagai Kode Standing Pembayaran yang Diperlukan 402, menunjukkan pembayaran spiders diperlukan untuk mengakses konten. Akibatnya, crawler dapat merespons dengan maksud untuk membayar, atau diblokir dari mengakses konten.
Sebagai benefit tambahan, pembuat konten dengan blok di situs mereka dapat secara efektif ‘memberi tahu’ crawler AI bahwa mereka terbuka untuk pembayaran potensial di masa depan.
Bagi mereka yang berpikir bahwa seseorang bisa saja memalsukan perayap yang memiliki akses ke situs, Cloudflare selangkah lebih maju. Perayap otentik akan menggunakan header ‘tanda tangan-agen’, ‘input tanda tangan’, dan ‘tanda tangan’ untuk mengotentikasi diri dengan CloudFlare.
Cloudflare kemudian akan membandingkan kunci publik dari pasangan kunci ED 25519 yang disimpan dalam direktori yang di -host dengan URL dari direktori kunci dan informasi agen pengguna yang terdaftar dengan CloudFlare, sehingga memungkinkan crawler otentik melalui dan memblokir spider yang palsu.
Spider juga akan dapat merangkak internet dengan anggaran yang ditetapkan untuk mengakses situs yang dilindungi menggunakan header ‘crawler-exact-price’ untuk menerima harga yang diusulkan yang tercantum oleh header ‘crawler-harga’ di situs yang diinginkan, atau lebih baik menggunakan anggaran ‘crawler-max-max’ ketika mengakses situs yang akan memberikan akses jika harganya sama dengan atau lebih dari yang lebih rendah.
Cloudflare juga memiliki beberapa teori untuk potensi gaji per merangkak di masa depan. Agen AI dapat diberikan anggaran untuk merangkak internet saat menanggapi prompt, memungkinkan pengguna untuk mengakses konten berkualitas tinggi dan relevan saat memasukkan punctual.
Bayar per merangkak saat ini hanya tersedia dalam beta pribadi, tetapi pihak yang berkepentingan dapat menjangkau ke Cloudflare melalui tautan di bagian bawah Blog
