Botlar siteleri okuyor: Cloudflare'in crawler kuralları ve 120 kaynaklı haber toplayıcım

Cloudflare 16 Ekim'de doğrulanmış botların davranışını izleyen bir sistemi anlattı: kim olduğunu kanıtlamak yetmiyor, başkalarının sitelerinde düzgün davranmak da gerekiyor. İşletme sahibi için burada iki taraf var. Sitenize arama motorlarının ve yapay zeka servislerinin botları geliyor ve kimi içeri alacağınıza siz karar veriyorsunuz. Rakiplerin fiyatlarını siz topluyorsanız, toplayıcınız da bir bot ve kurallar onun için de aynı. 2023'te Londra'daki bir danışmanlık şirketi için böyle bir toplayıcı yaptım, bu yüzden iki taraftan da bakıyorum.

Neler yayımlandı

Cloudflare 16 Ekim'de doğrulanmış botlar için bir güven bandı, trust band, getirdi. Bot kimliğini isteklerini imzalayarak kanıtlıyor, sonra Cloudflare iki sinyale bakıyor: bot RFC 9309'a göre robots.txt'ye uyuyor mu ve HTTP 429 cevabından sonra yavaşlıyor mu. Tek seferlik ihlaller sayılmıyor, önemli olan tekrar eden örüntü. Puanların Radar'da yayımlanacağı söyleniyor. Bir emsal de var: 2025'te Perplexity'nin botu, toplamayı yasaklayan sitelere girdiği ve engeli aşmaya çalıştığı için doğrulanmış botlar listesinden çıkarıldı.

Bir gün önce, 15 Ekim'de Cloudflare OpenAI ile yaptığı pilotu anlattı. Temmuz 2026'dan beri Cloudflare ağının sinyalleri, OpenAI'ın crawler'ının aramanın bilmediği sayfaları bulmasına yardım ediyor. Ağın yaklaşık %1'i katıldı ve bu, dizine yüz milyonlarca yeni sayfa eklemeye yetti. Benim için öbür tarafı daha ilginç. Sinyaller, botların tekrar tekrar istediği var olmayan adresleri, ana sayfaya yönlendirmeleri ve aynı içeriğin kopyalarını ayıklıyor. Değişiklik sinyalleri de crawler'a bir sayfayı ne zaman yeniden okumaya değdiğini söylüyor. Sinyal erişim izni vermiyor.

DataReportal 21 Ekim'de Digital 2027 analizini yayımladı: web'in tarayıcı üzerinden kullanımı düşüyor ve yazarlara göre mesele yalnızca yapay zeka değil. Ekim 2026 başında interneti 6,15 milyar kişi kullanıyordu, bunların 5 milyardan biraz fazlası web'i açıyordu. En çok ziyaret edilen yüz alan adının kitlesi ise bir yılda %4,5 büyüdü bile.

Pew Research Center 22 Ekim'de Amerikalıların dijital çağda haberleri nereden aldığına dair The Briefing bültenini yayımladı. Oradan rakam almıyorum, ama konu aynı: okur haberi akışta ve asistan üzerinden alıyor, yayın kuruluşunun sitesine daha seyrek ulaşıyor.

Bir de uygulamalı örnek. n8n 13 Ekim'de You.com'da çalışan bir mühendisin sabah haber özetini nasıl kurduğunu anlatan konuk yazısını yayımladı. Önce konulara göre arama yapılıyor, sonra TypeSafe AI'ın Jev modeli her makaleyi yaklaşık 0,04 sente değerlendiriyor: bir olay var mı, konu doğru mu, ekip için önemli mi. Yalnızca seçilenler You.com Research'e gidiyor, o da Slack'e alıntılarla bir not yazıyor. Bir sabah bir ile dört sent arasına mal oluyor, sakin bir günde hiçbir şey paylaşılmıyor. Yazara göre tekrarları ayıklamadan aynı haber üç gün üst üste özette kalıyor ve üç hafta sonra özeti açan kalmıyor.

İşletme için ne anlama geliyor

Bir araç kiralama şirketini ele alalım. Rakiplerin aynı tarihler için fiyatlarını bilmek işine yarar. En hızlı yol: saatte bir on siteyi açıp fiyatları toplayan bir script. Script kendini tanıtmıyorsa, robots.txt'yi okumuyorsa ve 429'dan sonra yavaşlamıyorsa, önce Cloudflare'de engellenir, sonra düşük güven bandına düşer. Fiyatlar tam gerektiği anda gelmez olur. Sonuç: iş için veri toplayan bot sitelerin kurallarına uymalı, yoksa engellenir ve veri kaybolur.

Şimdi öbür taraf. Bir üretim şirketi kataloğunu ve kılavuzlarını siteye koydu. Siteyi bütün botlara kapatırsanız bu sayfalar ne aramada ne de asistanların cevaplarında olur. Her şeyi açarsanız sunucu gücünün bir kısmı var olmayan dosyalara gelen isteklere gider. Karar botlara ve sitenin bölümlerine göre verilmeli.

Deneyimim: 120 kaynaklı Scraper Hub

2023 yazına doğru Londra'daki bir danışmanlık şirketi için haber toplama servisi Scraper Hub'ı yapmaya başladım. Gereken materyallerin çoğu XML akışlarında değil, sıradan web sayfalarındaydı. Google Cloud'da Debian'lı bir sanal makine kurdum, toplama mantığının tamamını Python'da, sunucu tarafını Node.js'te yazdım, arayüzü de yaptım. Dışarıya her şey Nginx üzerinden açılıyordu. Kullanıcı neyi toplayacağını seçiyordu, hepsini birden ya da ayrı blokları, toplamanın ilerleyişini de WebSockets üzerinden görüyordu. Servis toplam 120 kaynaktan materyal topluyordu, toplananlardan notları hem model hem insanlar yazıyordu.

O işten aklımda kalanlar şunlar. Kaynakların bir kısmında akış var, bir kısmında sayfa haftada bir güncelleniyor, sayfa düzeni de haber vermeden değişiyor. Bu yüzden toplayıcı daha önce ne gördüğünü hatırlamak ve aynı sayfayı tekrar çekmemek zorunda. Cloudflare'in değişiklik sinyalleri, n8n'in tekrarları ayıklama dediği şey bu. Aynı iş birliğinde Quote Finder'ı yaptım: Puppeteer ve headless Chrome makaleyi açıyor, alıntıyı buluyor, vurguluyor ve ekran görüntüsü alıyordu. Site için böyle bir tarayıcı sıradan bir okur gibi görünür ve script'leri ve görselleri de beraberinde çeker. Bu yüzden onu daha seyrek çalıştırmak gerekir.

Ben ne yapardım

Sipariş ettiğiniz toplayıcı için: site sahibinin yazabileceği bir adres içeren dürüst bir User-Agent. robots.txt'yi okumak. 429'da belirtilen süre kadar durmak. Sayfanın değişiklik tarihini saklamak ve değişmeyeni yeniden indirmemek.

Toplananları filtrelemek için: n8n örneğindeki gibi önce ucuz bir kontrol, burada bir olay var mı ve bizi ilgilendiriyor mu, sonra özet için pahalı model. 2023'te Scraper Hub'da böyle bir zincirimiz yoktu, bugün onunla başlardım.

Kendi siteniz için: loglara bakın, hangi botlar geliyor ve nereye gidiyor. robots.txt'de gerekenlere izin verin ve teknik bölümleri kapatın, arama ve filtreler gibi ağır sayfalara da 429 cevabı veren bir sınır koyun.

Modelin ayrıştırdığı veriyi nasıl kontrol ettiğimi Veri işlemede yapay zeka yazısında anlattım. Toplamaya yaklaşımım: belgeler ve veriler için Python ve sonucun kontrol edildiği yapay zeka. Projenin kendisi Scraper Hub ve Quote Finder vakalarında. Aynı konuda: ChatGPT ve Perplexity cevapları için sitede ne yaptım ve neden ücretsiz araçlarla kuruyorum; daha önce markanın yapay zeka önerilerindeki yerinin nasıl ölçüleceğini yazmıştım. Sitelerden veri toplamanız ya da kendi sitenizde botlara düzen getirmeniz gerekiyorsa, hangi kaynaklar olduğunu ve onlarla ne yapılacağını anlatın: Görevi konuşalım.