სიახლეები და ანალიზი
ბოტები საიტებს კითხულობენ: Cloudflare-ის წესები და ჩემი სიახლეების შეგროვება 120 წყაროდან
Cloudflare ბოტების ქცევას აფასებს, OpenAI ასობით მილიონ გვერდს ინდექსირებს, n8n სიახლეებს ცენტებად ფილტრავს. რას ნიშნავს ეს მონაცემთა შემგროვებლისა და თქვენი საიტისთვის.
Cloudflare-მა 16 ოქტომბერს აღწერა სისტემა, რომელიც დადასტურებული ბოტების ქცევას ადევნებს თვალს: საკმარისი არ არის დაადასტურო, ვინ ხარ, სხვის საიტებზე წესიერად მოქცევაც საჭიროა. ბიზნესის მფლობელისთვის აქ ორი მხარეა. თქვენს საიტზე საძიებო სისტემებისა და AI-სერვისების ბოტები დადიან, და თქვენ წყვეტთ, ვინ შემოუშვათ. ხოლო თუ თავად აგროვებთ კონკურენტების ფასებს, თქვენი შემგროვებელიც ბოტია და მისთვის იგივე წესები მოქმედებს. ასეთი შემგროვებელი 2023 წელს ლონდონის საკონსულტაციო კომპანიისთვის გავაკეთე და ორივე მხრიდან ვუყურებ.
რა გამოვიდა
Cloudflare-მა 16 ოქტომბერს დადასტურებული ბოტებისთვის ნდობის ზოლი შემოიღო, trust band. ბოტი ვინაობას მოთხოვნების ხელმოწერით ადასტურებს, შემდეგ კი Cloudflare ორ სიგნალს უყურებს: იცავს თუ არა ბოტი robots.txt-ს RFC 9309-ის მიხედვით და ანელებს თუ არა ტემპს HTTP 429 პასუხის შემდეგ. ერთჯერადი დარღვევები არ ითვლება, მნიშვნელოვანია განმეორებადი სურათი. შეფასებების Radar-ზე გამოქვეყნებას გვპირდებიან. პრეცედენტი უკვე არსებობს: 2025 წელს Perplexity-ის ბოტი დადასტურებულებიდან ამოიღეს, რადგან ის დადიოდა საიტებზე, რომლებმაც შეგროვება აკრძალეს, და ბლოკირების გვერდის ავლას ცდილობდა.
ერთი დღით ადრე, 15 ოქტომბერს, Cloudflare-მა OpenAI-სთან საპილოტო პროექტზე მოგვიყვა. 2026 წლის ივლისიდან Cloudflare-ის ქსელის სიგნალები OpenAI-ის კრაულერს ეხმარება იპოვოს გვერდები, რომლებზეც ძიებამ არ იცოდა: მონაწილეობდა ქსელის დაახლოებით 1 %, და ეს ინდექსში ასობით მილიონი ახალი გვერდისთვის იკმარა. ჩემთვის საპირისპირო ნაწილია უფრო საინტერესო. სიგნალები ფილტრავს არარსებულ მისამართებს, რომლებსაც ბოტები ისევ და ისევ ითხოვენ, მთავარ გვერდზე გადამისამართებებსა და ერთი და იმავე შიგთავსის ასლებს, ცვლილების სიგნალები კი კრაულერს ეუბნება, როდის ღირს გვერდის ხელახლა წაკითხვა. წვდომის ნებართვას სიგნალი არ იძლევა.
DataReportal-მა 21 ოქტომბერს Digital 2027-ის ანალიზი გამოაქვეყნა: ვების გამოყენება ბრაუზერით მცირდება, და საქმე, ავტორების თქმით, მხოლოდ AI-ში არ არის. 2026 წლის ოქტომბრის დასაწყისში ინტერნეტით 6,15 მლრდ ადამიანი სარგებლობდა, მათგან ვებს 5 მლრდ-ზე ოდნავ მეტი ხსნიდა, ყველაზე მონახულებად ას დომენს კი აუდიტორია წლის განმავლობაში 4,5 %-ითაც კი გაეზარდა.
Pew Research Center-მა 22 ოქტომბერს გამოუშვა დაგზავნა The Briefing იმაზე, საიდან იღებენ ამერიკელები სიახლეებს ციფრულ ეპოქაში. მისგან ციფრებს არ ვიღებ, მაგრამ თემა იგივეა: მკითხველი სიახლეებს ლენტაში და ასისტენტის გავლით იღებს, გამოცემის საიტამდე კი უფრო იშვიათად აღწევს.
და გამოყენებითი მაგალითი. n8n-მა 13 ოქტომბერს You.com-ის ინჟინრის სტუმრის პოსტი გამოაქვეყნა სიახლეების დილის დაიჯესტის აწყობაზე. ძიება თემების მიხედვით, შემდეგ TypeSafe AI-ის მოდელი Jev ყოველ სტატიას დაახლოებით ცენტის ოთხ მეასედად აფასებს: არის თუ არა მასში მოვლენა, იმ თემაზეა თუ არა და მნიშვნელოვანია თუ არა გუნდისთვის. მხოლოდ შერჩეული მიდის You.com Research-ში, რომელიც Slack-ში ციტატებიან ცნობას წერს. დილა ერთიდან ოთხ ცენტამდე ჯდება, მშვიდ დღეს არაფერი იპოსტება. დედუპლიკაციის გარეშე, წერს ავტორი, ერთი სიახლე დაიჯესტში სამი დღე ზედიზედ ჩანს, და სამი კვირის შემდეგ მას აღარ ხსნიან.
რას ნიშნავს ეს ბიზნესისთვის
ავიღოთ ავტომობილების გაქირავების კომპანია. მისთვის სასარგებლოა იცოდეს კონკურენტების ფასები იმავე თარიღებზე. ყველაზე სწრაფი გზა: სკრიპტი, რომელიც საათში ერთხელ ათ საიტს ხსნის და ფასებს აგროვებს. თუ ის თავს არ წარადგენს, robots.txt-ს არ კითხულობს და 429-ის შემდეგ არ ნელდება, ჯერ Cloudflare-ის ბლოკში მოხვდება, მერე კი ნდობის დაბალ ზოლშიც. ფასები მოსვლას მაშინ შეწყვეტს, როცა ყველაზე მეტად გჭირდებათ. დასკვნა: ბოტი, რომელიც ბიზნესისთვის მონაცემებს აგროვებს, საიტების წესებს უნდა იცავდეს, თორემ დაბლოკავენ და მონაცემები გაქრება.
მეორე მხარე. საწარმოო კომპანიამ კატალოგი და ინსტრუქციები საიტზე განათავსა. თუ მას ყველა ბოტისთვის ჩაკეტავთ, ეს გვერდები არც ძიებაში იქნება და არც ასისტენტების პასუხებში. თუ ყველაფერს გახსნით, სერვერის სიმძლავრის ნაწილი არარსებულ ფაილებზე მოთხოვნებს მოხმარდება. გადაწყვეტა ბოტებისა და საიტის განყოფილებების მიხედვით უნდა მიიღოთ.
ჩემი გამოცდილება: Scraper Hub 120 წყაროთი
2023 წლის ზაფხულთან ახლოს ლონდონის საკონსულტაციო კომპანიისთვის სიახლეების შეგროვების სერვისის, Scraper Hub-ის, კეთება დავიწყე. ბევრი საჭირო მასალა XML-ლენტებში არ იყო, ის ჩვეულებრივ ვებგვერდებზე იდო. Google Cloud-ში Debian-ით ვირტუალური მანქანა დავაყენე, შეგროვების მთელი ლოგიკა Python-ზე დავწერე, სერვერული ნაწილი Node.js-ზე და ინტერფეისი, გარეთ კი ყველაფერი Nginx-ით გადიოდა. მომხმარებელი ირჩევდა, რა შეეგროვებინა, ყველაფერი ერთად თუ ცალკეული ბლოკები, შეგროვების მსვლელობას კი WebSockets-ით ხედავდა. სულ სერვისი მასალებს 120 წყაროდან აგროვებდა, შეგროვებულზე კი ჩანაწერებს მოდელიც წერდა და ადამიანებიც.
რა გამოვიტანე იმ სამუშაოდან. ზოგ წყაროს ლენტა აქვს, ზოგთან გვერდი კვირაში ერთხელ ახლდება, განლაგება კი გაფრთხილების გარეშე იცვლება. ამიტომ შემგროვებელს უნდა ახსოვდეს, რა უკვე ნახა, და ერთი გვერდი ხელახლა არ ჩამოტვირთოს. ამას Cloudflare ცვლილების სიგნალებს უწოდებს, n8n კი დედუპლიკაციას. იმავე თანამშრომლობაში Quote Finder გავაკეთე: Puppeteer და headless Chrome სტატიას ხსნიდნენ, ციტატას პოულობდნენ, მონიშნავდნენ და სკრინშოტს იღებდნენ. საიტისთვის ასეთი ბრაუზერი ჩვეულებრივ მკითხველს ჰგავს და თან სკრიპტებსა და სურათებს ტვირთავს, ამიტომ მისი გაშვება უფრო იშვიათად არის საჭირო.
რას გავაკეთებდი
შემგროვებლისთვის, რომელსაც უკვეთავთ: პატიოსანი User-Agent მისამართით, რომელზეც საიტის მფლობელს შეუძლია მოგწეროთ. robots.txt-ის წაკითხვა. 429-ზე მითითებული დროით გაჩერება. გვერდის ცვლილების თარიღის შენახვა, რომ შეუცვლელი გვერდი ხელახლა არ ჩამოიტვირთოს.
შეგროვებულის გასაფილტრად: როგორც n8n-ის მაგალითში, ჯერ იაფი შემოწმება, არის თუ არა აქ მოვლენა და ჩვენზეა თუ არა, მერე ძვირი მოდელი დაიჯესტისთვის. Scraper Hub-ში 2023 წელს ასეთი კავშირი არ გვქონდა, დღეს მისით დავიწყებდი.
საკუთარი საიტისთვის: ლოგებში ნახეთ, რომელი ბოტები დადიან და სად, robots.txt-ში საჭირო დაუშვით და სამსახურეობრივი დახურეთ, მძიმე გვერდებზე კი, როგორიცაა ძიება და ფილტრები, ლიმიტი დააწესეთ 429 პასუხით.
როგორ შევამოწმოთ ის, რაც მოდელმა გაარჩია, სტატიაში აღვწერე: AI მონაცემების დამუშავებაში. შეგროვების მიდგომა: Python დოკუმენტებისა და მონაცემებისთვის და AI შედეგის შემოწმებით, თავად პროექტი კი ქეისებშია: Scraper Hub და Quote Finder. იმავე თემაზე: რა გავაკეთე საიტზე ChatGPT-ისა და Perplexity-ის პასუხებისთვის და რატომ ვაშენებ უფასო ინსტრუმენტებზე; ადრე ვწერდი, როგორ გავზომოთ ბრენდის რეკომენდაციები AI-ში. თუ საიტებიდან მონაცემების შეგროვება გჭირდებათ ან საკუთარ საიტზე ბოტებთან წესრიგის დამყარება, მომიყევით, რა წყაროებია და რა უნდა გაკეთდეს მათთან: ამოცანის განხილვა.