პროექტი
ლონდონის საკონსულტაციო კომპანია სიახლეებს 120 წყაროდან ერთ Python Scraper Hub-ში აგროვებდა
Python-სა და Node.js-ზე აგებული სერვისი 120 წყაროდან აგროვებდა სიახლეებსა და მასალებს, სრულად ან ბლოკებად, და შეგროვების ეტაპს რეალურ დროში აჩვენებდა.
- წყარო ერთ სერვისში
- 120
- სამუშაოს დაწყება
- 2023
- დარგი
- კონსალტინგი
- ქვეყანა
- ლონდონი, დიდი ბრიტანეთი
- პერიოდი
- 2023–2024
- როლი
- Full-stack დეველოპერი
სიახლეებისა და მონაცემების შეგროვება
ვებწყაროები → შეგროვება Python-ით → ანალიტიკური ჩანაწერები
როგორ მიმდინარეობდა
რა იყო, რა გავაკეთე, რა შეიცვალა
- მანამდე
საწყისი მდგომარეობა
- სიახლეები და მასალები მრავალ ვებსაიტზეა მიმოფანტული
- ბევრი წყარო მხოლოდ ჩვეულებრივი ვებგვერდის სახით არსებობს
- კომპანიას სურდა საკუთარი ინსტრუმენტი, რომ ყველაფერი ერთად შეეგროვებინა
- გავაკეთე
ვებწყაროები → შეგროვება Python-ით → ანალიტიკური ჩანაწერები
- ახლარეალიზებულია
როგორ მუშაობს ახლა
- ყველაფრის ან არჩეული ბლოკების შეგროვება ერთი ინტერფეისიდან
- თითოეული გაშვების ეტაპი ინტერფეისში რეალურ დროში ჩანს
- მასალაზე ანალიტიკურ ჩანაწერებს მოდელი და ადამიანები წერდნენ
- შედეგი
ციფრებში
- წყარო ერთ სერვისში
- 120
- სამუშაოს დაწყება
- 2023
როგორ არის მოწყობილი
როგორ მოძრაობს მონაცემები სისტემაში
- 1ვებწყაროები
- 2შეგროვება Python-ით
- 3ანალიტიკური ჩანაწერები
Python-სა და Node.js-ზე აგებული სერვისი 120 წყაროდან აგროვებდა სიახლეებსა და მასალებს, სრულად ან ბლოკებად, და შეგროვების ეტაპს რეალურ დროში აჩვენებდა.
მოდულები და ტექსტები აღებულია გამოქვეყნებული აღწერიდან. სქემა არ ასახავს კლიენტის დახურულ ინტერფეისებსა და მონაცემებს.
2023 წლის ზაფხულის დასაწყისში ლონდონის ერთი საკონსულტაციო კომპანიისთვის სიახლეებისა და მასალების შეგროვების სერვისის შექმნა დავიწყე. ის მრავალი ვებწყაროდან იღებდა მასალას და მუშაობის მსვლელობას პირდაპირ ინტერფეისში აჩვენებდა, შეგროვებულ მასალაზე კი ანალიტიკურ ჩანაწერებს წერდნენ როგორც მოდელი, ისე ადამიანები. ეს ერთ-ერთი პროექტია, რომლებზეც გვერდზე პროგრამების შემუშავება ლონდონის საკონსულტაციო კომპანიისთვის, 2023–2024 ვყვები.
ამოცანა
კომპანიას სჭირდებოდა საკუთარი ინსტრუმენტი, რომელიც სხვადასხვა წყაროდან სიახლეებსა და მასალებს ერთ ადგილას შეაგროვებდა. საჭირო მასალების დიდი ნაწილი XML-არხებში კი არა, ჩვეულებრივ ვებგვერდებზე იყო.
რა გავაკეთე
Google Cloud-ში Debian-ზე ვირტუალური მანქანა ავაწყე, დავაყენე წვდომები და ავტორიზაცია, შეგროვების მთელი ლოგიკა Python-ზე დავწერე, სერვერული ნაწილი Node.js-ზე, და სერვისის ინტერფეისიც შევქმენი. გარედან ყველაფერი Nginx-ის გავლით მიეწოდებოდა.
როგორ მუშაობდა
მომხმარებელი სერვისში შედიოდა და ირჩევდა, რა შეეგროვებინა: ყველაფერი ერთად თუ მხოლოდ ცალკეული ბლოკები. გაშვების შემდეგ ინტერფეისი აჩვენებდა, შეგროვების რომელ ეტაპზე იყო პროცესი. განახლებები WebSockets-ით მოდიოდა, ამიტომ მსვლელობა მაშინვე ჩანდა.
პროექტში სხვადასხვა წყაროსთვის ცალკე შემგროვებლები იყო, და მათი შემადგენლობა მუშაობის განმავლობაში იცვლებოდა.
შემდეგ შეგროვებულ მასალაზე ანალიტიკური ჩანაწერები იწერებოდა. მათ როგორც მოდელი, ისე ადამიანები ამზადებდნენ.
სულ სერვისი 120 წყაროდან აგროვებდა მასალას.
მსგავსი ამოცანა გაქვთ?
თუ რეგულარულად გჭირდებათ მონაცემების შეგროვება საიტებიდან, რომლებსაც მოსახერხებელი API არ აქვთ, იხილეთ მონაცემების დამუშავება Python-ით. თუ შეგროვებულ ტექსტებზე შემდეგ მოდელმა უნდა იმუშაოს, გამოგადგებათ AI სამუშაო პროცესები. იმავე თანამშრომლობის ფარგლებში შევქმენი Quote Finder, რომელიც სტატიაში ციტატას პოულობდა და ორიგინალში ფერით გამოყოფდა. დანარჩენი პროექტები თავმოყრილია გვერდზე პროგრამების შემუშავება ლონდონის საკონსულტაციო კომპანიისთვის, 2023–2024.
მომწერეთ, რომელი წყაროებიდან უნდა შეგროვდეს მასალა და რა უნდა მოხდეს შედეგთან. ამოცანის განხილვა
იგივე ტექნოლოგიები, სხვა ამოცანები
2021 წლიდან ვუძღვები აშშ-ის PDR-კომპანიის სერვერს, AI-ანალიზიან ტელეფონიას, სუპერ-აპლიკაციასა და დოკუმენტების პარსერებს. ლიდები ყოველწლიურად მრავლდება.
მონაცემები, სიახლეების შეგროვება და AIFull-stack შემუშავება ლონდონის საკონსულტაციო კომპანიისთვის, 2023–2024ლონდონის საკონსულტაციო კომპანიისთვის 2023–2024 წლებში: ფინანსური მონაცემები, სიახლეების შეგროვება, ციტატების ძიება, ფრილანსერების განრიგი და სუბტიტრები.
წარმოებაშეკვეთის გაანგარიშება 65 წამში 4–5 საათის ნაცვლად: დეტალები და მასალები Excel-სპეციფიკაციებით, 1C-ში გადამოწმებითპროგრამა Excel-სპეციფიკაციებით ითვლის დეტალებსა და მასალებს, ადარებს მათ 1C-ს, აერთიანებს შეკვეთებს და ამზადებს სამუშაოს საამქროებისა და კონტრაქტორებისთვის.