PROJE
Londra'daki danışmanlık şirketi 120 kaynaktan haberleri tek bir Python Scraper Hub'da topluyordu
Python ve Node.js servisi, 120 kaynaktan haber ve içerikleri tamamen ya da blok blok topluyor, toplamanın aşamasını anlık gösteriyordu.
- kaynak tek serviste
- 120
- çalışmanın başlangıcı
- 2023
- Sektör
- Danışmanlık
- Ülke
- Londra, Birleşik Krallık
- Dönem
- 2023–2024
- Rol
- Full-stack geliştirici
Haber ve veri toplama
Web kaynakları → Python ile toplama → analitik notlar
Nasıl ilerledi
Önce nasıldı, ne yaptım, şimdi nasıl
- Önce
Başlangıçtaki durum
- Haberler ve içerikler çok sayıda web sitesine dağılmış
- Birçok kaynak yalnızca sıradan web sayfası olarak mevcut
- Şirket, hepsini tek yerde toplayan kendi aracını istiyordu
- Yaptıklarım
Web kaynakları → Python ile toplama → analitik notlar
- SonraUygulandı
Şimdi nasıl çalışıyor
- Tek arayüzden her şeyi ya da seçilen blokları toplama
- Her çalıştırmanın aşaması arayüzde anlık görünüyor
- İçerik üzerine analitik notları model ve insanlar yazdı
- Sonuç
Rakamlarla
- kaynak tek serviste
- 120
- çalışmanın başlangıcı
- 2023
NASIL ÇALIŞIR
Veri sistemde nasıl ilerler
- 1Web kaynakları
- 2Python ile toplama
- 3analitik notlar
Python ve Node.js servisi, 120 kaynaktan haber ve içerikleri tamamen ya da blok blok topluyor, toplamanın aşamasını anlık gösteriyordu.
Modüller ve metinler yayımlanmış açıklamadan alındı. Şema müşterinin kapalı arayüzlerini veya verilerini yansıtmaz.
2023 yazının başlarında Londra'daki bir danışmanlık şirketi için bir haber ve içerik toplama servisi geliştirmeye başladım. Servis çok sayıda web kaynağından içerik çekiyor ve ilerlemeyi doğrudan arayüzde gösteriyordu; toplanan içerik üzerine hem bir model hem de insanlar analitik notlar yazıyordu. Bu, Londra'daki bir danışmanlık şirketi için yazılım geliştirme, 2023–2024 sayfasında anlattığım projelerden biri.
Görev
Şirket, farklı kaynaklardan haber ve içerikleri tek bir yerde toplayan kendi aracını istiyordu. İhtiyaç duyulan içeriklerin çoğu XML akışlarında değil, sıradan web sayfalarındaydı.
Ne yaptım
Google Cloud üzerinde Debian çalışan bir sanal makine kurdum, erişimleri ve yetkilendirmeyi yapılandırdım, toplama mantığının tamamını Python ile, sunucu tarafını Node.js ile yazdım ve servisin arayüzünü geliştirdim. Servisin önünde Nginx çalışıyordu.
Nasıl çalışıyordu
Kullanıcı servisi açıp neyin toplanacağını seçiyordu: her şey bir kerede ya da yalnızca seçilen bloklar. Bir çalıştırma başladığında arayüz, toplamanın hangi aşamada olduğunu gösteriyordu. Güncellemeler WebSockets üzerinden geldiği için ilerleme hemen görülebiliyordu.
Projede farklı kaynaklar için ayrı toplayıcılar vardı ve bu toplayıcıların listesi çalışma boyunca değişti.
Toplanan içerik üzerine daha sonra analitik notlar yazılıyordu. Bunları hem bir model hem de insanlar hazırlıyordu.
Servis toplamda 120 kaynaktan içerik topluyordu.
Benzer bir göreviniz mi var?
Kullanışlı bir API'si olmayan sitelerden düzenli olarak veri toplamanız gerekiyorsa Python ile veri işleme sayfasına bakın. Toplanan metinlerle ardından bir modelin çalışması gerekiyorsa AI iş akışları bölümü işinize yarar. Aynı iş birliğinde, bir makaledeki alıntıyı bulup orijinal sayfada vurgulayan Quote Finder aracını da geliştirdim. Diğer projeler Londra'daki bir danışmanlık şirketi için yazılım geliştirme, 2023–2024 sayfasında.
Hangi kaynaklardan toplama yapılması gerektiğini ve sonuçlarla ne yapılması gerektiğini anlatın. Projenizi konuşalım
Aynı teknolojiler, farklı görevler
2021'den beri ABD'li bir PDR şirketinin sunucusunu, AI çağrı analizini, süper uygulamasını ve belge ayrıştırıcılarını yürütüyorum. Lead akışı yıllık katlanıyor.
Veri, haber toplama ve AILondra'daki bir danışmanlık şirketi için full-stack geliştirme, 2023–20242023–2024'te Londra'daki bir danışmanlık şirketi için geliştirme: finans verileri, haber toplama, alıntı yakalama, freelancer planlaması ve Whisper altyazıları.
ÜretimSipariş hesabı 4–5 saat yerine 65 saniyede: parça ve malzemeler Excel ürün ağaçlarından, 1C kontrolüyleExcel ürün ağaçlarından parça ve malzemeleri hesaplayan, 1C ile karşılaştıran, siparişleri birleştiren ve atölyeler ile taşeronlar için iş hazırlayan yazılım.