Ben, web sitelerinden veri çekerim

Bir web sitesinde dağınık duran bilgiyi düzenli bir Excel tablosuna çeviriyorum. Ürün listesi, ilan listesi, firma rehberi, fiyat listesi, katalog: sayfalarda tekrar eden yapıda ne varsa.

NASIL ÇALIŞIYOR
Siteyi ve hangi alanları istediğinizi söylersiniz (örneğin ürün adı, fiyat, stok durumu, link). Ben sayfa yapısını inceleyip veriyi çıkarır, temizler ve tek dosyada veririm. Sayfalama, kategori kırılımı ve tekrar eden kayıtlar bende çözülür; siz düzenli tabloyu alırsınız.

SİPARİŞ VERMEDEN ÖNCE ÜCRETSİZ KONTROL
Site adresini gönderin, bakayım. Çekilebiliyorsa kaç satır çıkacağını ve hangi alanların dolu geleceğini önceden söylerim. Çekilemiyorsa onu da söylerim; boşuna sipariş vermezsiniz.

NE YAPMIYORUM
Bunları baştan bilmeniz daha iyi:
• Giriş veya şifre gerektiren, üyeliğe kapalı sayfalara girmiyorum.
• CAPTCHA ya da bot korumasını aşmıyorum.
• Kişisel veri toplamıyorum. Yalnızca herkese açık işletme ve ürün bilgisi.

UZUN İŞLERDE VERİ KAYBI YOK
Çok sayfalı çekimlerde iş yarıda kalırsa kaldığı yerden devam eden bir yapı kullanıyorum. Elektrik kesilse ya da bağlantı düşse de o ana kadar toplanan veri elde kalır.

TESLİM
Excel (.xlsx) veya CSV.

İsterseniz veriyi ileride kendiniz güncelleyebilesiniz diye işi masaüstü araç olarak da paketleyebiliyorum: tek dosya, kurulum yok, Türkçe ve İngilizce arayüz. Böylece her seferinde birine sipariş vermek zorunda kalmazsınız.

Python ve Selenium ile çalışıyorum.