Ben, python ile web scraping ve veri çekme otomasyonu yaparım

Python, Selenium, Playwright ve BeautifulSoup ile web sitelerinden düzenli ve güvenilir şekilde veri çekiyorum. Fiyat ve stok takibi, rakip analizi, ilan ve ürün listeleri, haber ve içerik toplama gibi işlerde çalışıyorum.

Sadece veriyi çekip bırakmıyorum. Gelen veriyi temizliyor, tekrar eden kayıtları ayıklıyor ve Excel, CSV veya doğrudan veritabanı olarak kullanıma hazır teslim ediyorum. Sayfalama, oturum açma gerektiren sayfalar, dinamik yüklenen içerik ve istek sınırlaması gibi durumları da çözüyorum.

Daha önce günlük 50'den fazla siteden veri çeken, üretim ortamında çalışan sistemler kurdum. Düzenli aralıklarla kendi kendine çalışması gereken işlerde Celery ve zamanlanmış görev altyapısı kuruyor, hata durumunda bildirim gönderen bir yapı bırakıyorum.

Kullanım şartlarına aykırı ya da yasal olarak veri çekilmesine izin verilmeyen işleri almıyorum. Sipariş öncesi hedef siteyi inceleyip hangi kapsamda ve ne kadar sürede teslim edebileceğimi net olarak söylüyorum.