İş İlanı Hakkında
Verilerin farklı kaynaklardan güvenilir, otomatik ve sürdürülebilir şekilde işlenmesi için ETL/ELT ve veri pipeline çözümleri geliştiriyorum.
Batch veya gerçek zamanlı veri akışlarında ihtiyaca göre Apache Airflow, Kafka, Spark/PySpark, Flink, ClickHouse, PostgreSQL, MySQL, MinIO/S3 ve Docker gibi teknolojilerle çalışabilirim.
Hizmet kapsamında ETL pipeline geliştirme, Airflow DAG oluşturma ve düzenleme, API/veritabanı/dosya kaynaklarından veri aktarımı, Kafka tabanlı streaming süreçleri, Spark/PySpark ile veri işleme, veri kalite kontrolleri, retry ve backfill mekanizmaları, hata yönetimi, logging ve zamanlanmış veri akışları geliştirebilirim.
Mevcut bir pipeline’ınız varsa performans, hata, veri kaybı, duplicate kayıt, scheduling veya veri kalite sorunlarını da analiz edebilirim.
Production ortamında Airflow, Spark, Kafka, Kubernetes, HDFS, S3 uyumlu object storage ve farklı veritabanlarıyla çalıştım.
Projenin veri kaynağı, veri hacmi, çalışma sıklığı ve hedef sistemi her işte farklı olduğu için sipariş öncesinde ihtiyacınızı paylaşmanız kapsamı doğru belirlememizi sağlar.
+2 gün
