Data Mühəndisi

Vakansiyanın təsviri

• Batch və near-real-time məlumat emalı üçün ETL/ELT pipeline dizaynı, inkişafı və optimallaşdırılması
• Bronze/Silver/Gold arxitekturalı data lake-lərin qurulması və saxlanması (Parquet, ORC, Hive və Iceberg cədvəl formatları)
• Fact/Dimension cədvəlləri və Slowly Changing Dimensions (SCD) kimi məlumat modelləşdirmə konsepsiyalarının tətbiqi
• Apache Airflow və ya oxşar orkestrasiya alətləri ilə iş axınlarının idarə edilməsi (DAG dizaynı, planlaşdırma, SLA idarəçiliyi, retry, alerting və xətaların idarə olunması)
• Bütün pipeline məlumat keyfiyyəti, yoxlama və governance təmin edilməsi
• Oracle, PostgreSQL, API və fayl əsaslı məlumat mənbələrindən inteqrasiya
• Kafka və streaming anlayışları üzrə əsas bilik
• Spark job-ların optimallaşdırılması (partisiya strategiyası, yaddaş istifadəsi, shuffle əməliyyatları)
• İstehsalat mühitində pipeline monitorinqi, problemlərin aradan qaldırılması və kök səbəb analizi (RCA)
• Biznes tələblərini texniki həllərə çevirmək üçün BI, Analitika və Data Science komandaları ilə əməkdaşlıq
• Texniki sənədləşmə və data lineage üzrə məlumatlılıq, platforma standartlarına və best practice-lərə riayət

Xüsusi tələblər

• SQL üzrə yüksək səviyyəli bacarıqlar: mürəkkəb join-lar, CTE-lər, window funksiyaları
• Məlumat emalı və ETL inkişafı üçün Python və/və ya Scala üzrə təcrübə
• Apache Spark ilə batch emalı və performans optimallaşdırılması üzrə praktiki təcrübə
• Məlumat modelləşdirmə konsepsiyalarını dərindən başa düşmək (Fact/Dimension modelləri, SCD)
• Data Lake arxitekturaları üzrə təcrübə (Bronze/Silver/Gold)
• Cədvəl formatları və inkremental emal üzrə bilik: Hive, Iceberg
• ETL/ELT pipeline dizaynı, inkremental yükləmələr və Change Data Capture (CDC) üzrə təcrübə
• Apache Airflow və oxşar orkestrasiya alətləri üzrə təcrübə
• Relyasion məlumat mənbələri ilə işləmə təcrübəsi (Oracle, PostgreSQL), API və fayl əsaslı ingestion
• Kafka və streaming anlayışları üzrə əsas bilik
• Məlumat keyfiyyəti yoxlamaları, schema evolution, geriyə uyğunluq və PII/həssas məlumat anlayışları
• Problemləri həll etmə, analitik düşünmə və əməliyyat bacarıqları
• Spark job-ların optimallaşdırılması, böyük cədvəl join-ları və aqreqasiyalar üzrə təcrübə
• Biznes tələblərini texniki həllərə çevirmək bacarığı və komandalarla effektiv əməkdaşlıq

Üstünlük Verilən Bacarıqlar:

• Trino / Presto ilə təcrübə
• Kafka əsaslı ingestion pipeline
• dbt və ya oxşar transformasiya freymvörkləri
• Telekom DWH / BSS data modelləri ilə təcrübə
• Linux komanda sətri üzrə bacarıqlar

Müraciət üçün (CV): https://careers.azercell.com/job/Baku-Data-M%C3%BCh%C9%99ndisi-Data-Engineer/1358747057/