Tiivis pohja
Data Engineer
Data engineer, jolla on 8 vuoden kokemus putkistojen rakentamisesta ja ylläpidosta, jotka pitävät analytiikka- ja ML-tiimit luotettavan datan varassa. Suosin tylsää, tarkkailtavaa infraa näppärien kertaratkaisujen sijaan.
Muut: Python, Apache Airflow, Apache Spark, Snowflake, Kafka, Terraform, Tietomallinnus, ETL/ELT-putket, Tietovarastointi, Great Expectations, Airbyte, Scala, Git, Linux, Tiedonhallinta
Tietokannat: SQL, dbt, PostgreSQL
Pilvi: AWS (S3, Glue, Redshift)
DevOps: Docker, Kubernetes, CI/CD
- Rakennan ja ylläpidän dataplatformia, joka tuottaa reaaliaikaista analytiikkaa 15 teollisuusasiakkaalle.
- Uudistin syöttöputken Kafkalla ja Sparkilla, lyhentäen päästä-päähän-viiveen 45 minuutista alle 3 minuuttiin.
- Siirsin 40+ vanhaa eräajoa Airflow- ja dbt-pohjaisiksi, vähentäen putkien virhetilanteita 65 %.
- Rakensin Great Expectations -pohjaisen tietolaadun kehyksen, joka löytää noin 98 % skeemaongelmista ennen tuotantoa.
Python · Apache Airflow · Apache Spark
- Vastasin yrityksen markkinointianalytiikan tietovarastoa ruokkivista ETL-putkista.
- Rakensin yöllisen ETL-kokonaisuuden uudelleen dbt:llä, lyhentäen ajoaikaa 6 tunnista 50 minuuttiin.
- Otin käyttöön automaattiset datatestit, jotka vähensivät analyytikkojen raportoimia tietolaatuongelmia 80 %.
SQL · Python · Snowflake
Python, Grafana, Prometheus
github.example.com/john-doe/realtime-pipeline-metrics
Kafka, Spark Streaming, Python
Suomi — Äidinkieli · Englanti — Sujuva
Suunnistus · Kotiautomaatio
