Poszukujemy doświadczonego inżyniera danych do długoterminowego projektu.
Jeśli pasjonujesz się danymi, posiadasz doświadczenie w nowoczesnych narzędziach inżynierii danych i umiejętności w projektowaniu, budowie oraz optymalizacji procesów danych, chcielibyśmy Cię poznać!
Kluczowe obowiązki:
- Konfiguracja i integracja źródeł danych.
- Organizacja i utrzymanie katalogu danych wspierającego różne zespoły.
- Zarządzanie i optymalizacja hurtowni danych na potrzeby analityczne.
- Ścisła współpraca z zespołami deweloperskimi i analitycznymi.
Wymagane umiejętności i kwalifikacje:
-
Apache Airflow:
- Doświadczenie w konfiguracji i zarządzaniu procesami danych w środowiskach korporacyjnych.
- Tworzenie DAG-ów w Pythonie dla automatyzacji procesów ETL.
- Optymalizacja i monitorowanie wydajności DAG-ów.
-
Rozwój ETL/ELT:
- Praktyczne doświadczenie w projektowaniu i wdrażaniu procesów ETL/ELT na podstawie wymagań biznesowych.
- Dobra znajomość zasad transformacji i integracji danych.
-
Katalogi danych:
- Doświadczenie w pracy i zarządzaniu katalogami danych.
-
DBT (Data Build Tool):
- Tworzenie i utrzymanie modeli danych z użyciem DBT.
- Integracja DBT w procesy danych do transformacji danych.
- Znajomość wersjonowania modeli danych.
-
Strumieniowanie danych (Kafka, Spark Streaming):
- Doświadczenie z Kafka: konfiguracja, optymalizacja i skalowanie.
-
Znajomość SQL:
- Pisanie złożonych zapytań oraz optymalizacja istniejących.
-
Bazy danych relacyjne:
- Praktyczne doświadczenie z PostgreSQL, MSSQL lub innymi podobnymi bazami danych.
Mile widziane:
- Znajomość platform chmurowych, takich jak Yandex.Cloud.
- Kontrola wersji w Git, w tym konfiguracja CI/CD dla procesów danych (np. Airflow, DBT).
Czego oczekujemy od kandydata:
- Doświadczenie w transformacjach danych przy użyciu DBT.
- Doświadczenie w testowaniu i walidacji jakości danych.
- Umiejętność konfiguracji pipeline'ów CI/CD dla procesów danych.