Usługi pośrednictwa pracy IT Zdalne zespoły Abonament rekrutacyjny O nas Kontakt Wszystkie prace Praca w IT Przykłady CV Nasz blog 2 Case Studies

Wakat w : Data engineer Wynagrodzenie

Poszukujemy doświadczonego inżyniera danych do długoterminowego projektu.
Jeśli pasjonujesz się danymi, posiadasz doświadczenie w nowoczesnych narzędziach inżynierii danych i umiejętności w projektowaniu, budowie oraz optymalizacji procesów danych, chcielibyśmy Cię poznać!

Kluczowe obowiązki:

  • Konfiguracja i integracja źródeł danych.
  • Organizacja i utrzymanie katalogu danych wspierającego różne zespoły.
  • Zarządzanie i optymalizacja hurtowni danych na potrzeby analityczne.
  • Ścisła współpraca z zespołami deweloperskimi i analitycznymi.

Wymagane umiejętności i kwalifikacje:

  1. Apache Airflow:

    • Doświadczenie w konfiguracji i zarządzaniu procesami danych w środowiskach korporacyjnych.
    • Tworzenie DAG-ów w Pythonie dla automatyzacji procesów ETL.
    • Optymalizacja i monitorowanie wydajności DAG-ów.
  2. Rozwój ETL/ELT:

    • Praktyczne doświadczenie w projektowaniu i wdrażaniu procesów ETL/ELT na podstawie wymagań biznesowych.
    • Dobra znajomość zasad transformacji i integracji danych.
  3. Katalogi danych:

    • Doświadczenie w pracy i zarządzaniu katalogami danych.
  4. DBT (Data Build Tool):

    • Tworzenie i utrzymanie modeli danych z użyciem DBT.
    • Integracja DBT w procesy danych do transformacji danych.
    • Znajomość wersjonowania modeli danych.
  5. Strumieniowanie danych (Kafka, Spark Streaming):

    • Doświadczenie z Kafka: konfiguracja, optymalizacja i skalowanie.
  6. Znajomość SQL:

    • Pisanie złożonych zapytań oraz optymalizacja istniejących.
  7. Bazy danych relacyjne:

    • Praktyczne doświadczenie z PostgreSQL, MSSQL lub innymi podobnymi bazami danych.

Mile widziane:

  • Znajomość platform chmurowych, takich jak Yandex.Cloud.
  • Kontrola wersji w Git, w tym konfiguracja CI/CD dla procesów danych (np. Airflow, DBT).

Czego oczekujemy od kandydata:

  • Doświadczenie w transformacjach danych przy użyciu DBT.
  • Doświadczenie w testowaniu i walidacji jakości danych.
  • Umiejętność konfiguracji pipeline'ów CI/CD dla procesów danych.

Dołącz do społeczności Znoydzem.

Aplikuj jako Specjalista ds