Usługi pośrednictwa pracy IT Zdalne zespoły Abonament rekrutacyjny O nas Kontakt Wszystkie prace Praca w IT Przykłady CV Nasz blog 2 Case Studies

Wakat w Poland: Senior Inżynier Big Data Wynagrodzenie PLN20000 - PLN40000/Miesiąc

Firma produktowa

Nowa aplikacja z misją łączenia ludzi w prawdziwym życiu, aby cieszyć się razem. Pomaga użytkownikom nawiązywać nowe, znaczące połączenia, udostępniając i dołączając do rzeczywistych doświadczeń offline.

Obowiązki

Twoją misją będzie dostarczanie czystych, wiarygodnych i aktualnych danych wewnętrznym interesariuszom:

  • Dostarczaj odpowiednie dane inżynierom uczenia maszynowego do eksploracji, tworzenia modeli i przesyłania sygnałów do systemów personalizacji (ranking kanałów, powiadomienia push, sugestie znajomych itp.);
  • Umożliw użytkownikom biznesowym zrozumienie działania produktu i umożliwienie im samodzielnej eksploracji danych poprzez dostarczanie właściwych danych do raportów BI, analiz produktów i narzędzi CRM.

Data stack:

  • PostgreSQL;
  • Cloud Firestore;
  • Fivetran;
  • Segment;
  • BigQuery;
  • dbt;
  • Amplitude;
  • Metabase;
  • Dagster.

Większość naszej infrastruktury znajduje się w GCP. Wolimy korzystać z nowoczesnych zarządzanych rozwiązań opartych na chmurze, aby zmaksymalizować wydajność dev.

Zadania:

  • Komunikuj się z interdyscyplinarnymi interesariuszami, aby osiągnąć zgodność celów;
  • Współpracuj z zespołami inżynierów mobilnych i zaplecza, aby upewnić się, że gromadzone są właściwe dane klientów;
  • Upewnij się, że wszystkie dane własne i zewnętrzne są umieszczane w hurtowni danych;
  • Twórz potoki danych, aby przekształcić surowe dane w modele wielokrotnego użytku;
  • Prowadzenie dokumentacji i definicji danych;
  • Wdrażaj kontrolę jakości danych za pomocą monitorowania i alertów;
  • Zastosuj najlepsze praktyki inżynierii oprogramowania do kodu analitycznego: kontrola wersji, przeglądy kodu, testowanie, ciągła integracja;
  • Wdrożenie zgodności z przepisami (RODO, CCPA itp.), takie jak anonimizacja danych osobowych;
  • Proponuj i wdrażaj zmiany w architekturze danych we współpracy z zespołem Personalizacja.

Wymagania:

  • Bądź biegły w SQL. Pisz czysty i wydajny kod, aby wydobywać sygnały wielokrotnego użytku z nieprzetworzonych danych;
  • Komunikuj się jasno i skutecznie, również w formie pisemnej. Być w stanie napisać jasne propozycje, dążyć do uzgodnienia, prosić i działać na podstawie informacji zwrotnych;
  • Bądź proaktywny, przejmuj odpowiedzialność, bądź w stanie tolerować i rozwiązywać niejednoznaczności;
  • Podstawowe umiejętności w Pythonie.

Mile widziane:

  • Doświadczenie w pracy z modelami dbt do transformacji danych w hurtowni;
  • Wygodna praca z git;
  • Doświadczenie w budowaniu stream processing pipelines (np. GCP Dataflow, Spark Streaming, Flink);
  • Doświadczenie we wdrażaniu  workflow orchestration (np. Airflow lub Prefect);
  • Doświadczenie we wdrażaniu kontroli jakości danych (np. Great Expectations);
  • Doświadczenie w projektowaniu i budowaniu data stack;
  • Doświadczenie w projektowaniu infrastruktury backendowej. Zrozumienie technologii kontenerowych i orkiestracyjnych: Docker, Kubernetes;
  • Doświadczenie w pracy z data scientists i machine learning inżynierami , rozumienie ML workflows.

Dołącz do społeczności Znoydzem.

Aplikuj jako Specjalista ds