Opis:
Jako inżynier Big Data będziesz pracować nad gromadzeniem, przechowywaniem, przetwarzaniem i analizą ogromnych zestawów danych z heterogenicznych domen. Twoim głównym celem będzie poszukiwanie optymalnych rozwiązań odpowiednich do wyżej wymienionych celów, a następnie ich wdrażanie, utrzymywanie i monitorowanie.
Zadania:
- Badanie, projektowanie i development odpowiednich algorytmów do gromadzenia, przetwarzania i analizy Big Data;
- Wybór i integracja wszelkich narzędzi i platform Big Data wymaganych do udostępnienia nowych i istniejących możliwości produktu;
- Ściśle współpracuj z zespołem produktowym, aby zdefiniować wymagania i wyznaczyć kamienie milowe związane z funkcjami Big Data;
- Wykrywaj anomalie i przeprowadzaj audyt surowych i przetworzonych danych;
- Monitorowanie wydajności i doradzanie w zakresie wszelkich niezbędnych zmian w infrastrukturze;
- Definiowanie zasad retencji danych;
- Przedstawiaj wyniki danych wewnętrznym i zewnętrznym interesariuszom;
- Ściśle współpracuj z naukowcami danych, dostarczając zestawy danych z funkcjami.
Kwalifikacje:
- Doświadczenie w jednym z następujących języków: Java lub Scala;
- Biegłość w usługach ekosystemu Hadoop, takich jak MapReduce v2, HDFS, YARN, Hive, HBase;
- Doświadczenie w budowaniu systemów przetwarzania strumieniowego przy użyciu rozwiązań takich jak Apache Kafka i Apache Spark streaming;
- Doświadczenie w projektowaniu, wdrażaniu i wdrażaniu w klastrowych potokach danych przy użyciu frameworka Apache Spark (RDD, Dataframe, Streaming);
- Doświadczenie w integracji danych z wielu heterogenicznych źródeł i różnych formatów (CSV, XML, JSON, Avro, Parquet);
- Doświadczenie z bazami danych SQL i bazami danych NoSQL, takimi jak Elasticsearch i MongoDB;
- Biegła znajomość architektury mikroserwisów i systemów rozproszonych;
- Doświadczenie z ekosystemem Hadoop on-premise lub on-cloud;
- Miło mieć praktyczne doświadczenie z Dockerem, Kubernetesem.
