Senior Data Engineer

Zadania

Budowa rozwiązań klasy Data Lake i Data Warehouse, obejmujących procesy zasilania danych zarówno online, jak i offline.
Projektowanie oraz implementacja rozwiązań informatycznych odpowiedzialnych za zasilanie, przetwarzanie i integrację danych.
Analiza danych oraz przygotowywanie modeli logicznych i fizycznych zgodnie z wymaganiami biznesowymi.
Optymalizacja i strojenie zapytań SQL w relacyjnych i hurtownianych bazach danych, działających zarówno on‑premises, jak i w środowisku Google Cloud Platform.
Tworzenie oraz utrzymanie przepływów danych (offline i online) z wykorzystaniem narzędzi on‑premises oraz GCP.
Opracowywanie rozwiązań do ładowania danych w Pythonie i Ruście dla danych strukturalnych i niestrukturalnych.
Przygotowywanie datamartów tematycznych opartych o bazy relacyjne oraz kolumnowe.
Tworzenie koncepcji technicznych oraz realizacja implementacji w oparciu o potrzeby i wymagania biznesowe.
Usuwanie incydentów oraz udział w procesach diagnozowania i rozwiązywania problemów związanych z przetwarzaniem danych.
Wspieranie testów i wdrażania zmian w obszarze procesów zasilania danych.
Udzielanie wsparcia w zakresie serwisowania wdrożonego oprogramowania.
Realizacja zadań zgodnie z praktykami DevSecOps.

Znajomość zasad projektowania i budowy nowoczesnych hurtowni danych,
Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT :
Ekspercka znajomość relacyjnych baz danych Oracle, PostgeSQL (projektowanie, budowa i tuning baz danych),
Znajomość Google BigQuery
Znajomość Informatica Power Center,
Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takie jak np. Kafka, Pub/Sub,
Znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika

• AutomatenNow

• Python

• AirFlow

• Rust2

• Apache Spark

Pracę na kontrakcie B2B
Dostęp do systemu myBenefit, w tym prywatne ubezpieczenie medyczne, Multisport i wiele innych
Prezenty na różne okazje
Wydarzenia firmowe