DATA ENGINEER

Poszukujemy Data Engineera , który wesprze zespół w projektowaniu, budowie i optymalizacji potoków danych, koncentrując się na wydajności i utrzymaniu czystości architektury danych. Obowiązki: • Projektowanie i rozwijanie potoków danych na platformie Databricks. • Implementacja transformacji danych przy użyciu SQL (widoki, widoki materializowane). • Tworzenie i optymalizacja notebooków Apache Spark . • Zapewnienie wysokiej wydajności oraz skalowalności procesów przetwarzania danych. • Integracja różnych źródeł danych, tworzenie modeli danych i zapewnianie ich zgodności z wymaganiami biznesowymi. • Monitorowanie, utrzymanie i optymalizacja istniejących rozwiązań ETL. • Współpraca z zespołami analitycznymi i biznesowymi w celu zrozumienia potrzeb danych. Wymagania: • Minimum 3 lata doświadczenia na stanowisku Data Engineer lub podobnym. • Bardzo dobra znajomość SQL i doświadczenie w projektowaniu złożonych transformacji danych. • Doświadczenie z platformą Databricks oraz Apache Spark . • Znajomość koncepcji widoków i widoków materializowanych w hurtowniach danych. • Praktyczna znajomość narzędzi ETL oraz zasad modelowania danych. • Doświadczenie w integracji danych z różnych źródeł (strukturalnych i niestrukturalnych). • Umiejętność pisania optymalnego i wydajnego kodu dla dużych wolumenów danych. • Bardzo dobra znajomość języka angielskiego (praca w międzynarodowym środowisku). Mile widziane: • Doświadczenie z technologiami chmurowymi (AWS, Azure, GCP). • Znajomość Python i/lub Scala w kontekście przetwarzania danych. • Doświadczenie w pracy z narzędziami do wersjonowania kodu (np. Git).