Senior Big Data Engineer (Databricks + Azure); ID 102235

ПРО РОЛЬ:

У цій ролі ти створюватимеш масштабовані та ефективні рішення для роботи з даними на платформі Databricks Lakehouse в Azure-середовищах. Ти працюватимеш із пакетними та потоковими конвеєрами обробки даних, підтримуватимеш ініціативи з оптимізації платформи даних і співпрацюватимеш із технічними та бізнес-стейкхолдерами для створення надійних, готових до продакшену рішень на різних етапах життєвого циклу проєкту.

ОБОВ’ЯЗКИ:

• проєктувати, розробляти та підтримувати масштабовані пакетні й потокові ETL-конвеєри на платформі Databricks Lakehouse;
• створювати та оптимізувати рішення для обробки даних за допомогою PySpark, Python і SQL;
• налаштовувати та підтримувати Databricks clusters і SQL Warehouses;
• впроваджувати та підтримувати практики управління даними за допомогою Unity Catalog, включно з контролем доступу, відстеженням походження даних і міжворкспейсним обміном даними;
• розробляти та розгортати рішення для роботи з даними з використанням Databricks Asset Bundles і CI/CD-процесів;
• проєктувати та підтримувати архітектури Lakehouse рівнів bronze, silver і gold на базі Delta Lake;
• надавати доступ до даних і візуалізувати їх за допомогою Databricks SQL та BI-інструментів, зокрема Power BI;
• співпрацювати з технічними та бізнес-стейкхолдерами для розуміння вимог і створення ефективних рішень для роботи з даними;
• брати участь в архітектурних обговореннях і сприяти ініціативам із безперервного вдосконалення в команді;
• підтримувати впровадження та використання сучасних можливостей Databricks AI/BI, зокрема Dashboards, Metric Views, MLflow, Genie та агентів, де це доречно.

ВИМОГИ:

• 5+ років досвіду в Data Engineering, включно з проєктуванням моделей даних і масштабованих ETL-конвеєрів;
• впевнена експертиза в PySpark, Python і SQL, включно з налаштуванням продуктивності та оптимізацією;
• практичний досвід роботи з Databricks, включно з clusters і SQL Warehouses;
• практичні знання можливостей управління даними в Unity Catalog, включно з детальним контролем доступу, data lineage і data sharing;
• досвід створення комплексних рішень для роботи з даними з використанням Databricks Asset Bundles і CI/CD-практик;
• глибоке розуміння концепцій Delta Lake та архітектури Lakehouse;
• досвід роботи з Databricks SQL і BI-інструментами, такими як Power BI;
• сильні навички комунікації та співпраці з технічними й бізнес-стейкхолдерами;
• рівень англійської Upper-Intermediate або вище;
• знайомство з інструментами Databricks AI/BI, такими як MLflow, Dashboards, Metric Views, Genie або агенти, буде перевагою;
• досвід роботи з сервісами Azure для даних, такими як ADF, Synapse, ADLS, Azure DevOps або Microsoft Fabric, буде перевагою.

ПРО НАС:

SoftServe — глобальна компанія у сфері цифрової інженерії та технологічного консалтингу. Тут експертність поєднується з культурою, у центрі якої — люди. Уже понад 30 років ми допомагаємо організаціям долати складні бізнес-виклики. Поєднуємо глибоку інженерну експертизу з продуманими інноваціями, що спираються на дослідження.

Наші команди працюють у напрямах цифрової інженерії, аналітики даних, хмарних технологій та AI/ML. Створюємо практичні й масштабовані технологічні рішення, що відповідають реальним потребам бізнесу та приносять користь людям. Серед наших клієнтів — компанії з різних індустрій: високих технологій, фінансових сервісів, охорони здоров’я, фармацевтики та біотехнологій, ритейлу, енергетики й виробництва. Для нас важливі якість рішень, їхній вплив і люди, завдяки яким ця робота стає можливою.

Нас вирізняє те, як ми працюємо разом. Ти приносиш свій погляд і амбіції — ми створюємо середовище, де можна впевнено рухатися вперед і будувати рішення, що мають значення.

МИ ПРОПОНУЄМО:

• Гнучкий графік: Працюй з дому, з офісу або в гібридному форматі — так, щоб зберігати фокус і залишатися на зв’язку з командою.
• Компенсація та переваги: Конкурентна винагорода, що відповідає ролі, локації та ринку. Також — медичне страхування, оплачувана відпустка, підтримка фізичного й ментального здоров’я та можливості для навчання.
• Лідерство з фокусом на людей: Ти працюєш із лідерами, відкритими до діалогу, які пояснюють контекст і допомагають командам рухатися в одному напрямі.
• Технологічні спільноти: Долучайся до спільнот з AI/ML, Cloud, Quantum Computing, IoT і Robotics, а також до проєктів, що базуються на сучасних фреймворках і технологіях.

SoftServe — компанія рівних можливостей. Ми відкриті до працевлаштування усіх кваліфікованих кандидатів та кандидаток, незалежно від раси, кольору шкіри, віросповідання, віку, статі, національності, інвалідності, сексуальної орієнтації, гендерної ідентичності та самовираження, ветеранського статусу та інших захищених ознак, відповідно до чинного законодавства. Ставай частиною SoftServe та роби те, що драйвить!