Data Engineer (вакансія неактивна)

Maklai — українська ІТ продуктова компанія, яка вже понад 15 років займається розробкою продуктів на західний ринок в сфері travel. Один з наших великих проектів — booked.net — сайт бронювання готелів по всьому світу (7m+ клієнтів щомісяця з 37 країн 29+ мови).

У звʼязку з розширенням шукаємо Data Engineer, який займатиметься створенням та підтримкою Data Products, використовуючи OLAP бази даних та архітектури Data Lakehouse.

Основні завдання:

• Розробка продуктів даних та зміна акценту з розробників програмного забезпечення на Data Engineers.
• Підвищення якості архітектури зберігання даних для оптимальної продуктивності та масштабованості.
• Забезпечення швидкого та ефективного доступу до аналітичних даних у необхідному форматі.
• Активна участь у розробці та впровадженні архітектурних рішень, з подальшим переходом до стратегічного планування та керівництва в області архітектури даних.

Вимоги:

• Досвід роботи з базами даних: Глибоке розуміння та досвід роботи з базами даних Clickhouse, MySQL.
• Досвід роботи з системами обробки повідомлень та потокових даних: Досвід роботи з різними платформами для обробки повідомлень та потокових даних, включаючи, але не обмежуючись, Kafka (розподілена потокова платформа) та Redis (використовується в компанії для чергування повідомлень).
• Обробка великих даних: Доведений досвід управління та обробки масштабних даних (тисячі таблиць, мільярди записів).
• Навички програмування: Вміння працювати з Python та SQL.
• Знання форматів відкритих таблиць: Знайомість з форматами відкритих таблиць (Delta Lake, Apache Iceberg, Apache Hudi) та практичний досвід.
• Досвід роботи з CDC: Досвід роботи з інструментами Change Data Capture, такими як Debezium, Flink, Airbyte.
• Розуміння ELT-пайплайнів: Досвід роботи з ELT-пайплайнами, включаючи Airflow, dbt, Airbyte.
• Знання та Навички в Області Архітектури Даних: Порозуміння основних принципів проектування та управління архітектурою даних, включаючи моделювання даних, процеси інтеграції та управління даними. Бажання розвиватися до ролі Data Architect.

Буде плюсом:

• Різноманітний досвід з базами даних: Досвід роботи з іншими OLAP базами даних, data warehouses і data lakehouses.
• Досвід роботи з сервісами черг: Logstash
• Навички програмування на Java: Знання Java.
• Знання контейнеризації: Ознайомленість з технологіями контейнеризації (Kubernetes).
• Знання каталогів даних: Розуміння та досвід роботи з каталогами даних (open-metadata, DataHub тощо)
• Досвід роботи з Schema Registry: Практичний досвід використання Schema Registry для управління версіями схем даних, забезпечення сумісності та інтеграції схем у потоках даних. Знання принципів роботи та оптимального використання Schema Registry в контексті систем обробки потокових даних (наприклад, Apache Kafka).

Soft Skills:

• Відкритість до нових технологій та бажання розвиватися: Готовність до вивчення нових технологій і бажання професійного розвитку.
• Вміння працювати як самостійно, так і в команді.
• Ініціативність в рішенні задач.
• Гнучкість.

Перспективи розвитку:

• Професійний ріст до Data Architect: Можливість керувати процесом проектування архітектури даних та надалі — командою інженерів. Підтримка навчання та розвитку в цьому напрямку.

Пропонуємо:

• Велика кількість даних та обчислювальних потужностей.
• Вимоги у вигляді near realtime processing цих даних.
• Відсутність бюрократії та можливість віддаленої роботи.
• Доброзичливий та згуртований колектив.
• Оплачувані відпустки, лікарняні, медичне страхування.
• Компенсація відвідування конференцій, мітапів, профільного навчання.
• Гнучкий графік роботи.
• Комфортний офіс неподалік від метро Голосіївська (можна працювати віддалено).