Data Science UA started in 2016 with the first Data Science and AI conference in Kyiv and for now, we’ve already organized 9 International Data Science UA Conferences. Uniting top AI and Data Science talents for more than 6 years helps us to provide fast and efficient hiring.
7 листопада 2022

Data Engineer for Fintech start-up (вакансія неактивна)

Київ, віддалено

We are looking for a Data Engineer to join the engineering team of our customer and assist them in real-time trading implementation and internal tooling development. Every day, their algorithms process more than 500 million data points. As a result, low latency and fault tolerance are essential for them.

As a part of the team, Data Engineer will be responsible for preprocessing, cleaning and storing financial data sets: market data, fundamentals and alternative data sets. The role also includes writing complex ETL and optimization pipelines using multiprocessing and distributed computing frameworks (DataBricks, AWS EMR, Apache Spark).

Responsibilities:

  • Processing and storing high-volume financial datasets.
  • Creating ETL pipelines using AWS/internal tools.
  • Preprocessing data for our research and development team.
  • Be part of the team responsible for real-time trading implementation.
  • Implement trading models hyperparameters optimization pipelines.

Requirements:

  • 3+ years experience with Python.
  • Good understanding of analytics, data pipelines and data transformation principles.
  • Proficiency with Pandas and NumPy.
  • Hands-on experience with Apache Spark, AWS EMR.
  • Proficiency with SQL and columnar databases (Clickhouse DB).
  • Experience in Linux development (Bash, Cron, JQ).
  • Hands-on experience with AWS and Apache Airflow.
  • Hands-on experience working with big data.
  • Good knowledge of statistics and computer science principles.
  • Fluent in English (At least Upper-Intermediate level).

Nice-to-have:

  • Experience in the financial field.
  • Experience with Apache Kafka/Red Panda and Docker.

Ми шукаємо Data Engineer, який приєднається до команди інженерів нашого клієнта та допоможе їм у впровадженні торгівлі в реальному часі та розробці внутрішнього інструментарію. Щодня їхні алгоритми обробляють понад 500 мільйонів точок даних. Як результат, для них важливі низька затримка та відмовостійкість.

Будучи частиною команди, Data Engineer буде відповідати за попередню обробку, очищення та зберігання наборів фінансових даних: ринкових даних, основних і альтернативних наборів даних. Роль також включає написання складних ETL і конвеєрів оптимізації з використанням багатопроцесорних і розподілених обчислювальних інфраструктур (DataBricks, AWS EMR, Apache Spark).

Обов’язки:

  • Обробка та зберігання великих обсягів фінансових даних.
  • Створення конвеєрів ETL за допомогою AWS/внутрішніх інструментів.
  • Попередня обробка даних для нашої дослідницької групи.
  • Бути частиною команди, відповідальної за реалізацію торгівлі в реальному часі.
  • Впровадити конвеєри оптимізації гіперпараметрів торгових моделей.\

Вимоги:

  • 3+ роки досвіду роботи з Python.
  • Розуміння аналітики, конвеєрів даних і принципів перетворення даних.
  • Вміння працювати з Pandas і NumPy.
  • Досвід роботи з Apache Spark, AWS EMR.
  • Володіння SQL і колонковими базами даних (Clickhouse DB).
  • Досвід розробки Linux (Bash, Cron, JQ).
  • Досвід роботи з AWS та Apache Airflow.
  • Досвід роботи з великими даними.
  • Знання статистики та принципів інформатики.
  • Рівень володіння англійською мовою — не менше Upper-Intermediate.

Буде перевагою:

  • Досвід роботи у фінансовій сфері.
  • Досвід роботи з Apache Kafka/Red Panda та Docker.