Data Science UA started in 2016 with the first Data Science and AI conference in Kyiv and for now, we’ve already organized 9 International Data Science UA Conferences. Uniting top AI and Data Science talents for more than 5 years helps us to provide fast and efficient hiring.
4 серпня 2022

Senior Data Engineer (вакансія неактивна)

Київ, віддалено

NDA (big enterprise) project. This position is responsible for the design, development, testing, and support for data pipelines and data products to enable continuous data processing for data exploration, data preparation, and real-time business analytics.

Responsibilities and essential job functions include but are not limited to the following:

  1. Demonstrate deep knowledge of the data engineering domain, including non-interactive (batch, distributed) & real-time, highly available data, data pipelines.
  2. Deep knowledge of data as a concept and the development of domain driven data products.
  3. Optimization of data products to service customer personas, Data science, AI/ML and data visualization.
  4. Knowledge of semantic data concepts.
  5. Build fault-tolerant, self-healing, adaptive, and highly accurate data computational pipelines.
  6. Provide consultation and lead the implementation of complex programs.
  7. Develop and maintain documentation relating to all assigned systems and projects.
  8. Perform root cause analysis to identify permanent resolutions to software or business process issues.

Qualifications:

  • Bachelor’s degree in Computer Science, management information systems, or related discipline, or equivalent work experience.

Must have technology skills (7/10 or higher):

  1. Strong/expert Spark (PySpark) Using Jupyter Notebooks, Colab or DataBricks.
  2. Hands-on data pipeline development, ingest patterns in Azure.
  3. Orchestration tools, ADF, or Airflow.
  4. SQL.
  5. Denormalized Data modeling for big data systems.

Must have competencies:

  1. Collaborative, able to work remotely, and still be an engaging team member.
  2. Strong analytical and design skills.
  3. Architect and design large-scale high-performance distributed systems (7-10).
  4. Knowledge of SQL Platform (7-10).
  5. 3+ years of experience in No-SQL Platform.
  6. 3+ years of experience in Spark.
  7. 3+ years of experience in Data platform implementation on Azure or AWS.
  8. 2+ years of experience in CI/CD experience.
  9. 2+ years of experience in Exposure to SOA architecture.

Проєкт NDA (велике підприємство). Ця посада відповідає за проєктування, розробку, тестування та підтримку конвеєрів даних і продуктів обробки даних для забезпечення безперервної обробки даних для дослідження даних, підготовки даних і бізнес-аналітики в реальному часі.

Обов’язки:

  1. Розробка даних, включаючи неінтерактивні (пакетні, розподілені) і в реальному часі, високодоступні та конвеєри даних.
  2. Розробка концепцій та продуктів даних, які керуються доменом.
  3. Оптимізація продуктів обробки даних для обслуговування клієнтів, Data Science, AI/ML та візуалізації даних.
  4. Розробка концепцій семантичних даних.
  5. Створення відмовостійких, самовідновлюваних, адаптивних, високоточних та обчислювальних конвеєрів даних.
  6. Проведення консультацій щодо реалізації комплексних програм.
  7. Розробка та підтримка документації, що стосується всіх призначених систем і проєктів.
  8. Аналіз проблем, пов’язаних з програмним забезпеченням та бізнес-процесами, та їх подальше вирішення.

Вимоги:

  • Вища освіта, ступінь бакалавра в Computer Science, інформаційних системах управління, або відповідна дисципліна.
  • 5+ років досвіду роботи на позиції Data Engineer
  • Досвід роботи з Spark (PySpark), Jupyter Notebooks, Colab або DataBricks.
  • Досвід розробки конвеєра даних та шаблонів введення в Azure.
  • Знання інструментів ADF або Airflow.
  • Досвід роботи з SQL.
  • Досвід моделювання даних для систем Big Data.

Буде плюсом:

  • Можливість працювати віддалено та комунікувати з членами команди.
  • Аналітичні та дизайнерські навички.
  • Можливість бути архітектором та проєктувати великомасштабні високопродуктивні розподілені системи.
  • Знання платформи SQL.
  • 3+ роки досвіду роботи з платформою No-SQL та Spark.
  • 3+ роки досвіду роботи з Data platform, Azure або AWS.
  • 2+ роки досвіду роботи з CI/CD.
  • 2+ роки досвіду роботи з архітектурою SOA.