Прийшов час осідлати справжнього Буцефала🏇🏻Приборкай норовливого коня разом з Newxel🏇🏻Умови на сайті
350 млн грн инвестиций в digital 70 digital-специалистов в Unit City 23 проекта в Robotics and automatization, Digital Processes, Advanced Analytics & Algorithms, Sensors & Telecommunications etc. Создавай цифровое будущее Украины с нами!
28 октября 2020

Big Data Engineer (вакансия неактивна)

Киев

Необходимые навыки

— Опыт работы в роли инженера данных не менее 2-х лет
— Практические навыки проектирования и реализации систем сбора и обработки данных
— Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области
— Понимание принципов распределенных вычислений
— Способность осуществлять исследование данных (data exploration) и взаимодействовать с экспертами предметной области с целью достижения бизнес-целей
— Глубокое знание SQL и NoSQL, опыт работы с различными СУБД (Oracle / MySQL / PostgreSQL / Cassandra и пр.)
— Практический опыт работы с элементами Hadoop экосистемы
Apache Spark: Core, SQL
— Streaming / Stream Processing
— Практический опыт работы с Cloud (AWS, Azure и т.п.)
— Java и/или Scala и/или Python

Будет плюсом

— Apache Spark: Streaming, GraphX
— Apache Ignite
— Apache Flink
— Apache (Confluent) Kafka / Apache Pulsar
— NoSQL (Cassandra / Hbase / Kudu / Impala)
— Indexing engines (Elastic Search / Solr)
— Apache Hive (Tez), Pig
— AWS: S3, EMR, EC2, Lambda, Kinesis/Kinesis Firehose, IAM, Athena, Glue, DynamoDB, Redshift, Aurora
— Azure: Blob storage, HDInsight, VM, Functions, Event Hubs etc.
— Alluxio
— Gradle

Предлагаем

— Официальное оформление
— Конкурентный уровень з/п
— Бонус по итогам года работы в компании
— Работа в ультрасовременном офисе (UNIT.City)
— Возможность применять самые современные технологии
— Возможность профессионального роста
— Медицинскую страховку по истечении трехмесячного срока

Обязанности

— Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, обработки и структурирования данных для последующего анализа и использования в системе
— Разработка оптимальной структуры хранения, передачи, предоставления данных по конкретному продукту (подсистеме)
— Разработка и внедрение эффективных механизмов и способов взаимодействия по данным между командами аналитики и ИТ инфраструктуры ДТЭК
— Взаимодействие с аналитиками данных, владельцем продукта для определения требований к выгрузке, конвертации и представлению данных в рамках конвейеров данных
— Взаимодействие с архитектором и руководителем группы для обеспечения качества разрабатываемых технических решений обработки данных
— Участие в создании POC с нуля — проектирование, разработка и прототипирование
— Участие во всех циклах разработки — дизайн, кодирование, тестирование и релиз
— Проведение код ревью с целью обеспечения качества разработки
— Применение концепции непрерывной интеграции и доставки (CI/CD)
— Оптимизация конвейеров данных и усовершенствование архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом

О проекте

ДТЭК начал программу цифровой трансформации бизнеса, которая охватит все основные производственные и административные процессы в компании. Для реализации цифровых проектов ДТЭК создал выделенное подразделение — Центр цифровой трансформации. Его сотрудниками станут 70 IT- и digital-специалистов, которых компания намерена привлечь на протяжении 2019 года. Центр будет базироваться в новом кампусе инновационного парка UNIT.City.
В рамках реализации данной стратегии компания набирает штат инженеров данных (data engineers) в команду для создания и внедрения внутренней единой аналитической платформы на основе технологий Big Data, экосистемы Hadoop и платформ облачных вычислений.

В качестве инженеров данных мы ищем специалистов в области разработки программных решений для данных с практическими навыками работы с Hadoop, Spark, NoSQL и экосистемой Big Data с открытым исходным кодом. Нам нужны увлеченные инженеры для реализации и внедрения конвейеров данных, включающих в себя аналитические модели.

Горячие вакансии

Все вакансии