Сучасна диджитал-освіта для дітей — безоплатне заняття в GoITeens ×
Data Science UA is a service company with strong data science and AI expertise. Our journey began in 2016 with the organization of the first Data Science UA conference, setting the foundation for our growth.
9 серпня 2019

Senior Data Engineer (вакансія неактивна)

Київ

Необхідні навички

Основные требования (must have):
*Опыт работы в роли инженера данных не менее 2-х лет;
*Практические навыки проектирования и реализации систем сбора и обработки данных;
*Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области;
*Понимание принципов распределенных вычислений;
*Способность осуществлять исследование данных (data exploration) и взаимодействовать с экспертами предметной области с целью достижения бизнес-целей;
*Глубокое знание SQL и NoSQL, опыт работы с различными СУБД (Oracle / MySQL / PostgreSQL / Cassandra и пр.);
*Практический опыт работы с элементами Hadoop экосистемы;
*Apache Spark: Core, SQL;
*Streaming / Stream Processing;
*Практический опыт работы с Compute Cloud (AWS, Azure и т.п.);
*Java и/или Scala и/или Python

Буде плюсом

*Apache Spark: Streaming, GraphX;
*Apache Ignite;
*Apache Flink;
*Apache (Confluent) Kafka / Apache Pulsar;
*NoSQL (Cassandra / Hbase / Kudu / Impala);
*Indexing engines (Elastic Search / Solr);
*Apache Hive (Tez), Pig;
*AWS: S3, EMR, EC2, Lambda, Kinesis/Kinesis Firehose, IAM, Athena, Glue, DynamoDB, Redshift, Aurora;
*Azure: Blob storage, HDInsight, VM, Functions, Event Hubs etc.;
*Alluxio;
*Gradle.

Пропонуємо

*Официальное оформление;
*Конкурентный уровень з/п;
*Бонус по итогам года работы в компании;
*Работа в ультрасовременном офисе (UNIT.City);
*Возможность применять самые современные технологии;
*Возможность профессионального роста;
*Медицинскую страховку по истечении трехмесячного срока.

Обов’язки

*Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, обработки и структурирования данных для последующего анализа и использования в системе;
*Разработка оптимальной структуры хранения, передачи, предоставления данных по конкретному продукту (подсистеме);
*Разработка и внедрение эффективных механизмов и способов взаимодействия по данным между командами аналитики и ИТ инфраструктуры;
*Взаимодействие с аналитиками данных, владельцем продукта для определения требований к выгрузке, конвертации и представлению данных в рамках конвейеров данных;
*Взаимодействие с архитектором и руководителем группы для обеспечения качества разрабатываемых технических решений обработки данных;
*Участие в создании POC с нуля — проектирование, разработка и прототипирование;
*Участие во всех циклах разработки — дизайн, кодирование, тестирование и релиз;
*Проведение код ревью с целью обеспечения качества разработки;
*Применение концепции непрерывной интеграции и доставки (CI/CD);
*Оптимизация конвейеров данных и усовершенствование архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом.

Про проєкт

Ищем в команду Data Enginner для создания и внедрения внутренней единой аналитической платформы на основе технологий Big Data, экосистемы Hadoop и платформ облачных вычислений. Платформа представляет собой систему управления данными с целью извлечение ценности информации с точки зрения бизнес-задач. Кроме того, система удовлетворяет основным требованиям к масштабируемости, доступности, производительности и безопасности данных.

В качестве инженеров данных мы ищем специалистов в области разработки программных решений для данных с практическими навыками работы с Hadoop, Spark, NoSQL и экосистемой Big Data с открытым исходным кодом. Нам нужны увлеченные инженеры для реализации и внедрения конвейеров данных, включающих в себя аналитические модели.

Гарячі вакансії

Всі вакансії