Middle/Senior Big Data Engineer (Big Data Competence Center) (вакансія неактивна)

Шукаєш команду професіоналів на вершині передових технологій? Шукаєш місце, де б підвищити свою кар’єру у сфері Big Data? Ми запрошуємо тебе приєднатися до нашого центру компетенції Big Data, який є частиною комплексної організаційної структури Sigma Software, яка поєднує різноманітних клієнтів, цікаві проекти та заходи для розвитку твоїх професійних навичок.

ПРОЄКТ

Центр компетенції Big Data — це місце, де ми збираємо найкращі інженерні практики та об’єднуємо їх в одну базу знань, щоб надавати послуги найкращої технічної якості для наших клієнтів.

Ми не просто команда, яка зібралася, щоб написати код. Ми всі готові зробити свій внесок у цю сферу, беручи участь у житті напрямку великих даних та шляхом постійного розвитку власних навичок.

Наша команда підтримує свободу співробітників, незалежність у прийнятті рішень, бажання глибше зрозуміти запит клієнта і побачити корінь проблеми. Ми віримо, що люди, які прагнуть до такого мислення, обов’язково досягнуть успіху як визнані професіонали та рушійна сила розвитку Big Data в Україні.

Якщо у вас є сміливість стати частиною першокласної спільноти Big Data в Україні, тоді хапайте свій шанс і давайте творити історію разом!

ОБОВʼЯЗКИ

• Внесок у дослідження сучасних технологій і розробку складних рішень, підтримка культури інновацій з огляду на питання безпеки, масштабованості та надійності
• Робота з сучасним стеком даних, створення добре розроблених технічних рішень і надійного коду, впровадження процесів управління даними
• Робота та професійне спілкування з командою замовника
• Взяття на себе відповідальності за надання основних функцій рішення
• Участь у процесі збору та уточнення вимог, пропозиція оптимальних стратегій архітектури, вправління провадженням архітектури даних
• Розробка основних модулів і функцій, розробка масштабованих і економічно ефективних рішень
• Виконання перевірок коду, написання модульних та інтеграційних тестів
• Масштабування розподіленої системи та інфраструктури на наступний рівень
• Створення платформи даних з використанням потужності сучасних хмарних провайдерів (AWS/GCP/Azure)

ДОДАТКОВІ ОБОВʼЯЗКИ

• Розробка потокових конвеєрів Micro Batch/Real-Time (лямбда-архітектура)
• Робота над POC для перевірки запропонованих рішень і міграцій
• Управління переходом на сучасну технологічну платформу, надання технічного керівництва
• Дотримання методів CI/CD, допомога впроваджування кращих практик в команді
• Сприяння розвитку підрозділу, наставництво інших членів команди (необов’язково)
• Оптимізація інженерних процесів
• Розробка складних процесів ETL для аналітики та керування даними, стимулювання масового впровадження

ВИМОГИ

• 4+ роки досвіду роботи з Python та SQL
• Досвід роботи з AWS, зокрема API Gateway, Kinesis, Athena, RDS і Aurora
• Досвід створення конвеєрів ETL для аналітики та внутрішніх операцій
• Досвід створення внутрішніх API та інтеграції із зовнішніми API
• Робота з операційною системою Linux
• Ефективні навички спілкування, особливо для пояснення технічних концепцій нетехнічним бізнес-лідерам
• Бажання працювати в динамічній, науково-орієнтованій команді
• Досвід роботи з концепціями розподілених програм і інструментами DevOps
• Відмінні навички письма та спілкування
• Можливість усунення несправностей

БУЛО Б ПЛЮСОМ

• 2+ роки досвіду роботи з Hadoop, Spark і Airflow
• Досвід роботи з DAG та інструментами оркестрування
• Досвід розробки сховищ даних на основі Snowflake
• Досвід розробки конвеєрів даних, керованих подіями

__________________________________________________________________________________________________________

Are you looking for a team of professionals on the top of cutting-edge technologies? Are you on the lookout for a place to boost your Big Data career? We are inviting you to join our Big Data Competence Center, which is a part of Sigma Software’s complex organizational structure that combines various clients, interesting projects and activities to grow your professional skills.

PROJECT

Big Data Competence Center — is a place where we collect the best engineering practices and unite them into one knowledge base to provide the best technical excellence services for our clients.

We are not just a team gathered to write a code. We are all willing to contribute to the field either by participating in the life of a Big Data Unit, or by constantly growing our own skills.

Our team highly supports employees’ freedom, independence in decision making, desire to deeply understand client’s request and see the root of the problem. We believe that people who are striving to this mindset are bound to succeed as an acclaimed professional & driving force of Big Data development in Ukraine.

If you have the courage to become the part of the top-notch Big Data community in Ukraine, then grab your chance and let’s make some history together!

REQUIREMENTS

• 4+ years of experience with Python and SQL
• Experience with AWS, specifically API Gateway, Kinesis, Athena, RDS, and Aurora
• Experience building ETL pipelines for analytics and internal operations
• Experience building internal APIs and integrating with external APIs
• Working with Linux operational system
• Effective communication skills, especially for explaining technical concepts to nontechnical business leaders
• Desire to work on a dynamic, research-oriented team
• Experience with distributed application concepts and DevOps tooling
• Excellent writing and communication skills
• Troubleshooting and debugging ability

WOULD BE A PLUS

• 2+ years of experience with Hadoop, Spark, and Airflow
• Experience with DAGs and orchestration tools
• Experience with developing Snowflake-driven data warehouses
• Experience with developing event-driven data pipelines

RESPONSIBILITIES

• Contributing to modern technologies investigations and complex solutions design, supporting a culture of innovation considering matters of security, scalability, and reliability
• Working with modern data stack, producing well-designed technical solutions and robust code, implementing data governance processes
• Working and professionally communicating with customer’s team
• Taking up responsibility for delivering major solution features
• Participating in requirements gathering & clarification process, proposing optimal architecture strategies, leading the data architecture implementation
• Developing core modules and functions, designing scalable and cost-effective solutions
• Performing code reviews, writing unit and integration tests
• Scaling the distributed system and infrastructure to the next level
• Building data platform using power of modern cloud providers (AWS/GCP/Azure)

EXTRA RESPONSIBILITIES

• Developing the Micro Batch/Real-Time streaming pipelines (Lambda architecture)
• Working on POCs for validating proposed solutions and migrations
• Leading the migration to modern technology platform, providing technical guidance
• Adhering to CI/CD methods, helping implement best practices in the team
• Contributing to unit growth, mentoring other members in the team (optional)
• Owning the whole pipeline and optimizing the engineering processes
• Designing complex ETL processes for analytics and data management, driving the massive implementation