Senior Big Data Engineer (Web and Mobile Unit) (вакансія неактивна)

Шукаєш команду професіоналів, які працюють із найсучаснішими технологіями? Шукаєш місце для розвитку своєї кар’єри у сфері Big Data? Запрошуємо тебе приєднатися до нашого Центру компетенції Big Data, який є частиною складної організаційної структури Sigma Software, що поєднує численних клієнтів, цікаві проєкти та заходи, спрямовані на розвиток твоїх професійних навичок.

Ми працюємо в різних сферах бізнесу та з широким колом клієнтів (з тими, що не мають NDA, можна ознайомитися тут: sigma.software/case-studies).

Наша команда високо цінує свободу співробітників, незалежність в прийнятті рішень та прагнення глибоко зрозуміти запит клієнта та побачити корінь проблеми. Ми віримо, що люди, які прагнуть мислити подібним чином, неодмінно досягнуть успіху, ставши визнаними професіоналами та рушійною силою розвитку Big Data в Україні.

ПРОЄКТ

Центр компетенції Big Data — це місце, де ми збираємо найкращі інженерні практики та об’єднуємо їх в єдину базу знань, забезпечуючи найкращі послуги технічної досконалості нашим клієнтам.

Ми не просто команда, яка зібралася, щоб писати код. Ми всі прагнемо зробити свій внесок у цю сферу, беручи участь у житті відділу Big Data або постійно розвиваючи власні навички. У нашому відділі ти можеш бути Big Data інженером/тімлідом/архітектором, а можеш стати ментором, або людиною, яка впроваджує всі нові технології в команді, або просто активним слухачем, якщо бажаєш. Що б ти не вирішив, будь впевнений: ти не один. Чи ти стикнувся зі складною задачею, неординарним запитом від клієнта чи наступним проєктом на вибір — у тебе завжди буде наставник та колеги-однодумці, які допоможуть знайти найкраще рішення.

Ми використовуємо нестандартний підхід, наймаючи людей не під конкретний проєкт, а в першу чергу в нашу команду. Це дає можливість познайомитися з тобою ближче і гарантувати, що ми забезпечимо ідеальну відповідність між потребами клієнта та твоїми професійними інтересами.

Якщо ти готовий стати частиною першокласної Big Data-спільноти в Україні, скористайся своїм шансом і почнемо творити історію разом!

ВИМОГИ

• 5+ років досвіду роботи з Python та SQL
• Досвід роботи з AWS, зокрема з API Gateway, Kinesis, Athena, RDS, та Aurora
• Досвід побудови ETL-конвеєрів для аналітики та внутрішніх операцій
• Досвід створення внутрішніх API та їх інтеграція в зовнішні
• Робота з операційною системою Linux
• Ефективні комунікативні навички, особливо для пояснення технічних концепцій нетехнічним бізнес-лідерам
• Бажання працювати в динамічній, орієнтованій на дослідження команді
• Досвід роботи з концепціями розподілених додатків та інструментарем DevOps
• Відмінні письмові та комунікативні навички
• Здатність до усунення помилок та несправностей

ПЕРЕВАГОЮ БУДЕ:

• 2+ років роботи з Hadoop, Spark та Airflow
• Досвід роботи з DAG та інструментами оркестрування
• Практичний досвід розробки сховищ даних на основі Snowflake
• Досвід розробки подієвих конвеєрів даних

ОБОВʼЯЗКИ

• Сприяння дослідженню нових технологій та розробці комплексних рішень, підтримка культури інновацій з урахуванням питань безпеки, масштабованості та надійності з акцентом на розбудові наших процесів ETL
• Робота з сучасним стеком даних, розробка добре продуманих технічних рішень та написання надійного коду, впровадження процесів управління даними
• Робота та професійна комунікація з командою замовника
• Відповідальність за реалізацію основних функцій рішення
• Участь у процесі збору та уточнення вимог, пропонування оптимальних архітектурних стратегій, керівництво впровадженням архітектури даних
• Розробка основних модулів та функцій, проєктування масштабованих та економічно ефективних рішень
• Виконання перевірок коду, написання модульних та інтеграційних тестів
• Масштабування розподіленої системи та інфраструктури на наступний рівень
• Побудова платформи даних з використанням потужностей сучасних хмарних провайдерів (AWS/GCP/Azure)

ДОДАТКОВІ ОБОВʼЯЗКИ:

• Ці обов’язки допоможуть тобі професійно зростати і можуть змінюватися в залежності від проєкту та бажання розширити свою роль в компанії
• Бути в хмарній команді AWS та активно сприяти партнерству
• Розробка потокових конвеєрів Micro Batch/Real-Time (архітектура Lambda)
• Робота над POC для перевірки запропонованих рішень і міграцій
• Керування міграцією на сучасні технологічні платформи, надання технічного керівництва
• Дотримання методів CI/CD, допомога у впровадженні кращих практик в команді
• Сприяння розвитку відділу, менторство інших членів команди (необов’язково)
• Володіння всім конвеєром та оптимізація інженерних процесів
• Розробка складних ETL-процесів для аналітики та управління даними, керування масовим впровадженням

Are you looking for a team of professionals on top of cutting-edge technologies? Are you looking for a place to boost your Big Data career? We invite you to join our Big Data Competence Center, part of Sigma Software’s complex organizational structure that combines various clients, interesting projects, and activities to grow your professional skills.

CUSTOMER
We’re acting in various business domains and working with the top range of clients (those without NDAs can be found here: sigma.software/case-studies).

Our team highly supports employees’ freedom, independence in decision-making, and the desire to deeply understand client’s request and see the root of the problem. We believe that people striving toward this mindset are bound to succeed as acclaimed professionals & driving force of Big Data development in Ukraine.

PROJECT
Big Data Competence Center is where we collect the best engineering practices and unite them into one knowledge base to provide the best technical excellence services for our clients.

We’re not just a team gathered to write code. We all are willing to contribute to the field by participating in the life of Big Data Unit or by constantly growing our skills. In our unit, you can be a Big Data engineer/team lead/architect, or you can become a mentor, or a person behind all the new technologies in the team, or an active listener if you will. Whatever you decide, be sure that you’re not alone. Whether it’s a difficult task, an unordinary client request, or your next project to choose, you’ll always have a mentor & teammates with likewise mindsets to come up with the best solution.

We’re using an unusual approach, hiring people not for a specific project, but, first and foremost, to join our team. This gives us a chance to know you better and ensure that we’ll provide a perfect match between the client’s needs & your professional interests.

If you have the courage to become a part of the top-notch Big Data community in Ukraine, grab your chance, and let’s make some history together!

REQUIREMENTS

• 5+ years of experience with Python and SQL
• Experience with AWS, specifically API Gateway, Kinesis, Athena, RDS, and Aurora
• Experience building ETL pipelines for analytics and internal operations
• Experience building internal APIs and integrating with external APIs
• Working with Linux operational system
• Effective communication skills, especially for explaining technical concepts to nontechnical business leaders
• Desire to work in a dynamic, research-oriented team
• Experience with distributed application concepts and DevOps tooling
• Excellent writing and communication skills
• Troubleshooting and debugging ability

WILL BE A PLUS

• 2+ years of experience with Hadoop, Spark, and Airflow
• Experience with DAGs and orchestration tools
• Practical experience with developing Snowflake-driven data warehouses
• Experience with developing event-driven data pipelines

RESPONSIBILITIES

• Contributing to new technologies investigations and complex solutions design, supporting a culture of innovation considering matters of security, scalability, and reliability with the focus on building out our ETL processes
• Working with a modern data stack, producing well-designed technical solutions and robust code, and implementing data governance processes
• Working and professionally communicating with the customer’s team
• Taking up responsibility for delivering major solution features
• Participating in requirements gathering & clarification process, proposing optimal architecture strategies, leading the data architecture implementation
• Developing core modules and functions, designing scalable and cost-effective solutions
• Performing code reviews, writing unit and integration tests
• Scaling the distributed system and infrastructure to the next level
• Building data platform using the power of modern cloud providers (AWS/GCP/Azure)

EXTRA RESPONSIBILITIES:

• These responsibilities will help you to grow professionally and can vary depending on the project and the desire to extend your role in the company
• Being in the AWS cloud team and actively contributing to the partnership
• Developing the Micro Batch/Real-Time streaming pipelines (Lambda architecture)
• Working on POCs for validating proposed solutions and migrations
• Leading the migration to modern technology platforms, providing technical guidance
• Adhering to CI/CD methods, helping to implement best practices in the team
• Contributing to unit growth, mentoring other members of the team (optional)
• Owning the whole pipeline and optimizing the engineering processes
• Designing complex ETL processes for analytics and data management, driving the massive implementation