Senior Data Engineer (вакансія неактивна)

Ми запрошуємо Senior Data Engineer доєднатися до команди IT Craft для участі в healthcare-проєкті та побудови й підтримки data-інфраструктури, що лежить в основі AI-driven платформи у сфері естетичної медицини.

Роль зосереджена на розробці надійних data pipeline, управлінні централізованим data lake на базі AWS Lake Formation і забезпеченні високої якості обробки як структурованих, так і неструктурованих медичних даних. Ви тісно співпрацюватимете з командами data science, ML та backend для створення масштабованих, безпечних і відповідних регуляторним вимогам data-рішень.

Задачі:

• Проєктування та реалізація масштабованих data pipeline для різних healthcare-джерел із використанням AWS-сервісів;
• Побудова та підтримка централізованого data lake на базі AWS Lake Formation для безпечного зберігання структурованих і неструктурованих медичних даних;
• Розробка процесів ingestion, трансформації та обробки мультимодальних healthcare-даних (медичні зображення, клінічна документація, operational data);
• Реалізація preprocessing-пайплайнів для неструктурованих даних із використанням Bedrock Data Automation та LlamaIndex;
• Побудова ETL/ELT-процесів із дотриманням вимог data governance та безпеки;
• Впровадження систем контролю якості даних і механізмів валідації;
• Підтримка RAG-систем через оптимізацію зберігання та доступу до даних;
• Розробка та підтримка data crawler для збору спеціалізованого медичного контенту;
• Забезпечення відповідності HIPAA на всіх етапах роботи з даними;
• Співпраця з data science та ML-командами для підготовки якісних даних для навчання моделей.
  
  

Вимоги:

• 4+ роки досвіду роботи на позиціях Data Engineer;
• Практичний досвід роботи з AWS data-сервісами (S3, Glue, Lake Formation, Athena, EMR);
• Впевнені знання Python, SQL і фреймворків для обробки даних;
• Досвід роботи з data lakehouse-архітектурами та ETL-пайплайнами;
• Досвід обробки неструктурованих даних і побудови preprocessing-процесів;
• Досвід використання AWS analytics-сервісів (Glue Catalog, Glue ETL, Athena);
• Знання фреймворків для контролю якості даних (Great Expectations, Glue Data Quality);
• Розуміння роботи з vector databases та генерації embeddings для LLM;
• Знання вимог безпеки даних і HIPAA;
• Досвід роботи з інструментами оркестрації даних (Dagster, Airflow, AWS MWAA).

Буде плюсом:

• Досвід роботи з Apache Iceberg для організації data lakehouse;
• Досвід використання Dagster для оркестрації даних;
• Практичний досвід з AWS CDK (Infrastructure as Code);
• Досвід підготовки даних для LLM-застосунків (text extraction, semantic chunking);
• Досвід побудови real-time data streaming-архітектур;
• Розуміння структур healthcare-даних і медичної термінології;
• Досвід multi-account data governance в AWS;
• Досвід роботи з HIPAA-compliant healthcare-системами.

IT Craft пропонує:

• Конкурентну оплату відповідно до кваліфікації;
• Гнучкий графік, дистанційну роботу;
• Можливість кар’єрного росту;
• Компенсацію для занять спортом;
• Внутрішнє навчання англійської мови;
• Дружню команду відкритих людей.

Надішліть, будь ласка, своє резюме.

We’re seeking an experienced Senior Data Engineer to join a healthcare project and build, maintain, and evolve the data infrastructure that powers an AI-driven healthcare platform.

The role focuses on designing robust data pipelines, managing a centralized data lake architecture using AWS Lake Formation, and ensuring high-quality processing of both structured and unstructured healthcare data. You’ll work closely with data science, ML engineering, and backend teams to deliver scalable, secure, and compliant data solutions for aesthetic medicine applications.

Responsibilities:

• Design and implement scalable data pipelines for diverse healthcare data sources using AWS services;
  Build and maintain a centralized data lake using AWS Lake Formation for secure storage of structured and unstructured medical data;
• Develop data ingestion, transformation, and processing workflows for multimodal healthcare data, including medical images, clinical documentation, and practice data;
• Implement preprocessing pipelines for unstructured data using tools such as Bedrock Data Automation and LlamaIndex;
• Build and maintain ETL/ELT processes with proper data governance and security controls;
• Implement data quality monitoring systems and validation frameworks;
• Support RAG system implementation with optimized data storage and retrieval mechanisms;
• Develop and maintain data crawlers for collecting domain-specific medical content;
• Ensure HIPAA compliance across all data handling and processing workflows;
• Collaborate with data scientists and ML engineers to provide high-quality data for model training and AI features.
  
  

Required Qualifications:

• 4+ years of experience in data engineering roles;
• Strong experience with AWS data services (S3, Glue, Lake Formation, Athena, EMR);
• Proficiency in Python, SQL, and data processing frameworks;
• Experience with data lakehouse architectures and ETL pipeline development;
• Strong background in managing unstructured data pipelines and preprocessing workflows;
• Experience with AWS analytics services (Glue Catalog, Glue ETL, Athena);
• Knowledge of data quality frameworks (Great Expectations, Glue Data Quality);
• Familiarity with vector databases and embedding generation for LLMs;
• Understanding of data security and HIPAA compliance requirements;
• Experience with data orchestration tools (Dagster, Airflow, AWS MWAA).

Preferred Qualifications:

• Experience with Apache Iceberg table format for data lakehouse organization;
• Experience using Dagster for data orchestration;
• Hands-on experience with AWS CDK for Infrastructure as Code;
• Background in preprocessing data for LLM applications (text extraction, semantic chunking);
• Experience with real-time data streaming architectures;
• Familiarity with healthcare data structures and medical terminology;
• Experience with multi-account AWS data governance;
• Background in healthcare data engineering or HIPAA-compliant systems.

IT Craft offers:

• Competitive compensation according to the qualifications;
• Flexible working hours, remote work;
• Opportunity for career growth;
• The reward for sport activities;
• In-house English training;
• A friendly team of open-minded people.

Please send your CV.