Обязанности и достижения:
А мой опыт входит:
• Разработка и поддержка ETL-пайплайнов на Python с использованием Apache Airflow для оркестрации процессов загрузки и трансформации данных из различных источников, обеспечивая их своевременную доступность для аналитики.
• Загрузка и моделирование данных в структуры Data Vault (до 1 миллиарда записей) и плоские таблицы.
• Рефакторинг существующих сущностей Data Vault в соответствии с изменениями бизнес-процессов, включая глубокий анализ входящих источников данных.
• Участие в инициативах по Data Quality: детальный анализ качества данных для бизнес-витрин и разработка предложений по его повышению.
• Проведение анализа кода дагогенератора (DAG generator) для выявления инцидентов, связанных с недоработанными сущностями, и последующее тестирование нового функционала.
• Эффективное взаимодействие с кросс-функциональными командами в крупной корпоративной среде, обеспечивая качественную коммуникацию в процессе разработки