Обязанности и достижения:
Разработчик
Май 2023 — сейчас (2 года и 8 месяцев)
Проектирование, развитие и сопровождение data-платформ и data pipelines для аналитических и отчётных систем.
Построение и поддержка ETL / ELT-пайплайнов для загрузки данных в DWH и Data Lake.
Участие в миграции аналитической платформы с MS SQL Server на Data Lake (S3) + Trino (Presto SQL).
Разработка и поддержка многоуровневых моделей данных и трансформаций с использованием dbt / sqlmesh.
Оркестрация data-процессов с помощью Apache Airflow (разработка DAG’ов, расписания, мониторинг).
Интеграция данных из различных источников: реляционные БД, REST API, файловые источники.
Разработка загрузчиков и трансформаций данных на Python + SQL.
Оптимизация производительности обработки данных: SQL-запросы, батч-обработка, партиционирование, формат Parquet.
Разработка и оптимизация хранимых процедур (T-SQL, PL/pgSQL, PL/SQL).
Реализация подходов к качеству данных (DQ), логированию и обработке ошибок.
Поддержка и развитие data-решений в период опытной и промышленной эксплуатации.
Ведение технической и проектной документации.
Оценка задач, участие в планировании и взаимодействие с аналитиками, BI- и backend-командами.
Контроль версий и командная разработка с использованием Git.