Data Engineer

Был больше месяца назад

По договорённости

Соискатель скрыл дату рождения

Москва

Занятость

полная занятость

Гражданство

не указано

Контакты

Телефон

Почта

Будут доступны после открытия

Профессиональные навыки

Python
SQL
PostgreSQL
Git
ETL
Linux
Docker
pandas
Apache Airflow
ClickHouse
Показать еще

Фото, имя и контакты доступны только авторизованным пользователям

Опыт работы 4 года и 4 месяца

- Июль 2023 – октябрь 2025
- 2 года и 4 месяца
Data Engineer
Сбер, Москва
Обязанности и достижения:
- Сократил количество инцидентов в ETL-пайплайнах (Greenplum, объём 30+ ТБ) на 30% и время устранения (MTTR) на 20% за счёт разработки двух кастомных оркестраторов на Python (async-планировщик + SQLAlchemy) - Обеспечил 10+ успешных и воспроизводимых релизов ML-моделей через Jenkins, Docker, Kubernetes (OpenShift), с безопасным деплоем в прод - Автоматизировал еженедельную отчётность через Jira–Confluence API (сократил 5+ часов в неделю для PM) - Реализовал стабильную передачу данных Greenplum - ClickHouse (через PXF) - Разработал и поддерживал микросервис для репликации Greenplum - Kafka (с помощью Confluent-Kafka), сервис на SOLID - Настраивал мониторинг real-time дашбордов в Grafana и метрик Prometheus в OpenShift для поддержки миграции кластера - Создавал успешную оркестрацию с помощью DAG-ов в Apache Airflow - Проводил ревью pull-request’ов, онбординг новых сотрудников команды
- Март 2022 – июнь 2023
- 1 год и 4 месяца
Data Engineer
Training Data, Москва
Обязанности и достижения:
- Сократил time-to-market биометрических ETL-пайплайнов в 1,5 раза с помощью оркестрации, повысил уровень data governance и стабильность доставки для enterprise-клиентов - Провёл миграцию 5+ ТБ данных между AWS S3-хранилищами без простоев с круглосуточной доступностью данных - Автоматизировал процесс разметки данных с применением GPT и CV, сохранил качество и сократил расходы в 2 раза - Подготовил датасеты для сертификации iBeta ISO 30107 - клиентская модель успешно прошла тестирование
- Июль 2021 – февраль 2022
- 8 месяцев
Junior Data Engineer
Training Data, Москва
Обязанности и достижения:
- Разрабатывал и сопровождал ETL-пайплайны для биометрических данных из краудсорсинговых источников (Toloka - AWS S3 - Postgres) - Автоматизировал проверку и валидацию метаданных, масштабировал процесс контроля качества данных на более чем 500 000 изображений