Обязанности и достижения:
- Разработал систему ежедневных отчётов на ClickHouse и PostgreSQL с доставкой через FTP, SFTP, email, Telegram и S3 (CSV, XLSX). Сократил время подготовки с 2–3 часов до 5–10 минут.
- Оптимизировал более 200 ETL-задач, ускорив обработку в 3–5 раз и снизив нагрузку на серверы.
- Настроил и поддерживаю свыше 500 ежедневных автовыгрузок данных, обеспечил плавную миграцию на новый сервер без потерь и сбоев.
- Создал CLI-приложение для формирования отчётов из SQL-скриптов с YAML-конфигурацией, уменьшив время формирования отчёта с десятков минут до секунд.
- Разработал API и веб-интерфейс для менеджеров с фильтрацией, экспортом и полной валидацией данных (Pydantic).
- Реализовал API для интеграции с Census, VK, Yandex, Tinkoff: обработка входящих данных, хеширование и передача.
- Создал документацию и гайды, сократив время адаптации новых сотрудников с месяцев до дней.
- Внёс улучшения в инфраструктуру: администрирование Linux, мониторинг (Kestra, Zabbix, Grafana), автоматизация очистки хранилища
- Настроил оркестрацию задач с Kestra, организовал резервное копирование и миграции БД.