Обязанности и достижения:
За время работы реализовано 5 проектов:
- Автоматизированный ETL-пайплайн для обработки и загрузки данных рекламных кампаний, на базе Apache Airflow.
Модульная система генерации и дистрибуции аналитических отчетов. Асинхронная генерация отчетов успешно загруженных данных. Доставка отчетов клиентам через различные каналы (email, выгрузка на SFTP, публикация в S3).
- Сервис управления очередью запросов к кластеру аналитических БД. Приложение (FastAPI), которое выступало единой точкой для выполнения SQL-запросов аналитиков и менеджеров. Реализована очередь с помощью Celery + Redis, контроль нагрузки БД. Механизм кэширования выполняемых запросов в Redis, что сократило время их повторного получения на 95%.
- Разработка высоконагруженного дашборда для мониторинга рекламных кампаний в реальном времени. Backend на FastAPI и админ-панели на React для мониторинга рекламных кампаний в реальном времени.
- Миграция и контейнеризация legacy-сервисов с повышением отказоустойчивости. Выполнил полный цикл переноса унаследованных (legacy) монолитных сервисов на новые серверы компании с их последующей контейнеризацией с использованием Docker и оркестрацией через Docker Compose.
Так же:
- С августа 2024 года управление командой из 4 человек: организация рабочего процесса по Kanban, проведение код-ревью, наставничество.
- Оптимизация затрат на 30% за счет рефакторинга тяжелых SQL-запросов (анализ через EXPLAIN, создание индексов) и внедрения многоуровневого кэширования с использованием Redis.
- Проектирование и оптимизация схем данных в PostgreSQL и ClickHouse (выбор движков таблиц, партиционирование). Написание сложных SQL-запросов (оконные функции, CTE).
- Организация ETL-процессов: хранение, нормализация, загрузка данных.
- Внедрение лучших практик ООП и принципов SOLID в командной разработке, проведение код-ревью с акцентом на качество архитектуры.
Ключевые технологии:
Языки: Python, Go, JavaScript
Backend: React, FastAPI, Django/Django REST Framework, Airflow, Celery
Базы данных: PostgreSQL, ClickHouse, Redis
Инфраструктура: Docker, Docker-compose, Nginx, AWS, SSH/SFTP
Инструменты: Linux, Bash, Git, Dbeaver, Grafana, Alembic