Обязанности и достижения:
Проект по миграции хранилища данных крупнейшего банка
Перенос с MS SQL на отечественную СУБД Arena Data (Greenplum)
Ключевые достижения и обязанности:
- Обработка больших объемов данных: проектирование и оптимизация ETL-процессов для работы с массивами данных
- Анализ и автоматизация: разбор существующих хранимых процедур, создание аналогичных решений (dag) для повышения эффективности.
- Интеграция и сверка данных: взаимодействие с источниками Oracle, проведение сверок и согласование данных.
- Бизнес-аналитика и сбор требований: проведение интервью с заказчиками, формализация бизнес- и функциональных требований для разработки.
- Планирование и управление задачами: разбиение крупных задач на подзадачи, координация работы команды разработки.
- Разработка и оптимизация: написание SQL-скриптов, ETL-скриптов, маппингов данных, создание моделей и алгоритмов для анализа текстовых данных.
- Контроль качества: проверка корректности реализации, тестирование ETL-процессов и работы хранилищ.
- Взаимодействие с заказчиками: демонстрация результатов, презентации, сбор обратной связи.
- Аналитика и инсайты: поиск закономерностей, взаимосвязей в данных, интерпретация результатов для бизнес-решений.
- Миграция данных: успешное перенос старых систем и хранилищ в новые, обеспечение целостности и скорости работы.
- Анализ данных с использованием языка Python, в частности библиотек pandas и numpy
- Проектирование REST API
Стек технологий:
- Анализ требований: глубокое понимание бизнес-процессов
- Моделирование: UML, BPMN, ERD
- Анализ данных: SQL, Python (pandas, numpy etc.)
- Взаимодействие систем: REST API, Kafka
- Документирование: SRS, TSD, спецификации, пользовательская документация
- Инструменты: Jira, Confluence, Google Docs, MS Word.
- Agile: Scrum, Kanban