Обязанности и достижения:
Работала в 2х крупнейших проектах интегратора: занималась миграцией хранилища с Oracle на Greenplum в ведущем международном банке "OTP bank" и реализацией витрин и разработкой автоматизированных дашбордов полного цикла, включая ETL пайплайны, для Почтатеха.
Работала в больших командах с (аналитики DWH, разработчики, архитекторы, бизнес-аналитики). Отвечала за коммуникацию с заказчиком, разработку документации, интеграцию сервисов, миграцию данных и инструментов, а также занималась прототипированием и разработкой DWH и ETL пайплайнов.
Подробнее о проектах:
1. Разработка пилотов, продуктовых отчетов и документации для реализации витрин для Почтатеха.
- Занималась проработкой требований и выявлением потребностей бизнеса, формулированием BRD, составление SRS-документации и взаимодействие с заинтересованными сторонами.
- В качестве главного BI-разработчика проводила полный цикл разработки автоматизированных дашбордов, начиная с построения ETL пайплайнов на базе Airflow, разработке OLAP-кубов и до внедрения визуализаций в BI-платформах, таких как Qlik Sense и LuxMS.
- Оптимизировала процессы загрузки данных через DAGs в Airflow, а также разработке SQL-кубов для платформы LuxMS.
- Занималась миграцией существующей отчетности с платформы Qlik Sense на LuxMS.
- Выполняла приёмку и тестирование, а также проводила контроль целостности решения и review требований, сформированных вендором.
В результате - успешная реализация пилотов и отчетов, проведена миграция с Qlik Sense на LuxMS, и собрана техническая документация.
2. Банковский проект по миграции ХД с Oracle на Greenplum
- Как технический эксперт, занималась проработкой ТЗ и обсуждением с заказчиком возможности восстановления бизнес-логики, апдейта legacy кода и создания документации для разработки.
- Анализировала legacy (Oracle), занималась поиском процедур и пакетов для понимания бизнес алгоритмов (BitBacket);
- Проводила отбор необходимых атрибутов переносимых таблиц старого хранилища, выявление обоснования и использования таблиц в отчетности у бизнес-заказчика
- Занималась проектированием и реализацией структур данных, алгоритмов загрузки и обработки данных в ХД;
- Написала документацию, включая архитектурные диаграммы, описание структур баз данных, алгоритмов обработки данных и др.;
- Описывала логическую и физическую модели DWH и сопровождение документации в части хранилища данных;
- Составляла ТЗ для развития детального и витринного уровней DWH (Jira, Confluence, Airflow);
- Реализовывала изменения и тестировала на стороне DWH, контролируя качество загрузки данных.
В результате:
- провела по согласованию с архитектором перенос данных от источника и раскладка по слоям в хранилище (модель Data Volt 2.0),
- способствовала развитию отчетности стрима Риски,
- с нуля написала документацию с восстановлением соответствия кода процедур и бизнес-логики.
Стек: Hive, Vertica, ClickHouse, ArenaData для работы с данными, Airflow для ETL, GitLab для контроля версий, BI-платформы Qlik Sense и LuxMS BI.
Стек: Hive, Vertica, ClickHouse, ArenaData
ETL: Airflow, GitLab
BI: Qlik Sense, Luxms BI
Проекты успешно завершены.