Обязанности и достижения:
Обязанности:
- Разработка и поддержка приложений на базе Apache Flink для анализа данных в реальном времени.
- Интеграция и адаптация Apache Kafka с целью обеспечения потоковой передачи данных.
- Модификация, доработка и адаптация Python/ Java
- Адаптация и модификация реляционных и нереляционных баз данных.
- Модификация баз данных в форме управления и анализа временных рядов, с использованием InfluxDB.
- Доработка и адаптация баз данных в форме применения принципов распределенных вычислений и обработки больших данных.
- Разработка и поддержка систем на базе Flux Streaming.
Достижения:
- Создал приложение для DataStream обработки данных из Kafka с использованием технологий Apache Flink 1.20.1, Java 11, Spring Boot.
- Перенес обработку данных из InfluxDB Tasks в приложение на Apache Flink. Осуществил переход с батчевой обработки данных на потоковую.
- Настраивал и оптимизировал задачи в InfluxDB для автоматической обработки данных и уменьшения нагрузки на систему.
- Оптимизировал InfluxDB-запросы для ускорения работы дашбордов Grafana
- SQL-запросы в PostgreSQL для получения данных, используемых в Grafana-дэшбордах.
- Flux-запросы в PostgreSQL для получения данных, используемых в Grafana-дэшбордах.
- Создал новые, оптимизировал и универсализировал существующие дашборды в Grafana, улучшив их производительность и удобство использования
- Оптимизировал механизмы агрегации и обработки данных для дашбордов, что позволило снизить время загрузки графиков и уменьшить нагрузку на базу
- Разработал систему автоматического оповещения в Grafana, настроив отправку уведомлений в Microsoft Teams и Telegram
- Оптимизировал алертинг, чтобы уменьшить количество ложных срабатываний и повысить релевантность уведомлений
- Написал Python-скрипты для получения и обработки данных из API и их последующей передачи в Kafka. Универсализировал существующие скрипты
- Разрабатывал конфигурации для Telegraf, для обеспечения автоматизированного сбор метрик, обработки и передачи данных в InfluxDB. С последующей разверткой в Argo
- Разрабатывал камлеты Apache Camel для фильтрации данных с Kafka. С последующей разверткой в Argo
- Перенес логику отбора данных из PostgreSQL с Scala-script в InfluxDB Tasks