Data engineer, ML (машинное обучение), Архитектор / разработчик БД, java

Был больше месяца назад

По договорённости

Соискатель скрыл дату рождения, cостоит в браке, есть дети

Москва, удаленная работа, готов к переезду

Павелецкая

Серпуховская

Занятость

полная занятость

Гражданство

Россия

Контакты

Телефон

Почта

Будут доступны после открытия

Профессиональные навыки

Scala (Basic)
Spark
MS SQL
Oracle Pl/SQL
Big Data/DE: PySpark, Hadoop, Hive
Показать еще

Фото, имя и контакты доступны только авторизованным пользователям

Опыт работы 27 лет и 4 месяца

- Октябрь 2021 – работает сейчас
- 4 года и 2 месяца
Старший разработчик
It Интегратор, Москва
Обязанности и достижения:
Формирование витрин данных в hadoop, сквозная аналитика средствами spark (scala). Разработка dag (python), подключение разных систем (логирование, репликации) Настройка connection, vars, dags в airflow Сверки данных на t-sql, spark (hive) sql. Проектирование и создание табулярных моделей в ssas. Компоновка отчетов в PowerBI.
- Декабрь 2011 – сентябрь 2021
- 9 лет и 10 месяцев
Главный разработчик MS SQL, Oracle, java
БД Открытие, СберТех, Integro Technologies, ИЦБТ, ДЕВИНО, АКБ Балтика, Директ ТВ, Москва
Обязанности и достижения:
Доработка микросервисов на Java (перечитывание измененного configmap сервисом и применение новых параметров в процессе работы). Небольшие скрипты для OpenShift/Kubernetes/Docker. Новые отчеты для Grafana. CI/CD – Jenkins/Git Обмен данными через пайпы (C#)/ ServiceBroker: подготовка буферных таблиц, queue, витрин данных, хранимых процедур, конфигурирование сервисов. Работа с сервисами: создание хранимых процедур для бэк/фронт офиса. Оптимизация: анализ плана запросов, исследование производительности вариантов запросов, рефакторинг кода. Проект автоматического формирования возможного портфеля ценных бумаг с заданной доходностью для клиентов (T-SQL: архитектура БД, процедуры, алгоритмы расчета с использованием вероятностной модели). Фильтрация нецензурных логинов при регистрации на сайте (T-SQL: справочник русских слов, подмена букв псевдосимволами (}|{ = Ж) /английский транслит, анализ и разбор строк). Python: формирование итогового логотипа (картинки) из нескольких входящих; Java: небольшие веб-сервисы, в основном вызов определенной хранимой процедуры. CI/CD: TeamCity/Git Разработка ETL (внутренний продукт от Lufthansa на базе Kubernetes) процессов обмена данными и их мониторинга. Интеграция систем по учету авиа-пассажирских перевозок. Используемая СУБД Oracle 11g. Проектирование архитектурных решений, их исследование. Доработка хранилища. Оптимизация медленно выполняющегося кода: ускорение времени выполнения с 20 часов до 1 минуты на таблицах 200 - 700 млн записей. Обмен данными м/у СУБД Oracle/FireBird. Партиционирование таблиц, изменение параметров партиций на лету. Обмен данными через IBM MQ. Среда разработки IBM App Connect. Использование возможностей ESQL. Elastic Search для хранения json - чтение, изменение. Эпизодические небольшие web-приложения на Java / Spring Boot / Hibernate / Vaadin / MySQL. Автоматизация банковской управленческой и строгой отчетности на T-SQL/ PL-SQL. Организация инкрементальных загрузок данных в хранилище из внешних источников (Way4, Afina, Diasoft) средствами SSIS, T-SQL, PL-SQL. Синхронизация данных м/у источниками и хранилищем. Проектирование структуры данных DWH. Проект по организации загрузки/выгрузки больших объемов в ХД за минимальное время (многопоточность через jobs, секционирование, динамический SQL). Разработка структуры, реализация хранилища данных DWH. Оптимизация запросов/хранимых процедур для базы 5 Тб (10 миллиардов записей, ежедневный прирост 5 - 50 миллионов записей). Расширение функционала в проекте по быстрой выдаче кредитов: реализация новых кредитных продуктов и доработка существующих в интеграционном решении (Java +jBoss +MS SQL +Diasoft NT5); Используемые технологии: Java, Hibernate, Ant, jBoss, log4j; среда разработки: Eclipse; Разработка, реализация и поддержка корпоративных интерактивных сайтов (реализация: T-SQL, C#/ASP.NET 2.0, HTML, JavaScript, CSS); Постановка, контроль выполнения задач отделом из 3-х человек. Разработка обмена данными м/у базами CRM Terrasoft и 1С на T-SQL (контрагенты, номенклатура, реализация товаров и услуг...). Восстановление работоспособности конфигурации 1С 8.2 средствами SQL. Настройка и администрирование серверов MS SQL, 1С, работающих в режиме 24x7. Поиск узких мест Perfmon-ом, Profiler-ом. Создание пакетов SSIS для загрузки/выгрузки данных, C# скрипты. Подготовка к переводу DWH на другой источник данных. Миграция пользователей м/у SQL серверами. Составление конфигурации сервера.
- Август 1998 – ноябрь 2011
- 13 лет и 4 месяца
Менеджер проектов, разработчик 1С, инженер по коммутационному оборудованию
ОАО "ГлавМосСтрой", фриланс, ОАО "Вымпелком", ООО "КогалымНИПИнефть", ЗАО "Курганский Сотовый Телефон", Москва
Обязанности и достижения:
Создание/доработка документов в различных конфигурациях 1С 7.7/8.2. Настройка учетной политики. Отчеты средствами СКД. Разработка ролей с ограничением доступа к данным, RLS; Программирование на T-SQL, VBA, Delphi. Администрирование баз 1С в MSSQL (бэкапы/восстановление баз, ускорение работы 1С средствами MS SQL). Проекты 1С: 1) перенос данных из 1С ЗуП 8.1 в SAP HR: - составление плана работ и тестирования; - контроль тестирования; - перенос данных средствами 1С; 2) переводу конфигурации 1С:Комплексная 7.7 в 1С: Бухгалтерия 7.7; 3) переносы остатков из различных конфигураций 1С: ТиС 7.7 в новые 1С: ТиС 7.7; 4) полный перенос данных (без сворачивания) из 1С 7.7 Бух, Комплексная/8.2 УПП в новые конфигурации с последующим проведением и сверкой. Телефония: Создание биллинговой системы по тарификации звонков на MS Access, проектирование структуры БД; Создание программы по переносу счетов на оплату из базы данных под MS Access в 1С:Бухгалтерия 6.0; Обслуживание сотовой связи коммутатора AXE-810, КБС-24; Маршрутизация трафика; IMSI, Би, pre - анализ; загрузка софта в базовые станции Ericsson, распределение частот по секторам, выделение тайм-слотов под сигнальный трафик, проверка работоспособности; сбор статистических данных по потокам и базовым станциям (отказы, перегрузки, нагрузка) средствами системы Business Objects (программирование новых отчетов); прописывание и подключение потоков Е1, STM (сигнализация ОКС7, трафик); совместное тестирование соединений с другими операторами; написание скриптов в WinFIOL, Visual Basic, Delphi по автоматизации задач по обслуживанию AXE-810; консультации пользователей по использованию ПО; Совмещение должности "Логистик": расчет поставок и заказ необходимого оборудования, оптимизация размещения оборудования на складе.