Data Engineer

Был в этом месяце

По договорённости

40 лет (родился 26 февраля 1985), не состоит в браке, детей нет

Алматы, удаленная работа, готов к переезду: Москва

Занятость

полная занятость

Гражданство

Казахстан

Контакты

Телефон

Почта

Будут доступны после открытия

Профессиональные навыки

Python
SQL
PostgreSQL
Git
Docker
ETL
pandas
Работа с базами данных
Английский язык
Linux
Показать еще

Фото, имя и контакты доступны только авторизованным пользователям

Опыт работы 4 года и 4 месяца

- Сентябрь 2024 – работает сейчас
- 1 год и 3 месяца
Data Engineer
InDrive + Choco Family (проект дарксторов «Рядом»), Алматы
E-com
Обязанности и достижения:
- Настройка DAG-ов AirFlow, извлечение данных из Postgress - Развертываение DBT, организация пайплайна прансформации на стэке DBT + BigQuery - Парсинг внешних источников (сайтов) Python, docker, git. - Развернул в облаке сервис для парсинга внешних источников данных: Python (flask, request, pandas, beautiful soup), Bash; - Для целей аналитики Разработка нового функционала на платформе 1С - сервисы взаимодействия с внешними ресурсами (http-сервисы).
- Август 2023 – сентябрь 2024
- 1 год и 2 месяца
Data Engineer
ChocoFamily, Алматы
E-com
Обязанности и достижения:
- Развернул и настроил "с нуля" DBT как слой трансформации, перенес функционал трансформации из AirFlow в DBT; - В DBT настроил инкриментальную загрузку некоторых таблиц, логирование и тесты; - Разработка парсеров, скраперов на Python (beautifulsoup, selenium, requests) очистка данных в рамках ETL Используемые технологии: Python 3, PyTest (для дагов AirFlow), Git, Gitlab, Docker; Cloud Services: AirFlow, BigQuery, AWS Redshift, DBT.
- Август 2021 – июль 2023
- 2 года
Инженер-программист 1С
ChocoFamily, Алматы
E-com
Обязанности и достижения:
API для получения данных из 1С, взаимодействие с backend, разработка нового функционала на 1С, оптимизация запросов к СУБД

Образование

- Высшее образование
- Дневная/Очная
- 2007
Алматинский университет энергетики и связи
Факультет: Электроэнергетический
Специальность: Светотехника и Источники Света

Обо мне

Дополнительные сведения:

GitHub: https://github.com/nickogee LeetCode: https://leetcode.com/NickolayOgnev/ Есть сертификаты: "AWS Certified Cloud Practitioner" "dbt Fundamentals" Работаю с инструментами ETL (ELT): Airflow, DBT; Облачными хранилищами: BigQuery, RedShift, СУБД: Postgre SQL, MySQL, MSSQL. Более 6 лет работал 1С-разработчиком. Имею действующий сертификат «AWS Certified Cloud Practitioner», “DBT fundamental” Пишу парсеры и скраперы для сбора данных с различных ресурсов. GitLab, Docker, Python. "Вошел в IT" в 2015 - выучился самостоятельно на 1С-программиста, сейчас учусь по направлению Data Science (самостоятельно и онлайн-курсы). Планирую освоить ML-инженерию в дальнейшем, учусь постоянно, считаю что IT-специалист закончится в тот момент, когда решит что он уже узнал достаточно:) В свободное время занимаюсь горным велосипедом, сноубордом, боевым искусством, сейчас осваиваю мото-эндуро.