Москва
Резюме № 56035628
Обновлено 29 октября
no-avatar

Инженер данных

Был больше месяца назад
По договорённости
22 года (родился 04 февраля 2003)
Москва
Условия занятости
Полная занятость
Стандартный график
В офисе/На объекте
Гражданство
не указано
Контакты
Телефон
Будет доступен после открытия
Фото, имя и контакты доступны только авторизованным пользователям

Опыт работы 2 года

    • Январь 2024 – работает сейчас
    • 2 года

    Data Engineer

    Лига цифровой экономики, Москва

    Обязанности и достижения:

    Обязанности и достижения Работал Data Engineer'ом на проектах коммерческих и госзаказчиков. - Разработка и поддержка ETL-процессов для расчёта витрин и отчетности. - Создание DAG'ов в Apache Airflow - Реализация Spark-процессов (PySpark) для обработки и агрегации событий из Kafka, сохранение результатов в ClickHouse и Greenplum. - Чтение сообщений из Kafka: параллельные консумеры управлением оффсетом, дедупликацией и обработкой по батчам. - Разработка витрин в ClickHouse, включая партиционирование, TTL, агрегированные представления. - Автоматизация загрузки данных в хранилище из S3 и внешних API. - Оптимизация Spark-джоб: настройка репартиций, кэширования, контроль размера shuffle. - Логирование процессов и алертинг через Slack-нотификации, отслеживание лагов Kafka. - Участие в ревью SQL-запросов и тестировании ETL-кода. Применяемые навыки Git, PostgreSQL, Python, Docker, Базы данных, Apache Kafka, CI/CD, SQL, Apache Hadoop, Apache Airflow, Apache Spark, ETL, DWH, ClickHouse, Jupyter Notebook, Pandas, Анализ данных, MatPlotLib, Большие данные

Условия занятости

  • Подходящие условия занятости
Полная занятость
Стандартный график
В офисе/На объекте
Фото, имя и контакты доступны только авторизованным пользователям
Похожие резюмеВсе 2 похожих резюме
Обновлено 3 октября
no-avatar
Инженер данных50 000 ₽
Обновлено 12 октября
no-avatar
Инженер данныхз/п не указана
Последнее место работы (1 год и 11 мес.)Инженер АсутпМарт 2023 – февраль 2025
Работа в МосквеРезюмеПромышленность, производствоМашиностроение, станкостроениеИнженер

Смотрите также резюме

Поиск работы
Поиск сотрудников
Производственный календарь

Приложение

qrОтсканируйте QR-код и загрузите приложение. Работа найдется быстрее!

Соискателям

Создать резюмеОбразцы резюмеПоиск работыРабота для студентовСоветыКаталог вакансийКонструктор резюмеСписок компаний по индустриямЗарплаты по профессиямКурсыКаталог кадровых агентств

Работодателям

Разместить вакансиюПоиск сотрудниковНайти стажераТарифыСоветы для работодателейКаталог резюме

Партнерам

Реклама на сайтеРекламный кабинетИнтеграционные сервисыЛоготип SuperJobПартнёрская программа

SuperJob

О компанииКонтактыSuperJob.techНовости сервисаРабота в SuperJobИсследованияЗарплатомерПрофориентацияКалькуляторыКарта сайта

Документы

База данных SuperJobРекламный кабинетАгрегатор образовательных курсовИные документы
Общество с ограниченной ответственностью «СуперДжоб» Г.Москва, ул. Дмитровка М, дом 20 ИНН 7702319337 ОКВЭД 63.11.1 vip@superjob.ru +7(495)7907277 Программа ЭВМ SuperJob и Программные модули включены в Реестр российского программного обеспечения (ПО), реестровая запись № 9280 от 20.02.2021г. Программный интерфейс API SuperJob включен в Реестр российского программного обеспечения (ПО), реестровая запись № 11081 от 20.07.2021г.
© 2000–2025 SuperJob