Чем нужно будет заниматься?
Оптимизировать Spark Streaming джобы.
Трансформировать старый ETL из родного overnight batching в модный молодёжный realtime streaming на Spark3/Flink.
Создавать пайплайны NRT обработки данных для аналитики и рекомендаций.
Подключать новые источники событий.
Внедрять Data Quality Gates и лучшие практики работы с данными.
Что мы ожидаем от кандидата:
- Релевантный опыт работы на scala/ java от 2-х лет.
- Практический опыт работы с spark, Flink, hadoop, kafka.
- Опыт работы с stream и batch обработкой данных.
- Знакомство с kubernetes и опыт его использования в работе.
Будет плюсом:
- Python: у нас много кода на питоне, но уверенно идем к скала платформе.
- Опыт разработки инструментов контроля качества данных.
- Опыт работы с airflow.
- Опыт взаимодействия с Presto/Trino, clickhouse, cassandra, Scylla, GreenPlum.
Что мы предлагаем?
· Профессиональный, карьерный и финансовый рост;
· Постоянная поддержка HR и менеджеров;
· ДМС со стоматологией после успешного прохождения испытательного срока;
· Посещение профильных конференций, семинаров, курсов повышения квалификации;
· Полное соблюдение ТК РФ;
· Работа удаленная.