Чем нужно будет заниматься? Оптимизировать Spark Streaming джобы. Трансформировать старый ETL из родного overnight batching в модный молодёжный realtime streaming на Spark3/Flink. Создавать пайплайны NRT обработки данных для аналитики и рекомендаций. Подключать новые источники событий. Внедрять Data Quality Gates и лучшие практики работы с данными.
Что мы ожидаем от кандидата:
Релевантный опыт работы на scala/ java от 2-х лет.
Практический опыт работы с spark, Flink, hadoop, kafka.
Опыт работы с stream и batch обработкой данных.
Знакомство с kubernetes и опыт его использования в работе.
Будет плюсом:
Python: у нас много кода на питоне, но уверенно идем к скала платформе.
Опыт разработки инструментов контроля качества данных.
Опыт работы с airflow.
Опыт взаимодействия с Presto/Trino, clickhouse, cassandra, Scylla, GreenPlum.
Что мы предлагаем? · Профессиональный, карьерный и финансовый рост; · Постоянная поддержка HR и менеджеров; · ДМС со стоматологией после успешного прохождения испытательного срока; · Посещение профильных конференций, семинаров, курсов повышения квалификации; · Полное соблюдение ТК РФ; · Работа удаленная.