#Вакансия #dataengineer #senior #гибрид #удаленнаяработа #офис

Должность: Senior DATA ENGINEER
Работодатель: сервис ЦИАН
Опыт: не менее 3 лет
Формат работы: офис (Москва/Санкт-Петербург), гибрид, удаленка (только РФ)
Заработная плата: обсуждается

Задачи:
- Работа над платформенным решением по обработке данных для внутренних проектов;
- Injection data (raw/parsed layers). Загружаем данные из kafka во внутреннее хранилище для пользователей;
- Airflow интеграция. Своя библиотека для унификации работы с airflow;
- Feature store. Развиваем свой для улучшения метрики ttm проектных команд (ds);
- Другие активности: data catalog, functional testing tool, миграция в k8s;
- Обработка данных и сбор статистики для продуктов команд;
- Подготовка данных для ML;
- Разработка streaming pipeline для продуктовых команд;
- Поддержка решения в PROD;
- Поддержка уже существующих решений.

Необходимые навыки:
- Hadoop от 3-х лет;
- HDFS (какие типы нод за что отвечают, как работает Erasure Coding);
- Spark 3, Python 3.9/3.10, Airflow 2.5, NoSQL DB (Redis, Cassandra), Kafka, Scala (есть небольшой процент задач по Spark Streaming).

Мы предлагаем:
- ДМС с первых дней работы (стоматология, госпитализация, полис ВЗР);
- Ежегодная компенсация спорта;
- 5 day off в год помимо основного отпуска.

Контакты: Юлия @jkomaroff_hr

#вакансии #dataengineer #Spark #Scala3 #Jenkins #Senior

Друзья, всем привет!

Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer.

О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.

Кого ищем:
Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории!
Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю.

Что нужно делать:
• Разработка материалов: лекции, семинары, ДЗ, проекты.
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс).

Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.

Будет большим плюсом:
Опыт в DevOps (Jenkins) и знание пакета MLib в Spark.

Что мы предлагаем:
• За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р.
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.

Подробности
О компании и вакансии по ссылке здесь: Вакансия

Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.iss.one/KaterinkaGl

_____________________

За успешную рекомендацию по традиции бонус! Суммарно 15т.р.: при прохождении тестового 5 т.р., еще 10 т.р. после 2 месяцев хорошей работы. Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!

#вакансия #dataengineer #remote #fulltime #HFT #senior #Python #SQL

🚀 Горячая вакансия Data Engineer в HFT-проект🚀
КА: luckyhunter
Формат работы: remote
Занятость: полная занятость
Вилка: 4000-8000 usd gross (в зависимости от опыта и локации, в которой вы находитесь)

Мы ищем Data Engineer для создания и поддержки основной инфраструктуры данных торговой платформы. Вам предстоит работать с высоконагруженными системами обработки данных, обеспечивать надежность и прозрачность инфраструктуры, а также готовить систему к внедрению новых проектов в области машинного обучения.

Почему это круто:🔥
🔹 Компания заняла заметную долю рынка — до 5% торгового оборота на крупнейших криптобиржах.
🔹 Реальное влияние на мировые финансы — и алгоритмы делают рынок стабильнее и эффективнее.
🔹 Яркая команда, которая горит технологиями и сложными задачками (есть люди из Google, Bloomberg)


🎯 Что предстоит делать:
Разработка, мониторинг и масштабирование надежных дата-пайплайнов для аналитики и ML.
Обеспечение стабильности и отказоустойчивости потоков данных, включая загрузку в хранилище.
Внедрение стандартов качества данных, наблюдаемости и governance.
Сотрудничество с техническими и бизнес-командами для соответствия систем требованиям.
Оптимизация производительности SQL-запросов, workflow и инфраструктуры.


Кого ищем:
🚀 Must Have:
Опыт работы в сфере Data Engineering или backend-инфраструктуры от 5 лет;
Свободное владение Python и SQL;
Практический опыт с ClickHouse (особенно с MergeTree) или аналогами;
Знакомство с инструментами оркестрации потоков данных: Argo Workflows, Apache Airflow, Kubeflow;
Понимание архитектуры Kafka — топики, партиции, продюсеры и консьюмеры;
Опыт работы с CI/CD пайплайнами (GitLab CI, ArgoCD, GitHub Actions);
Навыки работы с системами мониторинга и BI-инструментами, такими как Grafana;
Хорошее знание английского языка от уровня B2.

🌟 Будет плюсом:
Опыт работы с AWS (S3, EKS, RDS);
Знание Kubernetes и Helm для деплоя и масштабирования;
Опыт поддержки ML-инфраструктуры, включая feature pipelines и workflow для подготовки обучающих данных.


💰 Что в оффере:
🔹 ?
🔹 Удалёнка
🔹 Релокация в Дубай – рай для криптанов ( по желанию)
🔹 Гибкий график
🔹 Топовые workations с командой
🔹 Возможность заработать на инвестициях в корпоративный фонд

📩 Резюме приносите в
тг: @veronika_vlasovets


Буду рада ответить на интересующие вас вопросы и рассказать про детали😊