#вакансия #DataEngineer
Компания: TN Digital
ЗП: 300-450к на руки + премия
Формат: офис в Москве/гибрид/удаленка
TN Digital отвечает за все цифровые продукты компании «ТЕХНОНИКОЛЬ».
В связи с расширением штата ищем человека в команду разработки EDWH.
Задачи:
-организация пайплайнов потоков данных (конвейера движения данных в компании);
-разработка, поддержка и оптимизация производительности EDWH;
-разработка и настройка ETL/ELT-процессов (сбор, структурирование и обеспечение сохранности данных);
-настройка инфраструктуры для обеспечения качества данных.
Наши ожидания:
-знание современных технологий обработки больших данных;
-хорошее знание Python;
-хорошее знание SQL и реляционных баз данных (желательно, Greenplum или PostgreSQL), опыт написания сложных запросов.
Стек проекта: Python, Greenplum, PostgreSQL, Data Build Tool (DBT), Spark, Kafka, Airflow, Kubernetes, Terraform, Ansible, GitLab, SonarQube, Prometheus, Grafana, AlertManager.
Условия:
-белая зп, оформление по ТК РФ;
-проф обучение за счет компании, ДМС, скидки на занятия спортом, компенсация обучения английского языка, оплата мобильной связи.
Для связи @ryabin_ka
Компания: TN Digital
ЗП: 300-450к на руки + премия
Формат: офис в Москве/гибрид/удаленка
TN Digital отвечает за все цифровые продукты компании «ТЕХНОНИКОЛЬ».
В связи с расширением штата ищем человека в команду разработки EDWH.
Задачи:
-организация пайплайнов потоков данных (конвейера движения данных в компании);
-разработка, поддержка и оптимизация производительности EDWH;
-разработка и настройка ETL/ELT-процессов (сбор, структурирование и обеспечение сохранности данных);
-настройка инфраструктуры для обеспечения качества данных.
Наши ожидания:
-знание современных технологий обработки больших данных;
-хорошее знание Python;
-хорошее знание SQL и реляционных баз данных (желательно, Greenplum или PostgreSQL), опыт написания сложных запросов.
Стек проекта: Python, Greenplum, PostgreSQL, Data Build Tool (DBT), Spark, Kafka, Airflow, Kubernetes, Terraform, Ansible, GitLab, SonarQube, Prometheus, Grafana, AlertManager.
Условия:
-белая зп, оформление по ТК РФ;
-проф обучение за счет компании, ДМС, скидки на занятия спортом, компенсация обучения английского языка, оплата мобильной связи.
Для связи @ryabin_ka
#вакансия #vacancy #fulltime #dataengineer #data
▫️Data engineer в крупную производственную компанию
▫️Оплата: от 160.000 на руки
▫️Требуемый опыт работы: от 1 года
▫️Занятость: Полная занятость, полный день
▫️Формат: гибрид
▫️Локация: Санкт-Петербург
▫️Основные задачи:
- Управление ETL-процессами;
- Очистка информации от лишних дублей, устранение ошибок;
- Проектирование и разработка пайплайнов (ETL-процессов).
- Поддержка существующих баз данных;
- Написание функций и хранимых процедур для преобразования и агрегации данных, создание витрин;
- Анализ существующих SQL запросов с целью их оптимизации;
- Обновление и поддержка используемых инструментов и приложений;
- Подготовка данных для анализа;
- Помощь в подготовке дэшбордов и анализе данных.
▫️Ожидание от кандидата:
- Опыт работы с системами: PostgreSQL, ClickHouse, MS SQL, Arenadata;
- Владение SQL (PostgreSQL/ClickHouse), Python (Pandas, Numpy, SQLAlchemy);
- Умение организовывать ETL-процессы, опыт разработки пайплайнов в NiFi;
- Английский язык на уровне чтения технической документации.
▫️Что готовы предложить:
- Гибридный формат работы;
- Добровольное медицинское страхование и страхование жизни от несчастных случаев;
- Льготное питание;
- Профессиональное развитие и обучение;
- Корпоративные занятия спортом.
- Уровень заработной платы обсуждается с финальными кандидатами.
Контакт: @polina_albova
▫️Data engineer в крупную производственную компанию
▫️Оплата: от 160.000 на руки
▫️Требуемый опыт работы: от 1 года
▫️Занятость: Полная занятость, полный день
▫️Формат: гибрид
▫️Локация: Санкт-Петербург
▫️Основные задачи:
- Управление ETL-процессами;
- Очистка информации от лишних дублей, устранение ошибок;
- Проектирование и разработка пайплайнов (ETL-процессов).
- Поддержка существующих баз данных;
- Написание функций и хранимых процедур для преобразования и агрегации данных, создание витрин;
- Анализ существующих SQL запросов с целью их оптимизации;
- Обновление и поддержка используемых инструментов и приложений;
- Подготовка данных для анализа;
- Помощь в подготовке дэшбордов и анализе данных.
▫️Ожидание от кандидата:
- Опыт работы с системами: PostgreSQL, ClickHouse, MS SQL, Arenadata;
- Владение SQL (PostgreSQL/ClickHouse), Python (Pandas, Numpy, SQLAlchemy);
- Умение организовывать ETL-процессы, опыт разработки пайплайнов в NiFi;
- Английский язык на уровне чтения технической документации.
▫️Что готовы предложить:
- Гибридный формат работы;
- Добровольное медицинское страхование и страхование жизни от несчастных случаев;
- Льготное питание;
- Профессиональное развитие и обучение;
- Корпоративные занятия спортом.
- Уровень заработной платы обсуждается с финальными кандидатами.
Контакт: @polina_albova
🥴4🖕3
#remote #vacancy #вакансия #fulltime #аутстаф #DE #DataEngineer
Привет! Меня зовут Екатерина. Я представляю группу компаний Top Selection. Мы занимаемся продуктовой разработкой и аутсорсингом it персонала для рынка России.
В данный момент мы в поиске Data Engineer
🌎Локация: любая
💻Проект: до конца 2024, с возможностью продления
🔌Формат работы: удаленно
Грейд - от Middle+
💰Вилка: 380 - 500т.р(гросс)
Проект - ритейл. Настройка интеграционных потоков
❗️Требования:
- Владение одним из языков программирования (Java, Groovy)
- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов)
- Умение работать с Git в консоли
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop
Cтек: SQL, AirFlow, Spark, Apache Kafka, Big Data, Zabbix, Java
За подробным описанием вакансии, прошу в лс
Контакты:@Katrin_Easya
Привет! Меня зовут Екатерина. Я представляю группу компаний Top Selection. Мы занимаемся продуктовой разработкой и аутсорсингом it персонала для рынка России.
В данный момент мы в поиске Data Engineer
🌎Локация: любая
💻Проект: до конца 2024, с возможностью продления
🔌Формат работы: удаленно
Грейд - от Middle+
💰Вилка: 380 - 500т.р(гросс)
Проект - ритейл. Настройка интеграционных потоков
❗️Требования:
- Владение одним из языков программирования (Java, Groovy)
- Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов)
- Умение работать с Git в консоли
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop
Cтек: SQL, AirFlow, Spark, Apache Kafka, Big Data, Zabbix, Java
За подробным описанием вакансии, прошу в лс
Контакты:@Katrin_Easya
❤1
#вакансия #remote #fulltime #DataEngineer
☁️Позиция: Senior Data Engineer
🏙Компания: NP Recruitment Agency
💰зп: вилка: 220 - 280 тр
📅формат работы: удаленно (весь мир)
📅занятость: Full-time
Контакт: @Natali_HRit
💡Описание проекта
- Компания по производству минеральных удобрений. Блок форсайт.
📌Требования
- Знание и опыт применения классических подходов и методов машинного обучения для анализа и прогнозирования временных рядов.
- Знание алгоритмов машинного обучения (обучение без учителя), метрик качества алгоритмов (precision, recall, ROC-кривая, etc.).
- Навык тестирования и валидации алгоритмов машинного обучения - офлайн/онлайн тестирование, оценка эффекта модели, управление ошибками 1-го, 2-го рода.
- Владение Python
- Знание библиотек для обработки и визуализации структурированных данных - matplotlib, pandas, seaborn, etc., библиотеками матричных вычислений и оптимизации numpy, scipy.
- Навык обучения сложных алгоритмов машинного обучения: градиентный бустинг, бэггинг, стекинг.
- Понимание методов кластеризации: k-Means, иерархическая кластеризация.
- Навык интерпретации алгоритмов машинного обучения - оценка значимости признаков, интерпретация моделей.
- Знание теоретических основ нейронных сетей, базовых архитектур, опыт работы с одним из фреймворков/библиотек (Scikit-Learn, PyTorch, TensorFlow, xgboost).
🔥Если все нравится - пиши @Natali_HRit
☁️Позиция: Senior Data Engineer
🏙Компания: NP Recruitment Agency
💰зп: вилка: 220 - 280 тр
📅формат работы: удаленно (весь мир)
📅занятость: Full-time
Контакт: @Natali_HRit
💡Описание проекта
- Компания по производству минеральных удобрений. Блок форсайт.
📌Требования
- Знание и опыт применения классических подходов и методов машинного обучения для анализа и прогнозирования временных рядов.
- Знание алгоритмов машинного обучения (обучение без учителя), метрик качества алгоритмов (precision, recall, ROC-кривая, etc.).
- Навык тестирования и валидации алгоритмов машинного обучения - офлайн/онлайн тестирование, оценка эффекта модели, управление ошибками 1-го, 2-го рода.
- Владение Python
- Знание библиотек для обработки и визуализации структурированных данных - matplotlib, pandas, seaborn, etc., библиотеками матричных вычислений и оптимизации numpy, scipy.
- Навык обучения сложных алгоритмов машинного обучения: градиентный бустинг, бэггинг, стекинг.
- Понимание методов кластеризации: k-Means, иерархическая кластеризация.
- Навык интерпретации алгоритмов машинного обучения - оценка значимости признаков, интерпретация моделей.
- Знание теоретических основ нейронных сетей, базовых архитектур, опыт работы с одним из фреймворков/библиотек (Scikit-Learn, PyTorch, TensorFlow, xgboost).
🔥Если все нравится - пиши @Natali_HRit
💊6
#dataengineer #etl #greenplum #remote #job #senior #работа #удаленно
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
Компания: Робуста
Позиция: ETL разработчик/Data Engineer
Уровень: Middle+/Senior
З/п: от 250к
Локация: гибрид в Москве/удаленно по России
Мы вывели на рынок несколько успешных IT-проектов и собрали их в единую экосистему, которую назвали “Robusta".
У нас экспертная в своей сфере и креативная команда. Мы много работаем и круто отдыхаем, умеем делать классные проекты и всегда нацелены на высокий результат.
На текущий момент нам требуется ETL-разработчик уровня middle+/senior!
Обязанности:
- Организация ETL-процесса по выгрузке данных из S3 в core-слой на Greenplum v6 (ADB, Arenadata дистрибутив);
- Переработка T-SQL кода в plpgsql, используемых для перерасчета аналитических полей на core слое;
- Совместная работа с DBA-архитектором на данном проекте.
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault;
Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark.
Условия:
- Удалённая работа либо гибрид/офис, по вашему желанию :)
- Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
- ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
- Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
- Гибкое время начала рабочего дня.
Резюме и вопросы можно скидывать прямо сюда
🤯2❤1👍1
#вакансия #dataanalyst #dataengineer
Компания: NDA
Локация: полная удаленка
График работы: сменный
Грейд: Junior+, middle-
Дамы и господа, меня зовут Александр, представляю агентство HuntIT
Сейчас мы находимся в поиске Monitoring Data Analyst в крупный международный холдинг, команда которого уже больше 7 лет трудится над высоконагруженной web-платформой пользователи которой находятся по всему миру и исчисляются в десятках миллионов.
Твои задачи и зона ответственности:
- Мониторинг состояния и поддержка Data Pipeline-а;
- Устранение инцидентов, возникающих в ходе ETL процессов;
- Нахождение аномалий в данных и их причин;
- Разработка и поддержка системы автоматических оповещений;
Для нас важно:
- От 1 года опыта в аналитике/техподдержке/тестировании;
- Отличное знание SQL (ISO/IEC 9075);
- Хорошее знание Python для аналитики (Pandas, Numpy и др.);
- Умение видеть за цифрами причины и суть явлений и выделять главное.
- Аналитический склад ума;
Для тебя:
- Дежурства по заранее определённому сменному графику;
- Дружная команда крутых специалистов и комфортная атмосфера;
- ДМС со стоматологией после испытательного срока (на территории РФ);
- Частичная компенсация занятий в фитнес-зале и английского языка;
- Оформление в аккредитованную ИТ компанию
Все подробности можно обсудить в личке)) @huntit_Alexandr
Спасибо за внимание!
Компания: NDA
Локация: полная удаленка
График работы: сменный
Грейд: Junior+, middle-
Дамы и господа, меня зовут Александр, представляю агентство HuntIT
Сейчас мы находимся в поиске Monitoring Data Analyst в крупный международный холдинг, команда которого уже больше 7 лет трудится над высоконагруженной web-платформой пользователи которой находятся по всему миру и исчисляются в десятках миллионов.
Твои задачи и зона ответственности:
- Мониторинг состояния и поддержка Data Pipeline-а;
- Устранение инцидентов, возникающих в ходе ETL процессов;
- Нахождение аномалий в данных и их причин;
- Разработка и поддержка системы автоматических оповещений;
Для нас важно:
- От 1 года опыта в аналитике/техподдержке/тестировании;
- Отличное знание SQL (ISO/IEC 9075);
- Хорошее знание Python для аналитики (Pandas, Numpy и др.);
- Умение видеть за цифрами причины и суть явлений и выделять главное.
- Аналитический склад ума;
Для тебя:
- Дежурства по заранее определённому сменному графику;
- Дружная команда крутых специалистов и комфортная атмосфера;
- ДМС со стоматологией после испытательного срока (на территории РФ);
- Частичная компенсация занятий в фитнес-зале и английского языка;
- Оформление в аккредитованную ИТ компанию
Все подробности можно обсудить в личке)) @huntit_Alexandr
Спасибо за внимание!
👍2
#вакансия #dataengineer #удаленка #senior #python #sql
Ищем Data Engineer в команду Integration (Python/SQL) Авито (senior)
Города: Москва, Санкт-Петербург, Самара, Ереван
Формат работы: офис или удаленка
Занятость: полная
Вилка з/п: от 320 до 500 тыс. рублей на руки
В команде вы будете:
— участвовать в процессе перехода с Vertica и делать Trino основным местом для создания новых расчетов в хранилище;
— оптимизировать запросы и модели данных, ускорять процессы обращения к данным в ceph и метаданным в hive.
Требования:
— имеете опыт работы с аналитическими СУБД (Vertica, Snowflake, Clickhouse, StarRocks, Presto, Trino);
— умеете выполнять SQL-запросы для СУБД и оптимизировать аналитические запросы;
— имеете опыт разработки пайплайнов обработки данных.
Мы предлагаем:
— конкурентную зарплату, ДМС со стоматологией, удаленка и дополнительные дни отпуска;
— возможность прокачать свой стек – разрабатывать инструменты монетизации, автоматизировать алгоритмы, обучать LLM и улучшать пользовательский опыт;
— участие в создании новых продуктов крупнейшего в мире сервиса объявлений;
— сильное IT-комьюнити, которое любит опенсорс.
Контакт для отклика: @oooozhegovaaaa
Ищем Data Engineer в команду Integration (Python/SQL) Авито (senior)
Города: Москва, Санкт-Петербург, Самара, Ереван
Формат работы: офис или удаленка
Занятость: полная
Вилка з/п: от 320 до 500 тыс. рублей на руки
В команде вы будете:
— участвовать в процессе перехода с Vertica и делать Trino основным местом для создания новых расчетов в хранилище;
— оптимизировать запросы и модели данных, ускорять процессы обращения к данным в ceph и метаданным в hive.
Требования:
— имеете опыт работы с аналитическими СУБД (Vertica, Snowflake, Clickhouse, StarRocks, Presto, Trino);
— умеете выполнять SQL-запросы для СУБД и оптимизировать аналитические запросы;
— имеете опыт разработки пайплайнов обработки данных.
Мы предлагаем:
— конкурентную зарплату, ДМС со стоматологией, удаленка и дополнительные дни отпуска;
— возможность прокачать свой стек – разрабатывать инструменты монетизации, автоматизировать алгоритмы, обучать LLM и улучшать пользовательский опыт;
— участие в создании новых продуктов крупнейшего в мире сервиса объявлений;
— сильное IT-комьюнити, которое любит опенсорс.
Контакт для отклика: @oooozhegovaaaa
❤1
#вакансия #dataengineer #удаленка #senior #python #sql
Ищем Data Engineer в команду Integration (Python/SQL) Авито (senior)
Формат работы: #удалённая
Занятость: #полная
Компания: Авито (https://career.avito.com/weekendoffer/2024/data/)
Вилка з/п: 400-500 тыс. рублей
Трудоустройство: официальное по ТК
В команде вы будете:
— участвовать в процессе перехода с Vertica и делать Trino основным местом для создания новых расчетов в хранилище;
— оптимизировать запросы и модели данных, ускорять процессы обращения к данным в ceph и метаданным в hive.
Требования:
— имеете опыт работы с аналитическими СУБД (Vertica, Snowflake, Clickhouse, StarRocks, Presto, Trino);
— умеете выполнять SQL-запросы для СУБД и оптимизировать аналитические запросы;
— имеете опыт разработки пайплайнов обработки данных.
Мы предлагаем:
— конкурентную зарплату, ДМС со стоматологией, удаленка и дополнительные дни отпуска;
— возможность прокачать свой стек – разрабатывать инструменты монетизации, автоматизировать алгоритмы, обучать LLM и улучшать пользовательский опыт;
— участие в создании новых продуктов крупнейшего в мире сервиса объявлений;
— сильное IT-комьюнити, которое любит опенсорс.
Контакт для отклика: @oooozhegovaaaa
Ищем Data Engineer в команду Integration (Python/SQL) Авито (senior)
Формат работы: #удалённая
Занятость: #полная
Компания: Авито (https://career.avito.com/weekendoffer/2024/data/)
Вилка з/п: 400-500 тыс. рублей
Трудоустройство: официальное по ТК
В команде вы будете:
— участвовать в процессе перехода с Vertica и делать Trino основным местом для создания новых расчетов в хранилище;
— оптимизировать запросы и модели данных, ускорять процессы обращения к данным в ceph и метаданным в hive.
Требования:
— имеете опыт работы с аналитическими СУБД (Vertica, Snowflake, Clickhouse, StarRocks, Presto, Trino);
— умеете выполнять SQL-запросы для СУБД и оптимизировать аналитические запросы;
— имеете опыт разработки пайплайнов обработки данных.
Мы предлагаем:
— конкурентную зарплату, ДМС со стоматологией, удаленка и дополнительные дни отпуска;
— возможность прокачать свой стек – разрабатывать инструменты монетизации, автоматизировать алгоритмы, обучать LLM и улучшать пользовательский опыт;
— участие в создании новых продуктов крупнейшего в мире сервиса объявлений;
— сильное IT-комьюнити, которое любит опенсорс.
Контакт для отклика: @oooozhegovaaaa
👍2
#удаленка #РФ #remote #вакансия #vacancy #полнаязанятость
#middle+ #senior #ETL #developer #разработчик #dataengineer
Middle+, Senior ETL-разработчик (Greenplum) на Fintech проект🙂
✅ Компания:
Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд.
Основные клиенты-крупная промышленность и Fintech.
✅ Проект: Российский Fintech проект (non banking).
Миграция КХД с MSSQL на Greenplum
✅ Вилка зп: От 350.000 до 500.000 руб на руки.
✅ Локация: Удаленка из РФ
✅ Занятость: Полная 5/2 (гибкое начало рабочего дня по часовому поясу Мск)
✅ Условия: Оформление по ТК РФ (Аккредитованная ИТ-компания)
✅ Вам предстоит:
-Совместная работа с DBA-архитектором на проектах;
-Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
-Разработка трансформации данных ODS-слоя в DDS-слой;
-Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
-Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
-Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
-Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
-Работа с AirFlow-операторами, разработка DAGs;
✅ Мы ожидаем что у Вас есть опыт:
-Опыт ETL-разработчиком от 4 лет;
-Опыт с технологическим стеком: Greenplum, PXF, Spark.
-Понимание различий PostgreSQL & Greenplum;
-Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-Понимает различий между логическими моделями: звезды, снежинки и DataVault;
✅ Мы предлагаем:
-Удалённую работу из РФ;
-Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
-ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
-Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
-Гибкое время начала рабочего дня.
📱 Жду резюме в личные сообщения 🙂:
@kriskrisych (Кристина)
#middle+ #senior #ETL #developer #разработчик #dataengineer
Middle+, Senior ETL-разработчик (Greenplum) на Fintech проект🙂
Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд.
Основные клиенты-крупная промышленность и Fintech.
Миграция КХД с MSSQL на Greenplum
-Совместная работа с DBA-архитектором на проектах;
-Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
-Разработка трансформации данных ODS-слоя в DDS-слой;
-Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
-Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
-Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
-Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
-Работа с AirFlow-операторами, разработка DAGs;
-Опыт ETL-разработчиком от 4 лет;
-Опыт с технологическим стеком: Greenplum, PXF, Spark.
-Понимание различий PostgreSQL & Greenplum;
-Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-Понимает различий между логическими моделями: звезды, снежинки и DataVault;
-Удалённую работу из РФ;
-Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
-ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
-Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
-Гибкое время начала рабочего дня.
@kriskrisych (Кристина)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🗿1
#vacancy #SkillStaff #Dataengineer #DWH #Hadoop #remote #РФ
Вакансия: Data engineer
🤦♂️ ЗП: 230 - 260k net.
Формат работы: удаленка (только РФ)
Привет, я Таня из компании SkillStaff.
#вместе покоряем вершины 🗻
Наша команда ищет Data инженера на задачи по миграции данных в новое хранилище крупного банка.
↪️ Почему с нами классно?
✅ ДМС, фитнес, повышение квалификации, авиабилеты и многое другое 🏋️♀️ 🏥
✅ Корпоративная культура! Мы любители мероприятий, квестов.
✅ Путешествия. Мы ежегодно устраиваем корпоративные выезды! 💃
➡️ Пиши, если ты:
🔆 Имеешь опыт в роли data инженера от 3-х лет в банках.
🔆 Опыт работы с Hadoop, GreenPlum, S3, Airflow, Spark, Kafka, Debezium, ClickHouse, Superset.
🔆 Опыт работы с хранилищами данных.
За подробностями сюда 👉@kech333
Вакансия: Data engineer
Формат работы: удаленка (только РФ)
Привет, я Таня из компании SkillStaff.
Наша команда ищет Data инженера на задачи по миграции данных в новое хранилище крупного банка.
🔆 Имеешь опыт в роли data инженера от 3-х лет в банках.
🔆 Опыт работы с Hadoop, GreenPlum, S3, Airflow, Spark, Kafka, Debezium, ClickHouse, Superset.
🔆 Опыт работы с хранилищами данных.
За подробностями сюда 👉@kech333
Please open Telegram to view this post
VIEW IN TELEGRAM
🥴6
#DataEngineer #Vacancy #вакансия #удаленка
Вакансия: Data Engineer (Middle+ и выше)
📍 Компания: Green Wave Palace Ltd
📍 Формат работы: удаленный
⏳ Длительность проекта: 3+ месяца
💰 Зарплата: 200 000 - 250 000 руб
🌍 Локация: любая
📜 Гражданство: любое
Требования:
- Экспертный уровень Python: навыки на уровне Upper Senior.
- Опыт работы с Apache Spark: от 2 лет; глубокое понимание внутренней работы Spark.
- PostgreSQL: минимум 3 года опыта, включая решение задач оптимизации и инфраструктурных проблем.
- Clickhouse: от 2 лет опыта, знание внутреннего устройства (репликация, основные движки, оптимизация и инфраструктурные задачи).
- Kubernetes (k8s): опыт работы как пользователь от 1-2 лет.
- Работа с легаси-кодом: готовность и опыт в этом направлении.
- CI/CD: понимание процессов и принципов.
- Pytest: опыт работы; приветствуется опыт применения TDD.
- Cloud-инфраструктура: опыт работы с облачными сервисами (Yandex Cloud, AWS и др.) от 3 лет.
Soft skills: высокие навыки взаимодействия в команде.
Что ещё важно:
Опыт работы с оптимизацией и поддержкой сложной инфраструктуры.
Контакты:
📩 Для отклика отправляйте резюме на [email protected]
📱 Telegram: @kittymurmurmur
Мы будем рады обсудить детали!
Вакансия: Data Engineer (Middle+ и выше)
📍 Компания: Green Wave Palace Ltd
📍 Формат работы: удаленный
⏳ Длительность проекта: 3+ месяца
💰 Зарплата: 200 000 - 250 000 руб
🌍 Локация: любая
📜 Гражданство: любое
Требования:
- Экспертный уровень Python: навыки на уровне Upper Senior.
- Опыт работы с Apache Spark: от 2 лет; глубокое понимание внутренней работы Spark.
- PostgreSQL: минимум 3 года опыта, включая решение задач оптимизации и инфраструктурных проблем.
- Clickhouse: от 2 лет опыта, знание внутреннего устройства (репликация, основные движки, оптимизация и инфраструктурные задачи).
- Kubernetes (k8s): опыт работы как пользователь от 1-2 лет.
- Работа с легаси-кодом: готовность и опыт в этом направлении.
- CI/CD: понимание процессов и принципов.
- Pytest: опыт работы; приветствуется опыт применения TDD.
- Cloud-инфраструктура: опыт работы с облачными сервисами (Yandex Cloud, AWS и др.) от 3 лет.
Soft skills: высокие навыки взаимодействия в команде.
Что ещё важно:
Опыт работы с оптимизацией и поддержкой сложной инфраструктуры.
Контакты:
📩 Для отклика отправляйте резюме на [email protected]
📱 Telegram: @kittymurmurmur
Мы будем рады обсудить детали!
🤣18🥴12💊4
#вакансия #DataEngineer #Middle #Senior #fulltime #удаленно #аутсорс
Ищем I Data Engineer I Middle+, Senior I Аутсорсинговая компания Top Selection
📌 Уровень: middle+ / Senior
Срок привлечения: 3 месяца с возможностью продления.
Локация: РФ
ЗП:middle 200-250К на руки
Senior 350-390К на руки
Загрузка: fulltime
Оформление: как ИП
Проект: Российская сеть розничных магазинов.
📝Обязательные требования:
●Apache (Spark, Hive, Airflow) - опыт от 1 года
●Yandex Cloud - опыт 1 год
●Python - опыт от 1 года
●SQL - опыт от 1 года
●Linux - опыт от 1 года
●Docker - опыт до 1 года
●Streaming - опыт 1 год
Стек: Docker, K8S, Linux, Cloud, Terraform.
📲Контакты: @irazhura87
Ищем I Data Engineer I Middle+, Senior I Аутсорсинговая компания Top Selection
Срок привлечения: 3 месяца с возможностью продления.
Локация: РФ
ЗП:middle 200-250К на руки
Senior 350-390К на руки
Загрузка: fulltime
Оформление: как ИП
Проект: Российская сеть розничных магазинов.
📝Обязательные требования:
●Apache (Spark, Hive, Airflow) - опыт от 1 года
●Yandex Cloud - опыт 1 год
●Python - опыт от 1 года
●SQL - опыт от 1 года
●Linux - опыт от 1 года
●Docker - опыт до 1 года
●Streaming - опыт 1 год
Стек: Docker, K8S, Linux, Cloud, Terraform.
📲Контакты: @irazhura87
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣3❤2👍2
Ищем Data Engineer (Middle/Middle+/Senior) в аутстафф-компанию Top Selection для работы над зарубежным ритейл-проектом.
Грейд: Senior
Название компании: Top Selection
Локация: Не важно
Часовой пояс: МСК
Предметные области: ритейл
Формат работы: Удалёнка
Тема проекта: Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле.
Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени.
Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами.
Зарплата: По запросу
Обязанности:
Ключевые обязанности (MS Fabric):
- Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI).
- Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory).
- Оптимизация хранения и обработки данных в OneLake и Lakehouses.
- Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени).
- Интеграция с Power BI и построение семантических моделей.
- Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse.
- Автоматизация CI/CD-конвейеров (Azure GitOps).
- Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными.
Технологии, с которыми предстоит работать:
- Microsoft Fabric:
- OneLake (облачное lakehouse-хранилище данных)
- Lakehouses (совмещение Data Lake и традиционных DWH)
- Data Pipelines (аналог Azure Data Factory)
- Synapse Data Warehouse (облачный аналитический движок)
- Real-Time Analytics (потоковая обработка данных)
- Power BI & Semantic Models (бизнес-аналитика)
- KQL (Kusto Query Language) для анализа событий и логов
- DevOps & CI/CD:
- Azure GitOps, YAML-пайплайны
- Автоматизированное развертывание и управление инфраструктурой данных
Требования:
- Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком).
- От 2 лет опыта в data engineering и облачных хранилищах данных.
- Глубокие знания SQL, Python, Spark/PySpark, T-SQL.
- Опыт оптимизации SQL-запросов и работы с большими объемами данных.
- Понимание архитектуры баз данных и lakehouse-концепции.
- Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных.
Пожелания:
Будет плюсом:
- Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics).
- Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности).
- Опыт работы с Delta Lake, Databricks ML.
- Оптимизация SQL-запросов и настройка кластера Spark.
Сертификации (желательно):
- Microsoft Certified: Fabric Analytics Engineer Associate
- Microsoft Certified: Azure Data Engineer Associate
- Databricks Certified Data Engineer Associate/Professional
Контактные данные: @mherchopurian / @remoteanalytics
#вакансия #DataEngineer #Middle #MSFabric #Databricks #Удаленно
Грейд: Senior
Название компании: Top Selection
Локация: Не важно
Часовой пояс: МСК
Предметные области: ритейл
Формат работы: Удалёнка
Тема проекта: Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле.
Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени.
Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами.
Зарплата: По запросу
Обязанности:
Ключевые обязанности (MS Fabric):
- Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI).
- Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory).
- Оптимизация хранения и обработки данных в OneLake и Lakehouses.
- Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени).
- Интеграция с Power BI и построение семантических моделей.
- Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse.
- Автоматизация CI/CD-конвейеров (Azure GitOps).
- Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными.
Технологии, с которыми предстоит работать:
- Microsoft Fabric:
- OneLake (облачное lakehouse-хранилище данных)
- Lakehouses (совмещение Data Lake и традиционных DWH)
- Data Pipelines (аналог Azure Data Factory)
- Synapse Data Warehouse (облачный аналитический движок)
- Real-Time Analytics (потоковая обработка данных)
- Power BI & Semantic Models (бизнес-аналитика)
- KQL (Kusto Query Language) для анализа событий и логов
- DevOps & CI/CD:
- Azure GitOps, YAML-пайплайны
- Автоматизированное развертывание и управление инфраструктурой данных
Требования:
- Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком).
- От 2 лет опыта в data engineering и облачных хранилищах данных.
- Глубокие знания SQL, Python, Spark/PySpark, T-SQL.
- Опыт оптимизации SQL-запросов и работы с большими объемами данных.
- Понимание архитектуры баз данных и lakehouse-концепции.
- Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных.
Пожелания:
Будет плюсом:
- Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics).
- Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности).
- Опыт работы с Delta Lake, Databricks ML.
- Оптимизация SQL-запросов и настройка кластера Spark.
Сертификации (желательно):
- Microsoft Certified: Fabric Analytics Engineer Associate
- Microsoft Certified: Azure Data Engineer Associate
- Databricks Certified Data Engineer Associate/Professional
Контактные данные: @mherchopurian / @remoteanalytics
#вакансия #DataEngineer #Middle #MSFabric #Databricks #Удаленно
#работа #удаленнаяработа #вакансия #DataEngineer #middle #датаинженер
Позиция: Data Engineer
Опыт работы: 2–3 года
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 120 000 – 140 000к
Обязанности:
• Разработка хранилищ данных, витрин данных;
• Проектирование, разработка и поддержка ETL-процессов;
• Контроль качества загружаемых данных (ручные и автоматические тесты DQ);
• Интеграция новых источников;
• Работа в команде с системными аналитиками.
Требования:
Обязательно:
• Опыт в языках программирования: SQL, Python;
• Опыт работы с одним или несколькими СУБД: PostgreSQL, Clickhouse, Greenplum, MS SQL Server;
• Опыт использования ETL инструментов: Apache NiFi, Apache Airflow;
Будет плюсом:
• Опыт работы с Hadoop, PySpark;
• Опыт работы с Apache Kafka;
• Опыт работы с Arenadata.
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
Позиция: Data Engineer
Опыт работы: 2–3 года
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 120 000 – 140 000к
Обязанности:
• Разработка хранилищ данных, витрин данных;
• Проектирование, разработка и поддержка ETL-процессов;
• Контроль качества загружаемых данных (ручные и автоматические тесты DQ);
• Интеграция новых источников;
• Работа в команде с системными аналитиками.
Требования:
Обязательно:
• Опыт в языках программирования: SQL, Python;
• Опыт работы с одним или несколькими СУБД: PostgreSQL, Clickhouse, Greenplum, MS SQL Server;
• Опыт использования ETL инструментов: Apache NiFi, Apache Airflow;
Будет плюсом:
• Опыт работы с Hadoop, PySpark;
• Опыт работы с Apache Kafka;
• Опыт работы с Arenadata.
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
💊23😁5❤2🥴1
#job #вакансия #DataEngineer #Greenplum #MPP #фултайм #remote
Вакансия: Data Engineer
Формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ)
Занятость: full-time с гибким началом рабочего дня
Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура”
Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC @Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания)
Оформление: ТК, ИП
Гражданство: РФ
Компания: https://mokka.ru — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии.
Команда аналитической платформы:
— Head of Data and Analytics;
— Data Engineer - 3;
— BI Analyst - 3;
— ML Engineer - 4.
Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core.
Проекты DE на 1 полугодие 2025:
— разработка процессов обмена данных с внешними системами;
— подключение двух новых источников, help desk и app metrica;
— оптимизация платформы данных.
Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др.
Зона ответственности:
— проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault);
— разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных;
— написание трансформаций и моделирование данных с использованием DBT;
— мониторинг и контроль работы регламентных процессов обновления данных;
— решение инцидентов с качеством данных;
— создание витрин данных;
— поддержка CI/CD процессов для обработчиков и загрузчиков данных;
— документация обработчиков данных и витрин, которые часто используются;
— рефакторинг имеющихся обработчиков с целью оптимизации;
— создавать решения (например, для заливки моделей / фичей) оптимизированные под запись;
— наполнение базы знаний;
Пожелания к опыту:
— знание методологий проектирования DWH;
— опыт в разработке и поддержке DWH и ETL от 3 лет;
— знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов;
— опыт работы с DBT;
— хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры;
— хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам;
— Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe;
— умение работать с docker контейнерами;
— опыт работы с git, настройка пайплайнов в gitlab-ci;
— опыт настройки и использования Apache Kafka, знание Avro формата;
— хорошее знание REST API;
Nice to have:
— опыт работы с S3;
— опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов;
— Apache NiFi: хотя бы уверенные теоретические знания;
— Soda Core;
— знание Cloud concepts (Yandex Cloud, AWS);
Условия:
— формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ);
— оформление: ТК РФ, ИП;
— оклад: 300-390К руб gross + ежегодное повышение ЗП;
— ДМС со стоматологией;
— отсрочка от призыва и мобилизации (аккредитованная ИТ компания);
— гибкое начало рабочего дня (с 08:00 до 11:00 мск);
— техника на выбор: MacBook Pro или PC @Dell;
— открытая простая коммуникация в команде;
Как устроен процесс найма:
Видео-звонок с HR → Техническое вью → Финальное вью → Оффер.
Контакты для связи:
@Shvedova1
Вакансия: Data Engineer
Формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ)
Занятость: full-time с гибким началом рабочего дня
Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура”
Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC @Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания)
Оформление: ТК, ИП
Гражданство: РФ
Компания: https://mokka.ru — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии.
Команда аналитической платформы:
— Head of Data and Analytics;
— Data Engineer - 3;
— BI Analyst - 3;
— ML Engineer - 4.
Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core.
Проекты DE на 1 полугодие 2025:
— разработка процессов обмена данных с внешними системами;
— подключение двух новых источников, help desk и app metrica;
— оптимизация платформы данных.
Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др.
Зона ответственности:
— проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault);
— разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных;
— написание трансформаций и моделирование данных с использованием DBT;
— мониторинг и контроль работы регламентных процессов обновления данных;
— решение инцидентов с качеством данных;
— создание витрин данных;
— поддержка CI/CD процессов для обработчиков и загрузчиков данных;
— документация обработчиков данных и витрин, которые часто используются;
— рефакторинг имеющихся обработчиков с целью оптимизации;
— создавать решения (например, для заливки моделей / фичей) оптимизированные под запись;
— наполнение базы знаний;
Пожелания к опыту:
— знание методологий проектирования DWH;
— опыт в разработке и поддержке DWH и ETL от 3 лет;
— знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов;
— опыт работы с DBT;
— хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры;
— хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам;
— Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe;
— умение работать с docker контейнерами;
— опыт работы с git, настройка пайплайнов в gitlab-ci;
— опыт настройки и использования Apache Kafka, знание Avro формата;
— хорошее знание REST API;
Nice to have:
— опыт работы с S3;
— опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов;
— Apache NiFi: хотя бы уверенные теоретические знания;
— Soda Core;
— знание Cloud concepts (Yandex Cloud, AWS);
Условия:
— формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ);
— оформление: ТК РФ, ИП;
— оклад: 300-390К руб gross + ежегодное повышение ЗП;
— ДМС со стоматологией;
— отсрочка от призыва и мобилизации (аккредитованная ИТ компания);
— гибкое начало рабочего дня (с 08:00 до 11:00 мск);
— техника на выбор: MacBook Pro или PC @Dell;
— открытая простая коммуникация в команде;
Как устроен процесс найма:
Видео-звонок с HR → Техническое вью → Финальное вью → Оффер.
Контакты для связи:
@Shvedova1
❤7👍2💊1
#hiring #vacancy #job #dataengineer #remote #fintech #web3 #defi
Lead Data Engineer Mercuryo.io (Remote) 🌍
We’re looking for a Lead Data Engineer with 5+ years of experience, to join our Analytics Infrastructure team. Our team is responsible for collecting, processing, and storing all company data that drives business decisions and product analytics.
What You’ll Do:
- Architectural design and development of our data warehouse (DWH).
- Designing and optimizing ETL processes for large data volumes.
- Migrating and optimizing our analytical infrastructure to modern DWH solutions.
- Working with analytical databases (Exasol, StarRocks, etc.).
- Developing and maintaining data marts for business intelligence.
- Optimizing performance for analytical queries.
- Integrating with external data sources (including payment gateways).
- Managing data lifecycle in the warehouse.
- Ensuring data quality and consistency.
- Setting up monitoring and alerting for analytical infrastructure.
- Mentoring and knowledge sharing with less experienced team members.
📩 Interested? Message @oneofthestrokes
Lead Data Engineer Mercuryo.io (Remote) 🌍
We’re looking for a Lead Data Engineer with 5+ years of experience, to join our Analytics Infrastructure team. Our team is responsible for collecting, processing, and storing all company data that drives business decisions and product analytics.
What You’ll Do:
- Architectural design and development of our data warehouse (DWH).
- Designing and optimizing ETL processes for large data volumes.
- Migrating and optimizing our analytical infrastructure to modern DWH solutions.
- Working with analytical databases (Exasol, StarRocks, etc.).
- Developing and maintaining data marts for business intelligence.
- Optimizing performance for analytical queries.
- Integrating with external data sources (including payment gateways).
- Managing data lifecycle in the warehouse.
- Ensuring data quality and consistency.
- Setting up monitoring and alerting for analytical infrastructure.
- Mentoring and knowledge sharing with less experienced team members.
📩 Interested? Message @oneofthestrokes
❤1
#вакансия #vacancy #ищу #job #dataengineer #analyst #remote #удаленно
Компания: Sotex
Локация: Москва
Должность: analyst/Data Engineer уровня Jun+
Формат работы: Part - time, Удалённая работа
Вилка: обсуждается индивидуально.
О нас:
Мы —it компания " Sotex", занимающаяся разработкой озера данных для небольшой телекоммуникационной компании.
Ищем в команду Data Engineer уровня Jun+
Обязанности:
- Описание ETL-процессов поставки данных;
- Описание структуры хранения данных;
- Описание витрины данных.
Чего ждём от кандидата:
— Опыт разработки на Python
— Опыт или желание его приобрести в описании процесса etl.
Условия работы:
- Неполная занятость с гибким графиком.
- Удалённый формат.
- Конкурентоспособная заработная плата: обсуждается индивидуально.
- Работа в дружной команде профессионалов.
Отправляйте ваше резюме в Телеграм: telegram @ryabov_ov или в WhatsApp +79858527774
Компания: Sotex
Локация: Москва
Должность: analyst/Data Engineer уровня Jun+
Формат работы: Part - time, Удалённая работа
Вилка: обсуждается индивидуально.
О нас:
Мы —it компания " Sotex", занимающаяся разработкой озера данных для небольшой телекоммуникационной компании.
Ищем в команду Data Engineer уровня Jun+
Обязанности:
- Описание ETL-процессов поставки данных;
- Описание структуры хранения данных;
- Описание витрины данных.
Чего ждём от кандидата:
— Опыт разработки на Python
— Опыт или желание его приобрести в описании процесса etl.
Условия работы:
- Неполная занятость с гибким графиком.
- Удалённый формат.
- Конкурентоспособная заработная плата: обсуждается индивидуально.
- Работа в дружной команде профессионалов.
Отправляйте ваше резюме в Телеграм: telegram @ryabov_ov или в WhatsApp +79858527774
👍8
#data #dataengineer #engineer #вакансия
Вакансия: Data Engineer
Компания: Купер
Формат работы: удаленный
О продукте: Купер - это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из food-tech стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 600+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.
Сейчас мы ищем Data engineer c опытом работы с ClickHouse, как с основной базой данных.
Чем будем заниматься:
* загрузка данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH;
* автоматизация data-pipelines, ETL процессов;
* автоматизация проверок качества данных;
* подготовка витрин данных;
* подготовка и поддержание в актуальном состоянии каталога метаданных;
* организация CI/CD и мониторинг процессов обработки данных;
* участие в миграции текущих процессов на новую инфраструктуру.
Мы ждём от кандидата:
* опыт работы с DWH;
* понимание принципов организации хранилищ данных, принципов работы колоночных БД (работаем с Clickhouse);
* уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность;
* уверенное знание Python;
* опыт работы с Apache Airflow;
* опыт работы со Spark.
Будет просто отлично, если у тебя есть:
* опыт разработки Scala / Java.
Что мы предлагаем:
* ДМС;
* предоставляем множество корпоративных бонусных программ;
* работаем удаленно. В Москве есть большой и красивый офис — welcome;
* выдаем технику для работы на твой выбор;
* помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
* уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.
А ещё:
* мы сами участвуем в конференциях, как спикеры;
* проводим внутренние митапы;
* не боимся экспериментировать с новыми решениями и технологиями :)
резюме/cv можно приносить сюда: @da_mrv
Вакансия: Data Engineer
Компания: Купер
Формат работы: удаленный
О продукте: Купер - это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из food-tech стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 600+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.
Сейчас мы ищем Data engineer c опытом работы с ClickHouse, как с основной базой данных.
Чем будем заниматься:
* загрузка данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH;
* автоматизация data-pipelines, ETL процессов;
* автоматизация проверок качества данных;
* подготовка витрин данных;
* подготовка и поддержание в актуальном состоянии каталога метаданных;
* организация CI/CD и мониторинг процессов обработки данных;
* участие в миграции текущих процессов на новую инфраструктуру.
Мы ждём от кандидата:
* опыт работы с DWH;
* понимание принципов организации хранилищ данных, принципов работы колоночных БД (работаем с Clickhouse);
* уверенное знание SQL, умение строить сложные запросы и оптимизировать производительность;
* уверенное знание Python;
* опыт работы с Apache Airflow;
* опыт работы со Spark.
Будет просто отлично, если у тебя есть:
* опыт разработки Scala / Java.
Что мы предлагаем:
* ДМС;
* предоставляем множество корпоративных бонусных программ;
* работаем удаленно. В Москве есть большой и красивый офис — welcome;
* выдаем технику для работы на твой выбор;
* помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
* уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.
А ещё:
* мы сами участвуем в конференциях, как спикеры;
* проводим внутренние митапы;
* не боимся экспериментировать с новыми решениями и технологиями :)
резюме/cv можно приносить сюда: @da_mrv
👍1
Data Engineer/ Search Engineer
#вакансия #dataengineer #Elasticsearch #AWS
Location: Remote (outside of Russia)
Work format: Remote, Full-time
Salary range: $25-35 per hour
Company name: CloudSquad
Contacts: @natalia_kurland
Our customer is generative AI company headquartered in San Francisco provides a comprehensive AI platform tailored for enterprise use. In late 2023, the company secured $100 million in Series B funding from leading institutional investors, including a prominent growth equity firm and several other major venture capital groups.
We are looking for an experienced Elasticsearch Engineer to help us scale and optimize search infrastructure across multi- and single-tenant environments. You will be responsible for improving performance isolation, managing large-scale clusters (terabytes of data per tenant), and designing a scalable, resilient Elasticsearch/OpenSearch architecture to meet enterprise requirements.
Hiring specifics:
Candidates must be located outside of Russia
Preferred candidates in or near GMT+1 time zones
Minimum 1 years hands-on experience with Elasticsearch required
Minimum 1 years experience with major cloud platforms (AWS/GCP) required
English proficiency: Upper Intermediate (B2+) or higher required
Key Responsibilities:
Optimize and scale multi-tenant Elasticsearch/OpenSearch deployments
Design and implement sharding strategies for performance isolation
Implement backup, recovery, and cross-cluster replication strategies
Collaborate with platform and application teams on data ingestion and retrieval patterns, automated provisioning
Requirements:
3–5+ years managing Elasticsearch/OpenSearch in production at scale
Deep knowledge of cluster design, indexing strategies, and search performance tuning
Experience with AWS OpenSearch, Elasticsearch Service, and/or Elastic Cloud
Familiarity with Kubernetes-based deployments is a plus
Contacts: @natalia_kurland
#вакансия #dataengineer #Elasticsearch #AWS
Location: Remote (outside of Russia)
Work format: Remote, Full-time
Salary range: $25-35 per hour
Company name: CloudSquad
Contacts: @natalia_kurland
Our customer is generative AI company headquartered in San Francisco provides a comprehensive AI platform tailored for enterprise use. In late 2023, the company secured $100 million in Series B funding from leading institutional investors, including a prominent growth equity firm and several other major venture capital groups.
We are looking for an experienced Elasticsearch Engineer to help us scale and optimize search infrastructure across multi- and single-tenant environments. You will be responsible for improving performance isolation, managing large-scale clusters (terabytes of data per tenant), and designing a scalable, resilient Elasticsearch/OpenSearch architecture to meet enterprise requirements.
Hiring specifics:
Candidates must be located outside of Russia
Preferred candidates in or near GMT+1 time zones
Minimum 1 years hands-on experience with Elasticsearch required
Minimum 1 years experience with major cloud platforms (AWS/GCP) required
English proficiency: Upper Intermediate (B2+) or higher required
Key Responsibilities:
Optimize and scale multi-tenant Elasticsearch/OpenSearch deployments
Design and implement sharding strategies for performance isolation
Implement backup, recovery, and cross-cluster replication strategies
Collaborate with platform and application teams on data ingestion and retrieval patterns, automated provisioning
Requirements:
3–5+ years managing Elasticsearch/OpenSearch in production at scale
Deep knowledge of cluster design, indexing strategies, and search performance tuning
Experience with AWS OpenSearch, Elasticsearch Service, and/or Elastic Cloud
Familiarity with Kubernetes-based deployments is a plus
Contacts: @natalia_kurland
🖕4❤3👍2
#вакансия #DataEngineer #fulltime #гибрид
Data Engineer
Крупная финтех-компания (не РФ), пионер мобильного банкинга, ищет Data Engineer. Мы развиваем мультифункциональную платформу, которая объединяет финансовые, сервисные и бизнес-решения и которой пользуются более 20 млн человек.
Ваши задачи:
- Анализ требований к витринам данных, работая в тесной связке с Data Analysts и Data Scientists.
- Поиск и исследование источников данных для их последующей интеграции с Data Lake.
- Разработка ETL/ELT-процессов с использованием PySpark.
- Разработка оркестрации ETL-процессов в Airflow.
- Развитие инструментов для контроля и поддержания качества данных (Data Quality).
- Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования:
- Отличные знания SQL для написания сложных и производительных запросов (CTE, оконные функции).
- Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
- Знание Python для разработки ETL/ELT пайплайнов.
- Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
- Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
- Опыт написания сервисов для взаимодействия с внешними источниками данных.
- Понимание принципов построения системных интеграций.
Мы предлагаем:
- Работу в офисе в Ташкенте или гибридный формат по договоренности.
- Конкурентную заработную плату
- Постоянное обучение и профессиональный рост.
- Фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
- Яркая корпоративная культура и кафетерий бенефитов.
Резюме присылать в Telegram: @spetrushkin
Data Engineer
Крупная финтех-компания (не РФ), пионер мобильного банкинга, ищет Data Engineer. Мы развиваем мультифункциональную платформу, которая объединяет финансовые, сервисные и бизнес-решения и которой пользуются более 20 млн человек.
Ваши задачи:
- Анализ требований к витринам данных, работая в тесной связке с Data Analysts и Data Scientists.
- Поиск и исследование источников данных для их последующей интеграции с Data Lake.
- Разработка ETL/ELT-процессов с использованием PySpark.
- Разработка оркестрации ETL-процессов в Airflow.
- Развитие инструментов для контроля и поддержания качества данных (Data Quality).
- Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования:
- Отличные знания SQL для написания сложных и производительных запросов (CTE, оконные функции).
- Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
- Знание Python для разработки ETL/ELT пайплайнов.
- Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
- Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
- Опыт написания сервисов для взаимодействия с внешними источниками данных.
- Понимание принципов построения системных интеграций.
Мы предлагаем:
- Работу в офисе в Ташкенте или гибридный формат по договоренности.
- Конкурентную заработную плату
- Постоянное обучение и профессиональный рост.
- Фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
- Яркая корпоративная культура и кафетерий бенефитов.
Резюме присылать в Telegram: @spetrushkin
🥰1