Data Engineer (Middle+/Senior)
Компания: IFellow
Зарплата: от 350 000
Тип занятости: #Гибрид
Локация: #Москва #Санкт-Петербург
Позиция: #Middle #Senior
Обязанности
— Участвовать в проектировании архитектуры фреймворка
— Разрабатывать новый/дорабатывать текущий функционал и тестировать его
— Взаимодействовать с коллегами: как с разработчиками, так и с DevOPS-инженерами
— Оптимизировать и масштабировать системы
Требования
— Уверенное знание SQL
— Уверенное знание языков Scala/Java, Bash
— Опыт работы с базами данных (SQL/NoSQL)
— Понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки
— Знание типов медленно меняющихся измерений
— Знание основных компонент инфраструктуры Hadoop, понимание принципов их работы (HDFS, YARN, HIVE, Oozie)
— Уверенное знание архитектуры, принципов работы и API инструментов Apache Spark, Apache Flink, Apache Kafka, Apache Iceberg, Trino, Velox
— Понимание основных принципов RESTful API
— Хорошее понимание архитектуры микросервисов
Дополнительные требования:
— Навыки программирования на Python
— Опыт работы с ClickHouse
— Опыт работы с S3 и Kubernetes
— Опыт менторства
Что компания предлагает
— Гибридный формат работы (3 дня офис, 2 дня дома)
Контакт для связи: @varvara_bash
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/13
Стек технологий: #Java #Scala #SQL #DWH #DataLake #Hadoop #RESTfulAPI #ApacheSpark #ApacheFlink #ApacheKafka #ApacheIceberg #Trino #Velox #Git #Python #ClickHouse #S3 #Kubernetes
#data #вакансия #job #vacancy #москва #спб
Компания: IFellow
Зарплата: от 350 000
Тип занятости: #Гибрид
Локация: #Москва #Санкт-Петербург
Позиция: #Middle #Senior
Обязанности
— Участвовать в проектировании архитектуры фреймворка
— Разрабатывать новый/дорабатывать текущий функционал и тестировать его
— Взаимодействовать с коллегами: как с разработчиками, так и с DevOPS-инженерами
— Оптимизировать и масштабировать системы
Требования
— Уверенное знание SQL
— Уверенное знание языков Scala/Java, Bash
— Опыт работы с базами данных (SQL/NoSQL)
— Понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки
— Знание типов медленно меняющихся измерений
— Знание основных компонент инфраструктуры Hadoop, понимание принципов их работы (HDFS, YARN, HIVE, Oozie)
— Уверенное знание архитектуры, принципов работы и API инструментов Apache Spark, Apache Flink, Apache Kafka, Apache Iceberg, Trino, Velox
— Понимание основных принципов RESTful API
— Хорошее понимание архитектуры микросервисов
Дополнительные требования:
— Навыки программирования на Python
— Опыт работы с ClickHouse
— Опыт работы с S3 и Kubernetes
— Опыт менторства
Что компания предлагает
— Гибридный формат работы (3 дня офис, 2 дня дома)
Контакт для связи: @varvara_bash
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/13
Стек технологий: #Java #Scala #SQL #DWH #DataLake #Hadoop #RESTfulAPI #ApacheSpark #ApacheFlink #ApacheKafka #ApacheIceberg #Trino #Velox #Git #Python #ClickHouse #S3 #Kubernetes
#data #вакансия #job #vacancy #москва #спб
Middle+/ Senior Data Engineer
Компания: Ptolemay
Зарплата: $3 000–$4 000
Тип занятости: #Удаленка #fulltime
Локация: #любая
Позиция: #Middle #Senior
Ptolemay - IT аутсорс- и аутстафф-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Middle+/ Senior Data Engineer с уверенным опытом в финтехе и глубокой экспертизой в построении масштабируемых пайплайнов на аутстафф-проект.
Обязанности
— Мигрировать процессы для аналитики и отчетности.
— Настроить регламентную загрузку данных.
— Работать с общебанковской data-платформой (Data Lake, DWH).
— Разрабатывать end-to-end пайплайны для сбора и обработки данных.
— Выбирать оптимальные форматы хранения и архитектуру интеграции.
— Анализировать и оптимизировать производительность пайплайнов.
— Развивать архитектуру данных и внедрять новые технологии.
— Управлять обновлениями и уязвимостями, восстанавливать сервисы, обрабатывать инциденты.
Требования
— 5+ лет опыта в роли Data Engineer (опыт во время учебы не засчитывается).
— Уверенное знание SQL, включая оптимизацию сложных запросов.
— Понимание архитектуры классических и MPP-СУБД.
— Опыт разработки на Python и/или Java, Scala.
— Опыт работы с Apache Airflow.
— Опыт работы с dbt.
— Опыт с Hadoop-стеком: HDFS, YARN, Hive, Sqoop.
— Владение Apache Spark (Spark SQL, DataFrames).
— Опыт работы в финтехе, знание банковской предметной области.
Что компания предлагает
— Удалённая работа.
— Фулл-тайм.
— Гибкий график.
— Аутстафф-система.
— Долгосрочный проект (от 6 месяцев).
— Зарплата: $3 000–$4 000 по итогам собеседования.
Контакт для связи: @rinapina_ptolemay
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/27
Стек технологий: #SQL #Python #Java #Scala #ApacheAirflow #dbt #Hadoop #HDFS #YARN #Hive #Sqoop #ApacheSpark #Kafka #Trino #Kubernetes #Helm
Компания: Ptolemay
Зарплата: $3 000–$4 000
Тип занятости: #Удаленка #fulltime
Локация: #любая
Позиция: #Middle #Senior
Ptolemay - IT аутсорс- и аутстафф-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Middle+/ Senior Data Engineer с уверенным опытом в финтехе и глубокой экспертизой в построении масштабируемых пайплайнов на аутстафф-проект.
Обязанности
— Мигрировать процессы для аналитики и отчетности.
— Настроить регламентную загрузку данных.
— Работать с общебанковской data-платформой (Data Lake, DWH).
— Разрабатывать end-to-end пайплайны для сбора и обработки данных.
— Выбирать оптимальные форматы хранения и архитектуру интеграции.
— Анализировать и оптимизировать производительность пайплайнов.
— Развивать архитектуру данных и внедрять новые технологии.
— Управлять обновлениями и уязвимостями, восстанавливать сервисы, обрабатывать инциденты.
Требования
— 5+ лет опыта в роли Data Engineer (опыт во время учебы не засчитывается).
— Уверенное знание SQL, включая оптимизацию сложных запросов.
— Понимание архитектуры классических и MPP-СУБД.
— Опыт разработки на Python и/или Java, Scala.
— Опыт работы с Apache Airflow.
— Опыт работы с dbt.
— Опыт с Hadoop-стеком: HDFS, YARN, Hive, Sqoop.
— Владение Apache Spark (Spark SQL, DataFrames).
— Опыт работы в финтехе, знание банковской предметной области.
Что компания предлагает
— Удалённая работа.
— Фулл-тайм.
— Гибкий график.
— Аутстафф-система.
— Долгосрочный проект (от 6 месяцев).
— Зарплата: $3 000–$4 000 по итогам собеседования.
Контакт для связи: @rinapina_ptolemay
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/27
Стек технологий: #SQL #Python #Java #Scala #ApacheAirflow #dbt #Hadoop #HDFS #YARN #Hive #Sqoop #ApacheSpark #Kafka #Trino #Kubernetes #Helm
🥴1
Backend Senior
Компания: Loyalty Labs
Зарплата: 200 000 - 220 000 руб.
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Senior
Аккредитованная IT компания, работаем с 2013 года, работаем с крупными Энтерпрайз проектами сегмента Retail и FinTech.
📍Находимся в самом центре г.Санкт-Петербург
Обязанности
— Выполнение роли разработчика корпоративного аналитического Хранилища данных и роли технического эксперта по миграции ХД с Oracle Exadata на Greenplum;
— Построение и оптимизация целевого масштабируемого отказоустойчивого аналитического ХД на базе Greenplum;
— Реализация сложной логики и задач ядра хранилища данных;
— Проектирование и реализация структур данных, алгоритмов загрузки и обработки данных в ХД;
— Документирование ХД, включая архитектурные диаграммы, описание структур баз данных, алгоритмов обработки данных и др.;
— Формирование состава документов для процесса миграции и эксплуатации ХД на новой платформе;
— Участие в процессе приемки-передачи ХД на новой платформе в промышленную эксплуатацию;
— Взаимодействие со смежными подразделениями.
Требования
— Оконченное высшее образование технических специальностей;
— Практический экспертный опыт построения отказоустойчивых масштабируемых аналитических ХД на базе Greenplum от 3 лет;
— Опыт построения промышленных ХД на базе PostgreSQL от 3 лет;
— Практически экспертный опыт реализации ETL / ELT;
— Экспертное знание SQL, PL/pgSQL;
— Практический опыт работы с Oracle DB/Oracle EXADATA от 3 лет;
— Знание подходов к разработке, документированию, тестированию ХД;
— Знание методологий разработки (Agile, Scrum, Waterfall);
— Желателен опыт миграции структур данных, данных, кода SQL и PL/SQL из Oracle в Greenplum (PostgreSQL);
— Желателен опыт работы с Apache Hadoop, Apache Spark, ClickHouse;
— Желателен опыт работы с Jira, Confluence, Git, Jenkins.
Что компания предлагает
— Несколько вариантов оформления (подробнее на встрече);
— Полная удаленка;
— Расширенная ДМС, компенсация спорта и разные обучалки для развития;
— Сильная команда профессионалов, у которых можно учиться.
Контакт для связи: @inessa_tarasenko
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/36
Стек технологий: #Greenplum #PostgreSQL #Oracle #SQL #PLpgSQL #ETL #ELT #ApacheHadoop #ApacheSpark #ClickHouse #Jira #Confluence #Git #Jenkins
Компания: Loyalty Labs
Зарплата: 200 000 - 220 000 руб.
Тип занятости: #Удаленка
Локация: #РФ
Позиция: #Senior
Аккредитованная IT компания, работаем с 2013 года, работаем с крупными Энтерпрайз проектами сегмента Retail и FinTech.
📍Находимся в самом центре г.Санкт-Петербург
Обязанности
— Выполнение роли разработчика корпоративного аналитического Хранилища данных и роли технического эксперта по миграции ХД с Oracle Exadata на Greenplum;
— Построение и оптимизация целевого масштабируемого отказоустойчивого аналитического ХД на базе Greenplum;
— Реализация сложной логики и задач ядра хранилища данных;
— Проектирование и реализация структур данных, алгоритмов загрузки и обработки данных в ХД;
— Документирование ХД, включая архитектурные диаграммы, описание структур баз данных, алгоритмов обработки данных и др.;
— Формирование состава документов для процесса миграции и эксплуатации ХД на новой платформе;
— Участие в процессе приемки-передачи ХД на новой платформе в промышленную эксплуатацию;
— Взаимодействие со смежными подразделениями.
Требования
— Оконченное высшее образование технических специальностей;
— Практический экспертный опыт построения отказоустойчивых масштабируемых аналитических ХД на базе Greenplum от 3 лет;
— Опыт построения промышленных ХД на базе PostgreSQL от 3 лет;
— Практически экспертный опыт реализации ETL / ELT;
— Экспертное знание SQL, PL/pgSQL;
— Практический опыт работы с Oracle DB/Oracle EXADATA от 3 лет;
— Знание подходов к разработке, документированию, тестированию ХД;
— Знание методологий разработки (Agile, Scrum, Waterfall);
— Желателен опыт миграции структур данных, данных, кода SQL и PL/SQL из Oracle в Greenplum (PostgreSQL);
— Желателен опыт работы с Apache Hadoop, Apache Spark, ClickHouse;
— Желателен опыт работы с Jira, Confluence, Git, Jenkins.
Что компания предлагает
— Несколько вариантов оформления (подробнее на встрече);
— Полная удаленка;
— Расширенная ДМС, компенсация спорта и разные обучалки для развития;
— Сильная команда профессионалов, у которых можно учиться.
Контакт для связи: @inessa_tarasenko
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/36
Стек технологий: #Greenplum #PostgreSQL #Oracle #SQL #PLpgSQL #ETL #ELT #ApacheHadoop #ApacheSpark #ClickHouse #Jira #Confluence #Git #Jenkins
👍1
Data Engineer
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, ищет Data Engineer. Мы развиваем мультифункциональную платформу, которая объединяет финансовые, сервисные и бизнес-решения и которой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных, работая в тесной связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для их последующей интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов для контроля и поддержания качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL для написания сложных и производительных запросов (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Релокационный пакет.
— Работу в офисе в Ташкенте или гибридный формат по договоренности.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
— Яркая корпоративная культура и кафетерий бенефитов.
Контакт для связи: @haas_mari
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/54
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #ApacheSpark #ApacheFlink #Airbyte
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, ищет Data Engineer. Мы развиваем мультифункциональную платформу, которая объединяет финансовые, сервисные и бизнес-решения и которой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных, работая в тесной связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для их последующей интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов для контроля и поддержания качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL для написания сложных и производительных запросов (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Релокационный пакет.
— Работу в офисе в Ташкенте или гибридный формат по договоренности.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы по интересам в офисе.
— Яркая корпоративная культура и кафетерий бенефитов.
Контакт для связи: @haas_mari
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/54
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #ApacheSpark #ApacheFlink #Airbyte
Data Engineer
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, развивает мультифункциональную платформу, объединяющую финансовые, сервисные и бизнес-решения. Платформой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных в связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов контроля качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Работу в офисе или гибридный формат.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы в офисе.
— Яркую корпоративную культуру и кафетерий бенефитов.
Контакт для связи: @spetrushkin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/87
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #MSQL #ApacheSpark #ApacheFlink #Airbyte #DataLake #DWH
Компания: Крупная финтех-компания (не РФ)
Зарплата: Конкурентная заработная плата
Тип занятости: #Офис #Гибрид
Локация: #Ташкент
Позиция: #Middle #Senior
Крупная финтех-компания, пионер мобильного банкинга, развивает мультифункциональную платформу, объединяющую финансовые, сервисные и бизнес-решения. Платформой пользуются более 20 млн человек.
Обязанности
— Анализ требований к витринам данных в связке с Data Analysts и Data Scientists.
— Поиск и исследование источников данных для интеграции с Data Lake.
— Разработка ETL/ELT-процессов с использованием PySpark.
— Разработка оркестрации ETL-процессов в Airflow.
— Развитие инструментов контроля качества данных (Data Quality).
— Проектирование структуры хранилищ данных (DWH, Data Lake).
Требования
— Отличные знания SQL (CTE, оконные функции).
— Опыт работы с СУБД: MS SQL, ClickHouse, PostgreSQL.
— Знание Python для разработки ETL/ELT пайплайнов.
— Опыт работы со стеком Big Data: HiveQL Hadoop, Apache AirFlow, Apache Spark, Apache Flink, Airbyte.
— Понимание концепции Data Vault хранилищ данных (DWH, Data Lake).
— Опыт написания сервисов для взаимодействия с внешними источниками данных.
— Понимание принципов построения системных интеграций.
Что компания предлагает
— Работу в офисе или гибридный формат.
— Конкурентную заработную плату.
— Постоянное обучение и профессиональный рост.
— Фитнес-зал, массажные кресла и спортивные клубы в офисе.
— Яркую корпоративную культуру и кафетерий бенефитов.
Контакт для связи: @spetrushkin
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_sql/87
Стек технологий: #SQL #Python #PySpark #Airflow #Hadoop #ClickHouse #PostgreSQL #MSQL #ApacheSpark #ApacheFlink #Airbyte #DataLake #DWH