Data Engineer
Компания: Clear Mind
Зарплата: от 300 000 до 400 000 р.
Тип занятости: #Удаленка #Офис
Локация: #РФ
Позиция: #Middle #Senior
Мы IT стартап Clear Mind, создаем social media продукт (mobile first) с выходом на рынок США. У нас нет бюрократии и мы всегда поощряем проактивность.
Обязанности
— Развивать и оптимизировать хранилища данных (ClickHouse), проектировать схемы хранения;
— Разрабатывать и поддерживать ETL/ELT-процессы (Airflow, Glue, PySpark);
— Проектировать и настройка потоков данных между S3, ClickHouse, PostgreSQL и другими хранилищами;
— Оптимизировать обработку данных, обеспечивать надежность и отказоустойчивость пайплайнов;
— Поддерживать текущие решения и мониторинг производительности;
— Разрабатывать и поддерживать витрины данных для аналитики и ML-сервисов;
— Улучшать качество кода, код-ревью, рефакторинг.
Требования
— Опыт работы в роли Data Engineer от 2-х лет;
— Уверенное владение Python (PySpark, pandas);
— Опыт работы с ClickHouse (партиционирование, индексы, оптимизация запросов);
— Понимание принципов ETL/ELT, пакетной и потоковой обработки данных;
— Опыт работы с Apache Airflow (DAGs, кастомные операторы, интеграции);
— Опыт работы с Kafka, Kinesis или другими стриминговыми платформами;
— Глубокое понимание AWS (S3, Glue, Lambda, IAM, Personalize);
— Знание SQL (PostgreSQL) и NoSQL-хранилищ (DynamoDB);
— Опыт работы с GitLab CI/CD и в автоматизация развертывания пайплайнов.
Что компания предлагает
— Свободу действий и возможность реализовывать крутые идеи в продукте;
— Развитие технических навыков за счет компании;
— Компенсация ДМС после испытательного срока;
— Компенсация обучения после испытательного срока;
— Заработную плату соответствующие уровню компетенций.
Контакт для связи: @z0mb1ek
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_1c_dev/26
Стек технологий: #ClickHouse #Python #PySpark #Airflow #AWS #PostgreSQL #Kafka #GitLab #DynamoDB
Компания: Clear Mind
Зарплата: от 300 000 до 400 000 р.
Тип занятости: #Удаленка #Офис
Локация: #РФ
Позиция: #Middle #Senior
Мы IT стартап Clear Mind, создаем social media продукт (mobile first) с выходом на рынок США. У нас нет бюрократии и мы всегда поощряем проактивность.
Обязанности
— Развивать и оптимизировать хранилища данных (ClickHouse), проектировать схемы хранения;
— Разрабатывать и поддерживать ETL/ELT-процессы (Airflow, Glue, PySpark);
— Проектировать и настройка потоков данных между S3, ClickHouse, PostgreSQL и другими хранилищами;
— Оптимизировать обработку данных, обеспечивать надежность и отказоустойчивость пайплайнов;
— Поддерживать текущие решения и мониторинг производительности;
— Разрабатывать и поддерживать витрины данных для аналитики и ML-сервисов;
— Улучшать качество кода, код-ревью, рефакторинг.
Требования
— Опыт работы в роли Data Engineer от 2-х лет;
— Уверенное владение Python (PySpark, pandas);
— Опыт работы с ClickHouse (партиционирование, индексы, оптимизация запросов);
— Понимание принципов ETL/ELT, пакетной и потоковой обработки данных;
— Опыт работы с Apache Airflow (DAGs, кастомные операторы, интеграции);
— Опыт работы с Kafka, Kinesis или другими стриминговыми платформами;
— Глубокое понимание AWS (S3, Glue, Lambda, IAM, Personalize);
— Знание SQL (PostgreSQL) и NoSQL-хранилищ (DynamoDB);
— Опыт работы с GitLab CI/CD и в автоматизация развертывания пайплайнов.
Что компания предлагает
— Свободу действий и возможность реализовывать крутые идеи в продукте;
— Развитие технических навыков за счет компании;
— Компенсация ДМС после испытательного срока;
— Компенсация обучения после испытательного срока;
— Заработную плату соответствующие уровню компетенций.
Контакт для связи: @z0mb1ek
⚠️ Для удобства указывайте ссылку на вакансию
Ссылка: https://t.iss.one/it_match_1c_dev/26
Стек технологий: #ClickHouse #Python #PySpark #Airflow #AWS #PostgreSQL #Kafka #GitLab #DynamoDB