Работа с большими данными, Hadoop, полезные ссылки:
🔵 DWH + Data Lake или что такое LakeHouse
🔵 Форматы файлов в больших данных: краткий ликбез
🔵 Допинг для аналитики: почему стоит обратить внимание на Apache Zeppelin
🔵 Apache Spark, объяснение ключевых терминов
🔵 Hadoop: что, где и зачем
🔵 Шпаргалка по командам Hadoop HDFS
https://t.iss.one/data_engi/105
#lakehouse #hadoop #spark
https://t.iss.one/data_engi/105
#lakehouse #hadoop #spark
Please open Telegram to view this post
VIEW IN TELEGRAM
(Говорят, что это одна из самых глубоких русскоязычных программ по Apache Spark для дата-инжиниринга)
➞ летний поток c 3 по 31 июля онлайн
➞ 8 занятий по 3 часа с преподавателем в зуме
➞ 4 лабы, объединенные в один проект
➞ облачный кластер для выполнения лаб
➞ автоматическая проверка лаб чекерами
➞ малая группа и помощь эксперта
➞ преподаватель: Сергей Гришаев, Architect, Сбермаркет
Собрали всю разрозненную информацию в одном месте и упаковали в 8 занятий.
Вы разработаете коннектор к гибридному хранилищу и разберетесь раз и навсегда, что скрыто в Spark "под капотом" и как ускорить обработку данных в своих проектах
Мы также публиковали здесь комментарии Андрея Титова – автора этой программы в аудио-формате: что именно будет на программе, как она построена и что станет результатом 👉
#NewProLab #курс #Spark
Please open Telegram to view this post
VIEW IN TELEGRAM
Audio
5-й поток Spark Advanced стартовал уже 3 июля – не просто курс, а лаборатория!
Перед первым потоком мы записали небольшое интервью с Андреем Титовым, автором программы и преподавателем первых двух потоков.
Тогда в ноябре 2021 мы подробнее обсудили, откуда родилась идея программы, для кого она, что в ней будет и что участник сможет делать после программы.
🙌Для удобства разделили видео-интервью на короткие ответы в формате аудио
Преподаватель этого потока – Сергей Гришаев (Сбермаркет), проведет эту программу уже во второй раз.
Будем рады видеть вас в числе участников программы - сейчас как раз действует специальные условия
#NewProLab #курс #Spark
Перед первым потоком мы записали небольшое интервью с Андреем Титовым, автором программы и преподавателем первых двух потоков.
Тогда в ноябре 2021 мы подробнее обсудили, откуда родилась идея программы, для кого она, что в ней будет и что участник сможет делать после программы.
🙌Для удобства разделили видео-интервью на короткие ответы в формате аудио
Преподаватель этого потока – Сергей Гришаев (Сбермаркет), проведет эту программу уже во второй раз.
Будем рады видеть вас в числе участников программы - сейчас как раз действует специальные условия
#NewProLab #курс #Spark
Data & IT Career
Собрали ссылки на бесплатные ресурсы, которые будут полезны при подготовке к нашей программе Apache Spark и Scala для дата-инжиниринга
📌Новый поток стартует уже 4 сентября https://newprolab.com/ru/spark-de, а до 30 июля действует промокод DE2023
Для прохождения программы потребуются знания по следующим темам: Scala (желательно, но если вы не знаете Scala, то рекомендуется уверенное знание Python или Java), Apache Spark, Linux, SQL, Kafka, HDFS для формирования витрин данных для последующего анализа, математическая статистика и линейная алгебра.
Ниже — ресурсы по каждой теме. Пожалуйста, готовьтесь до программы, чтобы во время обучения получить максимум новых знаний и не отвлекаться на базовые вещи.
📌Scala
- Базовый туториал по Scala
- Курс на Stepik
📌Apache Spark
- Памятка по Spark в Kubernetes
📌Linux
- курс на CodeAcademy
- курс на Stepik
- курс на edX
📌SQL
- Книга Бен Форта Освой самостоятельно SQL за 10 минут
📌Kafka
- Как работает Kafka в облаке
📌HDFS
- Какие еще есть способы хранения данных и чем S3 лучше HDFS: вебинар
📌Математическая статистика и линейная алгебра
Курсы на Stepik:
- Основы статистики
- Линейная алгебра: методы и задачи
#подборка #free #курсы #spark #scala #sql #linux #hadoop #hdfs #kafka #матстат #linalg #stepic
https://t.iss.one/newprolab_news/149 #NewProLab
📌Новый поток стартует уже 4 сентября https://newprolab.com/ru/spark-de, а до 30 июля действует промокод DE2023
Для прохождения программы потребуются знания по следующим темам: Scala (желательно, но если вы не знаете Scala, то рекомендуется уверенное знание Python или Java), Apache Spark, Linux, SQL, Kafka, HDFS для формирования витрин данных для последующего анализа, математическая статистика и линейная алгебра.
Ниже — ресурсы по каждой теме. Пожалуйста, готовьтесь до программы, чтобы во время обучения получить максимум новых знаний и не отвлекаться на базовые вещи.
📌Scala
- Базовый туториал по Scala
- Курс на Stepik
📌Apache Spark
- Памятка по Spark в Kubernetes
📌Linux
- курс на CodeAcademy
- курс на Stepik
- курс на edX
📌SQL
- Книга Бен Форта Освой самостоятельно SQL за 10 минут
📌Kafka
- Как работает Kafka в облаке
📌HDFS
- Какие еще есть способы хранения данных и чем S3 лучше HDFS: вебинар
📌Математическая статистика и линейная алгебра
Курсы на Stepik:
- Основы статистики
- Линейная алгебра: методы и задачи
#подборка #free #курсы #spark #scala #sql #linux #hadoop #hdfs #kafka #матстат #linalg #stepic
https://t.iss.one/newprolab_news/149 #NewProLab
🔥2
А что вы думаете про #dbt + #spark?
== ❤️ or not very? 😁
https://t.iss.one/rockyourdata/4292?comment=29623 #spark_dbt
== ❤️ or not very? 😁
https://t.iss.one/rockyourdata/4292?comment=29623 #spark_dbt
Telegram
Data & IT Career in Комментарии к постам Инжиниринг Данных (это не чат)
А чем dbt не подходит для Spark SQL??..
Просто сам в эту сторону думаю, но не копал глубоко пока...🤔
Набросьте, коллеги, пожалуйста! 😁🙏
Просто сам в эту сторону думаю, но не копал глубоко пока...🤔
Набросьте, коллеги, пожалуйста! 😁🙏
❤3
FREE LIVE STREAM | ВЕБИНАР
по программе «Apache Spark и Scala для дата-инжиниринга»
📅Дата: 6 сентября 2023
🕗Время: 20:00 по МСК
🔵Место: Zoom
Расскажем, как за 6 недель получить до года опыта в использовании Apache Spark для задач дата-инжиниринга
Для кого вебинар подойдет?
✅ дата-инженеры, кому по работе надо погрузиться в Apache Spark и Scala, но не хватает практического опыта
✅ разработчики, если хотите сменить профессию, научиться строить пайплайны данных, то вебинар поможет разобраться с вектором обучения и профессионального развития
✅ дата-сайентисты, если вы пишите на PySpark, но нужно погружение в Scala API
Спикеры:
🌴Сергей Гришаев, Сбермаркет - преподаватель программы
🕶Владимир Васев, Сбербанк - координатор программы
🧢Алексей Ница, руководитель образовательных программ NewProLab
Всем участникам стрима будет доступен промокод со специальными условиями участия в программе (старт потока 13 сентября)
🔗[Записаться на бесплатный вебинар]
https://t.iss.one/newprolab_news/155 #spark
по программе «Apache Spark и Scala для дата-инжиниринга»
📅Дата: 6 сентября 2023
🕗Время: 20:00 по МСК
🔵Место: Zoom
Расскажем, как за 6 недель получить до года опыта в использовании Apache Spark для задач дата-инжиниринга
Для кого вебинар подойдет?
✅ дата-инженеры, кому по работе надо погрузиться в Apache Spark и Scala, но не хватает практического опыта
✅ разработчики, если хотите сменить профессию, научиться строить пайплайны данных, то вебинар поможет разобраться с вектором обучения и профессионального развития
✅ дата-сайентисты, если вы пишите на PySpark, но нужно погружение в Scala API
Спикеры:
🌴Сергей Гришаев, Сбермаркет - преподаватель программы
🕶Владимир Васев, Сбербанк - координатор программы
🧢Алексей Ница, руководитель образовательных программ NewProLab
Всем участникам стрима будет доступен промокод со специальными условиями участия в программе (старт потока 13 сентября)
🔗[Записаться на бесплатный вебинар]
https://t.iss.one/newprolab_news/155 #spark
https://t.iss.one/datacoffee?livestream
Паша говорит, что #JetBrains активно развивают поддержку #Spark в #PyCharm / IDEA, тч с радостью примут ваши feature requests! (Сам тоже буду думать, пч как раз с этими тулами и работаю сейчас))
Паша говорит, что #JetBrains активно развивают поддержку #Spark в #PyCharm / IDEA, тч с радостью примут ваши feature requests! (Сам тоже буду думать, пч как раз с этими тулами и работаю сейчас))
🔥3👍2🤮2❤1👎1💩1
Media is too big
VIEW IN TELEGRAM
Прямой эфир по нашей программе Spark Advanced
📅Дата: 22 августа
🕗Время: 20:00 по МСК
🔴Место: YouTube
🔗Регистрация
Вместе с преподавателем программы Сергеем Гришаевым (Architect, Сбермаркет) мы поговорим о продвинутом использовании Apache Spark:
- Как устроена наша программа Apache Spark и почему в этом потоке она длится не 4, а 8 недель
- Какие обновления были сделаны
- Почему знание Spark под капотом даст вам преимущества при устройстве на работу
- Какие темы и лабы внутри программы
🚀 Новый поток программы Spark Advanced стартует 13 сентября
https://newprolab.com/spark-advanced
🔥 Только до 1 сентября стоимость участия составляет
59 000 р / $590
При оплате любой иностранной картой действует дополнительная скидка 10%
https://t.iss.one/newprolab_news/325
👆 Когда нужно лезть под капот в Spark и для чего это нужно
Небольшое видео из нашего прошлого прямого эфира, где Сергей Гришаев (Architect, Сбермаркет) преподаватель программы Spark Advanced, рассказал о преимуществах глубокого понимания работы Apache Spark и какие поеимущества это дает дата-инженерам
https://t.iss.one/newprolab_news/327 #spark #advanced #newprolab
#upd:
📺 #Запись эфира по Spark Advanced
https://www.youtube.com/watch?v=o90XiR28nkQ
Ссылка на полезные предыдущие посты по этой программе:
📌Spark Advanced: аудио-комментарии Андрея Титова, автора программы
📌Spark Advanved: отзыв Алексея Фадеева
📌Интервью с преподавателем Сергеем Гришаевым
📌Запись эфира по Spark Advanced (апрель)
📌Запись эфира по антипаттернам в Apache Spark
📌 Подробнее о лабах
📌 Лайфхаки в Apache Spark
📌 Когда нужно лезть под капот Spark
🚀 Spark Advanced стартует 13 сентября
Подробное описание и программа:
https://newprolab.com/spark-advanced
📅Дата: 22 августа
🕗Время: 20:00 по МСК
🔴Место: YouTube
🔗Регистрация
Вместе с преподавателем программы Сергеем Гришаевым (Architect, Сбермаркет) мы поговорим о продвинутом использовании Apache Spark:
- Как устроена наша программа Apache Spark и почему в этом потоке она длится не 4, а 8 недель
- Какие обновления были сделаны
- Почему знание Spark под капотом даст вам преимущества при устройстве на работу
- Какие темы и лабы внутри программы
🚀 Новый поток программы Spark Advanced стартует 13 сентября
https://newprolab.com/spark-advanced
🔥 Только до 1 сентября стоимость участия составляет
59 000 р / $590
При оплате любой иностранной картой действует дополнительная скидка 10%
https://t.iss.one/newprolab_news/325
Небольшое видео из нашего прошлого прямого эфира, где Сергей Гришаев (Architect, Сбермаркет) преподаватель программы Spark Advanced, рассказал о преимуществах глубокого понимания работы Apache Spark и какие поеимущества это дает дата-инженерам
https://t.iss.one/newprolab_news/327 #spark #advanced #newprolab
#upd:
📺 #Запись эфира по Spark Advanced
https://www.youtube.com/watch?v=o90XiR28nkQ
Ссылка на полезные предыдущие посты по этой программе:
📌Spark Advanced: аудио-комментарии Андрея Титова, автора программы
📌Spark Advanved: отзыв Алексея Фадеева
📌Интервью с преподавателем Сергеем Гришаевым
📌Запись эфира по Spark Advanced (апрель)
📌Запись эфира по антипаттернам в Apache Spark
📌 Подробнее о лабах
📌 Лайфхаки в Apache Spark
📌 Когда нужно лезть под капот Spark
🚀 Spark Advanced стартует 13 сентября
Подробное описание и программа:
https://newprolab.com/spark-advanced
Please open Telegram to view this post
VIEW IN TELEGRAM