🍪 Как мы все будем жить без 3rd party идентификаторов

Тезисы:
- Современная Big Data во многом строится на основе возможности неявного трекинга пользователей на основе 3rd party идентификаторов (куки, gaid, idfa)
- С 2019 года начался тренд на ограничение этой идентификации со стороны Apple, это уже привело к довольно большим изменениям (правда на рынках за пределами России)
- В следующем году нас ожидает следующий большой рубеж - поддержка со стороны Google

Артем Выборнов ответил на вопросы "что происходит" и "что с этим делать" на недавнем внутреннем митапе менторского сообщества BigData Team.

Чтобы стать ментором курсов BigData Team необходимо:
1️⃣ Пройти ИТ курс по Big Data, Machine Learning или Python на "хорошо" или "отлично"
2️⃣ Подать заявку "хочу в менторы" на [email protected].

Для всех остальных - ловите Артема на конференции НРФ, 15-17 ноября и на пивных after party 😉

BigData Team: the way you learn best

Календарь обучения на 2024

Если вы планируете инвестировать в свое образование, то ловите календарь обучения от BigData Team на 2024.

Курсы: 2-3 месяца обучения

Python для анализа [больших] данных, Py4BDA
🗓1 поток: сентябрь 2024
полное описание + запись

Курс промышленной разработки на Python, 9 недель
🗓1 поток: 22.01.2024 — 24.03.2024
🗓2 поток: 17.06.2024 — 18.08.2024
🗓3 поток: 02.12.2024 — 23.02.2025
полное описание + запись
▶️ демо-ролик с курса (9 min) + последние отзывы

Практический курс по Big Data, 10 недель
🗓1 поток: 25.03.2024 — 09.06.2024
🗓2 поток: 19.08.2024 — 27.10.2024 🔥осталось 4 места
полное описание + запись
▶️ Пример видеоролика с курса (5 min)

Практический курс по Machine Learning, 10 недель
🗓1 поток: 25.03.2024 — 09.06.2024
🗓2 поток: 19.08.2024 — 27.10.2024
полное описание + запись

Специализации: 6+ месяцев обучения

Курс Big Data / Machine Learning Engineer, BDMLE
🗓сентябрь 2024
Специализация Big Data или Machine Learning Engineer. Фундаментальные знания и погружение в технологии для решения продуктовых задач
полное описание + запись

Курс Big Data Engineer++, 6 месяцев обучения
🗓23.01.2024 — 21.07.2024 (по запросу)
прокачаем промышленную разработку на Python, практическую инженерию Big Data
эксклюзив: 5 дополнительных тем по Big Data
полное описание + запись

Мини-курсы: до 1 месяца обучения

Погружение в HDFS / знакомство с Big Data, 2 недели
🗓 в разработке, оставляйте заявку на сайте, чтобы вас уведомили о старте курса
полное описание + запись

Курсы для менеджеров и топ-менеджеров

Big Data Workshop
Мастер-класс по управлению проектами в Data Science от экспертов с более чем 10-летним опытом. Включено:
- оценка экономического эффекта
- построение моделей машинного обучения без опыта разработки
👉 полное описание + запись

Big Data Workshop для топ-менеджеров
Управление данными и машинное обучение в бизнесе для топ-менеджеров и руководителей подразделений.
👉 полное описание + запись


❗️Сохраните себе и поделитесь с друзьями.

👩‍💻 Выпускники, карьерные истории

Совсем недавно, мы провели выпускной на курсе Big Data. Даты выпускного совпали с завершением одного из потоков обучения грантников программы Tech Orda.

Организаторы грантовой программы Astana Hub собирают интересные статистики. Одну из них мы приложили в формате скриншота.

За каждой строчкой скрывается история длиной в 45 недель. Какую историю (или истории) вы хотите услышать?

Для удобства голосования истории пронумерованы, пишите о вашем выборе в комментариях.

#work #study #BigDataTeam #TechOrda #AstanaHub

Алгоритмы и структуры данных

Два учебных модуля:
1️⃣ Нотация Big-O, оценка сложности алгоритмов
2️⃣ Базовые структуры данных

Когда:
🗓 По четвергам, 07.12.2023 и 14.12.2023
🕓 17:00 - 20:00 (Москва) / 20:00 - 23:00 (Алматы/Астана)

Инструктор: Саша Климов, ML Engineer @ Ebay
Гуру MLOps и выпускник МФТИ. В прошлом, Саша работал в Альфа-Банке, в отделе CRM, где выстроил всю MLOps архитектуру.

Список любимых инструментов (из популярных): Python, Kubernetes, Airflow, базы данных (включая векторные).

Если вам было страшно начать погружение в мир оценки сложности алгоритмов, то приходите послушать теорию с понятными примерами из практики.

Три пакета участия:
1. 🧑‍💻 полный (ДЗ, обратная связь, общий чат)
🔥 доступно только 4 места в учебной группе
2. 🎁 выпускник курсов BigData Team
скидки до 40% и возможность записаться на 1 или 2 модуля
3. 👀 посмотреть
- доступ только к Zoom-сессиям

Подробная информация по стоимости и правилам подачи заявки - под катом.

🧑‍🏫👩‍🏫 Data Engineer, готовимся к собеседованию

На выпускном Практического курса по Big Data прозвучал хороший вопрос: на что обратить внимание при подготовке к собеседованию на роль Data Engineer'а.

Решили поделиться с вами нашими рекомендациями:
1️⃣ Понимание принципов Map Reduce
2️⃣ Понимание принципов работы Spark и опыт работы с ним
3️⃣ Качество написание кода на Python (aka промышленная разработка)
4️⃣ SQL и SQL поверх Big Data (e.g. Hive)
5️⃣ Понимание принципов работы Kafka (обработка данных в Near Real-Time, NRT)

На TOP-5 остановиться невозможно, поэтому продолжаем:
6️⃣ Принципы работы NoSQL (CAP, денормализация данных)
7️⃣ Оркестрация экспериментов, Airflow
8️⃣ Оркестрация окружений, Docker, Kubernetes
9️⃣ Кейсы из жизни (e.g. оптимизация пайплайнов)
🔟 Soft Skills

Как говорится: last but not least, поэтому касательно последнего пункта намекнем на то, что вас хорошенько могут проверять на соответствие принципам компании по ходу технического собеседования:
- см. например Amazon Leadership Principles
- и присмотри себе в библиотеку книгу Cracking the Coding Interview: 189 Programming Questions and Solutions

Полезно? Ставь лайк и делись с друзьями 😉
Всем удачных собеседований!

BigData Team: the way you learn best
#work #study

🤡 Пятница

Если вам не подходит JSON для организации данных, то возможно вам подойдет ...

Прошлый выпуск: плохие практики от руководителя инфраструктуры BigData Team.

Как всегда, приветствуются лайки 🔥 и комментарии, заряжаемся пятничным настроением.

#meme

😳 Как говорится "нет времени объяснять..."

🎁😍 Очень, очень приятно, что наши курсы дарят в качестве подарка на Новый Год.

До чего это довело:
🔥 Разобрали все места на январском курсе промышленной разработки на Python и уже резервируют места на набор в июне!

Тем временем, мы подводим итоги года, осталось подвести итоги последнего курса (Python для анализа [больших] данных) и можно готовиться к Новому Году 🌲⛄️🍾

#work #study

▶️🎙 Tech Orda, развитие человеческого капитала в сфере IT

Пока ваш организм еще переваривает оливье, предлагаю послушать про опыт прошлых лет и перспективы обучения при поддержке государства в 2024.

Жақажанов Бахытжан, CEO Product Bee
Сансызбай Алиби, CEO Outpeer
Алексей Драль, CEO BigData Team
Ведущий: Данай Даиров, главный менеджер офиса программ финансирования

Ссылка на ролик на YouTube:
▶️ https://youtu.be/_UIvrDivOG4?feature=shared

P.S. буду благодарен, если кто-нибудь скинет time-коды для аннотации видео (обновим пост)

#work #study

🎬🎄 Продлеваем новогоднее настроение

У нас уже была подборка мультфильмов (рекомендации наших слушателей), которые можно пересматривать бесконечно. Если вы уже посмотрели все, то ловите новую: мультфильмы, которые продлят ваше новогоднее настроение и помогут верить в чудеса!

❄️ 101 далматинец
❄️ Питер Пен
❄️ Эрнест и Селестина
❄️ Бесподобный мистер Фокс
❄️ Хранители снов
❄️ Кошмар перед Рождеством
❄️ Маленький принц
❄️ Короткометражные мультфильмы Варежка, Котенок Гав и Щелкунчик.

Они погружают в такое мягкое и беззаботное время, когда все вокруг - невероятная сказка!

Смотрели что-нибудь из этой подборки? Пишите в комментариях, что больше всего тронуло вашего внутреннего ребенка.

P.S. Создатель подборки большой фанат старых и коротких мультфильмов 🤗

🌐 ✍️🫱🏻‍🫲🏾 Чек-лист посещения конференции

https://vc.ru/hr/995535-chek-list-poseshcheniya-konferencii

Мне недавно задали вопрос:
❓Я никогда не ходил(а) на конференции. Как это правильно делать?

Bullet points:
* Чек-лист слушателя
* Чек-лист спикера
* Чек-лист неправильного досуга
* Чек-лист правильного досуга
* 2 пасхалки
* предложения по развитию темы про конференции

Если материал полезный - накидайте emoji и комментариев. Тизер из статьи на фото.

#work #study

🛠 news: проблема отображения сертификатов

Наблюдается проблема с отображением электронных сертификатов на сайте (см. скрин). Вернемся с отдельным анонсом, как только ситуация будет исправлена.

Просим сохранять спокойствие и в случае острой необходимости расслабиться и полистать вредные заметки от руководителя инфраструктуры.

✅🛠 news: сертификаты снова доступны

Downtime отображения сертификатов составил 2 дня

Long story short:
- напоролись на Cross-Origin Read Blocking (CORB)
- подняли новый Nginx сервис для выдачи сертификатов
- сделали миграцию данных со старого сервиса на новый
- прикрутили на сайте выдачу сертификатов через новый сервис
- ...
- PROFIT

Картинка для хорошего настроения в пятницу и выходные.
- понравилось - жми лайк
- есть время для просвещения - почитай про CORB
- хочешь получить красивый сертификат - тебе сюда 😉

👩‍💻 Выпускники, карьерные истории, продвинутый поток

В начале декабря мы делились историями успехами некоторых выпускников: карьерные истории 2023

Как вы догадываетесь, это только начало истории. По запросу организаторов грантовой программы Tech Orda (Astana Hub) делимся результатами обучения по нашей продвинутой программе обучения BDE++.

А также продолжаем собирать обратную связь в комментариях о самых интересных для вас карьерных историях успеха. Что звучит наиболее интересным, переход c Junior до Middle или с Middle до Senior?

Ставь ❤️ в первом случае и ❤️‍🔥 во втором.

#work #study #BigDataTeam #TechOrda #AstanaHub

🖼👽 Генеративный дизайн для вашей бабушки, Google Gemini

https://vc.ru/services/1028493-generativnyy-dizayn-dlya-vashey-babushki-google-gemini

❓Надоело пользоваться VPN, платными подписками, скачивать предобученные модели или обучать родственников подписываться на рекламные каналы в телеграм, чтобы получить доступ к сервисам по генерации изображений с помощью нейронок?

Мне тоже, поэтому я решил поделиться лайфхаками по использованию Google Gemini. В статье вы узнаете:
* откуда ноги растут
* подводные камни и лайфхаки использования
* немного ликбеза про известные проблемы нейронок (prompt engineering и галлюцинации)
* и, конечно же, пошаговый план для генерации собственных изображений на русском языке (без регистрации и смс)

Тизеры из статьи на фото.

🔥 Да наступит в комментариях межгаллактический кулинарный battle. Ваш ход!

#work #life #study

🔬 Новости науки и техники, обзор LLM, arXiv

Large Language Models: A Survey
https://arxiv.org/pdf/2402.06196.pdf

by Shervin Minaee, Tomas Mikolov, Narjes Nikzad, Meysam Chenaghlu Richard Socher, Xavier Amatriain, Jianfeng Gao

Почему стоит обратить внимание на эту статью: Томас - один из авторов word2vec, подхода, который перевернул мир NLP в 2013-м (42k цитирований), а за свою научную карьеру собрал уже более 100k цитирований.

Сравним: Yann LeCun, лаурет премии Тьюринга за нашумевшие нейронки, имеет 3 статьи с количеством цитирований более 10k. Один из ведущих ученых по рекомендательным системам, Joe Konstan, - всего одну и до 100k публикаций еще не добрался.

Структура статьи:
* Large Language Models
* How LLMs are built
* How LLMs are used and augmented
* Popular datasets for LLMs
* Prominent LLMs’ performance on benchmarks
* Challenges and future directions

Налетай, торопись, покупай изучай живопись! (классика жанра)

Выделен еще один автор, why? 🤔

За лайк и репост в карму плюс 🤗

#study #work