🔬 Августовские LLM-эксперименты

Изолированного от интернета (и адекватного) LLM-помощника для изучения казахского языка я пока еще не запустил. Хотя релиз Llama 405B намекает, что все возможно (если у вас свой GPU кластер 😬). Для ноута модельки можно выбрать полегче и посмотреть на качество 8B (как говорится, подписывайтесь и ставьте лайки).

Для работы решил сократить T2M и подключил нейро-помощника с интеграцией в Google (модели Gemini) и Open AI. Приятно, что Google (в отличие от Open AI) можно подключить по API абсолютно бесплатно, без с регистрацией, но хотя бы без смс.

Считаем ROI:
— инвестиции: 3.5 часа на изучение документации, эксперименты и поиск котиков
— результат: сервис на streamlit с интеграцией в несколько LLM по API. Керемет!

🤔 Какая-нибудь инструкция нужна, чтобы запустить это самостоятельно или (для программистов) и так все ясно?

#work #life

отгадайте кто это?

// ответ под катом

#random

🎉 Big Data кораблю - Big Data плавание. Мы запустились!

Счастливых людей как на фото, так и за черными экранами монитора, ждет большое путешествие в мир Big Data и Machine Learning инженерии. Пожелайте коллегам удачи! ❤️

На первой неделе обучения мы уже успели поговорить про профайлинг кода на Python, оптимизацию вычислений и ООП. Неплохой старт, неправда ли?

Если хотите погрузить в мир ООП самостоятельно, от уровня "beginner" до уровня "advanced", то обратите внимание на нашу подборку:
📚 Классы и ООП, полезные материалы

BigData Team: the way your learn best
#work #study #life

😊 Инсайды второй недели обучения

Пишите в комментариях: а какой ваш любимый редактор или IDE?

// Credit (за находку): Виталий М.

#meme #random

🔬 Big Datych учится быть учителем

Еще никогда не было так просто подружить LLM с векторной базой данных. Зацените, что умеет новая версия Big Datych'а, полностью изолированная от интернета.

💁‍♂️ Технические детали: за основу взяли LLama3.1 8B и, вероятно, месяц+ будем чистить для него данные. У нас благо накопилось несколько лет коммуникаций со слушателями курсов по Big Data, Python и Machine Learning. Как будет время - расскажем поподробнее. Кому не терпится попробовать самостоятельно - ловите ссылку на github и сохраняйте пост в "любимые" 🫶

🔥 Выпускники учебной программы Big Data / Machine Learning Engineer (проходит при поддержке грантов Tech Orda и BigData Team) научатся дообучать LLM в консоли (ноутбуках) под нужды компании, поэтому записывайтесь в очередь за выпускниками по адресу [email protected].

BigData Team: the way your learn best
#work #study #BigDatych

Митап для NLP специалистов от Beeline Kazakhstan и QazCode | 24.10.2024, 17:00 | Almaty

24 октября в DAR U мы подискутируем о языковых моделях! Data Scientist QazСode (Beeline) Бексултан Сагындык поделится свежими трендами в NLP и расскажет, как казахский язык интегрируется в эпоху LLM. Бексултан - один из тех, кто разрабатывает ИИ на казахском в Beeline Казахстан и QazCode.

А после - квартирник с экспертами из QazCode, Big Data Team и Conformal Group, с дискуссией об NLP в бизнесе: как применять LLMs в реальных кейсах.

Дата: 24.10, 17:00
Место проведения: DAR U, Коктем-2, 22, 4 этаж

Мероприятие бесплатное, но количество мест ограничено, регистрация по ссылке

🧠 Внимание, NLP-специалисты Алматы! 🧠

Уже 24 октября в 17:00 пройдет митап от Beeline Kazakhstan и QazCode, посвященный языковым моделям! 🔥

🎉 Специально для наших подписчиков проводим конкурс: напишите “➕” в комментариях, и случайным образом мы выберем одного счастливчика, который получит гарантированное место на мероприятии!

Результаты будут объявлены 23 октября в 15:00 (ALA)

📍Конкурс открыт только для жителей Алматы, но если вы из другого города, не стесняйтесь, напишите свой город в комментариях — нам важно знать, где еще есть интерес к NLP!

Не упустите шанс окунуться в мир языковых моделей и получить ценные знания! 🚀

#study #life

✍️ Востребованные в индустрии навыки

BigData Team - это не только ценных мех обучение, но и профессиональное сообщество. Прежде чем разрабатывать новый учебный модуль мы обсуждаем с коллегами, какие знания и навыки востребованы непосредственно в их IT-департаменте.

Боли SQL из первых уст:

с оконными функциями прям беда, когда чуть более сложные ранжирования

(c) Алексей Казюлин, Senior Manager @ Yandex.Лавка

В целом, мы собрали список из 10 болей SQL. Поможете собрать 100 лайков, чтобы узнать остальные?

P.S. если казы собирают 35+ лайков, то будет ли сложно собрать 100 лайков по целевой тематике? 🤔 казы vs SQL, round 1

BigData Team: the way your learn best
#study

Календарь обучения на 2025

Если вы планируете инвестировать в свое образование, то ловите календарь обучения от BigData Team.

❗️Актуальный календарь обучения на 2026 - тут.

Курсы: 2-3 месяца обучения

Курс промышленной разработки на Python, 9 недель
🗓1 поток: 02.12.2024 — 23.02.2025
🗓2 поток: 19.05.2025 — 20.07.2025
🗓3 поток: 01.12.2025 — 22.02.2026
👉 полное описание + запись
▶️ демо-ролик с курса (9 min) + отзывы

Практический курс по Big Data, 10 недель
🗓1 поток: 24.02.2025 — 04.05.2025
🗓2 поток: 28.07.2025 — 28.09.2025
👉 полное описание + запись
▶️ Пример видеоролика с курса (5 min) + отзывы

Практический курс по Machine Learning, 10 недель
🗓1 поток: 24.02.2025 — 04.05.2025
🗓 запуск 2026 (оставить👇 заявку)
👉 полное описание + запись

Python для анализа [больших] данных, Py4BDA
🗓1 поток: сентябрь 2025
👉 полное описание + запись

Специализации: 6+ месяцев обучения

Курс Big Data / Machine Learning Engineer, BDMLE
🗓 сентябрь 2025
Специализация Big Data или Machine Learning Engineer. Фундаментальные знания и погружение в технологии для решения продуктовых задач
👉 полное описание + запись
👉 гранты
👩‍🎓👨‍🎓 отзывы


Курс Big Data Engineer++, 6 месяцев обучения
🗓 (по запросу)
прокачаем промышленную разработку на Python, практическую инженерию Big Data
эксклюзив: 5 дополнительных тем по Big Data
👉 полное описание + запись

Мини-курсы: до 1 месяца обучения

Погружение в HDFS / знакомство с Big Data, 2 недели
🗓 в разработке, оставляйте заявку на сайте, чтобы вас уведомили о старте курса
👉 полное описание + запись

Курсы для менеджеров и топ-менеджеров

Big Data Workshop
Мастер-класс по управлению проектами в Data Science от экспертов с более чем 10-летним опытом. Включено:
- оценка экономического эффекта
- построение моделей машинного обучения без опыта разработки
👉 полное описание + запись

Big Data Workshop для топ-менеджеров
Управление данными и машинное обучение в бизнесе для топ-менеджеров и руководителей подразделений.
👉 полное описание + запись

❗️Сохраните себе и поделитесь с друзьями.

BigData Team: the way your learn best
#study

🎓 Делимся кусочком лекции с курса промышленной разработки на Python, чтобы было представление каким языком мы говорим на курсе и в какие дебри погружаемся. Полное видео

🗓 Последний поток 2024 года стартует 2 декабря!
👉 Описание курса и регистрация
‼️ Одна группа уже укомплектована, во второй осталось всего 🔥 5 мест

Не упустите возможность освоить навыки промышленной разработки, востребованные в ведущих международных IT-компаниях.

Заполняйте предварительную заявку на сайте по ссылке.

BigData Team: the way your learn best
#study #python

🔬 LLM, o1-preview

Миленько, всего 21 секунда и ваша персональная страница (1-page HTML) готова. Изначально модель просила ответить на три вопроса, но мне было настолько лень, что я просто попросил загуглить информацию обо мне в интернетах. В соответствии с оригинальным релизом Open AI от 12 сентября, модель не умела гуглить (в сравнение с моделью 4o). Но как можете видеть, за месяц эти ограничения сняли.

Какие улучшения (на основе релиза): o1 обладает возможностью строить цепочки размышлений. Что по тестам показывает значительное улучшение качества в решении задач по математике, программированию и в целом при ответах на вопросы, заготовленных для PhD-студентов. Интересно будет сравнить с майскими экспериментами по уровню понимания ML, которыми я когда-то мучал студентов МФТИ, а также прошлые модели Chat GPT и Gemini:
🤖 Эксперименты с Gemini и GPT-4o

А пока мы балуемся, поделитесь, насколько ваша работа и жизнь изменилась с последними обновленями GPT моделей?

#work #study

🧬 BigData Team митап "Наука, индустрия и IT"

В прошлый раз у нас вышел восхитительный митап, решили повторить!

На онлайн встречу планируют заглянуть:
🔹 Александр Климов, Staff ML Engineer @Ebay
🔹 Алексей Казюлин, Senior Manager @Yandex.Лавка
🔹 Дмитрий Рычагов, Tech Leader @MTS Банк
🔹 Илья Сенаторов, PhD Student @ University of Saarland
🔹 Наталья Корепанова, Senior Manager, Solutions Consultant @Criteo
🔹 Николай Попов, Engineering Manager @InDrive
🔹 Модератор: Алексей Драль (LinkedIn), Founder @BigData Team

Мы обсудим:
1. Работу в науке и индустрии
2. Роли менеджеров в IT компании (ликбез+дополним про BizDev)
3. Можно ли без бекграунда в математике попасть в IT
4. Ваши вопросы в формате Q&A. Например можно поспрашивать спикеров про drug design и графовые нейросети

🗓 воскресенье (01.12), 14:00 - 15:00 по MSK
Количество мест будет ограничено нашей лицензией Zoom 😉
👉 ссылка на регистрацию

P.S. зарегистрировался сам - поделись информацией с другом

BigData Team: the way your learn best
#life #study

🇰🇿 Разница в зарплате мужчин и женщин в IT

В октябре были опубликованы данные опросов IT'шников:
— ⅓ женщины и ⅔ мужчины
— 70% респондентов из Алматы
— 20% из Астаны

Данные показывают, что в Казахстане средняя зарплата женщин ниже на 20-30%, чем зарплата мужчин на аналогичных позициях. Эти оценки сходятся с исследованиями ПРООН и данными бюро нацониальной статистики. В IT эта разница составила 30% (см. скриншот).

Является ли это уникальной ситуацией для Казахстана? Скорее нет, поскольку в среднем, по миру, на каждый заработанный доллар тенге мужчиной, женщина зарабатывает 80 центов тиын (источник).

🇺🇸 Причем США здесь будет не лучшим примером:
— темнокожие женщины зарабатывают на 30% меньше
— латиноамериканские женщины — на целых 35%

🇰🇪 Рекорды ставит Кения: женщины зарабатывают на 52% меньше мужчин.

Как вы думаете:
1. Почему так происходит?
2. Как меры доступны или могут быть полезны, чтобы исправить гендерное неравенство?

#itnews

🚀 Новые форматы обучения и скидки до конца выходных

Последний запуск курса промышленной разработки на Python 2024 года стартует 4 декабря. Из-за высокого спроса осталось всего одно место во второй (дополнительной) учебной группе! Мы понимаем, что не у всех есть возможность попасть на наше обучение с экспертной поддержкой и по расписанию.

Чтобы сделать обучение доступнее мы разработали новые форматы обучения: Lite, Medium и Full. С этими форматами вы сможете начать обучение в любое время и по своему графику.

Описание и сравнение форматов доступно на сайте по ссылке. Например формат Medium содержит:
✔️ Ежемесячные старты
✔️ Доступ к видео на год
✔️ Возможность использовать Grader для проверки своих решений
✔️ кое-что еще
✔️ и конечно же сертификаты

Самое главное — до конца этой недели (2024.12.08) вы можете записаться на формат Medium со скидкой 30%! Просто укажите в комментариях "промокод PYTHON30" при подаче заявки на обучение.

✨ Не упусти свой шанс научиться писать код, как его пишут и спрашивают на собеседованиях в Amazon, Google и других ведущих технологических компаниях.

1. Лайк
2. Репост
3. 👉 Регистрация
4. ...
5. PROFIT

BigData Team: the way your learn best
#study