👨‍💼👩‍💼👨‍🎤Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации

Автор статьи на «Хабре» описывает подходы к делению выборки для АБ-тестирования. Он описывает разные методы с их плюсами и минусами:

▪️случайное присвоение пользователям значения группы;
▪️применение псевдослучайных хэш-функций.

🔗 Читать статью

🧠🤖 Как создать память для вашего чат-бота на Python с
помощью графов знаний

Хотите, чтобы ваш чат-бот давал более точные и релевантные ответы, избегая «галлюцинаций»? Графы знаний в помощь!

В статье и туториале разбираем, что такое графы и как создать память на примере данных из Википедии.

🔗 Читать статью
🔗 Зеркало

🐍🎩 Hatchet: новый король распределения задач, который затмит Celery

Ваша система распределения задач тормозит проект? Пора переходить на Hatchet! Этот инновационный менеджер очередей решает проблемы, с которыми не справляются устаревшие инструменты.

Hatchet позволяет создавать отказоустойчивые процессы, решающие проблемы параллелизма, справедливости распределения задач и ограничения скорости обработки.

👉Обо всех преимуществах Hatchet рассказали в статье👈
🔗 Зеркало

🆕 Вышел первый международный рейтинг Global Generative AI Landscape 2024 с ведущими мировыми ИИ-разработками

Туда попали две российские нейросети — текстовая YandexGPT и мультимодальная YandexART. Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ AIPort провели исследование по 62 странам, которые больше всего инвестируют в развитие ИИ (согласно глобальному индексу искусственного интеллекта Tortoise).

Яндекс также стал одной из 11 компаний со всего мира, разрабатывающих более одного типа GenAI-моделей. В этом списке такие компании, как Open AI, Google, Microsoft, Meta.

👉 Читать статью

🎮👾 Подборка материалов по машинному обучению для игр

🎓 Machine Learning for Games Course
На Hugging Face недавно запустили вводный курс по использованию ML в играх. Уроки выходят постепенно, на данный момент доступна первая часть. Следите за расписанием курса.

😺 NVIDIA показала демо-версию детективной игры Covert Protocol на базе Inworld AI
Видео мы прикрепили к посту. Демо показывает, как ИИ-инструменты позволяют NPC адаптироваться к действиям игрока и выдавать реплики в зависимости от контекста. NVIDIA пообещала опубликовать исходный код Covert Protocol в ближайшее время.

📖 Google DeepMind создал новый ИИ, способный неплохо играть в компьютерные игры. На что он способен?
Статья на «Хабре», разбирающая агента SIMA для игр.

👀 Code Bullet
Это YouTube-канал со множеством забавных видео, в которых автор пытается использовать разные ML-алгоритмы в играх. Залипнуть можно надолго.

📈 Гайд по предварительной обработке данных для машинного обучения

На «Хабре» опубликовали большую статью с описанием процесса предобработки данных перед кластеризацией.

Рассматриваются такие темы:
▪️Выявление и обработка аномальных наблюдений;
▪️Анализ и исключение дубликатов;
▪️Анализ и обработка пропусков.

🔗 Читать статью со всем подробностями

🧠 Бесплатные курсы по ИИ от NVIDIA

▪️Generative AI Explained
Это вводный курс длительностью 2 часа, который объясняет, как работают генеративные модели.
▪️Building A Brain in 10 Minutes
Совсем короткий урок, рассказывающий о том, как устройство биологического мозга вдохновило исследователей на создание нейросетей.
▪️Augment your LLM Using Retrieval Augmented Generation
Объясняет, что такое Retrieval Augmented Generation (RAG).
▪️Accelerate Data Science Workflows with Zero Code Changes
Курс продолжительностью один час рассказывает о том, как ускорить обработку данных и ML-workflows с помощью GPU.
▪️Building RAG Agents with LLMs
Самый долгий курс из списка — рассчитан на 8 часов. Расскажет про LLM-агентов, векторные базы данных и LangChain.

Какие допущения есть у линейной регрессии?

Линейная регрессия — это, в сущности, статистический метод, который позволяет описать связь между переменными. Этот метод валиден, если выполняются четыре предположения:

1️⃣ Между независимой переменной x и зависимой переменной y существует линейная зависимость.
2️⃣ Между последовательными остатками (или разницей между фактическими и предсказанными значениями) нет корреляции. Это чаще всего случается в данных временных рядов.
3️⃣ Должна соблюдаться гомоскедастичность. То есть дисперсия остатков обязана быть одинаковой. Иными словами, разность между реальным и предсказанным значениями, должна оставаться в определённом известном диапазоне.
4️⃣ Остатки должны быть нормально распределены.

#вопросы_с_собеседований

🔥 Сайт с отличной визуализацией работы нейросетей

Разработчик Jared Wilber сделал страничку по нейронным сетям, на которой объяснил, как устроен их механизм работы. Все объяснения он сопроводил хорошими иллюстрациями. В частности, автор разбирает:

▪️линейную и логистическую регрессии;
▪️архитектуры нейросетей и разные функции активации;
▪️механизм обратного распространения ошибки.

Также на сайте есть виджет, в котором можно самостоятельно настраивать сеть и смотреть, что получается.

🔗 Ссылка на сайт

🧑‍💻 Путь разработчика: один язык на всю жизнь или постоянное переобучение?

Мир IT постоянно развивается, и то, что было актуально вчера, сегодня может оказаться устаревшим. Мы хотим узнать, как часто разработчики меняют сферу деятельности и направление разработки в погоне за новыми знаниями и возможностями.

👉 Поделитесь своим мнением и опытом. Ваши ответы помогут нам лучше понять тенденции и предпочтения в сообществе разработчиков

Опрос займёт у вас примерно 4 минуты.

🧠 Шпаргалка по статистике от Стэнфорда

Это материалы к курсу Introduction to Probability and Statistics for Engineers.

Охватывают темы:
▪️оценивание параметров;
▪️доверительные интервалы;
▪️тестирование гипотез;
▪️регрессионный анализ;
▪️корреляционный анализ.

🔗 Ссылка на шпаргалку

🔬 20 лет в блогосфере: взгляд физика на эволюцию фундаментальной науки

Двадцать лет назад автор блога Not Even Wrong сделал свою первую запись. С тех пор многое изменилось в мире фундаментальной физики и в способах научной коммуникации. Какие уроки можно извлечь из этого опыта и чего ждать от будущего?

👉 Читать статью
👉 Зеркало

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

35% на самый хардкорный курс по вышмату!

🌟 «Математика для Data Science» 🌟

19 490 рублей 29 990 рублей до 1 апреля

Полугодовая программа от преподавателей МГУ, которая включает в себя все необходимые знания по математике для работы в Data Science.

Вас ждет развернутая обратная связь по всем домашним заданиям, а также ссылки на полезные дополнительные материалы.

У вас не будет шансов не усвоить какие-то темы курса👌

🔥 Переходите и активируйте вводные занятия курса — https://proglib.io/w/4b21349b

🔮Что такое проклятие размерности?

Проклятие размерности — это набор проблем, возникающих при работе с данными высокой размерности. Трудности появляются, когда мы имеем дело с пространством признаков с сотнями или даже тысячами измерений.

Основная проблема здесь заключается в том, что в высокоразмерных пространствах данные становятся очень разреженными. Вот пример:

👀 Допустим, мы используем метод ближайших соседей для задачи классификации. Чтобы алгоритм хорошо работал, объекты должны быть расположены достаточно плотно в пространстве признаков. Так, в единичном интервале [0,1] ста равномерно разбросанных точек будет достаточно, чтобы покрыть этот интервал с частотой не менее 0.01. Однако если мы возьмём 10-мерный куб, то для той же степени покрытия потребуется уже 10^20 точек.

То есть проклятие размерности связано с:
▫️ухудшением производительности алгоритмов, полагающихся на метрики расстояния;
▫️ростом вычислительной сложности;
▫️риском переобучения;
▫️трудностями визуализации.

❓Как с этим бороться?
— провести отбор признаков;
— снизить размерность данных с помощью метода главных компонент (PCA).