Команда NVIDIA выложила модели нейросетей, применяемых в компьютерном зрении, NLP, рекомендательных системах, генеративно-состязательных сетях, а также их реализация с открытым кодом.

Используйте данные примеры для понимания принципов построения и обучения со своими собственными данными либо интегрируйте их в свои программные продукты.

https://developer.nvidia.com/deep-learning-examples

#советдня

Если вы используете модель из глубокого обучения, используйте малые скорости обучения для предобученных моделей.

Заранее настроенные веса – это не то же самое, что инициализированные случайным образом. Изменяйте их значения более деликатно. Выбор скорости зависит от модели обучения и того, насколько хорошо прошло предобучение.

#алгоритмдня

Ограниченная линейная регрессия
Метод наименьших квадратов может смутить выбросами, ложными полями и т. д. Нужны ограничения, чтобы уменьшить дисперсию линии, которую мы помещаем в набор данных. Правильное решение состоит в том, чтобы соответствовать модели линейной регрессии, которая гарантирует, что веса не будут вести себя “плохо”.

Модели могут иметь норму L1 (LASSO) или L2 (Ridge Regression) или обе (elastic regression).
Используйте этот алгоритм для соответствия линиям регрессии с ограничениями, избегая переопределения.

Полезные ссылки
Документация по обобщенным линейным моделям в sklearn
Ридж-регрессия
LASSO регрессия

Машинное обучение — как секс в старших классах. Все говорят о нем по углам, единицы понимают, а занимается только препод. Статьи о машинном обучении делятся на два типа: это либо трёхтомники с формулами и теоремами, которые я ни разу не смог дочитать даже до середины, либо сказки об искусственном интеллекте, профессиях будущего и волшебных дата-саентистах.

Эта статья — большое введение для тех, кто хочет наконец разобраться в машинном обучении — простым языком, без формул-теорем, зато с примерами реальных задач и их решений.

Читать: https://vas3k.ru/blog/machine_learning/

Всем вечера пятницы! Немного обработки естественного языка в ленту. Ребята пытались натренировать бота на сообщениях с двача, получилось очень весело, но тут, как говорится, лучше один раз увидеть, чем сто раз услышать:

https://www.youtube.com/watch?v=1LcdA0Y7IEk

#книгадня

Neural Networks and Deep Learning — онлайн-книга, как вы уже догадались, о нейронных сетях и глубоком обучении. Основная задача книги — познакомить вас с ключевыми идеями, заложенными в работе нейронных сетей. Книга ориентирована на практику, предполагая что у вас уже есть некоторый опыт в программировании на Python. Можем ли мы любую математическую функцию аппроксимировать нейросетями? Как выбрать гиперпараметры для нейросетей?

Узнать ответы на эти вопросы и многое другое: https://neuralnetworksanddeeplearning.com/

Все наслышаны про Jupyter Notebook, однако существует еще более мощное решение на базе jupyter — Jupyter Lab — среда разработки для задач Data Science и смежных областей, о чем и будет рассказано в данной статье:

https://proglib.io/p/jupyter/

​​#алгоритмдня

Метод k-средних

Всеми любимый неконтролируемый алгоритм кластеризации. Учитывая набор данных в виде векторов, мы можем создавать кластеры точек на основе расстояний между ними. Это один из алгоритмов машинного обучения, который последовательно перемещает центры кластеров, а затем группирует точки с каждым центром кластера. Входные данные – количество кластеров, которые должны быть созданы, и количество итераций.

Документация на scikit по K-Means
Видео по кластеризации
Введение в кластеризацию

Kaggle является самой популярной платформой для соревнований в сфере анализа данных. Освоившись там, вы сможете получать предложения о работе в крупных западных фирмах с солидными окладами. 5 дельных советов о том, как добиться успехов на этой платформе в выступлении одного из самых успешных участников этой платформы:

https://www.youtube.com/watch?v=fXnzjJMbujc

В статье на примере диагностики болезни Паркинсона рассматривается применение популярной библиотеки машинного обучения XGBoost:

https://proglib.io/p/xgboost/

Для тех, кто хочет быстро освежить знания в математике, применяемой в машинном обучении, мы нашли шпаргалку:

https://gwthomas.github.io/docs/math4ml.pdf

Самый наглядный курс по нейросетям от одного из лучших образовательных каналов на ютубе по математике 3blue1brown:

https://www.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

Очень хороший курс по глубоким нейросетям в Python!

В лекциях изложены теоретические основы работы глубоких нейронных сетей и особенности их обучения, описаны популярные в настоящее время типы глубоких нейронных сетей (сверточные сети, сети долго-краткосрочной памяти (LSTM)), библиотеки для языка Python, реализующие глубокие нейронные сети (Keras, TensorFlow, Theano), а также методы использования глубоких нейронных сетей для анализа изображений и текстов.

Практические работы содержат задания для самостоятельного выполнения на анализ открытых наборов данных (MNIST, CIFAR-10 и IMDB Movie Review Dataset) с использованием глубоких нейронных сетей и примеры программ, которые можно использовать в качества образца.

Смотреть курс: https://www.youtube.com/playlist?list=PLtPJ9lKvJ4oiz9aaL_xcZd-x0qd8G0VN_

Давно думали разобраться в науке о данных, но не знали, с чего начать? Мы собрали материалы, которые помогут стать специалистом по Data Science:

https://proglib.io/p/data-science-basics/

27 лучших шпаргалок по машинному обучению и Python.
Шпаргалки освободят ваш разум для более важных задач.

https://proglib.io/p/ds-cheatsheets

Действительно полезный контент!

Русскоязычный курс по глубокому обучению от МФТИ. Рекомендуем!

https://deepmipt.github.io/dlschl/

Математика больших данных

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию "на лету", не сохраняя поступающие последовательно данные? Как оптимизировать функцию за время меньшее чем уходит на ее вычисление в одной точке? Что дает обучение по слаборазмеченным данным? И почему для решения всех перечисленных выше задач надо хорошо знать математику? Ответы на эти вопросы будут рассмотрены в докладе.

Доклад доступен по ссылке: https://youtu.be/lkh7bLUc30g

Нейронные сети за 30 минут: от теории до практики.

Автор видео расскажет что такое нейронные сети, и как они используются. За 30 минут вы узнаете минимально необходимую теорию, а так же сможете написать свою первую многослойную нейронную сеть самостоятельно (она займет не более 50 строк кода!).

https://www.youtube.com/watch?v=AZG0j0pNY-4

История искусственного интеллекта

1. Рождение теории 1936-1956
2. Золотой век 1956-1976
3. Кризис нейронных сетей 1969-1980
4. Первая зима 1975-1980
5. Краткое возвращение 1980-1984
6. Вторая зима 1984-1993
7. Новая эра 1993-н.в.

Плейлист с видео доступен по ссылке: https://www.youtube.com/watch?v=UlVoZVakmYs&list=PLDCR37g8W9nHI3LDgZ6xRexrCHgUzBnvz

5-страничная шпаргалка по алгоритмам машинного обучения

https://github.com/remicnrd/ml_cheatsheet

Интенсивный курс по нейронным сетям от MailRu

1. Темы первой лекции:
— Нейронные сети прямого распространения;
— backpropagation;
— обучение глубоких нейронных сетей;
— сверочные сети.
2. Генеративные сети.
3. Детекция и сегментация.
4. Face Recognition.
5. DSSM-like модели. Нейронные сети для работы с текстами.
6. RNN. Нейронные сети для работы с текстами.

Ссылка на плейлист: https://vk.com/wall-54530371_211891