Как мозг общается с нейросетями?
Мы не работали в Neuralink, Google или *компании с CEO-рептилоидом* Reality Labs, поэтому не можем развернуто и подробно ответить на этот вопрос. Но на него может ответить Патрик Мино (Mineault), который в этой сфере работал и поделился инсайдами с Янником Килчером (извиняемся, что до этого писали эту фамилию неправильно).
Посмотреть:
https://www.youtube.com/watch?v=vfBAUYpMCTU
#позалипать
Мы не работали в Neuralink, Google или *компании с CEO-рептилоидом* Reality Labs, поэтому не можем развернуто и подробно ответить на этот вопрос. Но на него может ответить Патрик Мино (Mineault), который в этой сфере работал и поделился инсайдами с Янником Килчером (извиняемся, что до этого писали эту фамилию неправильно).
Посмотреть:
https://www.youtube.com/watch?v=vfBAUYpMCTU
#позалипать
YouTube
Unsupervised Brain Models - How does Deep Learning inform Neuroscience? (w/ Patrick Mineault)
#deeplearning #brain #neuroscience
Originally, Deep Learning sprang into existence inspired by how the brain processes information, but the two fields have diverged ever since. However, given that deep models can solve many perception tasks with remarkable…
Originally, Deep Learning sprang into existence inspired by how the brain processes information, but the two fields have diverged ever since. However, given that deep models can solve many perception tasks with remarkable…
👍3
Возможно иногда стоит отложить градиенты в сторонку
А когда именно это делать, объясняется в статье «Gradients are Not All You Need». В большинстве случаев, вы всё ещё хотите использовать старый добрый backpropogation, но если надо что-то обучать на системе в которой симулируются физические процессы, то в игру вступает ХАОС и большая дисперсия внутри этих систем. Возможно, это слишком специфичная задача, но никто не застрахован от неё, и вы должны быть готовы.
Посмотреть:
https://www.youtube.com/watch?v=EeMhj0sPrhE
Почитать:
https://arxiv.org/abs/2111.05803
#статья
А когда именно это делать, объясняется в статье «Gradients are Not All You Need». В большинстве случаев, вы всё ещё хотите использовать старый добрый backpropogation, но если надо что-то обучать на системе в которой симулируются физические процессы, то в игру вступает ХАОС и большая дисперсия внутри этих систем. Возможно, это слишком специфичная задача, но никто не застрахован от неё, и вы должны быть готовы.
Посмотреть:
https://www.youtube.com/watch?v=EeMhj0sPrhE
Почитать:
https://arxiv.org/abs/2111.05803
#статья
YouTube
Gradients are Not All You Need (Machine Learning Research Paper Explained)
#deeplearning #backpropagation #simulation
More and more systems are made differentiable, which means that accurate gradients of these systems' dynamics can be computed exactly. While this development has led to a lot of advances, there are also distinct…
More and more systems are made differentiable, which means that accurate gradients of these systems' dynamics can be computed exactly. While this development has led to a lot of advances, there are also distinct…
👍6❤1
Методы позиционного кодирования в Transformer
Методы позиционного кодирования — ключевой элемент Transformer для анализа длинных текстов. Как правило, в отличие от RNN, эта архитектура обрабатывает входные векторы одновременно, и без дополнительной информации о позиции каждого токена будет рассматривать последовательность подобно «мешку со словами».
В данной статье вы найдёте основные подходы, описанные в научных работах и применяемые в известных языковых моделях.
#nlp #transformer #deeplearning
Методы позиционного кодирования — ключевой элемент Transformer для анализа длинных текстов. Как правило, в отличие от RNN, эта архитектура обрабатывает входные векторы одновременно, и без дополнительной информации о позиции каждого токена будет рассматривать последовательность подобно «мешку со словами».
В данной статье вы найдёте основные подходы, описанные в научных работах и применяемые в известных языковых моделях.
#nlp #transformer #deeplearning
👍5❤2
«Грокаем глубокое обучение»
Эта книга послужит отличным стартом для новичков в области Deep Learning. Материалы содержат всю базовую информацию, необходимую для понимания ключевых концепций и избежания типичных ошибок в начале пути. Автор доступно объясняет сложные темы, позволяя эффективно осваивать глубокое обучение.
Описание:
«Грокаем глубокое обучение» научит вас создавать нейронные сети с нуля! Эндрю Траск подробно рассказывает обо всех аспектах и тонкостях этой непростой задачи. С использованием Python и библиотеки NumPy ваши нейронные сети смогут обрабатывать изображения, распознавать их, переводить тексты на все языки мира и даже создавать тексты не хуже Шекспира!
#почитать #deeplearning #nlp
Эта книга послужит отличным стартом для новичков в области Deep Learning. Материалы содержат всю базовую информацию, необходимую для понимания ключевых концепций и избежания типичных ошибок в начале пути. Автор доступно объясняет сложные темы, позволяя эффективно осваивать глубокое обучение.
Описание:
«Грокаем глубокое обучение» научит вас создавать нейронные сети с нуля! Эндрю Траск подробно рассказывает обо всех аспектах и тонкостях этой непростой задачи. С использованием Python и библиотеки NumPy ваши нейронные сети смогут обрабатывать изображения, распознавать их, переводить тексты на все языки мира и даже создавать тексты не хуже Шекспира!
#почитать #deeplearning #nlp
👍10❤3🔥1
Все перечисленные библиотеки имеют открытый исходный код и предназначены в основном для питонистов.
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
❤8🤣6👍5😍1
Курсы:
— Курс от Hugging Face: баланс теории и практики, вы познакомитесь с основными библиотеками, получите сертификат по окончанию и сможете пообщаться с другими участниками в Discord.
— Плейлист с подробными лекциями о базовых концепциях и популярных архитектурах обучения роботов.
— Курс на Coursera: даст понимание ключевых идей обучения с подкреплением. Вы сможете реализовать полноценное RL-решение и научитесь применять инструменты ИИ для решения реальных задач.
Книги:
— «Грокаем глубокое обучение с подкреплением» Моралес Мигель;
— «Обучение с подкреплением [2-е изд.]» Ричард С. Саттон, Эндрю Дж. Барто;
— «Алгоритмы принятия решений» Кохендерфер М., Уинлер Т., Рэй К.
Дайте знать, если хотите видеть больше подобных подборок!
#rl #deeplearning
— Курс от Hugging Face: баланс теории и практики, вы познакомитесь с основными библиотеками, получите сертификат по окончанию и сможете пообщаться с другими участниками в Discord.
— Плейлист с подробными лекциями о базовых концепциях и популярных архитектурах обучения роботов.
— Курс на Coursera: даст понимание ключевых идей обучения с подкреплением. Вы сможете реализовать полноценное RL-решение и научитесь применять инструменты ИИ для решения реальных задач.
Книги:
— «Грокаем глубокое обучение с подкреплением» Моралес Мигель;
— «Обучение с подкреплением [2-е изд.]» Ричард С. Саттон, Эндрю Дж. Барто;
— «Алгоритмы принятия решений» Кохендерфер М., Уинлер Т., Рэй К.
Дайте знать, если хотите видеть больше подобных подборок!
#rl #deeplearning
👍19🔥4❤3