Forwarded from Mercі
(1) В этой статье можно отлично разобраться в большинстве оптимизаторов и их параметрах.
Forwarded from Mercі
Статья с хорошими примерами проектирования сетей с помощью строительных блоков pytorch.
Forwarded from Artificial stupidity
Forwarded from cydoroga
Привет!
Вкратце: и то, и то.
Осталось понять, что именно мы считаем оптимальным.
Я про Gittins index много не скажу, но взять ucb и Thompson sampling.
Оба имеют асимптотики на регрет, которые нельзя превзойти, не зная среды.
Это доказывается тем, что можно вывести нижнюю оценку на регрет любого такого алгоритма.
И типа они равны.
Но там хватает нюансов: где-то речь идет про минимаксный регрет, где-то про байесовский, оба регрета связаны друг с другом.
Так что, практической разницы, мне кажется, мало - оба алгоритма оптимальны.
А если интересны именно асимптотики, советую почитать книжку
https://tor-lattimore.com/downloads/book/book.pdf
Там про все эти алгоритмы есть в очень разных сеттингах
Вкратце: и то, и то.
Осталось понять, что именно мы считаем оптимальным.
Я про Gittins index много не скажу, но взять ucb и Thompson sampling.
Оба имеют асимптотики на регрет, которые нельзя превзойти, не зная среды.
Это доказывается тем, что можно вывести нижнюю оценку на регрет любого такого алгоритма.
И типа они равны.
Но там хватает нюансов: где-то речь идет про минимаксный регрет, где-то про байесовский, оба регрета связаны друг с другом.
Так что, практической разницы, мне кажется, мало - оба алгоритма оптимальны.
А если интересны именно асимптотики, советую почитать книжку
https://tor-lattimore.com/downloads/book/book.pdf
Там про все эти алгоритмы есть в очень разных сеттингах
Forwarded from Блог о Data Science 💻 Наука о данных (Red Powerful)
Вы все уже слышали про студента, который с помощью ChatGPT написал диплом. Но таких инструментов сейчас достаточно много, они могут упростить нам работу с написанием рутинных вещей.
Нужно ли объяснять, что это такое? Вы все уже много раз про него слышали, это наш основной инструмент, но нужно проверять все то, что он пишет и не верить ему сразу.
Википедия для AI инструментов, там можно найти больше подобных
сервисов на вкус и цвет.
Частично-бесплатный сервис для создания и генерации контекта на основе AI. Я от него просто в восторге!
Вроде как бесплатный, конкурент Rytr. Но не уверен, что у него есть те же функции, например генерация заголовков, ключевых слов и тд.
Сервис, который объясняет что же там написано в этих заумных научных работах. Отлично поможет перефразировать чужие работы в наш диплом для объёма.
Для любителей пейперов
Теперь с лёгкостью можно найти схожие пейперы.
300 докеров на этот пост и делаю вторую часть!
Не забываем заходить в чат и делится постом с сокурсниками!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Cracking code interview and USA life
Алоха. Готовитесь к интервью по систем дизайну и осталось совсем мало времени?
Вот вам подборка популярных систем дизайнов, супрер поверхностное, но полезное чиво, для освежения знаний перед интервью.
https://www.educative.io/blog/top-10-system-design-interview-questions#proximity
#рекомендасьен #статьи #article
Вот вам подборка популярных систем дизайнов, супрер поверхностное, но полезное чиво, для освежения знаний перед интервью.
https://www.educative.io/blog/top-10-system-design-interview-questions#proximity
#рекомендасьен #статьи #article
Forwarded from Artem Ryblov’s Data Science Weekly (Artem Ryblov)
CS 229 ― Machine Learning Cheatsheet
Set of illustrated Machine Learning cheatsheets covering the content of the CS 229 class.
They can (hopefully!) be useful to all future students of this course, as well as to anyone else interested in Machine Learning.
Navigational hashtags: #armknowledgesharing #armcheetsheets
General hashtags: #machinelearning #students #content #supervisedlearning #unsupervisedlearning #deeplearning #tips #tricks #statistics #probability #calculus
Set of illustrated Machine Learning cheatsheets covering the content of the CS 229 class.
They can (hopefully!) be useful to all future students of this course, as well as to anyone else interested in Machine Learning.
Navigational hashtags: #armknowledgesharing #armcheetsheets
General hashtags: #machinelearning #students #content #supervisedlearning #unsupervisedlearning #deeplearning #tips #tricks #statistics #probability #calculus
stanford.edu
Teaching - CS 229
Teaching page of Shervine Amidi, Adjunct Lecturer at Stanford University.
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
FROMAGe: самый простой способ сделать мультимодального чатбота
Авторам потребовалось всего 24 часа чтобы на 1 GPU обучить это чудо! Идея очень похожа на Flamingo, но ещё проще и не требует больших датасетов.
За основу взяли замороженные ViT и OPT, а чтобы склеить их вместе — добавляют два обучаемых линейных слоя для отображения эмбеддингов (text2image и image2text). Затем визуальные эмбеддинги картинок подаются вместо псевдо-текстовых токенов. Для поиска и вывода картинок добавляется новый спец-токен [RET].
Для обучения используют общедоступный датасет CC3M из пар картинка-текст. В качестве лосса: CrossEntropy по тексту + контрастив лосс для токена [RET] (поиск картинок).
Код и чекпоинты выложены в открытый доступ, прям все 11 мегабайтов весов залиты на гитхаб 😂
P.S. Думаю, что если в GPT-4 добавят поддержку картинок, то это будет именно так.
Статья, GitHub, блог
Авторам потребовалось всего 24 часа чтобы на 1 GPU обучить это чудо! Идея очень похожа на Flamingo, но ещё проще и не требует больших датасетов.
За основу взяли замороженные ViT и OPT, а чтобы склеить их вместе — добавляют два обучаемых линейных слоя для отображения эмбеддингов (text2image и image2text). Затем визуальные эмбеддинги картинок подаются вместо псевдо-текстовых токенов. Для поиска и вывода картинок добавляется новый спец-токен [RET].
Для обучения используют общедоступный датасет CC3M из пар картинка-текст. В качестве лосса: CrossEntropy по тексту + контрастив лосс для токена [RET] (поиск картинок).
Код и чекпоинты выложены в открытый доступ, прям все 11 мегабайтов весов залиты на гитхаб 😂
P.S. Думаю, что если в GPT-4 добавят поддержку картинок, то это будет именно так.
Статья, GitHub, блог
Forwarded from AbstractDL
🔥FlexGen: как запустить OPT-175B на своём ноутбуке
Просто восторг! Самую большую открытую языковую модель теперь можно запустить на одной 16GB GPU и при этом не ждать генерацию целую вечность — скорость 1 токен в секунду!
Причём ускорение и сжатие модели делается очень просто:
P.S. В их репозитории даже есть пример чатбота на основе OPT-66B
Статья, GitHub
Просто восторг! Самую большую открытую языковую модель теперь можно запустить на одной 16GB GPU и при этом не ждать генерацию целую вечность — скорость 1 токен в секунду!
Причём ускорение и сжатие модели делается очень просто:
model = OptLM(model)P.S. В их репозитории даже есть пример чатбота на основе OPT-66B
Статья, GitHub