Small Data Science for Russian Adventurers
11.3K subscribers
307 photos
3 videos
13 files
708 links
БЕЗ ЧУЖОЙ РЕКЛАМЫ Авторский канал Александра Дьяконова (dyakonov.org)
машинное (machine learning) и
глубокое обучение (deep learning)
анализ данных (data mining)
наука о данных (data science)
ИИ (artificial intelligence)
математика (math)
и др.
ЕСТЬ ЧАТ;)
Download Telegram
#книга
Недавно на ArXive появилась книга Benedikt Ahrens, Kobe Wullaert "Category Theory for Programming"
https://arxiv.org/pdf/2209.01259.pdf
По стилю напоминает конспект лекций, но сделана аккуратно, есть задания.

Есть книга со схожим названием Б. Милевски, уже давно переведённая на русский язык (но написана совсем по-другому, больше в сторону популярного учебника):
https://rdf.ru/files/bartozh-teorcat.pdf
👍29
#книга
Сет Вейдман "Глубокое обучение: Лёгкая разработка проектов на питон"
По задумке книга такая, как и должна быть: сначала показывается, как сделать нейросеть «с нуля», причём отдельно по модулям, потом переходят к Pytorch. Мне только не понравилось, что предлагаемые способы реализации не имитируют высокоуровневые способы самого Pytorch. Лучше бы было просто разбираться, что внутри у nn.Linear, nn.Dropout и т.п. Потенциальна полезна для новичков, которые знают питон.
👍253
#книга
Есть такая немного старенькая (2016 года), но классная книга «Как стать современным учёным». Очень полезна, причём не важно, в какой области Вы специализируетесь. В ней кратко и по делу:
- как и где читать статьи,
- как и где их публиковать,
- как их писать, выкладывать код и данные,
- как докладывать о результатах и многое другое.
Много ссылок на конкретные инструменты, начиная с волшебного Overleaf, заканчивая платформами для личного блога (хотя некоторые инструменты уже устарели и нет учёта последних трендов типа онлайн-конференций). Всем молодым исследователям рекомендую хотя бы посмотреть;)
👍69🔥22
#книга
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).

Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.

Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.

Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"

Читать обязательно!
👍1051
#книга
Jakub M. Tomczak "Deep Generative Modeling"
По ощущениям это как раз книга для продвинутого ML, т.к. в стандартных программах не всегда глубокие генеративные модели подробно излагаются. Автор довольно известен, у него очень симпатичный сайт и доклады о генеративных моделях на разных научных школах. Там и блог есть, но в нём излагаются главы книги.

Минус у книги один:
- не смотря на объём, глубоко в специфику отдельных методов автор не погружается.

Зато много плюсов:
+ обзор всех популярных классов генеративных моделей;
+ для каждого класса даётся перечень приёмов/улучшений со ссылками на первоисточниками;
+ даны примеры кода.
👍67🔥154😱3
#книга
Свежая книга "Random Matrix Methods for Machine Learning" поможет понять, зачем в машинном обучении нужны функции комплексного переменного, интегралы по контуру, спектральная теория, комбинаторика и т.п. Есть следующие разделы
- Random Matrix Theory
- Statistical Inference in Linear Models
- Kernel Methods
- Large Neural Networks
- Large-Dimensional Convex Optimization
- Community Detection on Graphs
- Universality and Real Data

Например, в первом изучается спектр матрицы XX^T, которая много где возникает (в методе главных компонент, теории ядер и т.п.) А в четвёртом есть интересные результаты про т.н. двойной спуск.

Книга для очень подготовленного читателя!
🔥88👍11❤‍🔥22😁2🍌2
#книга
Большая книга про женщин в науке. Сделана в формате справочника, вроде как наиболее полная по этой теме (но, например, про Софью Ковалевскую ни слова).
https://discovery.ucl.ac.uk/id/eprint/10165716/1/Women-in-the-History-of-Science.pdf
🔥45🤡37👍9🤬6👎4🐳32
#книга
Ilias Diakonikolas, Daniel M. Kane
Algorithmic High-Dimensional Robust Statistics

Монография по современной многомерной робастной статистике. Стиль «очень математический», без лишних примеров «на пальцах», только утверждения и доказательства. Есть даже глава про «робастное машинное обучение» (но там дальше линейной регрессии не идут). Из книги, в частности, можно узнать, что SIFT это не только scale-invariant feature transform, но и Subspace Isotropic Filtering. Из плюсов: есть нетривиальные задачи в конце каждой главы.
👍36🔥5👎2
#книга
Посмотрел книгу Введение в автоматизированное машинное обучение (AutoML). Главный недостаток - это не совсем книга, это скорее сборник статей, часть построена по принципу обзора по теме со ссылками на первоисточники. Зато попадаются интересные ссылки. Есть главы по Auto-WEKA, Hyperpopt, Auto-sklearn, TPOT (для первичного знакомства, наверное, подойдёт). Последняя глава - обзор результатов давнишних соревнований Изабель Гийон по AutoML.

К слову, создатели LightAutoML сделали курс из коротких видео по своему продукту: https://developers.sber.ru/help/lightautoml
🔥37👍227
#книга
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/
👍125🔥3411