#книга
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).
Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.
Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.
Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"
Читать обязательно!
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).
Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.
Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.
Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"
Читать обязательно!
👍105❤1
#книга
Jakub M. Tomczak "Deep Generative Modeling"
По ощущениям это как раз книга для продвинутого ML, т.к. в стандартных программах не всегда глубокие генеративные модели подробно излагаются. Автор довольно известен, у него очень симпатичный сайт и доклады о генеративных моделях на разных научных школах. Там и блог есть, но в нём излагаются главы книги.
Минус у книги один:
- не смотря на объём, глубоко в специфику отдельных методов автор не погружается.
Зато много плюсов:
+ обзор всех популярных классов генеративных моделей;
+ для каждого класса даётся перечень приёмов/улучшений со ссылками на первоисточниками;
+ даны примеры кода.
Jakub M. Tomczak "Deep Generative Modeling"
По ощущениям это как раз книга для продвинутого ML, т.к. в стандартных программах не всегда глубокие генеративные модели подробно излагаются. Автор довольно известен, у него очень симпатичный сайт и доклады о генеративных моделях на разных научных школах. Там и блог есть, но в нём излагаются главы книги.
Минус у книги один:
- не смотря на объём, глубоко в специфику отдельных методов автор не погружается.
Зато много плюсов:
+ обзор всех популярных классов генеративных моделей;
+ для каждого класса даётся перечень приёмов/улучшений со ссылками на первоисточниками;
+ даны примеры кода.
👍67🔥15❤4😱3
#книга
Свежая книга "Random Matrix Methods for Machine Learning" поможет понять, зачем в машинном обучении нужны функции комплексного переменного, интегралы по контуру, спектральная теория, комбинаторика и т.п. Есть следующие разделы
- Random Matrix Theory
- Statistical Inference in Linear Models
- Kernel Methods
- Large Neural Networks
- Large-Dimensional Convex Optimization
- Community Detection on Graphs
- Universality and Real Data
Например, в первом изучается спектр матрицы XX^T, которая много где возникает (в методе главных компонент, теории ядер и т.п.) А в четвёртом есть интересные результаты про т.н. двойной спуск.
Книга для очень подготовленного читателя!
Свежая книга "Random Matrix Methods for Machine Learning" поможет понять, зачем в машинном обучении нужны функции комплексного переменного, интегралы по контуру, спектральная теория, комбинаторика и т.п. Есть следующие разделы
- Random Matrix Theory
- Statistical Inference in Linear Models
- Kernel Methods
- Large Neural Networks
- Large-Dimensional Convex Optimization
- Community Detection on Graphs
- Universality and Real Data
Например, в первом изучается спектр матрицы XX^T, которая много где возникает (в методе главных компонент, теории ядер и т.п.) А в четвёртом есть интересные результаты про т.н. двойной спуск.
Книга для очень подготовленного читателя!
🔥88👍11❤🔥2❤2😁2🍌2
#книга
Большая книга про женщин в науке. Сделана в формате справочника, вроде как наиболее полная по этой теме (но, например, про Софью Ковалевскую ни слова).
https://discovery.ucl.ac.uk/id/eprint/10165716/1/Women-in-the-History-of-Science.pdf
Большая книга про женщин в науке. Сделана в формате справочника, вроде как наиболее полная по этой теме (но, например, про Софью Ковалевскую ни слова).
https://discovery.ucl.ac.uk/id/eprint/10165716/1/Women-in-the-History-of-Science.pdf
🔥45🤡37👍9🤬6👎4🐳3❤2
#книга
Ilias Diakonikolas, Daniel M. Kane
Algorithmic High-Dimensional Robust Statistics
Монография по современной многомерной робастной статистике. Стиль «очень математический», без лишних примеров «на пальцах», только утверждения и доказательства. Есть даже глава про «робастное машинное обучение» (но там дальше линейной регрессии не идут). Из книги, в частности, можно узнать, что SIFT это не только scale-invariant feature transform, но и Subspace Isotropic Filtering. Из плюсов: есть нетривиальные задачи в конце каждой главы.
Ilias Diakonikolas, Daniel M. Kane
Algorithmic High-Dimensional Robust Statistics
Монография по современной многомерной робастной статистике. Стиль «очень математический», без лишних примеров «на пальцах», только утверждения и доказательства. Есть даже глава про «робастное машинное обучение» (но там дальше линейной регрессии не идут). Из книги, в частности, можно узнать, что SIFT это не только scale-invariant feature transform, но и Subspace Isotropic Filtering. Из плюсов: есть нетривиальные задачи в конце каждой главы.
👍36🔥5👎2
#книга
Посмотрел книгу Введение в автоматизированное машинное обучение (AutoML). Главный недостаток - это не совсем книга, это скорее сборник статей, часть построена по принципу обзора по теме со ссылками на первоисточники. Зато попадаются интересные ссылки. Есть главы по Auto-WEKA, Hyperpopt, Auto-sklearn, TPOT (для первичного знакомства, наверное, подойдёт). Последняя глава - обзор результатов давнишних соревнований Изабель Гийон по AutoML.
К слову, создатели LightAutoML сделали курс из коротких видео по своему продукту: https://developers.sber.ru/help/lightautoml
Посмотрел книгу Введение в автоматизированное машинное обучение (AutoML). Главный недостаток - это не совсем книга, это скорее сборник статей, часть построена по принципу обзора по теме со ссылками на первоисточники. Зато попадаются интересные ссылки. Есть главы по Auto-WEKA, Hyperpopt, Auto-sklearn, TPOT (для первичного знакомства, наверное, подойдёт). Последняя глава - обзор результатов давнишних соревнований Изабель Гийон по AutoML.
К слову, создатели LightAutoML сделали курс из коротких видео по своему продукту: https://developers.sber.ru/help/lightautoml
🔥37👍22❤7
#книга
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/
👍125🔥34❤11
#книга
Simovici D. A. CLUSTERING: Theoretical and Practical Aspects. – World Scientific, 2021.
Неплохая книга по кластеризации - для любителей жёсткой теории, сначала даётся большой математический обзор: ЧУМ, энтропия, выпуклые множества, гиперграфы, мультимножества (выше был пост про обобщённую энтропию - там рисунки из этой книги), потом уже разбираются алгоритмы кластеризации. Много теорем с доказательствами. Примеры кода на python и R (тут на чём удобнее, на том автор и писал). В приложении опять много математики: спектральные функции, проблема NP-полноты и т.п. Из минусов: нет как примеров практических кейсов кластеризации, так и каких-то советов для практиков.
Simovici D. A. CLUSTERING: Theoretical and Practical Aspects. – World Scientific, 2021.
Неплохая книга по кластеризации - для любителей жёсткой теории, сначала даётся большой математический обзор: ЧУМ, энтропия, выпуклые множества, гиперграфы, мультимножества (выше был пост про обобщённую энтропию - там рисунки из этой книги), потом уже разбираются алгоритмы кластеризации. Много теорем с доказательствами. Примеры кода на python и R (тут на чём удобнее, на том автор и писал). В приложении опять много математики: спектральные функции, проблема NP-полноты и т.п. Из минусов: нет как примеров практических кейсов кластеризации, так и каких-то советов для практиков.
🔥40👍13🥱11❤5🤯2
#книга
Сейчас в МЦНМО переиздали книгу Литвак Н., Райгородский А. Кому нужна математика?
Книга очень хорошая (примерно для 1 курса), там в каждой главе обсуждается прикладная задача, например, как вычислить число активных банковских карт по логам транзакций. А потом описываются алгоритмы решения, постепенно усложняя и доходя до лучших решений.
Кстати, если кто-то знает книги в таком стиле по ИИ - напишите в комментарии.
Это одна из первых книг в серии "Математические основы ИИ"... будет и продолжение;)
Сейчас в МЦНМО переиздали книгу Литвак Н., Райгородский А. Кому нужна математика?
Книга очень хорошая (примерно для 1 курса), там в каждой главе обсуждается прикладная задача, например, как вычислить число активных банковских карт по логам транзакций. А потом описываются алгоритмы решения, постепенно усложняя и доходя до лучших решений.
Кстати, если кто-то знает книги в таком стиле по ИИ - напишите в комментарии.
Это одна из первых книг в серии "Математические основы ИИ"... будет и продолжение;)
👍112🔥44❤13😁2
#книга
Я всю жизньрисую пишу, но никому не показываю. Это приятное занятие — всем рекомендую. // Курт Воннегут
Никому раньше не давал ссылки (кроме своих студентов), но раз мониторящие мой гитхаб уже давно знают...
Здесь лежат отдельные главы вечно недописанной авторской книги по машинному обучению, уже более 400 страниц. Содержание сильно коррелирует с заметками из блога, но переработано (плюс есть примеры из практики, задачи и т.п.), многих тем в блоге не было: контроль качества, кластеризация и т.п. Почти полностью написан большой (!) раздел "Показатели качества" (аналога я не находил).
Всё будет постоянно перерабатываться и пополняться. ЕБЖ.
В тексте много пасхалочек, например, в последней добавленной главе фраза "В одном из соревнований по машинному обучению качество существенно повышалось при обеспечении гарантии отнесения к каждому классу некоторой доли объектов" раскрывает секрет, который позволял занять минимум 3е место на кэгле.
https://github.com/Dyakonov/MLDM_BOOK
Я всю жизнь
Никому раньше не давал ссылки (кроме своих студентов), но раз мониторящие мой гитхаб уже давно знают...
Здесь лежат отдельные главы вечно недописанной авторской книги по машинному обучению, уже более 400 страниц. Содержание сильно коррелирует с заметками из блога, но переработано (плюс есть примеры из практики, задачи и т.п.), многих тем в блоге не было: контроль качества, кластеризация и т.п. Почти полностью написан большой (!) раздел "Показатели качества" (аналога я не находил).
Всё будет постоянно перерабатываться и пополняться. ЕБЖ.
В тексте много пасхалочек, например, в последней добавленной главе фраза "В одном из соревнований по машинному обучению качество существенно повышалось при обеспечении гарантии отнесения к каждому классу некоторой доли объектов" раскрывает секрет, который позволял занять минимум 3е место на кэгле.
https://github.com/Dyakonov/MLDM_BOOK
🔥285❤55👍28💅1
#книга
Выложенная в открытый доступ книга
"DevOps for Data Science"
(небольшая, но, возможно, неплохая для подготовки к собесам новичкам - пробежаться по темам и понять, что следует ещё подучить).
https://do4ds.com/
Выложенная в открытый доступ книга
"DevOps for Data Science"
(небольшая, но, возможно, неплохая для подготовки к собесам новичкам - пробежаться по темам и понять, что следует ещё подучить).
https://do4ds.com/
🔥79🤩4👍1
2023_bookWTD_Dyakonov_27.pdf
6.3 MB
#книга
Каждая книга — кража у собственной жизни. // Марина Цветаева
И ещё одна моя книжка... когда-то я придумал игру для студентов "Что здесь изображено?". В последний год довольно много взаимодействовал со школьниками, им она тоже "зашла", как и учителям. Меня спросили, есть ли какой-то сборник заданий по этой игре... пришлось его срочно составить.
Каждая книга — кража у собственной жизни. // Марина Цветаева
И ещё одна моя книжка... когда-то я придумал игру для студентов "Что здесь изображено?". В последний год довольно много взаимодействовал со школьниками, им она тоже "зашла", как и учителям. Меня спросили, есть ли какой-то сборник заданий по этой игре... пришлось его срочно составить.
🔥155❤23👍22❤🔥5🤔2🙏1
#книга
У Сергея Маркова есть замечательный 2-х-томник по ИИ: "Охота на электроовец" (читал всю прошлую неделю). Стоит, правда, предупредить, что это в большей степени исторический обзор, но очень тщательно составленный, автор прям докапывается по мельчайших деталей, кто, когда и что первый придумал. Например, вы узнате:
- Аду Байрон, в честь которой назвали язык программирования, на самом деле звали Августа.
- Кто такой Жаккар (и его тоже звали не Жаккар).
- Как Гёдель нашёл изъян в конституции США.
- Почему в первой программе игры шашки в конце партии играл гимн.
и многое другое.
Доступно бесплатно:
https://markoff.science/#book
У Сергея Маркова есть замечательный 2-х-томник по ИИ: "Охота на электроовец" (читал всю прошлую неделю). Стоит, правда, предупредить, что это в большей степени исторический обзор, но очень тщательно составленный, автор прям докапывается по мельчайших деталей, кто, когда и что первый придумал. Например, вы узнате:
- Аду Байрон, в честь которой назвали язык программирования, на самом деле звали Августа.
- Кто такой Жаккар (и его тоже звали не Жаккар).
- Как Гёдель нашёл изъян в конституции США.
- Почему в первой программе игры шашки в конце партии играл гимн.
и многое другое.
Доступно бесплатно:
https://markoff.science/#book
🔥85👍32❤7💩4😱3👏1
#книга
Онлайн-учебник по машинному и глубокому обучению от преподавателя ВМК МГУ Виктора Китова
https://deepmachinelearning.ru/
Онлайн-учебник по машинному и глубокому обучению от преподавателя ВМК МГУ Виктора Китова
https://deepmachinelearning.ru/
👍141🔥62❤11🐳7❤🔥3💩3🆒2
#книга
Стюарт Ричи «Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке»
Неплохой научпоп про недостоверные и мошеннические исследования, проблему воспроизводимости, p-хакинг и т.п. Много примеров из медицины и психологии.
Цитата:
Порочные стимулы действуют как злой джинн, давая вам именно то, что вы просили, но не обязательно то, чего вы хотели. Поощряйте наращивание числа публикаций, и вы его добьетесь — но будьте готовы к тому, что у ученых останется меньше времени на проверку ошибок, а нарезка статей станет нормой. Поощряйте публикации в журналах с высоким импакт-фактором, и вы их получите — но будьте готовы к тому, что ученые в своих попытках пробиться туда станут прибегать к p-хакингу, публикационному смещению и даже мошенничеству. Поощряйте конкуренцию за гранты, и вы ее добьетесь — но будьте готовы к тому, что ученые начнут без всякой меры раздувать свои результаты и подавать нужным углом в попытке привлечь внимание спонсоров.
Стюарт Ричи «Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке»
Неплохой научпоп про недостоверные и мошеннические исследования, проблему воспроизводимости, p-хакинг и т.п. Много примеров из медицины и психологии.
Цитата:
Порочные стимулы действуют как злой джинн, давая вам именно то, что вы просили, но не обязательно то, чего вы хотели. Поощряйте наращивание числа публикаций, и вы его добьетесь — но будьте готовы к тому, что у ученых останется меньше времени на проверку ошибок, а нарезка статей станет нормой. Поощряйте публикации в журналах с высоким импакт-фактором, и вы их получите — но будьте готовы к тому, что ученые в своих попытках пробиться туда станут прибегать к p-хакингу, публикационному смещению и даже мошенничеству. Поощряйте конкуренцию за гранты, и вы ее добьетесь — но будьте готовы к тому, что ученые начнут без всякой меры раздувать свои результаты и подавать нужным углом в попытке привлечь внимание спонсоров.
👍89❤21🔥17
#книга
Emil Hvitfeldt "Feature Engineering A-Z"
Открытая книга по предобработке данных и генерации признаков. Пока ещё до конца не дописана, но по деформации признаков, категориальным признакам, пропускам и текстовым признакам информация есть. Примеры кода на R и Python.
https://feaz-book.com/
Emil Hvitfeldt "Feature Engineering A-Z"
Открытая книга по предобработке данных и генерации признаков. Пока ещё до конца не дописана, но по деформации признаков, категориальным признакам, пропускам и текстовым признакам информация есть. Примеры кода на R и Python.
https://feaz-book.com/
👍49❤20🔥10
#книга
Фридман Д. П., Мендхекар А. "The Little Learner. A Straight Line to Deep Learning" (Чудесное машинное обучение)
Недавно на русском вышла книга. Меня заинтересовала манера изложения - она сделана в виде диалога (показан на рисунке). Как будто читатель задаёт вопросы, а автор на них отвечает и так происходит обучение. Подход известен, даже в книгах про ML было что-то подобное (в книге Шлезингера и Главача было обучение в переписке). Примеры кода здесь на Scheme (кажется, что это только увеличивает порог входа). Забавный факт - предисловие написал Питер Норвиг и сделал это "по правилам повествования" (в виде диалога).
Фридман Д. П., Мендхекар А. "The Little Learner. A Straight Line to Deep Learning" (Чудесное машинное обучение)
Недавно на русском вышла книга. Меня заинтересовала манера изложения - она сделана в виде диалога (показан на рисунке). Как будто читатель задаёт вопросы, а автор на них отвечает и так происходит обучение. Подход известен, даже в книгах про ML было что-то подобное (в книге Шлезингера и Главача было обучение в переписке). Примеры кода здесь на Scheme (кажется, что это только увеличивает порог входа). Забавный факт - предисловие написал Питер Норвиг и сделал это "по правилам повествования" (в виде диалога).
❤59👍32😁14🤣3🤡1
#книга
Илья Шпигорь Искусственный интеллект в стратегических играх
Выложена на leanpub в открытом доступе. Мне в целом понравилась, что-то подобное искал и нашёл.
+ есть история исследования игр и логического перебора,
+ повествование доходит до AlphaZero и современных игровых движков,
+ попутно разбираются концепции машинного обучения,
- кажется, что некоторые концепции типа альфа-бета отсечений стоило бы разобрать подробнее,
- широта повествования может быть неудобна начинающим (например, объясняются свёрточные сети на задачах с картинками и тут же рассказывается, где они применяются в играх).
https://leanpub.com/ai-in-strategy-games
Илья Шпигорь Искусственный интеллект в стратегических играх
Выложена на leanpub в открытом доступе. Мне в целом понравилась, что-то подобное искал и нашёл.
+ есть история исследования игр и логического перебора,
+ повествование доходит до AlphaZero и современных игровых движков,
+ попутно разбираются концепции машинного обучения,
- кажется, что некоторые концепции типа альфа-бета отсечений стоило бы разобрать подробнее,
- широта повествования может быть неудобна начинающим (например, объясняются свёрточные сети на задачах с картинками и тут же рассказывается, где они применяются в играх).
https://leanpub.com/ai-in-strategy-games
❤42👍21🔥3⚡2
#книга
Хэйвилл Дж. «Замечательные математические кривые»
Математика для фанатов (и только для них, тут не будет кода или приложений) уровня студентов первых курсов. Я ожидал некоторую энциклопедию по всем кривым. Здесь скорее набор обзорных глав, каждая посвящена конкретной теме: эллиптические кривые, Безье, заполняющие пространство. Написано интересно, есть классные истории (некоторые ещё ниже напишу), вот на картинке одна из них.
Хэйвилл Дж. «Замечательные математические кривые»
Математика для фанатов (и только для них, тут не будет кода или приложений) уровня студентов первых курсов. Я ожидал некоторую энциклопедию по всем кривым. Здесь скорее набор обзорных глав, каждая посвящена конкретной теме: эллиптические кривые, Безье, заполняющие пространство. Написано интересно, есть классные истории (некоторые ещё ниже напишу), вот на картинке одна из них.
🤯38👍21🔥15❤6😁3😍1😎1