AK_Analysis_I_14_04_23.pdf
3.4 MB
#жзл
Вчера не стало молодого талантливого математика - Александра Кулешова, но в память о нём осталась замечательная книга о математическом анализе.
Вчера не стало молодого талантливого математика - Александра Кулешова, но в память о нём осталась замечательная книга о математическом анализе.
#интересно
На ArXiv-е есть раздел статистики:
https://info.arxiv.org/help/stats/
Больше всего на него заливают препринтов в области Computer Science (в среднем сейчас более 200 в день), на втором месте - Math (более 100). И есть ещё раздел с отчётами:
https://info.arxiv.org/about/reports/index.html
Скачивают с ArXiv-а в день в среднем 1.5 млн статей (это по всем областям)!
На ArXiv-е есть раздел статистики:
https://info.arxiv.org/help/stats/
Больше всего на него заливают препринтов в области Computer Science (в среднем сейчас более 200 в день), на втором месте - Math (более 100). И есть ещё раздел с отчётами:
https://info.arxiv.org/about/reports/index.html
Скачивают с ArXiv-а в день в среднем 1.5 млн статей (это по всем областям)!
#курс
По машинному обучению может быть "стандартный" курс - в нём излагаются задачи и методы (kNN, SVM, LogReg и т.п.), "практический" - в нём больше идут от прикладных задач и библиотек (часто практическая часть интегрируется в виде семинаров в стандартный курс), а ещё "математический" (в нём учат теоремы и доказательства в ML). Интересно, что современных обучающих программах почти нет "математического ML", когда-то в ШАДе Червоненкис читал что-то похожее, но всё-таки с большим уклоном в область своих научных интересов.
Смотрел курсы MIT-а, там как раз есть "Математика в ML". Не знаю, доступно ли видео (не нашёл), но в pdf-ках темы прописаны хорошо. На картинке курса нарисована иллюстрация базового понятия в теоретическом ML (подсказка: связано с VC-размерностью).
По машинному обучению может быть "стандартный" курс - в нём излагаются задачи и методы (kNN, SVM, LogReg и т.п.), "практический" - в нём больше идут от прикладных задач и библиотек (часто практическая часть интегрируется в виде семинаров в стандартный курс), а ещё "математический" (в нём учат теоремы и доказательства в ML). Интересно, что современных обучающих программах почти нет "математического ML", когда-то в ШАДе Червоненкис читал что-то похожее, но всё-таки с большим уклоном в область своих научных интересов.
Смотрел курсы MIT-а, там как раз есть "Математика в ML". Не знаю, доступно ли видео (не нашёл), но в pdf-ках темы прописаны хорошо. На картинке курса нарисована иллюстрация базового понятия в теоретическом ML (подсказка: связано с VC-размерностью).
#термин
Как меняется значение термина со временем...
Сейчас термином cross-validation (перекрёстная проверка / скользящий контроль) называют практически любой способ "честной оценки её качества" (см. wiki). Более 20 лет назад под этим понимали, в основном, тестирование с равномерными разбиениям выборки:
- Leave-p-out cross-validation,
- Leave-one-out cross-validation,
- k-fold cross-validation.
А вот когда мы выборку делим на две части, на одной обучаемся, на другой контролируемся, называлось отложенным контролем (Holdout method) - видите, тут даже в названии нет "cross-validation".
И вот что написано на Wiki: "many sources instead classify holdout as a type of simple validation, rather than a simple or degenerate form of cross-validation".
На русской Wiki, кстати, вообще радикально отождествляют cross-validation = k-fold cross-validation (что соответствует старой терминологии).
Как меняется значение термина со временем...
Сейчас термином cross-validation (перекрёстная проверка / скользящий контроль) называют практически любой способ "честной оценки её качества" (см. wiki). Более 20 лет назад под этим понимали, в основном, тестирование с равномерными разбиениям выборки:
- Leave-p-out cross-validation,
- Leave-one-out cross-validation,
- k-fold cross-validation.
А вот когда мы выборку делим на две части, на одной обучаемся, на другой контролируемся, называлось отложенным контролем (Holdout method) - видите, тут даже в названии нет "cross-validation".
И вот что написано на Wiki: "many sources instead classify holdout as a type of simple validation, rather than a simple or degenerate form of cross-validation".
На русской Wiki, кстати, вообще радикально отождествляют cross-validation = k-fold cross-validation (что соответствует старой терминологии).
#образование
Небольшой вопрос (для желающих). Понятно, что большинство читателей канала уже закончили обучение, но можно мысленно вернуться в студенчество и задаться вопросом "Какую бы учебную программу я хотел, если бы учится на DS?"
На картинке - вариант программы (4 года обучения). Что в ней не так по Вашему? Что следует удалить / добавить? Содержание дисциплин можно считать идеальным.
Небольшой вопрос (для желающих). Понятно, что большинство читателей канала уже закончили обучение, но можно мысленно вернуться в студенчество и задаться вопросом "Какую бы учебную программу я хотел, если бы учится на DS?"
На картинке - вариант программы (4 года обучения). Что в ней не так по Вашему? Что следует удалить / добавить? Содержание дисциплин можно считать идеальным.
#образование
Запущена регистрация на БЕСПЛАТНУЮ программу AI Masters Набор 2023.
Программа готовит аналитиков и специалистов по Data Science с гибким набором курсов.
Продолжительность: 2 года,
Время занятий: по будням с 18:00 до 21:00,
Загрузка: в среднем 30 часов в неделю,
Обучение бесплатное.
Сайт программы с подробной информацией
Около 30 курсов, в том числе:
- Машинное обучение,
- Computer Vision & Video Processing,
- Вычислительная линейная алгебра,
- Математическая статистика и ее приложения,
- Big Data and Data Engineering,
- Продуктовая аналитика,
- Генеративные модели,
- Natural Language Processing,
- Reinforcement Learning,
- Вероятностные графические модели.
🗓 27 мая (суббота) в 12.00 состоится День открытых дверей в online формате.
👉 Ссылка на подключение
Любые вопросы пишите на почту [email protected] или кураторам проекта (их контакты - в соответствующем разделе на сайте).
👉 Подать заявку на поступление
Запущена регистрация на БЕСПЛАТНУЮ программу AI Masters Набор 2023.
Программа готовит аналитиков и специалистов по Data Science с гибким набором курсов.
Продолжительность: 2 года,
Время занятий: по будням с 18:00 до 21:00,
Загрузка: в среднем 30 часов в неделю,
Обучение бесплатное.
Сайт программы с подробной информацией
Около 30 курсов, в том числе:
- Машинное обучение,
- Computer Vision & Video Processing,
- Вычислительная линейная алгебра,
- Математическая статистика и ее приложения,
- Big Data and Data Engineering,
- Продуктовая аналитика,
- Генеративные модели,
- Natural Language Processing,
- Reinforcement Learning,
- Вероятностные графические модели.
🗓 27 мая (суббота) в 12.00 состоится День открытых дверей в online формате.
👉 Ссылка на подключение
Любые вопросы пишите на почту [email protected] или кураторам проекта (их контакты - в соответствующем разделе на сайте).
👉 Подать заявку на поступление
#видео
Что посмотреть на выходных;) Два больших (трёхчасовых) видео.
Для любителей теории.
Сотрудники ФКН ВШЭ за 10 минут должны рассказать результат, которым гордятся. Очень интересный формат! Некоторые доклады получились зажигательными. Предупреждаю, что там темы в сторону от DS (например, есть доклады по алгебре и теории чисел).
Для любителей практики.
Рассказы про соревновательный DS от участников ML-тренировки. Это уже "старый добрый" формат.
В комментарии можно кинуть свои предложения на тему "что посмотреть на выходных";)
Что посмотреть на выходных;) Два больших (трёхчасовых) видео.
Для любителей теории.
Сотрудники ФКН ВШЭ за 10 минут должны рассказать результат, которым гордятся. Очень интересный формат! Некоторые доклады получились зажигательными. Предупреждаю, что там темы в сторону от DS (например, есть доклады по алгебре и теории чисел).
Для любителей практики.
Рассказы про соревновательный DS от участников ML-тренировки. Это уже "старый добрый" формат.
В комментарии можно кинуть свои предложения на тему "что посмотреть на выходных";)
YouTube
Математический блиц 2023
За десять минут математики ФКН рассказывают о ярких и понятных широкой аудитории результатах, к получению которых они причастны.
Выступления:
- Целочисленные многогранники, суммы Минковского и гипотеза Оды (Иван Аржанцев)
- Градуированный аналог проблемы…
Выступления:
- Целочисленные многогранники, суммы Минковского и гипотеза Оды (Иван Аржанцев)
- Градуированный аналог проблемы…
#книга
Свежая книга "Random Matrix Methods for Machine Learning" поможет понять, зачем в машинном обучении нужны функции комплексного переменного, интегралы по контуру, спектральная теория, комбинаторика и т.п. Есть следующие разделы
- Random Matrix Theory
- Statistical Inference in Linear Models
- Kernel Methods
- Large Neural Networks
- Large-Dimensional Convex Optimization
- Community Detection on Graphs
- Universality and Real Data
Например, в первом изучается спектр матрицы XX^T, которая много где возникает (в методе главных компонент, теории ядер и т.п.) А в четвёртом есть интересные результаты про т.н. двойной спуск.
Книга для очень подготовленного читателя!
Свежая книга "Random Matrix Methods for Machine Learning" поможет понять, зачем в машинном обучении нужны функции комплексного переменного, интегралы по контуру, спектральная теория, комбинаторика и т.п. Есть следующие разделы
- Random Matrix Theory
- Statistical Inference in Linear Models
- Kernel Methods
- Large Neural Networks
- Large-Dimensional Convex Optimization
- Community Detection on Graphs
- Universality and Real Data
Например, в первом изучается спектр матрицы XX^T, которая много где возникает (в методе главных компонент, теории ядер и т.п.) А в четвёртом есть интересные результаты про т.н. двойной спуск.
Книга для очень подготовленного читателя!
#курс
В этом году дозалил некоторые видео своего расширенного курса по DL, все материалы лучше искать по общей ссылке:
https://alexanderdyakonov.wordpress.com/courses/
А ссылка на видеолекции (теперь их 36): здесь.
Опять не всё успел записать, что хотел, но в ближайшие годы, скорее всего, конкретно этот курс не будет читаться и пополняться.
В этом году дозалил некоторые видео своего расширенного курса по DL, все материалы лучше искать по общей ссылке:
https://alexanderdyakonov.wordpress.com/courses/
А ссылка на видеолекции (теперь их 36): здесь.
Опять не всё успел записать, что хотел, но в ближайшие годы, скорее всего, конкретно этот курс не будет читаться и пополняться.
Анализ малых данных
Курсы
Прикладные задачи анализа данных Курс читался как спецкурс с 2013 года — первый в мире курс по анализу данных на базе соревновательных (Kaggle/TunedIT) и бизнес-кейсов. Первый курс с практико…
#соревнование
Есть много разных соревнований по анализу данных, например, на известной платформе kaggle уклон в сторону машинного обучения. А есть ещё конкурсы по финансовому моделированию, например Financial Modeling and Excel Competitions. В последнем номере журнала Риск-менеджмент в кредитной организации интервью с участником таких конкурсов (там есть примеры задач и данных). Кстати, в них почти нет участников из России (в рейтинге этого года всего 2).
Есть много разных соревнований по анализу данных, например, на известной платформе kaggle уклон в сторону машинного обучения. А есть ещё конкурсы по финансовому моделированию, например Financial Modeling and Excel Competitions. В последнем номере журнала Риск-менеджмент в кредитной организации интервью с участником таких конкурсов (там есть примеры задач и данных). Кстати, в них почти нет участников из России (в рейтинге этого года всего 2).
#планы
Уволился из МГУ. Теперь буду работать в Центральном университете.
Кстати, все, кто хочет поучаствовать в этом образовательном проекте, пишите в личку или на почту.
Уволился из МГУ. Теперь буду работать в Центральном университете.
Кстати, все, кто хочет поучаствовать в этом образовательном проекте, пишите в личку или на почту.
#книга
Большая книга про женщин в науке. Сделана в формате справочника, вроде как наиболее полная по этой теме (но, например, про Софью Ковалевскую ни слова).
https://discovery.ucl.ac.uk/id/eprint/10165716/1/Women-in-the-History-of-Science.pdf
Большая книга про женщин в науке. Сделана в формате справочника, вроде как наиболее полная по этой теме (но, например, про Софью Ковалевскую ни слова).
https://discovery.ucl.ac.uk/id/eprint/10165716/1/Women-in-the-History-of-Science.pdf
#ссылка
Есть такой ex-профессор университета Висконсина Дерик Баундс. Он автор нескольких книг о мозге, которые, впрочем, не слишком популярны, лет 20 назад он вышел на пенсию и ведёт блог, также на его сайте выложены некоторые популярные лекции.
Не знаю, насколько интересны его авторские концепции, а вот следить за блогом часто бывает полезным, т.к. он держит руку на пульсе и ссылается на совсем свежие исследования.
П.С. Что изображено на рисунке, можно понять из его последних лекций и эссе. В первом комментарии под постом дам ответ.
Есть такой ex-профессор университета Висконсина Дерик Баундс. Он автор нескольких книг о мозге, которые, впрочем, не слишком популярны, лет 20 назад он вышел на пенсию и ведёт блог, также на его сайте выложены некоторые популярные лекции.
Не знаю, насколько интересны его авторские концепции, а вот следить за блогом часто бывает полезным, т.к. он держит руку на пульсе и ссылается на совсем свежие исследования.
П.С. Что изображено на рисунке, можно понять из его последних лекций и эссе. В первом комментарии под постом дам ответ.
#забавно
Если писатели не хотят дописывать серию романов, то можно использовать ИИ;) Интересная идея - с помощью языковой модели дописали "Песнь льда и пламени" Джорджа Мартина. Не думаю, что могло получиться хорошо (сам не стал читать, т.к. уже написанные книги ПЛиП тоже не читал), но попытка интересная (ранее с помощью GPT2 генерировали альтернативные концовки, здесь с помощью ChatGPT две последние книги серии).
https://github.com/LiamSwayne/AI-Song-Of-Ice-And-Fire
Если писатели не хотят дописывать серию романов, то можно использовать ИИ;) Интересная идея - с помощью языковой модели дописали "Песнь льда и пламени" Джорджа Мартина. Не думаю, что могло получиться хорошо (сам не стал читать, т.к. уже написанные книги ПЛиП тоже не читал), но попытка интересная (ранее с помощью GPT2 генерировали альтернативные концовки, здесь с помощью ChatGPT две последние книги серии).
https://github.com/LiamSwayne/AI-Song-Of-Ice-And-Fire
#визуализация
Иллюстрации различных сложных систем (довольно много: тут и странные аттракторы, и модель Шеллинга, и preferential attachment). Сделаны интерактивными (можно менять параметры, которые определяют поведение).
https://www.complexity-explorables.org/
Иллюстрации различных сложных систем (довольно много: тут и странные аттракторы, и модель Шеллинга, и preferential attachment). Сделаны интерактивными (можно менять параметры, которые определяют поведение).
https://www.complexity-explorables.org/
#ссылка
Сайт с информацией о современных моделях ИИ. Особенно там удачные вот такие визуализации (которые многие любят вставлять в презентации) и таблицы с параметрами моделей и ссылками на них. Последние полгода сайт стал меньше обновляться.
https://lifearchitect.ai/
Сайт с информацией о современных моделях ИИ. Особенно там удачные вот такие визуализации (которые многие любят вставлять в презентации) и таблицы с параметрами моделей и ссылками на них. Последние полгода сайт стал меньше обновляться.
https://lifearchitect.ai/
#задача
В августе я собеседовал довольно много абитуриентов. Вот одна из задач, которую я часто спрашивал (на собесах когда-то я её тоже использовал).
Мы играем в азартную игру, состоящую из конов, в каждом коне есть победитель и ему засчитывается очко (изначально счёт 0-0). Перед игрой мы сбросились по 100 рублей и договорились, что тот, кто первый наберёт 10 очков, забирает весь банк (200 рублей). Сейчас счёт 8-6 в Вашу пользу и мы не можем продолжить игру (например, мы играли на игровом автомате и он сломался). Как бы Вы предложили наиболее честно разделить банк?
Понятно, что в постановке присутствует нечёткость в виде "наиболее честно", но формализация этого как раз и интересна, также как и ход рассуждений (счёт при желании можно изменить для простоты вычислений).
В августе я собеседовал довольно много абитуриентов. Вот одна из задач, которую я часто спрашивал (на собесах когда-то я её тоже использовал).
Мы играем в азартную игру, состоящую из конов, в каждом коне есть победитель и ему засчитывается очко (изначально счёт 0-0). Перед игрой мы сбросились по 100 рублей и договорились, что тот, кто первый наберёт 10 очков, забирает весь банк (200 рублей). Сейчас счёт 8-6 в Вашу пользу и мы не можем продолжить игру (например, мы играли на игровом автомате и он сломался). Как бы Вы предложили наиболее честно разделить банк?
Понятно, что в постановке присутствует нечёткость в виде "наиболее честно", но формализация этого как раз и интересна, также как и ход рассуждений (счёт при желании можно изменить для простоты вычислений).
#интересно
Есть такой Adon Joseph - бывший аэрокосмический инженер, создававший системы навигации космических кораблей в 90-е и руководивший большими проектами в оборонке. На пенсии он как-то обнаружил, что «преддверие» - часть внутреннего уха - устроено также как военные системы навигации. После этого он 6 лет изучал нейробиологию и построил свои карты головного мозга. В результате пришёл к выводу, что мозг это реально сложная инженерная система, кем-то специально спроектированная, ударился в религию и создал свой любопытный сайт.
Есть такой Adon Joseph - бывший аэрокосмический инженер, создававший системы навигации космических кораблей в 90-е и руководивший большими проектами в оборонке. На пенсии он как-то обнаружил, что «преддверие» - часть внутреннего уха - устроено также как военные системы навигации. После этого он 6 лет изучал нейробиологию и построил свои карты головного мозга. В результате пришёл к выводу, что мозг это реально сложная инженерная система, кем-то специально спроектированная, ударился в религию и создал свой любопытный сайт.
#интересно
Многие неправильно думают, почему гребневая регрессия (Ridge Regression) так называется. В основном считают, что из-за того, что в явной формуле для весов возникает диагональная матрица - как будто "матрица с гребнем" (так даже ChatGPT объясняет). Но до появления гребневой регрессии возник гребневый анализ (Ridge Analysis) и в нём отсылка была к форме поверхности функций, с которыми работали. Не так давно вышла статья, в которой один из потомков изобретателей "всего гребневого" рассказывает о первых работах.
Hoerl R. W. Ridge regression: a historical context //Technometrics. – 2020. – Т. 62. – №. 4. – С. 420-425.
Многие неправильно думают, почему гребневая регрессия (Ridge Regression) так называется. В основном считают, что из-за того, что в явной формуле для весов возникает диагональная матрица - как будто "матрица с гребнем" (так даже ChatGPT объясняет). Но до появления гребневой регрессии возник гребневый анализ (Ridge Analysis) и в нём отсылка была к форме поверхности функций, с которыми работали. Не так давно вышла статья, в которой один из потомков изобретателей "всего гребневого" рассказывает о первых работах.
Hoerl R. W. Ridge regression: a historical context //Technometrics. – 2020. – Т. 62. – №. 4. – С. 420-425.
#книга
Ilias Diakonikolas, Daniel M. Kane
Algorithmic High-Dimensional Robust Statistics
Монография по современной многомерной робастной статистике. Стиль «очень математический», без лишних примеров «на пальцах», только утверждения и доказательства. Есть даже глава про «робастное машинное обучение» (но там дальше линейной регрессии не идут). Из книги, в частности, можно узнать, что SIFT это не только scale-invariant feature transform, но и Subspace Isotropic Filtering. Из плюсов: есть нетривиальные задачи в конце каждой главы.
Ilias Diakonikolas, Daniel M. Kane
Algorithmic High-Dimensional Robust Statistics
Монография по современной многомерной робастной статистике. Стиль «очень математический», без лишних примеров «на пальцах», только утверждения и доказательства. Есть даже глава про «робастное машинное обучение» (но там дальше линейной регрессии не идут). Из книги, в частности, можно узнать, что SIFT это не только scale-invariant feature transform, но и Subspace Isotropic Filtering. Из плюсов: есть нетривиальные задачи в конце каждой главы.
#статьи
Есть такая замечательная коллекция лучших статей на разных DS-конференциях с 1996 года! К сожалению, с прошлого года не обновляется. Но всё рано, очень хорошая подборка.
https://jeffhuang.com/best_paper_awards/
Есть люди, которые целенаправленно читают всех нобелевских лауреатов по литературе или смотрят все фильмы из топа Кинопоиска / IMDb. Можно по аналогии читать по подобным спискам;)
Есть такая замечательная коллекция лучших статей на разных DS-конференциях с 1996 года! К сожалению, с прошлого года не обновляется. Но всё рано, очень хорошая подборка.
https://jeffhuang.com/best_paper_awards/
Есть люди, которые целенаправленно читают всех нобелевских лауреатов по литературе или смотрят все фильмы из топа Кинопоиска / IMDb. Можно по аналогии читать по подобным спискам;)