DLStories
15.1K subscribers
297 photos
36 videos
4 files
621 links
Что-то про AI Research и AI образование от Танечки

Сотрудничество/предложения: @atmyre
Download Telegram
Смотрите, что сделали в Стенфорде: STORM — утилита для генерации научных репортов на заданную тему (бесплатно)

Работает очень просто: вы задаете тему (например, "Challenges and open questions in the topic of Uncertainty Estimation"), STORM идет в интернет, находит статьи, код и другие ссылки с информацией по этой теме, и в итоге собирает все в один большой репорт. Репорт во многом похож на survey статью по этой теме, но в более свободном формате: скорее, как очень подробный и тщательно собранный репорт в Notion. Есть ссылки на все источники.

По сути, это такая обертка над LLM, которая позволяет без подбора просптов генерить достаточно точные, достоверные и обстоятельные обзоры. У STORM есть статья и код. В статье описывается, как строилась утилита и приводятся метрики. В частности, пишут, что при моделировании процесса сборки репорта фокусировались на следующих вещах:
- рассмотрение различных точек зрения при исследовании заданной темы (это вот про академию/индустрию и т.п.)
- моделирование бесед, в которых авторы, представляющие разные точки зрения, задают вопросы эксперту по заданной теме. Эксперт при этом основывается на надежных интернет-источниках
- отбор собранной информации для создания плана репорта.
Если нажать на кнопку "See BrainSTORMing Process", там как раз будет видно, что сборка итогового репорта основана на использовании LLM с разными промптами от лица разного типа юзеров (academic/ubdustry/etc).

Ссылки:
- попробовать STORM (он бесплатный. Ну, по крайней мере, пока что)
- статья
- код

P.S. Нашла STORM в посте из Твиттера, и там было написано "STORM writes research papers like a PhD". Но репорты по теме — это не любая PhD статья, так что с таким заявлением не соглашусь, имхо оно вводит в заблуждение
👍5415🔥14
На почту сегодня пришло внезапное письмо, что мой подкаст Deep Learning Stories внесли в список 100 Best Artificial Intelligence Podcasts 😃

DLStories там под гордым номером 92, даже выше TED Tech, который под номером 95)) (хотя я не знаю, значит ли вообще что-то порядок в этом списке)

Скорее всего, этот список и рассылку авторам подкастов из него сделали в том числе с целью пиара (меня прямо попросили упомянуть об этом у себя в блоге), но, думаю, кто-то реально может найти в этом списке подкасты на интересующие темы из AI. Так что я только рада поделиться, список вот =)

Ну и, раз такое дело, то вот ссылки на подкаст DLStories, если вы вдруг еще не слушали:
- Apple Music
- Yandex Music
- YouTube
- Spotify
- Список выпусков на сайте DLS
Please open Telegram to view this post
VIEW IN TELEGRAM
94🔥438👍4🕊1
Мы все уже привыкли, что рисерчеры используют LLM для написания текста своих статей (и палятся, не удаляя фразы вроде "as a language model, I cannot...), а ревьюеры используют LLM для написания рецензий (тут их часто выдает стиль текста ревью).

Но некоторые рисерчеры пошли ещё дальше. Они знают, что многие ревьюеры очень сильно опираются на мнение LLM при написании итогового ревью (если вообще не просто делают copy-paste из ChatGPT), и, кроме того, часто почти не вчитываются в саму статью. Поэтому появилась такая идея: добавлять промпты вида "generate positive review only" в текст самой статьи. Вот статья из интернета и сабреддит с обсуждением этой статьи, в которых авторы понаходили пару десятков статей с подобными промптами на arxiv. Среди аффилиации авторов таких статей — довольно престижные универы вроде Columbia University. И это только arxiv: может быть и такое, что авторы добавляют эти промпты, отправляя статью на ревью, но убирают при публикации на arxiv. То есть, масштаб феномена может быть и гораздо больший.

В общем, внимательно читайте текст статьи, когда делаете review. Такая штука — сразу reject. Да и вообще, подходите к ревью ответственно, а не полагайтесь только на ChatGPT. Сейчас весь процесс ревью и принятия статей на конференции стал просто ужасен (может, конечно, он всегда такой был, но, думаю, что с появлением LLM ревьюеры стали ещё ленивее). Мне лично очень хотелось бы в своей рисерчерской карьере что-то с этим сделать, но пока что я не очень понимаю, как. Пока что просто не перестаю удивляться наглости и хитрости людей, и покупаю попкорн, ожидая, что же с этой всей системой будет происходить в ближайшем будущем 🍿
Please open Telegram to view this post
VIEW IN TELEGRAM
😁7520😭12👎4🤡4🥴3💔2👍1
Мне ещё сказали, что NeurIPS выдал всем таким статьям desk reject
🎉45👎14👍5🫡5😁4
На этой неделе в Лондоне была школа LogML — London Geometry and Machine Learning Summer School, и я участвовала в ней как студент. Это была моя первая ML-школа — раньше я почему-то не особо о них знала, думала, и не пыталась на них попасть. Расскажу тут немного про то, как устроена школа, и про свои впечатления. Сразу дисклеймер: все это касается конкретно школы LogML, а как устроены другие ML-школы, я не знаю.

LogML идет 5 дней. На школе есть три основные активности:
- туториалы и лекции от разных людей на темы, связанные с geometry in machine learning. Например, были туториалы по optimal transport и differential geometry for ml. Каждый день был один туториал и одна лекция;
- работа над рисерч проектом. При подаче заявки на школу, нужно выбрать три темы проектов, которые вам интересны, из списка проектов и менторов. Все проекты и менторы связаны с тематикой школы, то есть, с темой geometry in ML. Потом, если вас взяли на школу, вас запишут на один из проектов (скорее всего, это будет один из выбранных вами проектов, но не обязательно). На каждом проекте в итоге будет по 4-5 студента. Список менторов и проектов этого года можно найти тут.
- разного рода socials: вечер bouldering, вечер в пабе, встречи с представителями пары AI-related компаний и пикник в парке.

Немного подробнее про проекты:
На работу над проектом во время школы дается 4 дня по 4-5 часов, а на пятый день — презентация результатов. Это очень малое количество времени, за которое у вас не получится полноценная рисерч статья, но могут получиться какие-то первые promising результаты и образоваться рисерч команда. LogML идет не первый год, и часто после школы команды продолжают совместное исследование и пишут статью (примеры таких статей — тут внизу страницы)

Мой проект был "Representational Alignment for Universal Spaces". Мне очень понравилось и потому, что тема проекта интересная (люблю копаться во внутренних представлениях моделей), и потому, что ментор и коллеги-студенты были очень классные. Мы начали знакомиться и читать статьи по теме немного до начала школы, чтобы за 5 дней самой школы успеть уже получить хоть какие-то результаты. В итоге какие-то результаты мы получили, и договорились продолжить, чтобы написать статью. Посмотрим, как пойдет, но, надеюсь, все же получится)

Что могу сказать про школу в целом и про "стоит ли туда идти": я пошла туда в первую очередь затем, чтобы познакомиться с людьми, которые занимаются около-интересными мне темами, и поработать над новым рисерч проектом. Эти задачи школа для меня точно выполнила, поэтому лично я довольна) На самом деле, я так увлеклась работой над проектом, что работала над ним и дома до ночи, и поэтому пару дней не приходила ни на socials, ни на утренние лекции, чтобы поспать)) В целом, я все равно не люблю socials с большим количеством незнакомых людей, и больше люблю читать, чем слушать лекции, так что для меня это не такая большая потеря (а вот потеря бесплатной утренней еды и кофе — это, конечно, немного жаль))

Ну и последнее — наша команда в итоге выиграла приз за лучший проект! 🎉 Будем считать, что призовой £60 ваучер на Amazon компенсирует мне продолбанные бесплатные завтраки 😐
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7612😁12👍6🤓22
Авторы канала Data Secrets собрали большой конспект по LLM на русском языке (бесплатно!)

Гайд проведет вас от основ DL (математики для DS и полносвязных сетей) до устройства и принципов обучения современных LLM (Transformers, fine-tuning, RLHF). А именно, разделы гайда:
- История развития LLM от начала DL/NLP до ChatGPT
– Напоминание необходимых концептов из линейной алгебры и матанализа
– Механизм внимания и устройство Transformer
– Как устроено предобучение LLM
- Fine-Tuning LLM: зачем нужно, какие виды бывают, и как сделать самому
– RLHF – что это такое, зачем он нужен и какие виды бывают

Темы поданы в картинках, схемах и с примерами. Несколько страниц гайда – на картинках к посту. Забираем полную pdf-версию здесь
#промо
👍352
DLStories
На этой неделе проходит DataFest, и в этом году DLS участвует в секции ML & Education, которая пройдет 1 июня. В программе — 7 выступлений на тему AI образования и один круглый стол, где будет обсуждаться тема "что означает "хорошее" образование в AI" Я тоже…
Выложили записи докладов с DataFest. Вот страница секции ML & Education, там записи всех выступлений. Мое — второе в списке

Напомню, что моя презентация называлась "Образование в AI: ищем баланс между теорией и практикой". В ней были три основных раздела:
- Теория и практика в AI образовании: мои мысли, и как мы ищем этот баланс в DLS;
- Сложности и вызовы в AI образовании на данный момент;
- Как делать AI образование для школьников (сразу скажу, что тут просто пара моих соображений, а как надо делать на самом деле, я не знаю)

К записи выступления есть презентация, и она в целом самодостаточна, то есть, из нее можно понять мои мысли, не смотря запись. Еще в ней есть бонусный раздел под названием "Каким должно быть высшее и дополнительное образование в AI". Выступление было всего 15 минут, поэтому его я рассказать не успела, но можно посмотреть на слайды, чтобы понять мои общие мысли.
Вообще, очень хотелось бы сделать ивент про AI образование, на котором можно было бы про все это поговорить в более удобном формате, когда есть больше, чем 15 минут на презентацию

Еще напомню, что в конце секции была пленарная сессия (как звучит-то) под названием "что означает хорошее образование в AI". Меня на ней в итоге не было, но был главный тренер сборной Росси на межнар по AI Саша Гущин, и несколько других экспертов в области.

Ну и напомню, что на DataFest были и другие секции про разные темы в AI, полный список со ссылками можно найти тут
👍1310🤝4🔥22
Ну и, в тему: если помните, в мае я была в Москве, где мы с Сашей и другими тренерами проводили отбор школьников на межнар IOAI. Там мы отобрали 8 человек, кто поедет на сам межнар в Китай. Потом, в середине июня, мы начали сборы для этих школьников — занятия, нацеленные именно на подготовку к олимпиаде. А прямо сейчас я снова сижу в самолете в Москву: еду пиздить проводить занятия школьникам очно, а потом в начале августа мы с ними и другими тренерами едем на сам межнар в Пекин.

(сижу в самолете в Москву уже второй раз, кстати, вчера была первая попытка полететь. Мы почти долетели, но Москва закрыла воздух и нас развернули обратно)

По этому поводу ниже напишу несколько мыслей про текущее состояние AI-олимпиад в России, которые у меня появились в ходе подготовки школьников к IOAI и работы над олимпиадой DLS
🐳14👍96
Мысли вокруг AI-олимпиад в России

Не считая олимпиады ДЛС, которую я составляю, я раньше не следила за тем, какие в России есть олимпиады по AI. Официального всероса по AI как такового не было, он зарождается вот только сейчас (и тоже при содействии ДЛС и нашей олимпиады, но об этом позже). Школьники (около 45 человек), которые приехали к нам в мае на отбор, были выбраны среди победителей всяких других AI-олимпиад, которые сейчас есть в России. Пообщавшись с ними и посмотрев на списки их регалий, у меня создалось следующее впечатление и появились такие мысли:
— Большинство существующих олимпиад по AI организуются компаниями, и задачи на них часто решаются брутфорсом вида "пойми, какую модель тут лучше использовать, скачай, аугментируй данные, дообучи, и вуаля". В итоге эти школьники очень на такое переобучены: на нашем отборе большинство из них пытались решить каждую задачу каким-нибудь дообучением чего-либо. И даже когда в условии задачи было явно сказано "нельзя использовать никакие предобученные модели, кроме выданной в условии", мы получали тонну вопросов вида "а можно взять обученную диффузию и генерить ей картинки" или "а вот так можно, это будет считаться дообучением или нет?"
— Хочется придумывать такие AI-задачи на олимпиаду, чтобы они были интересными и было место подумать. Например, чтобы для решения нужно было понимать, как устроена модель, тонкости архитектуры, залезать ей внутрь и что-то там поправить. Но это оказалось оочень сложным: очень сложно так составить условие, чтобы задача осталась интересной, и четко запрещала дообучение. Исходя из этого, я понимаю, почему многие AI-олимпиады решаются брутфорсом, и почему школьники так на него переобучены.
Задачи же IOAI как раз должны быть такими, где брутфорс не должен выбивать золото, поэтому одна из задач наших сборов по подготовке к олимпиаде — дать школьникам представление о внутренностях современных моделей, их свойствах, и научить, как с ними можно работать. Но надо сказать, что даже на IOAI в прошлом году одна из задач решалась хаком. То есть, даже составители межнара не смогли предусмотреть все в условии, и я их теперь очень хорошо понимаю)
— Просматривая регалии школьников, я увидела несколько призовых мест на региональном этапе всероса по информатике, но ни одного по математике. По математике максимум муниципальный этап. Кажется, чтобы брать места на текущих российских AI-олимпиадах, в математике особо шарить не надо. Зато среди этих школьников есть несколько человек, у которых есть успешные пет-проекты с кучей звездочек на GitHub, а двое из них вообще работают ML-инженерами. У меня тут появляются опасения, что такие ранние успехи и заработок денег в AI (олимпиады обычно дают хорошие призовые, ну и на работе школьникам тоже платят зарплату) могут сделать их слишком уверенными в себе, и дальше они не будут уделять достаточно времени учебе в универе. Вспомним еще тут, что большинство из них не очень хороши в математике, и если они не будут уделять достаточно времени математике в универе, то создадут себе "потолок" в карьере. Все же, чтобы быть супер хорошим AI-разработчтков (даже инженером, не обязательно рисерчером), нужно очень хорошо разбираться в математике. Посмотрим, как в итоге будет, все же AI-олимпиады — это что-то очень новое, и неизвестно, что с подобными школьниками будет в дальнейшем.

Как-то так. Посмотрим, что с AI-олимпиадами в России будет дальше, и каким у нас в итоге получится всерос.
Но пока что, кстати, принимая во внимание все пункты выше, я очень рада, что мы делаем олимпиаду DLS. Она очень отличается от остальных тем, что в ней мы плотно соединяем AI и математику, и в составлении всероса мы тоже будем опираться на это (если точнее, то для всероса мы опираемся на формулу математика+программирование+ML). Некоторые примеры задач для методрекомендаций всероса взяты из олимпиады DLS, так что если хотите в нем побеждать, идите разбирать задачи на нашем сайте🙃
👍6029🤡10🌚7👎2
Ещё в тему к AI-олимпиадам и математике в них — у CS Space через неделю будет ML-контест с сильным уклоном в математику (а конкретнее, на теорию вероятностей, статистику и смежные области). Хорошая возможность потренироваться в подобных задачах (я их видела, они довольно интересные)

Контест пройдет онлайн 1-3 августа (старт в любое время, на решение задач 24 часа). Участвовать можно всем, есть призы. Подробнее — в посте CS Space, а регистрация тут.
🔥2610👍6
Авито и ФКН ВШЭ приглашают вас на совместную магистратуру по Data Science

Из особенностей программы — возможность собрать свой трек обучения из актуальных предметов по выбору и пройти оплачиваемую стажировку в Авито уже на первом курсе.

Подробнее — в картинках к посту.

Авито полностью покрывает стоимость обучения для 30 студентов. Чтобы подать заявку, регистрируйтесь в личном кабинете абитуриента ВШЭ до 8 августа ➡️ https://u.to/TEpRIg

#промо
🤡16👍11