🥺 Невероятно, но факт

🥸 В апреле подавали статью на конфу RecSys. Подавали заведомо сырую версию. Но у меня был холодный расчёт. 20 мая должны были прийти плохие отзывы ревьюеров, мы их учитываем и подправляем, что можно, к конференции CIKM, с дедлайном 24 мая. Статью на RecSys отзываем и кайфуем с улучшенной версией для другой конфы 😎

🫠Короче, пожинаем плоды, нельзя так просто сделать отзыв статьи после ревью. Довольно очевидно, что такая тактика - проигрышный вариант для любой конференции (потратили время и силы ревьюеров, а статью в итоге у них отжали), но мне в голову это вовремя не пришло.

👻 Делаем выводы, улучшаем статьи перед подачей дальше

💼 Раньше никогда не писала в латехе гласные с двумя точками (Schrödinger, naïve), потому что казалось, что это абсолютно избыточная чепухня для выпендрёжников. Напридумывали себе ✨plethora of rules✨, чтобы казаться круче, и ничего за этим не стоит.

А теперь мне помогли разобраться, в чём смысл этого всего. Занятно обратить внимание, что в примерах выше две точки ставятся не по одной и той же причине:

🥱 В Schrödinger и, например, в Hölder, такое называют умляут. Тут две точки ставят, потому что отображается немецкое звучание, ближе к ё, чем к о.

🤦‍♂️ Naïve это, судя по всему, один из последних примеров сохранившегося диерезиса в английском языке. Ставят две точки, чтобы читатель понимал, что слово читается не "нейв", а именно "на-ив". (Раньше, например, в словах cooperate и reelection тоже ставили по две точки над второй гласной подряд.)

😠 В общем, присоединяюсь к выпендрёжной культуре! Такие формализмы мне по духу

Продолжая тему норм написания статей.

👀 В статьях по теории игр очень часто идёт речь про агентов. И агента в единственном числе называют через "she". (Агент как действующее лицо, а не как нейронка.) Я так понимаю, что именно в теорию игр это перекочевало из-за тесной связи с экономикой, а там такое постоянно. В статьях про DL модельки я ни разу такого не наблюдала.

👩 Появилась эта традиция во время очередной волны феминизма - типа, давайте сбалансируем академический язык, хватит уже этого вечного "he"

Вот эта особенность мне как-то вообще не по духу. Если в прошлом случае всё просто: решил один раз для себя как писать и пишешь дальше всегда с двумя точками. А здесь как?

🏎 Всегда писать "she"? Но тогда дисбаланс может появиться в другую сторону.

🏎 Следить за тем, чтобы в одной статье половину раз встречалось "he", половину раз "she"? Нет уж, в написании статей и так забот хватает. А это не добавляет ни ясности, ни строгости изложения.

Тем более, возможно, из-за того, что статей по теории игр я читаю гораздо меньше, чем про DL модельки, у меня каждый раз мысль сбивается из-за "she" 🤕

ура каникулы

🎸 здравствуй, жизнь без экзаменов 😎

(сдала кандидатский минимум)

Внимательный ресёрчер заметит, что в этом году дедлайны сабмитов на конфы в среднем раньше, чем в прошлом 😑

Neurips 22 мая -> 15 мая
RecSys 29 апреля -> 8 апреля
AAAI 15 августа -> 1 августа
KDD 8 августа -> 31 июля

В среднем сдвинулось на 2 недели!

А знаете, что ещё в этом году раньше на две недели? Пасха.

Думайте.

Сейчас на школе Б. Т. Поляка в Иннополисе 🐱

Большая часть лекций мне не шибко релевантна, но попадаются и занятные штучки

😶 Рассказывали например вчера про оптимизатор Muon, который при обучении ллмок показывает себя лучше чем AdamW (из практических рекомендаций - обязательно использовать weight_decay, если хочется долго обучать модельку)

😱 Интересненько1: в основе оптимизатора лежит идея про ортогонализацию. Уже придумывали оптимизатор Orthogonal-SGDM с такой идеей, 3 года назад. но почему-то в обратном порядке применяли моментум и ортогонализацию. В итоге у них ничего суперкрутого не вышло. Насколько я поняла из рассказа, такой порядок в целом ничем не обосновывается. То есть, возможно, они просто тупанули...

🥲 Интересненько2: Ещё Muon родился из твиттера и изначально существовал в виде блогпоста, не статьи. Только в апреле его выложили на архив

(Чтобы никто не закрыл пост сразу как открыл, слайд с основными идеями Muon'а выложу в комменты)

Захотелось какой-то вывод по школе сформулировать 🎧

Рада, что удалось туда съездить, хотя я как будто и не целевая аудитория. Целевая аудитория это скорее студенты бакалавриата/магистратуры, которые хотят найти себе научника. Там как раз открывается такая возможность для них, причём научника очень даже хайпового можно найти. Если вы такой студент, то советую присмотреться к школе в следующем году 🤓

В то же время мне было полезно туда сгонять, потому что

🤨 была возможность послушать интересные лекции. Я не на все ходила, потому что не все темы были мне супер интересны, но, например, в последний день были 3 крутые лекции подряд (Оселедец, Дьяконов, Райгородский)

⛏ была постер сессия. Я, во-первых, походила позадавала глупые вопросы владельцам постеров (учусь задавать вопросы). Во-вторых, наконец-то была возможность ответить на хорошие вопросы по нашему постеру

🤺 перед постер сессией была возможность выступить и прорекламировать наш постер. Выступить перед толпой людей всегда полезно! Хотя, конечно, и очень страшно...

💂‍♂️ и ещё мне нравится находиться в среде с дедами-учёными. Можно было послушать, как они рассуждают и во время лекций, и в неформальной обстановке, да в книжечку записать

если интересно, записи лекций можно посмотреть здесь, а программа школы и презентации здесь

во дела!

🎸 кто-то и правда прочитал нашу статью! и даже сделал хороший обзор:

😠 https://t.iss.one/dsinsights/362 👀

🧑‍🍳 спасибо автору за разбор

😉 вообще про BAT уже много постов видела, но в отличие от этого поста, все содержат странную инфу. Мол, мы, ресёрчеры, выкатив бенчмарк, оцениваем, что это увеличит доход платформы (см. картинку)

🐱 мы, конечно, ничего такого не говорили. А насколько бенчмарк может своим существованием поднять доход компаний, это отдельный вопрос. Но все посты как на подбор именно это пишут