Заглянул на ML Recap от Яндекса, старый добрый митап, много приятных лиц, клевые доклады.
Великолепный доклад был про табличный ML, узнали про него даже слишком много.
Крутой доклад про инференс, спикер был хорош. Будет время, посмотрите, как выложат.
👉 Upd. https://runtime.strm.yandex.ru/player/episode/vple3pp35tg4cd7nefds
Великолепный доклад был про табличный ML, узнали про него даже слишком много.
Крутой доклад про инференс, спикер был хорош. Будет время, посмотрите, как выложат.
👉 Upd. https://runtime.strm.yandex.ru/player/episode/vple3pp35tg4cd7nefds
❤19🔥11👍7👀3😁1
Знаю, что открытые модели сейчас пытаются разворачивать локально в некоторых больших компаниях и что в основном это проходит не очень успешно. Как я понимаю, ML-спецы на местах ставят небольшие модели и дают разработчикам, не объясняя толком что это, чтобы те разуверились в этом подходе и продолжали писать код руками.
Друзья, не надо так, помогите коллегам, разверните что-то на 2T+ параметров, если есть возможность, настройте, проверьте и объясните как пользоваться. А то среди знакомых довольно много программистов, в том числе получше меня, которые всё ещё не в теме, а на работе им дают что-то странное.
//писал пост про новый дипсик и отвлёкся
Друзья, не надо так, помогите коллегам, разверните что-то на 2T+ параметров, если есть возможность, настройте, проверьте и объясните как пользоваться. А то среди знакомых довольно много программистов, в том числе получше меня, которые всё ещё не в теме, а на работе им дают что-то странное.
//писал пост про новый дипсик и отвлёкся
👍20😁8👀8❤3💯2 2👾1
GLM 5.3
Zhipu вчера выпустили новую модель. Что интересно, после всех предыдущих инцидентов сделали упор на кибербезе:
Пишут, что на внутренних бенчах она на 50% процентов лучше GLM 5.2, с точки зрения команды, которая модель обучала, это прям очень круто. Само собой, она послабее Fable и Sol, но safety фильтров в ней должно быть меньше, к тому же веса скоро выложат в открытый доступ.
В OpenRouter пока нет, есть в официальном Code Plan, так что качаем родной харнесс, пробуем.
Zhipu вчера выпустили новую модель. Что интересно, после всех предыдущих инцидентов сделали упор на кибербезе:
GLM-5.3 did not simply become better at identifying isolated flaws: it began to reason across multiple stages of exploitation, forming coherent plans for complete exploitation chains.
Пишут, что на внутренних бенчах она на 50% процентов лучше GLM 5.2, с точки зрения команды, которая модель обучала, это прям очень круто. Само собой, она послабее Fable и Sol, но safety фильтров в ней должно быть меньше, к тому же веса скоро выложат в открытый доступ.
В OpenRouter пока нет, есть в официальном Code Plan, так что качаем родной харнесс, пробуем.
🔥24👍4✍3⚡1
Forwarded from Техножрица 👩💻👩🏫👩🔧
Часто грущу от того, что нашей с коллегами последней статьей Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story никто не интересуется и не цитирует... 💢
Напомню, что статья посвящена анализу внутренней размерности активаций LLM и её связи с различными свойствами текста, который подали на вход модели. Более подробное разъяснение статьи можно найти здесь, посмотреть видос про то, что такое в принципе внутренняя размерность (от 3blue1brown) - тут; ещё более подробное разъяснение популярных способов оценить внутреннюю размерность облака точек можно прочитать здесь.
Так вот, вместо этой новой статьи, которая связывает внутреннюю размерность активаций на тестах с лексическим разнообразием и сжимаемостью этих текстов алгоритмом gzip и энтропией (что, на мой взгляд, очень интересно, так как связывает внутреннюю размерность со сжатием представлений в LLM, а, как говорит 3blue1brown, compression is intelligence), челики почему-то цитируют нашу старую статью про детекцию сгенерированных текстов с помощью внутренней размерности, хотя мы же и показали в более поздней статье, что для новых моделей GPT этот метод уже не работает.
Скорее всего, это происходит от того, что старая статья была опубликована на NeurIPS, а новая, на мой взгляд, более актуальная, интересная и вносящая больший вклад в область interpretability of LLM - на EACL - то есть, на конференции поменбше и статусом пониже, где эта область вообще почти не представлена, так что мало кто будет ожидать найти в материалах конференции такие работы...
Я писала про эту работу в дискорде Neel Nanda, но там никто ею не заинтересовался, так как все только рекламируют свои работы, но не читают чужие... В общем, уже и не знаю, что сделать, чтобы на данную работу обратили внимание🤔 🤔 🤔
Помогите советом кто сможет 🥺
Напомню, что статья посвящена анализу внутренней размерности активаций LLM и её связи с различными свойствами текста, который подали на вход модели. Более подробное разъяснение статьи можно найти здесь, посмотреть видос про то, что такое в принципе внутренняя размерность (от 3blue1brown) - тут; ещё более подробное разъяснение популярных способов оценить внутреннюю размерность облака точек можно прочитать здесь.
Так вот, вместо этой новой статьи, которая связывает внутреннюю размерность активаций на тестах с лексическим разнообразием и сжимаемостью этих текстов алгоритмом gzip и энтропией (что, на мой взгляд, очень интересно, так как связывает внутреннюю размерность со сжатием представлений в LLM, а, как говорит 3blue1brown, compression is intelligence), челики почему-то цитируют нашу старую статью про детекцию сгенерированных текстов с помощью внутренней размерности, хотя мы же и показали в более поздней статье, что для новых моделей GPT этот метод уже не работает.
Скорее всего, это происходит от того, что старая статья была опубликована на NeurIPS, а новая, на мой взгляд, более актуальная, интересная и вносящая больший вклад в область interpretability of LLM - на EACL - то есть, на конференции поменбше и статусом пониже, где эта область вообще почти не представлена, так что мало кто будет ожидать найти в материалах конференции такие работы...
Я писала про эту работу в дискорде Neel Nanda, но там никто ею не заинтересовался, так как все только рекламируют свои работы, но не читают чужие... В общем, уже и не знаю, что сделать, чтобы на данную работу обратили внимание
Помогите советом кто сможет 🥺
Please open Telegram to view this post
VIEW IN TELEGRAM
ACL Anthology
Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story
Pedashenko Vladislav, Laida Kushnareva, Yana Khassan Nibal, Eduard Tulchinskii, Kristian Kuznetsov, Vladislav Zharchinskii, Yury Maximov, Irina Piontkovskaya. Proceedings of the 19th Conference of the European Chapter of the Association for Computational…
👍15💅6🔥5❤4✍3
Ух, сделал в нашей читалке режим мультиязычного чтения. Много классиков типа Гоголя, Чехова, Куприна, Тургенева и других было переведено на разные языки, всё такое стараюсь собрать и делаю из этого параллельные книжки. Иностранных классиков тоже не забываю, так что библиотека потихоньку растёт, около 600 книг уже есть. Можно будет выбрать до 4 языков (если столько редакций присутствует в книжке).
Но это всё для патологических читателей (мои любимые ❤️). Для более широкой аудитории делаю режим объяснялки, когда можно выбрать любой фрагмент книги и задать по нему вопрос.
Ну и сошлись с господами тестировщиками во мнении, что очень нужен тур по интерфейсу с подсказками, какая кнопка на экране чтения для чего нужна. Все выходные провозился и несколько раз переделывал, но вроде бы получилось неплохо.
По опыту работы с моделями (чем бы ни пользовался; и клодом, и кодексом, и китайскими) — под андроид обычно остается больше остаточных артефактов чем под ios (какие-то рамочки, недорисовки, тени, доп. расстояния). Видимо, разработка под ios более фиксированная, реже меняется или это из-за меньшего разнообразия девайсов, как-то так.
Идей, что ещё добавить, примерно до фига, но пока всё зафиксировал. Отправляю релиз на проверки в сторы.
Но это всё для патологических читателей (мои любимые ❤️). Для более широкой аудитории делаю режим объяснялки, когда можно выбрать любой фрагмент книги и задать по нему вопрос.
Ну и сошлись с господами тестировщиками во мнении, что очень нужен тур по интерфейсу с подсказками, какая кнопка на экране чтения для чего нужна. Все выходные провозился и несколько раз переделывал, но вроде бы получилось неплохо.
По опыту работы с моделями (чем бы ни пользовался; и клодом, и кодексом, и китайскими) — под андроид обычно остается больше остаточных артефактов чем под ios (какие-то рамочки, недорисовки, тени, доп. расстояния). Видимо, разработка под ios более фиксированная, реже меняется или это из-за меньшего разнообразия девайсов, как-то так.
Идей, что ещё добавить, примерно до фига, но пока всё зафиксировал. Отправляю релиз на проверки в сторы.
1🔥35❤12👍8⚡3😭1