Your Transformer is Secretly Linear

Спешу познакомить вас с новой публикацией лаборатории FusionBrain про линейность большинства слоёв языковых моделей декодеров (принята на конференцию ACL 2024 - Main Track, Core A*). Наше исследование позволяет проанализировать внутренние представления языковых моделей, а также без потери качества избавиться от 10-15% слоёв.

Еще мы придумали новый механизм регуляризации, чтобы снизить пресловутую линейность и, тем самым, получить небольшой буст в качестве.

Ниже ссылочки на статью на архиве и код на гитхабе нашей прошлой статьи про анизотропию и внутреннюю размерность эмбеддингов (представляли на EACL 2024).

Статья уже на Hugging Face Daily Papers и уверенно занимает первое место, но мы будем очень рады вашим upvote голосам ⬆️

https://huggingface.co/papers/2405.12250

📕arXiv
👨‍💻GitHub
📖Хабр

@complete_ai

🏦На конференции действительно много активностей и конференция по масштабу можно считать одной из крупнейших в России. Среди привычных и уже знакомых «покатушек на великах», настольных игр мне понравился больше остальных новый стенд Сбера

В этом году команда HR бренда сделала интересный ход: вместо привычного мерча в виде маек, настолок и прочей символики ребята устроили благотворительный марафон — за выполнение заданий в ходе активностей на стенде участники будут зарабатывать виртуальные рубли

После конференции Сбер конвертирует виртуальные деньги в реальные, дополнит сумму и закупит на неё технику в Новосибирский лицей

🔥На мой взгляд, это реально крутой кейс, как можно сменить парадигму привычных подходов к привлечению новых сотрудников в сторону пользы для человека и общества

⚡️Сегодня мы выложили наш фреймворк для обработки и фильтрации изображений и видео

DPF - это наш внутренний фреймворк, с помощью которого мы обрабатывали и чистили датасет для обучения моделей Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Надеемся, что открытие кода ускорит развитие библиотеки и даст возможность ресерчам сосредоточиться на ресерче, а не на чистке данных ❤️‍🔥

А ещё мы написали статью на habr, в которой подробно рассказали про то, как собирали датасет для обучения Kandinsky 3.0 & 3.1 и Kandinsky Video. В ней также рассказали про DPF и процесс обработки датасетов у нас в Sber AI.

💻 github DPF
📖 Статья на Хабр