Your Transformer is Secretly Linear

Спешу познакомить вас с новой публикацией лаборатории FusionBrain про линейность большинства слоёв языковых моделей декодеров (принята на конференцию ACL 2024 - Main Track, Core A*). Наше исследование позволяет проанализировать внутренние представления языковых моделей, а также без потери качества избавиться от 10-15% слоёв.

Еще мы придумали новый механизм регуляризации, чтобы снизить пресловутую линейность и, тем самым, получить небольшой буст в качестве.

Ниже ссылочки на статью на архиве и код на гитхабе нашей прошлой статьи про анизотропию и внутреннюю размерность эмбеддингов (представляли на EACL 2024).

Статья уже на Hugging Face Daily Papers и уверенно занимает первое место, но мы будем очень рады вашим upvote голосам ⬆️

https://huggingface.co/papers/2405.12250

📕arXiv
👨‍💻GitHub
📖Хабр

@complete_ai

🏦На конференции действительно много активностей и конференция по масштабу можно считать одной из крупнейших в России. Среди привычных и уже знакомых «покатушек на великах», настольных игр мне понравился больше остальных новый стенд Сбера

В этом году команда HR бренда сделала интересный ход: вместо привычного мерча в виде маек, настолок и прочей символики ребята устроили благотворительный марафон — за выполнение заданий в ходе активностей на стенде участники будут зарабатывать виртуальные рубли

После конференции Сбер конвертирует виртуальные деньги в реальные, дополнит сумму и закупит на неё технику в Новосибирский лицей

🔥На мой взгляд, это реально крутой кейс, как можно сменить парадигму привычных подходов к привлечению новых сотрудников в сторону пользы для человека и общества