📘 Linear Transformers with Learnable Kernel Functions are Better
In-Context Models, ACL 2024

💾 Скачать исследование

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research представили на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL) новую архитектуру быстрых языковых моделей ReBased. В модели Based, представленной учеными Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения, специалисты T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Based, ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Ученые также упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.

Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.

💡 Physics.Math.Code // @physics_lib

🔊 Безэховая камера — это такое место, где можно получить покой от шумного внешнего мира. Это самое тихое место на Земле. Помещение спроектировано так, чтобы быть настолько тихим, что оцениваемые фоновые шумы на самом деле имеют отрицательные децибелы.

Если вы остаетесь в этой тихой комнате достаточно долго, то действительно можете услышать свое сердцебиение, скрежет костей и кровь, текущую по венам. Тихое место обычно вызывает умиротворение, но самое тихое место в мире сводит людей с ума. Самое тихое место в мире, по версии Гиннеса, находится в Редмонде, Вашингтон, США. Самая тихая комната — это безэховая камера Microsoft в здании 87 в штаб-квартире в Редмонде. В ней так тихо, что шум здесь фактически измеряется в отрицательных децибелах. В 2015 году уровень шума в безэховой камере Microsoft был проверен организацией Guinness World на отметке -20,3 дБ.

В самой тихой комнате в мире в штаб-квартире Microsoft все шумы из внешнего мира блокируются. Так почему эта камера называется «Безэховой»? Это потому, что в этой комнате отсутствует эхо. Впечатляет то, что уровень фонового звука в этой комнате был измерен на уровне -20 дБ, и этот показатель очень близок к -23 дБ, что является самым тихим уровнем на Земле. Этот самый тихий уровень относится к молекулам воздуха, отскакивающим друг от друга.

На самом деле у Microsoft есть три камеры, каждая из которых полностью поглощает звук. Чтобы создать акустически контролируемую среду, Microsoft спроектировала пол, потолки и стены комнаты звукопоглощающими клиньями. Помещение состоит из шести слоев стали и бетона. Инфраструктура самой большой камеры полностью отделена от остальной части здания. Безэховая камера находится на вершине набора пружин гашения вибрации. Кроме того, между камерой и окружающим зданием есть воздушный зазор. Следовательно, чтобы попасть в камеру, человек должен переступить через мост.

Самая тихая комната в штаб-квартире Microsoft используется самой Microsoft для тестирования своих продуктов. Команда аудиолаборатории Microsoft использует её для тестирования своих планшетов, а также цифрового персонального помощника Microsoft, Кортаны. Команда также использует безэховую камеру для тестирования своих микрофонов и динамиков. Один из самых дорогих брендов мира вполне может позволить себе такие эксперименты. #видеоуроки #опыты #физика #physics #эксперименты

💡 Physics.Math.Code // @physics_lib