Давненько не было новостей, но вот одна из команд все-таки довела свой проект до стать на хабре)

🚦В ней они показывают интересный реалистичный симулятор Carla, который используются и в различных других проектах связанных с анализом дорожного движения, как и почему писали свой упрощенный симулятор и другие интересные вещи
А вот также ссылка на их гитхаб - можете понаставить звездочек

Пивной бар-хоппинг для айтишников
12 сентября в 20:00

Финтех-компания Точка приглашает в пять московских баров в День программиста! Выпьем пива, пройдём квест про технологии и обсудим холиварные темы. Пройди задания, собери пасхалки и получи подарок — пивной бокал с гравировкой.

Подробнее что будет:

● Бесплатное пиво — по стакану в каждом из пяти баров.
● Квест по пяти барам — грохнем прод, поугадываем звуки ностальгии и найдём ошибки джуна с помощью УФ-фонарика.
● Холивары — обсудим наболевшее с инженерами из Точки:
– Свобода выбора в технологиях: рай разработчика, ад тимлида.
– Техдолг — копить или платить.
– Алгоритмы и задания на собеседованиях — кринж или база.
– 7 столпов ML — нужны ли они все.
– Куда исчезли сисадмины.

Ждём разработчиков, продактов, аналитиков и всех, кто работает в IT. Приходите сами и приводите друзей!

Зарегистрироваться и узнать больше про активности.

Тут моя любимая компания организует весёлую движуху, и я там буду главным холиварщиком на тему ML - поспорить и подискутировать можно будет о многом, так что если будете в это время в мск - можете заглянуть)

Мои друзья из XLabs организовывают прикольный хакатон на тему TTS, так что все dl enjoyer'ы - приходите)

Шо пацаны, вращаем и масштабируем!

Сейчас самый популярный метод позиционного кодирования в LLM’ках и не только — это RoPE. Но глубокому исследованию влияния параметров RoPE на поведение и свойства итоговой модели уделяется довольно мало внимания.

В статье “Scaling Laws of RoPE-based Extrapolation” ребята исследовали влияние выбора параметра rope base на поведение модели при разном размере контекста.

А еще:

📌 Ввели концепцию critical dimension, которая чуть-чуть приводит в порядок теорию про адаптацию RoPE для Train Short Test Long сценариев.
📌 Пофлексили тем, что “we achieve extrapolation up to 1 million context length within only 16K training length on LLaMA2 7B and 13B” — но есть нюанс 🙃

Основные интересные моменты:

- Маленькие rope base из коробки ведут к лучшей устойчивости к длинам контекста, которых не было в трейне, но при этом работают хуже на длинах, которые были в трейне.

- Есть понятный способ вычислить оптимальные rope base, если хочется сделать его маленьким.

- Большие rope base неустойчивы к длинам контекста, которых не было в трейне, но при этом работают лучше на длинах, которые были в трейне.

- Есть понятный способ вычислить оптимальный rope base, если хочется сделать его большим. Для этого нужно знать, на какой максимальной длине сиквенсов будет учиться модель, и на какой максимальной длине сиквенсов она будет работать на тесте.

- Пусть есть вектор размерности d для репрезентации какого-то query или key внутри башки атеншена. Тогда будет существовать d_extra, и во время претрейна позиционная информация в измерениях d_i ≤ d_extra будет полностью выучена, а в измерениях d_i > d_extra будет выучена не полностью и потребует дальнейших упражнений с адаптацией.

Велкам в полную версию статьи — давайте в комментариях обсудим, кто что полезное в ней нашел.

Подписываемся и ставим лайки и сердечки, канал хороший)