Перед тем как переходить на средние или большие вычислительные мощности, тренирую совсем небольшую языковую модель архитектуры BERT (всего 106M параметров) на англоязычной Википедии. Уже десятый запуск за сегодня, но завтра точно взлетит! Вообще, считаю, что маленькие нейросети — это секси! выжать из них можно очень много, мне так кажется, и не обязательно гнаться за количеством - важно качество 🍒

#LLM #Transormers #NLP #AI

вопрос к участникам канала: вам интересна вообще эта тема? 👆продолжать или если скажете нет, то нет. вы вообще все здесь админы

вот интересно вот это?

https://t.iss.one/simple_about_complex/14

Эти цифры показывают, что обучаются на текстах из Википедии нейронные модели более чем нормально 👆. Позже расскажу в чём тут прикол.

Трэйн-Лос (Train/loss) показывает как модель адаптируется к текстам, на которых её учат. А Валидэйшн-Лос (eval/loss) показывает как она умеет обобщать свои знания на тексты, которые никогда ещё не видела. Я расскажу про это в своём ултимативном крэш-курсе, который выйдет в нескольких частях скоро. Но это вообще не так всё интересно и скорее скучно, но что проделал и понял - расскажу )

Для чего вам нужны деньги? 🤔💸

Видели этот красивый дашборд 👆👆👆, где я визуализирую процесс обучения нейросеточек, слежу за ошибками и радуюсь красивым графикам? Так вот… теперь либо плати, либо досвидос - your free trial has expired.

Вот оказывается, зачем нужны деньги… Чтобы покупать лицензии на софт! 😅

Нужны ли деньги программистам? Программисты же могут сами себе всё написать! 😆

Только вот пока ты напишешь замену, успеешь:
✅ Прочитать 100500 страниц документации
✅ Настроить окружение, которое сломается через неделю
✅ Починить 10 багов, которые сам же и создал
✅ Потратить месяц на то, что можно было купить за $10

Так что да, программистам деньги тоже нужны. Хотя бы на то, чтобы не писать велосипед, а просто взять и работать! 😅

🎭 Смотрели ли вы последнюю экранизацию "Мастера и Маргариты"? Как вам? 🎥

Все же знают, что в кино- и театральных кругах роман Булгакова считается заколдованным – слишком уж сложно его экранизировать или поставить на сцене. Многие режиссёры и, не побоюсь этого слова, продюсеры зубы об него сломали.

А как вы думаете, в чём главные трудности постановки "Мастера и Маргариты"? В чем именно этот роман ускользает от камер и кулис?

Спрашиваю не просто так — есть интересные мысли о роли языка и текста в работе мозга. Но сначала давайте разберёмся с экранизациями!

🔗 Вот свежая попытка:
🎬 Смотреть

Жду ваши мысли! 👀

Чтобы не отвлекаться от моих любимых боевых видов спорта (кстати, дата моего следующего боя по боксу пока под вопросом) - вот вам такая вот пока новость 👇👇👇

#НастроеньеПятницы

Какой-то трудяга хотел ограбить седьмого номера рейтинга UFC в легчайшем весе Марлона Веру, но внезапно обнаружил, что пришел с ножом на перестрелку.

Это мой девиз следующей недели: любой вид знания есть путь к самопознанию :)

https://www.youtube.com/shorts/qUOkxDmIjS4?feature=share

В марте есть такой денек
С цифрой, словно кренделек.
Кто из вас, ребята, знает,
Цифра что обозначает?

Поздравьте ваших барышень с 8 марта, пацаны!

Как вам такое, мужики? :)

https://www.youtube.com/watch?v=qvC-d1EJYSY

и англоязычная версия. милым дамам посвящается! :)

https://www.youtube.com/watch?v=R21bjQNDbnc

Бессмертная классика:

https://www.youtube.com/watch?v=2Jz5JMyZAfw