Сегодня вечером после работы сел запустить обучение языковой модели с нуля на текстах из Википедии.

Пока обучение идёт не слишком успешно — модель, кажется, быстро переобучается. Данных много, обучение занимает много-много часов (или даже суток), но уже видно: модель отлично запоминает обучающие данные (train loss стремительно падает), а вот eval loss — то есть способность модели обобщать знания и работать с новыми, ранее невиданными текстами — снижается гораздо медленнее.

Что это значит? Когда train loss падает быстро, а eval loss (validation loss) почти не двигается, это явный сигнал: модель начинает запоминать тренировочные примеры, но не учится извлекать из них универсальные закономерности. То есть модель плохо генерализирует.

Причины могут быть разные: архитектура слишком мощная для объёма данных, learning rate неудачно подобран, нужно больше регуляризации или больше эпох обучения

#LLM #Transformers #AI

Хотя, после 300 шагов - ещё не показатель, поглядим, что будет дальше...🤔

Для тех, кто не в теме, чем я тут занимаюсь: немного играюсь с языковыми моделями на основе нейросетей.

Принцип работы у них, на самом деле, довольно простой (и забавный): берём кучу текстов, закрываем кусочек предложения и заставляем модель угадать, что там должно быть. Потом открываем — ага, тут угадала, тут промахнулась. Модель подстраивает свои нейронные связи, чтобы в следующий раз ошибаться меньше. И так, круг за кругом, тысячу раз, миллион, миллиард... В итоге — начинает получаться всё лучше.

Что удивительно: я уже видел, как модель с 1.3 миллиарда параметров делает качественный скачок — переходит от банального угадывания морфологии и синтаксиса к пониманию смысла слов в зависимости от контекста. По сути, учится, как ребёнок, только на большом количестве текстов.

И это, на самом деле, каждый раз довольно нетривиально и немного магически выглядит.

Напоминаю, train-loss - показывает способность искуственной нейросети снижать ошибки в запоминаниеи тренировочных данных а eval-loss - способность снижать ошибки в обобщении на ранее невиданные тексты! Если две кривые ползут одинаково круто вниз, то это - круто! )

Что ещё можно увидеть в больших языковых моделях и миллиардах нейронных связей я вам расскажу на днях )

Тут прорабатываются большие данные, всей википеди и я уже немного учусь модели типа классифаеров на них обучать. Я расскажу об этом в своём ултимативном курсе по большим данным и основам программирования, но пока 👆👆👆

🏃‍♂️🏞️ Побегаем в Олимпиапарке, но без фанатизма!

Друзья из Мюнхена (и окрестностей), кто хочет размяться и встряхнуться этой весной — собираемся в это воскресенье в Олимпиапарке!

📏 Дистанция — примерно 9-10 км
📈 Перепад высоты — около 140 м (по ощущениям — чуть меньше 😄)
⏱️ Время в пути — ~1 час, но каждый бежит в своём темпе. Можно и пешком, можно и с паузами на болтовню и фоточки 📸

Формат супер-лайтовый! Это не чемпионат и не страдание, а скорее дружеская пробежка с видом на горки и весенний вайб 🌸

Буду я, коллега с работы (он обещал не ускоряться), и ещё один знакомый, который всегда знает короткие пути (но всё равно потеряемся — классика).

👉 Если интересно — пишите в комменты, договоримся о времени и точном месте встречи. Всё на расслабоне и по кайфу!

#running #sport #olympiapark #munich

Вчера прошли телефонные переговоры Трампа и Путина по Украине. Обе стороны в пресс-релизе высказались сдержанно:

- Переговоры прошли успешно, так заявили в официальном пресс-релизе обе стороны
- Сошлись на том, что РФ готова в обоюдном порядке на 30 дней прекратить удары по энергетической инфраструктуре, не вообще прекратить огонь, а только по энергообьектам
- Будет обмен 175-тью военнопленными
- Сборные США и РФ сыграют в хоккей на льду (wtf?!)
- Путин потребовал от Трампа прекращение военной помощи Украине и прекращение предоставления военных разведданных Украине
- Путин потребовал выборов в Украине, так как не считает Зеленского человеком способным вести переговоры

Напомню, что на фоне этого, речь не идет о снятии американских санкций против РФ, наоборот, предполагается, что они будут ужесточены. Так же не договорились о полном прекращении огня на 30 дней, как многие наблюдатели ожидали, лишь прекращение огня по энергетической инфраструктуре.

Что вы по этому поводу думаете?

🔥 Что такое список Сводеша и как он связан с ИИ?

Представьте, что вы хотите узнать: два языка — родственники или просто похожи случайно?

Лингвисты используют для этого простой инструмент — список Сводеша.
Это список из примерно 100 самых базовых слов. Например:

🔸 «я»
🔸 «вода»
🔸 «рука»
🔸 «птица»
🔸 «огонь»
🔸 «мать»
🔸 «солнце»

Почему именно такие слова?
Потому что они есть почти в любом языке и почти не меняются столетиями. Если эти слова в двух языках похожи — скорее всего, языки имеют общее происхождение.

Учёные сравнивают эти слова, чтобы понять, насколько близки языки и как давно они разошлись.

📢 Важно! Частый вопрос:

Миф: Русский и английский — не родственники.
Факт: На самом деле русский и английский — дальние родственники!

Они относятся к разным группам (русский — славянский, английский — германский), но входят в одну большую индоевропейскую семью.

Примеры:

«мать» → Russian: мать, English: mother

«нос» → Russian: нос, English: nose

«два» → Russian: два, English: two

Эти слова — следы древнего общего предка. Но у близких языков (например, русского и украинского) совпадений в списке Сводеша будет куда больше.

Список Сводеша состоит из базовой лексики: так называют понятия, которые претендуют на культурную универсальность и наименее склонны к изменению в конкретном языке. Второе качество базовой лексики (несклонность к изменениям) Моррис Сводеш сравнивал с радиоактивным распадом, утверждая, что базовые слова в языках мира выпадают из употребления и заменяются новыми с примерно одинаковой низкой скоростью. Благодаря этому мы можем оценить, как давно два языка были одним (подобно оценке древности археологической находки с помощью радиоуглеродного анализа). Это означает, что, например, «мясо» может считаться универсальным понятием, а «шашлык» — уже нет.

🤖 А что может предложить ИИ?
Сегодня языковые модели вроде GPT видят сразу десятки языков и миллиарды слов.
И вот вопрос:

💡 Может ли нейросеть придумать новый список Сводеша, современный и гибкий?

🚀 Новые подходы:
✅ ИИ сам ищет ключевые слова.
Какие слова реально устойчивы и показательны для сравнения языков? Может, не «птица», а «друг» или выражение «у меня есть»?

✅ Анализ жестов, аудио и визуального контекста.
Для жестовых языков, например, классический список плохо подходит, а модель может учитывать и мимику, и движения.

✅ Живой список, который обновляется.
Языки меняются ежедневно. Почему бы не сделать список, который следит за трендами и новыми словами?

📌 Пример:

Классический список Сводеша:
«я», «рука», «вода», «птица», «мать».

ИИ-список 2025?:
«гуглить», «лайкать», «смартфон», «друг», «как бы».

Нужно ли отказаться от фиксированных списков и позволить нейросетям самим искать лучшие слова для анализа языков?
Или классика всё ещё лучше?

Смотртите так же мой эксперимент с омонимами тут.


#AI #Лингвистика #Нейросети #Сводеш #Языки #LLM #NLP #Transformer

Следующий забег на эти темы будет именно с позиций списка Сводеша. Как я уже вверху показывал с кодом, что нейросеть разводит слово "лук" в предложении "Я купил лук на рынке" и "Рыцарь натянул лук и выпустил стрелу" и тут, внимание (!!!), можно сказать "ну естественно, разные же слова вокруг стоят". Так вот нет совсем. Если дать модели два других предложения "Я купил лук на рынке" и "Урожай лука в этом году был высок" и "Василий пожарил картошку с луком", то модель на средних слоях нейросети развела слово "лук", а на более глубоких слоях свела снова - и там, и там имеется в виду лук как плод и пища. И крошечные по современным меркам языковые модели это понимают прекрасно и говорят, да, это именно этот лук! А вот в предложении про рыцаря с луком даже модель с всего 1 миллардом нейронных связей скажет: не-не, это не тот лук, это другой, это что-то там с тетевой и стрелами, а не то, на чём Василий пожарил картошку или что продаётся на рынке.

И обучая свои сравнительно маленькие нейросетки мне нужны бенчмарки, насколько хорошо я могу их потом верифицировать, поэтому кроме пары дюжин экспериментов с омонимами нужны более солидные бенчмарки и как раз мне пока видится таким бенчмарком именно родственность языков. Тут, конечно, искусство ставить эксперименты....

Интересное мнение, которому уже 49 лет. Согласны или нет? Изменилось ли что-нибудь за почти пол века?

👇👇👇

#AI #Literature #LimitsOfAI #AGI

Основоположник отечественной школы искусственного интеллекта Дмитрий Поспелов об ограниченности ИИ:

...Пишутся расска­зы, стихи, что называется, по алгоритму "как у такого-то"... Но в искусстве этому есть имя — эпигонство. Творчество же предполагает но­вые мысли и образы. Оно тем и отличается от эпигонства, что его источник — жизнь, а не описание жизни

Возьмите пушкинское "Я вас любил...". Что здесь программировать? Стихотвор­ное изложение цепи "любил... страдал ... разлю­бил... будь счастлива"? Получится банальщина.
У Пушкина ведь говорят не только слова. Такое мо­жет написать лишь человек, который действительно лю­бит сильно и самоотреченно

Любовь и ЭВМ — вещи далекие

Эту мысль впервые высказал американский кибернетик Хьюберт Дрейфус: "Мышление без физическо­го тела, находящегося в фи­зическом мире, невозмож­но"

И это один из аргументов против воз­можности создания полноценного ИИ, поскольку машинная программа "живет" не в физическом мире, а в ми­ре символов. Отсутствие физического тела ведет к тому, что ма­шина "ничего не хочет". Она не знает ни любви, ни голода, ни усталости, ни по­требности в комфорте

Ну, а так как никаких потребностей у машины пока нет, то она и не в состоянии сама выбирать цели своего пове­дения и, стало быть, без по­нуждения человеком остает­ся мертвой грудой метал­ла...

ИИ будет возможен, если машина сумеет са­ма осуществить весь мыслительный процесс, начиная от выбора задачи. Пока же за нее решает программист

И даже если мы сымити­руем в машине челове­ческие потребности и чувст­ва, это не будет гаран­тией того, что она сможет создать второе "Я вас лю­бил". Может быть, она со­здаст что-то не менее вели­кое, но... для себе подоб­ных

Представляете, картина — машина-чита­тель вводит в себя стихи машины-поэта и от наслаж­дения меняет ток в питаю­щем трансформаторе. Но мы-то будем подходить к ней с нашими мерками! Она должна будет отражать не свои, а наши чувства, а для этого мало имитировать че­ловека, — надо быть чело­веком

Из интервью "Литературной газете" 28 апреля 1976 года