В Японии есть сайт, посвящённый числу Пи, доменное имя которого состоит из первых 65 цифр числа Пи:

3.141592653589793238462643383279502884197169399375105820974944592.jp

Говорят, если дождаться окончания загрузки страницы, то покажут аниме.

#математика #юмор #число_Пи

🔥 14 марта — день, когда вселенная решила пошутить!

Пишу с опозданием, но мимо пройти не могу.
14 марта я уже писал про День числа Пи — бесконечное число, которое путает умы.
Но, как оказалось, этот день намного богаче на события!

В этот день родились сразу три вселенских явления:

🧠 Альберт Эйнштейн — человек, который приручил пространство и время.

🥧 Число Пи — бесконечная головоломка для всех математиков.

😏 Саша Грей — девушка, которая оставила свой след в культуре. И тоже, кстати, внесла свой вклад в исследование человеческих границ... в своих сферах.

В общем, 14.03 — день, когда рождаются либо гении, либо бесконечные числа, либо те, кто знает, что делать с бесконечным вниманием.

👇👇👇

Сегодня вечером после работы сел запустить обучение языковой модели с нуля на текстах из Википедии.

Пока обучение идёт не слишком успешно — модель, кажется, быстро переобучается. Данных много, обучение занимает много-много часов (или даже суток), но уже видно: модель отлично запоминает обучающие данные (train loss стремительно падает), а вот eval loss — то есть способность модели обобщать знания и работать с новыми, ранее невиданными текстами — снижается гораздо медленнее.

Что это значит? Когда train loss падает быстро, а eval loss (validation loss) почти не двигается, это явный сигнал: модель начинает запоминать тренировочные примеры, но не учится извлекать из них универсальные закономерности. То есть модель плохо генерализирует.

Причины могут быть разные: архитектура слишком мощная для объёма данных, learning rate неудачно подобран, нужно больше регуляризации или больше эпох обучения

#LLM #Transformers #AI

Хотя, после 300 шагов - ещё не показатель, поглядим, что будет дальше...🤔

Для тех, кто не в теме, чем я тут занимаюсь: немного играюсь с языковыми моделями на основе нейросетей.

Принцип работы у них, на самом деле, довольно простой (и забавный): берём кучу текстов, закрываем кусочек предложения и заставляем модель угадать, что там должно быть. Потом открываем — ага, тут угадала, тут промахнулась. Модель подстраивает свои нейронные связи, чтобы в следующий раз ошибаться меньше. И так, круг за кругом, тысячу раз, миллион, миллиард... В итоге — начинает получаться всё лучше.

Что удивительно: я уже видел, как модель с 1.3 миллиарда параметров делает качественный скачок — переходит от банального угадывания морфологии и синтаксиса к пониманию смысла слов в зависимости от контекста. По сути, учится, как ребёнок, только на большом количестве текстов.

И это, на самом деле, каждый раз довольно нетривиально и немного магически выглядит.

Напоминаю, train-loss - показывает способность искуственной нейросети снижать ошибки в запоминаниеи тренировочных данных а eval-loss - способность снижать ошибки в обобщении на ранее невиданные тексты! Если две кривые ползут одинаково круто вниз, то это - круто! )

Что ещё можно увидеть в больших языковых моделях и миллиардах нейронных связей я вам расскажу на днях )

Тут прорабатываются большие данные, всей википеди и я уже немного учусь модели типа классифаеров на них обучать. Я расскажу об этом в своём ултимативном курсе по большим данным и основам программирования, но пока 👆👆👆

🏃‍♂️🏞️ Побегаем в Олимпиапарке, но без фанатизма!

Друзья из Мюнхена (и окрестностей), кто хочет размяться и встряхнуться этой весной — собираемся в это воскресенье в Олимпиапарке!

📏 Дистанция — примерно 9-10 км
📈 Перепад высоты — около 140 м (по ощущениям — чуть меньше 😄)
⏱️ Время в пути — ~1 час, но каждый бежит в своём темпе. Можно и пешком, можно и с паузами на болтовню и фоточки 📸

Формат супер-лайтовый! Это не чемпионат и не страдание, а скорее дружеская пробежка с видом на горки и весенний вайб 🌸

Буду я, коллега с работы (он обещал не ускоряться), и ещё один знакомый, который всегда знает короткие пути (но всё равно потеряемся — классика).

👉 Если интересно — пишите в комменты, договоримся о времени и точном месте встречи. Всё на расслабоне и по кайфу!

#running #sport #olympiapark #munich

Вчера прошли телефонные переговоры Трампа и Путина по Украине. Обе стороны в пресс-релизе высказались сдержанно:

- Переговоры прошли успешно, так заявили в официальном пресс-релизе обе стороны
- Сошлись на том, что РФ готова в обоюдном порядке на 30 дней прекратить удары по энергетической инфраструктуре, не вообще прекратить огонь, а только по энергообьектам
- Будет обмен 175-тью военнопленными
- Сборные США и РФ сыграют в хоккей на льду (wtf?!)
- Путин потребовал от Трампа прекращение военной помощи Украине и прекращение предоставления военных разведданных Украине
- Путин потребовал выборов в Украине, так как не считает Зеленского человеком способным вести переговоры

Напомню, что на фоне этого, речь не идет о снятии американских санкций против РФ, наоборот, предполагается, что они будут ужесточены. Так же не договорились о полном прекращении огня на 30 дней, как многие наблюдатели ожидали, лишь прекращение огня по энергетической инфраструктуре.

Что вы по этому поводу думаете?