#вкопилкуэрудита
Гроккинг(Grokking)
В контексте нейронных сетей описывает неожиданное поведение, когда сеть сначала плохо обобщает на новых данных, но после длительного обучения внезапно "понимает" задачу и достигает почти идеальной точности, даже если обучение продолжается на тех же данных без изменений в архитектуре или гиперпараметрах.
В статье Power et al. (2022) "Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets" описан эксперимент с обучением трансформера на задаче модульной арифметики (например, сложение по модулю 97).
На первых этапах трансформер переобучался: идеальная точность на тренировочных данных, но случайная на тестовых (около 50%).
После тысяч эпох обучения модель внезапно начинала обобщать, достигая почти 100% точности на тестовых данных.
Причина: сеть постепенно "выучила" алгоритм сложения по модулю, а не просто запомнила примеры.
https://arxiv.org/abs/2201.02177
Гроккинг(Grokking)
В контексте нейронных сетей описывает неожиданное поведение, когда сеть сначала плохо обобщает на новых данных, но после длительного обучения внезапно "понимает" задачу и достигает почти идеальной точности, даже если обучение продолжается на тех же данных без изменений в архитектуре или гиперпараметрах.
В статье Power et al. (2022) "Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets" описан эксперимент с обучением трансформера на задаче модульной арифметики (например, сложение по модулю 97).
На первых этапах трансформер переобучался: идеальная точность на тренировочных данных, но случайная на тестовых (около 50%).
После тысяч эпох обучения модель внезапно начинала обобщать, достигая почти 100% точности на тестовых данных.
Причина: сеть постепенно "выучила" алгоритм сложения по модулю, а не просто запомнила примеры.
https://arxiv.org/abs/2201.02177
⚡4🤔4
This media is not supported in your browser
VIEW IN TELEGRAM
#unrealneural
Компания Createfy только что запустила новую функцию под названием Product Video.
По изображению продукта получаем кинематографические снимки или видеоролики с аватарами.
Как минимум быстро, просто и можно тестить бесплатно
https://app.creatify.ai/tool/product-to-video
Компания Createfy только что запустила новую функцию под названием Product Video.
По изображению продукта получаем кинематографические снимки или видеоролики с аватарами.
Как минимум быстро, просто и можно тестить бесплатно
https://app.creatify.ai/tool/product-to-video
👍4⚡3
#unrealneural
LLaMA-Omni2
Появился опенсорс чат-бот в реальном времени на основе LLM с авторегрессивным потоковым синтезом речи
https://github.com/ictnlp/LLaMA-Omni2/2505.02625
LLaMA-Omni2
Появился опенсорс чат-бот в реальном времени на основе LLM с авторегрессивным потоковым синтезом речи
https://github.com/ictnlp/LLaMA-Omni2/2505.02625
🔥6⚡3👍2
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Офигенный пример из нового Gemini 2.5 (I/O Edition)
- Гемини, возьми картинку и постарайся воспроизвести ее кодом, принимая во внимание все паттерны.
Поглядите на эти анимации.
Image2Code в действии. Помните все эти арт-проекты и виджеинг? Не чокаясь.
I/O Edition - это замысловатый нейминг от Гугла в честь их конференции.
@cgevent
- Гемини, возьми картинку и постарайся воспроизвести ее кодом, принимая во внимание все паттерны.
Поглядите на эти анимации.
Image2Code в действии. Помните все эти арт-проекты и виджеинг? Не чокаясь.
I/O Edition - это замысловатый нейминг от Гугла в честь их конференции.
@cgevent
👍12⚡4
This media is not supported in your browser
VIEW IN TELEGRAM
#unrealneural
Новый Gemini 2.5 Pro (I /O edition)
Выглядит очень круто. Результат еще лучше с меньшим количеством подсказок.
Новый Gemini 2.5 Pro (I /O edition)
Выглядит очень круто. Результат еще лучше с меньшим количеством подсказок.
👍4🤯4⚡2
Вы уже пробовали делать свои приложения с помощью LLM, которые генерируют код?
Anonymous Poll
42%
да
34%
нет
20%
обязательно буду пробовать
4%
никогда не буду
Forwarded from NN
This media is not supported in your browser
VIEW IN TELEGRAM
Собаки освоили ИИ. Парень обучил нейросеть распознавать движения носов, ушей и лап, чтобы его псы могли делать онлайн-заказы или листать TikTok.
Нейронка даже говорит, когда собака успешно выполнила команду, например, дать лапу. Разработчик уже думает подключить этот алгоритм к «умной» кормушке.
Осталось научить хвостатых понимать, что происходит на экране.
Нейронка даже говорит, когда собака успешно выполнила команду, например, дать лапу. Разработчик уже думает подключить этот алгоритм к «умной» кормушке.
Осталось научить хвостатых понимать, что происходит на экране.
❤7⚡3😁2
#вкопилкуэрудита #unrealneural
Погружение в трансформеры
https://youtu.be/XfpMkf4rD6E?si=tZ7KlNN1e2ZW4ORx
Погружение в трансформеры
https://youtu.be/XfpMkf4rD6E?si=tZ7KlNN1e2ZW4ORx
👍5⚡2
Forwarded from Нейросельдь
Буквальная архитектура
Архитектура, как известно, это язык.
Оттого, наверное, и возникает такое количество случайных и не очень пересечений в процессе преподавания архитектуры в дизайнерской среде.
Одно из них — недавно всплывший в моей памяти "архитектурный алфавит" Иоганна Давида Штайнгрубера (Johann David Steingruber), изданный им в виде отдельной книги в 1773 году.
Прекрасный пример того, как архитектор практик, построивший, насколько я понимаю довольно много, в истории остается во многом именно благодаря своим "бумажным" проектам, сделанным скорее из любви к искусству или ради шутки, чем для какой-то серьезной цели.
При всей формальности решения, они, безусловно — продукт своего времени. Времени, когда все должно было быть рационально объяснено, разбито на категории и занесено в каталог.
Что совершенно не мешает им быть не только прекрасно спроектированными и живыми, но и, мне почему-то кажется, глубоко ироничными.
Архитектура, как известно, это язык.
Оттого, наверное, и возникает такое количество случайных и не очень пересечений в процессе преподавания архитектуры в дизайнерской среде.
Одно из них — недавно всплывший в моей памяти "архитектурный алфавит" Иоганна Давида Штайнгрубера (Johann David Steingruber), изданный им в виде отдельной книги в 1773 году.
Прекрасный пример того, как архитектор практик, построивший, насколько я понимаю довольно много, в истории остается во многом именно благодаря своим "бумажным" проектам, сделанным скорее из любви к искусству или ради шутки, чем для какой-то серьезной цели.
При всей формальности решения, они, безусловно — продукт своего времени. Времени, когда все должно было быть рационально объяснено, разбито на категории и занесено в каталог.
Что совершенно не мешает им быть не только прекрасно спроектированными и живыми, но и, мне почему-то кажется, глубоко ироничными.
👍6❤4⚡2