Аннотированная история современного искусственного интеллекта и глубокого обучения
https://people.idsia.ch/~juergen/deep-learning-history.html#rnn

Эволюция и слепое пятно Найта в машинном обучении
Статья о том как суровый фильтр эволюции позволил организмам (включая нас) ориентироваться в неожиданных событиях («неизвестные неизвестные»), с чем системы ИИ борются.
https://arxiv.org/abs/2501.13075

Пространство-время Минковского объединяет три измерения пространства и одно измерение времени в единую систему. В ней расстояния и время зависят от движения наблюдателя: объекты могут казаться сжатыми или растянутыми, а одновременность событий становится относительной.
По сути это геометрическая интерпретация пространства-времени, где точки четырехмерного пространства - это события.
Эта концепция объясняет многие эффекты теории относительности

Text2CAD
генерация параметрических моделей САПР из текстовых подсказок. Подсказки могут варьироваться от абстрактных описаний форм до подробных параметрических инструкций.
https://sadilkhan.github.io/text2cad-project/

ContrastCAD
Успех моделей на основе Transformer побудил многих исследователей изучать модели CAD, используя подходы, основанные на последовательностях.
Экспериментальные результаты показывают, что предлагаемый метод значительно повышает эффективность обучения автоэнкодеров на основе Transformer даже для сложных моделей CAD, имеющих очень длинные последовательности построения.
https://ieeexplore.ieee.org/document/10559801

Все, что вам нужно знать для создания вашего первого приложения LLM
https://towardsdatascience.com/all-you-need-to-know-to-build-your-first-llm-app-eb982c78ffac/

Бустаните плиз канал для публикации историй и всего такого⚡️
https://t.iss.one/boost/unrealneural

#пытаюсьпонять
Наткнулся на статью о способе улучшения результатов модели LLM без увеличения количества параметров (как это делается сейчас от релиза к релизу топовых GPT).
Не говоря обо всех пунктах, больше всего заставил задуматься следующий момент:
вместо того, чтобы бесконечно увеличивать размер модели, результат можно улучшить предоставив ей больше времени на формирование ответа - метод "budget forcing"

Как это сделать? Использовать слово "wait", чтобы заставить модель думать дольше.
Звучит прикольно, но абстрактно.

Если посмотреть глубже в процесс, то "wait" - токен, который влияет на контекст в скрытых состояниях модели и она интерпретирует его как сигнал для продолжения формирования ответа.
Причем повторение этого токена может постоянно активировать другие паттерны генерации - разные ответы.

Чем больше модель "думает" - тем больше шансов дать правильный ответ.

Самое интересное, что этот токен "wait" так работает из-за того, что это слово чаще всего вызывает дополнительное рассуждение в данных на которых учатся LLM. То есть у людей это намёк на то, что "не время заканчивать", "стоит еще подумать".
https://arxiv.org/pdf/2501.19393

#вкопилкуэрудита
Парадокс Моравека

Ганс Моравек, исследователь искусственного интеллекта и робототехники в 1980-х годах, отметил контринтуитивный аспект искусственного интеллекта:

- Искусственному интеллекту легче осваивать задачи, требующие рассуждений высокого уровня (например, шахматы или го).
- Базовые сенсорные и двигательные навыки (например, ходьба или распознавание лица мамы), которые люди считают инстинктивными, представляют большую сложность для ИИ.

Более того, эти «более простые» навыки требуют значительно большей вычислительной мощности. Это показывает сложность воспроизведения человеческого восприятия и ловкости — результатов миллионов лет эволюции — по сравнению с логическим мышлением, более поздним развитием.

В современном мире искусственного интеллекта и машинного обучения парадокс Моравека иллюстрирует проблемы проектирования роботов и систем искусственного интеллекта, способных беспрепятственно перемещаться и взаимодействовать с физическим миром.

Ну и пример: ИИ может разгромить чемпиона мира по шахматам за секунды, но если поставить перед ним задачу аккуратно взять фигуру, чтобы сделать ход – он, скорее всего, опрокинет всю доску.

#эксперименты
делаю дом

#эксперименты
экспериментик

#вкопилкуэрудита
Диффузионный трансформер
Новая архитектура нейронной сети, объединяющая диффузионные модели (которые обеспечивают стабильную и качественную генерацию данных) и трансформеры (которые эффективно моделируют сложные зависимости).

Диффузионный трансформер улучшает генерацию за счёт объединения диффузионного процесса, который создаёт детализированные данные шаг за шагом, и механизма внимания в трансформерах, который эффективно анализирует глобальные зависимости. Это даёт более точный контроль над структурой данных, уменьшает артефакты и ускоряет обучение модели за счёт параллельных вычислений.

С этим типом модели я познакомился, изучая Hunyuan3D 2.0. В контексте этого инструмента такая модель (Hunyuan3D-DiT) отвечает за диффузионное восстановление 3д формы из шума.
https://blog.deepschool.ru/cv/tasks/diffuziya-na-transformerah/

#эксперименты
Примерка фасадов на дом с помощью Krea AI

#эксперименты
Примерка фасадов на дом с помощью Krea AI