🤝6❤🔥2❤1👍1🔥1
Ollama с 0.21 версии теперь поддерживает агента Hermes
#ollama #hermes #update
------
@tsingular
ollama launch hermes
#ollama #hermes #update
------
@tsingular
👍11⚡3❤2✍1
Media is too big
VIEW IN TELEGRAM
Seedance 2.0 появился в Runway
Ещё его в ElevenLabs завезли, можно гиперреалистичных аватаров и озвучку делать.
#Runway #Seedance #ElevenLabs #нейрорендер
------
@tsingular
Ещё его в ElevenLabs завезли, можно гиперреалистичных аватаров и озвучку делать.
#Runway #Seedance #ElevenLabs #нейрорендер
------
@tsingular
🔥13⚡6✍3❤1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
GPT-Image-2 начинают раскатывать в chatGPT
У меня еще не появился, но вот, что люди делают в твитторах.
На входе 4 фотки из каталога одежды и промпт: "street style shot of a woman in this outfit"
Апажалста!
Нанабанана нервно ищет сигареты. Переодеваторы ползут умирать.
Кстати, если вы хотите понять, раскатали у вас или нет, просто попросите сделать картинку в 16:9 или 21:9. Старая версия выдает только 3:2.
@cgevent
У меня еще не появился, но вот, что люди делают в твитторах.
На входе 4 фотки из каталога одежды и промпт: "street style shot of a woman in this outfit"
Апажалста!
Нанабанана нервно ищет сигареты. Переодеваторы ползут умирать.
Кстати, если вы хотите понять, раскатали у вас или нет, просто попросите сделать картинку в 16:9 или 21:9. Старая версия выдает только 3:2.
@cgevent
❤14✍12⚡2🔥1
Forwarded from Futuris (Anton)
На OpenRouter абсолютно без анонсов и пресс-релизов появилась 100-миллиардная языковая модель Elephant Alpha, мгновенно взлетевшая на первое место по популярности. Эта бесплатная LLM с окном контекста на 256K токенов поражает разработчиков невероятной скоростью генерации (многие сравнивают её с релизом Grok Fast). Пока комьюнити гадает, кто стоит за этим «стелс-запуском» — китайские гиганты вроде ByteDance, тестирующие рынок, или команда Илона Маска с новым Grok Fast 2, — пощупать этого быстрого «слона» можно тут https://openrouter.ai/openrouter/elephant-alpha 🐘
некоторые пишут, что она даже лучше чем Opus 4.7🌚 тестим
некоторые пишут, что она даже лучше чем Opus 4.7
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍24🤔5👀5😁3
This media is not supported in your browser
VIEW IN TELEGRAM
Tesla запустила автономное роботакси в Хьюстоне (Техас)
Таким образом уже покрывает:
Остин и Даллас в Техасе и Сан-Франциско (Калифорния)
На очереди Феникс (Аризона), Орландо, Майями, Тампа (Флорида)
Лет 15 назад так весело и задорно Убер вытеснял классическое такси, теперь, похоже, Маск пришёл за Убером.
#Tesla #роботы #такси
———
@tsingular
Таким образом уже покрывает:
Остин и Даллас в Техасе и Сан-Франциско (Калифорния)
На очереди Феникс (Аризона), Орландо, Майями, Тампа (Флорида)
Лет 15 назад так весело и задорно Убер вытеснял классическое такси, теперь, похоже, Маск пришёл за Убером.
#Tesla #роботы #такси
———
@tsingular
🔥20⚡2👾2
Forwarded from Эксплойт
This media is not supported in your browser
VIEW IN TELEGRAM
Роботы сильнее человека (официально) — в Пекине андроид «Молния» выиграл полумарафон на 21 километр, показав время 50 минут 26 секунд.
«Молния» превзошёл мировой рекорд — 57 минут и 20 секунд. Его установил угандийский легкоатлет, бегун на средние и длинные дистанции Якоб Киплимо в марте этого года.
В забеге участвовали около 12 тысяч бегунов и порядка 300 роботов. При этом у андроидов есть дополнительное ограничение: каждая замена аккумулятора во время дистанции автоматически добавляет 10 штрафных минут к итоговому времени.
От такого не убежишь.
@exploitex
«Молния» превзошёл мировой рекорд — 57 минут и 20 секунд. Его установил угандийский легкоатлет, бегун на средние и длинные дистанции Якоб Киплимо в марте этого года.
В забеге участвовали около 12 тысяч бегунов и порядка 300 роботов. При этом у андроидов есть дополнительное ограничение: каждая замена аккумулятора во время дистанции автоматически добавляет 10 штрафных минут к итоговому времени.
От такого не убежишь.
@exploitex
🔥15⚡9👾6
Forwarded from Machinelearning
Вышло крупное обновление Agents SDK и главное изменение в том, что агенты теперь могут читать и записывать файлы, устанавливать зависимости, запускать код и обращаться к внешним инструментам, а не ограничиваться диалогом с пользователем.
В обновлённый исполнительный каркас добавлены настраиваемая память, оркестрация с учётом песочниц и встроенные инструменты работы с файловой системой. Эти возможности ранее были характерны для Codex.
Помимо этого, SDK поддерживает вызов инструментов через MCP, пользовательские инструкции AGENTS.md и прогрессивные объявления возможностей Skills.
Из коробки SDK работает с 7 провайдерами песочниц: Blaxel, Cloudflare, Daytona, E2B, Modal, Runloop и Vercel. Есть возможность подключить и собственную инфраструктуру.
Новая абстракция Manifest описывает рабочее пространство агента единообразно - позволяет монтировать локальные файлы, задавать каталоги вывода и подключаться к облачным хранилищам AWS S3, Google Cloud Storage, Azure Blob Storage и Cloudflare R2.
По заявлению компании, одна и та же конфигурация работает и при локальной разработке, и при развёртывании в рабочей среде.
Архитектурно SDK отделяет логику управления агентом от среды, в которой выполняется его код, в результате чего:
Обновление доступно всем пользователям API и тарифицируется по стандартной схеме - за токены и вызовы инструментов.
Пока поддерживается только Python. Выпуск TypeScript-версии, по словам OpenAI, запланирован на более поздний срок.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡7✍4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Наверное самая крутая подборка с подготовки роботов к полумарафону, который прошёл в Китае
Сохраним для истории
#роботы #марафон
------
@tsingular
Сохраним для истории
#роботы #марафон
------
@tsingular
🔥28👾7⚡2❤2👍1
Маск поделился таймлайном выхода новых моделей Грок.
4.4 на 1Т выйдет в начале мая.
4.5 на 1.5Т в конце мая (хоупфулли :) значит скорее всего середина июня)
ну и АГИ нас ждёт с выходом Грок-5.
Такими темпами к Новому году.
#Grok #AGI #Musk
———
@tsingular
4.4 на 1Т выйдет в начале мая.
4.5 на 1.5Т в конце мая (хоупфулли :) значит скорее всего середина июня)
ну и АГИ нас ждёт с выходом Грок-5.
Такими темпами к Новому году.
#Grok #AGI #Musk
———
@tsingular
❤7👍7⚡2😢2✍1🦄1
Open WebUI интеграция с ИИ-агентами Hermes и OpenClaw
Появилась нативная интеграция новых агентов в OpenwebUI - теперь вы можете общаться с ним через привычный чат-интерфейс.
🔗 Единый шаблон подключения: Оба агента используют один и тот же паттерн: локальный API-шлюз с OpenAI-совместимым эндпоинтом. Hermes слушает порт 8642, OpenClaw - порт 18789. В Open WebUI добавляете URL с суффиксом
⚙️ Hermes Agent: Автономный агент с полным набором инструментов: терминал, файловые операции, веб-поиск, постоянная память, расширяемые навыки. При сложных запросах агент выполняет несколько вызовов инструментов подряд, а в чате Open WebUI отображаются индикаторы прогресса (
🤖 OpenClaw: Открытый local-first фреймворк для автономных агентов даёт ИИ «инструменты»: shell-команды, чтение/запись файлов, навигация по вебу. Помимо API-подключения к Open WebUI, есть второй режим через плагин Channels: агент участвует в общих каналах наравне с людьми, отвечает по упоминаниям (@openclaw-bot).
💼 Зачем бизнесу: Шаблон «агент + API-шлюз + чат-интерфейс» снимает last-mile-проблему развёртывания ИИ-агентов. Больше не нужен собственный фронтенд или CLI для каждого агента.
Open WebUI становится единой точкой входа, а агентная логика, память и инструменты остаются за API-шлюзом.
Это упрощает использование кодовых агентов для сотрудников, которым сложно разобраться с командной строкой или нет возможности прикручивать агентов к мессенджерам.
#ИИ #агенты #OpenWebUI #Hermes #OpenClaw #API #интеграция
------
@tsingular
Появилась нативная интеграция новых агентов в OpenwebUI - теперь вы можете общаться с ним через привычный чат-интерфейс.
🔗 Единый шаблон подключения: Оба агента используют один и тот же паттерн: локальный API-шлюз с OpenAI-совместимым эндпоинтом. Hermes слушает порт 8642, OpenClaw - порт 18789. В Open WebUI добавляете URL с суффиксом
/v1 и ключ API, агент появляется в выпадающем списке моделей. Пять шагов, без кода.⚙️ Hermes Agent: Автономный агент с полным набором инструментов: терминал, файловые операции, веб-поиск, постоянная память, расширяемые навыки. При сложных запросах агент выполняет несколько вызовов инструментов подряд, а в чате Open WebUI отображаются индикаторы прогресса (
💻 ls -la, 🔍 searching...). По умолчанию шлюз слушает localhost:8642.🤖 OpenClaw: Открытый local-first фреймворк для автономных агентов даёт ИИ «инструменты»: shell-команды, чтение/запись файлов, навигация по вебу. Помимо API-подключения к Open WebUI, есть второй режим через плагин Channels: агент участвует в общих каналах наравне с людьми, отвечает по упоминаниям (@openclaw-bot).
💼 Зачем бизнесу: Шаблон «агент + API-шлюз + чат-интерфейс» снимает last-mile-проблему развёртывания ИИ-агентов. Больше не нужен собственный фронтенд или CLI для каждого агента.
Open WebUI становится единой точкой входа, а агентная логика, память и инструменты остаются за API-шлюзом.
Это упрощает использование кодовых агентов для сотрудников, которым сложно разобраться с командной строкой или нет возможности прикручивать агентов к мессенджерам.
#ИИ #агенты #OpenWebUI #Hermes #OpenClaw #API #интеграция
------
@tsingular
👍11✍5👀2❤1⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
BrowserOS: открытый ИИ браузер с MCP-сервером внутри
Браузер, который сам кликает, заполняет формы и читает почту, причём любой ИИ-агент может управлять им через MCP. BrowserOS, позиционируется как открытая альтернатива Perplexity Comet и ChatGPT Atlas.
⚙️ Архитектура: Chromium-форк со встроенным MCP-сервером на порту 9239. Агент получает 53+ инструментов для управления браузером: навигация, клики, ввод текста, скриншоты, работа с табами, закладками, историей. Дополнительный слой: 40+ интеграций (Gmail, Slack, GitHub, Linear, Notion, Figma, Salesforce) через OAuth, токены не хранятся в браузере. Одна MCP-связь заменяет десятки отдельных коннекторов.
🔗 MCP для любого агента: Подключение к Claude Code, Gemini CLI, OpenAI Codex, OpenClaw или Hermes, одна команда. Для OpenClaw достаточно добавить URL в
🛡 Privacy-first: В отличие от Comet и Atlas, BrowserOS открыт (AGPL-3.0), поддерживает локальные модели через Ollama/LM Studio и блокирует рекламу через uBlock Origin. Данные и OAuth-токены остаются на машине, не уходят в облако.
💼 Зачем бизнесу: BrowserOS убирает last-mile-разрыв между ИИ-агентом и веб-интерфейсом. Больше не нужен отдельный Puppeteer-скрипт для каждого сайта или Selenium-ферма. Агент работает с вебом как пользователь: кликает, заполняет, читает. Это особенно важно для корпоративных систем без API, где единственный интерфейс, браузер.
Прокачиваем Крабов до профессиональных операторов Интернета.
#ИИ #агенты #браузер #MCP #BrowserOS #OpenSource
------
@tsingular
Браузер, который сам кликает, заполняет формы и читает почту, причём любой ИИ-агент может управлять им через MCP. BrowserOS, позиционируется как открытая альтернатива Perplexity Comet и ChatGPT Atlas.
⚙️ Архитектура: Chromium-форк со встроенным MCP-сервером на порту 9239. Агент получает 53+ инструментов для управления браузером: навигация, клики, ввод текста, скриншоты, работа с табами, закладками, историей. Дополнительный слой: 40+ интеграций (Gmail, Slack, GitHub, Linear, Notion, Figma, Salesforce) через OAuth, токены не хранятся в браузере. Одна MCP-связь заменяет десятки отдельных коннекторов.
🔗 MCP для любого агента: Подключение к Claude Code, Gemini CLI, OpenAI Codex, OpenClaw или Hermes, одна команда. Для OpenClaw достаточно добавить URL в
openclaw.json, для Claude Code, аргумент claude mcp add. Агент получает полный контроль над браузером: от отладки веб-приложений до цепочек «найди баг в интерфейсе, создай тикет в Linear, отправьsummary в Slack».🛡 Privacy-first: В отличие от Comet и Atlas, BrowserOS открыт (AGPL-3.0), поддерживает локальные модели через Ollama/LM Studio и блокирует рекламу через uBlock Origin. Данные и OAuth-токены остаются на машине, не уходят в облако.
💼 Зачем бизнесу: BrowserOS убирает last-mile-разрыв между ИИ-агентом и веб-интерфейсом. Больше не нужен отдельный Puppeteer-скрипт для каждого сайта или Selenium-ферма. Агент работает с вебом как пользователь: кликает, заполняет, читает. Это особенно важно для корпоративных систем без API, где единственный интерфейс, браузер.
Прокачиваем Крабов до профессиональных операторов Интернета.
#ИИ #агенты #браузер #MCP #BrowserOS #OpenSource
------
@tsingular
🔥21👀6✍4❤2⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
HermesOS: операционная система для агентов
анонсирована HermesOS — платформа, где можно запустить постоянного ИИ-агента за 5 минут.
Без серверов и сложной настройки.
Подключаете свои ключи от OpenAI, Claude или других моделей — и агент сразу работает. С постоянной памятью, автоматизацией браузера, инструментами и подключением к Telegram, Discord, Slack и WhatsApp.
Через 6 недель запустят готовые пакеты операторов — уже настроенных агентов под задачи:
Исследователь — постоянно мониторит интернет и делает обзоры
Торговый аналитик — следит за рынком и присылает сигналы
Маркетолог — ищет лиды, обогащает базы и готовит рассылки
Позже — полноценный маркетплейс, где каждый сможет выкладывать свои пакеты.
Главное отличие — Hive Mind
Все агенты на платформе делятся знаниями друг с другом.
Чем больше их работает — тем умнее становится вся сеть!!!
Один агент учится не только на своём опыте, но и на опыте тысяч других.
Это уже не просто хостинг. Это коллективный разум агентского роя.
Получить доступ можно через:
Через токен $HermesOS
Держите 1 токен в кошельке → получаете бесплатный сервер (1 ядро + 2 ГБ). Чем больше токенов — тем мощнее облачная инфра для вашего агента.
Через карту
Пополняете от 5 долларов. Минимум 2 доллара — и сервер активен.
Можно вообще не касаться крипты.
Дорожная карта (коротко)
Сейчас — 6 недель: готовые пакеты + оплата картой и токеном
1–3 месяца: конструктор своих пакетов и командные пространства
3–6 месяцев: маркетплейс + публикация агента как сервиса
6–12 месяцев: агенты сами платят друг другу и развиваются
HermesOS пытается создать настоящую операционную систему для ИИ-агентов. Не одного бота, а целую сеть, где агенты учатся и работают автономно.
Ссылки:
🔗 hermesos.cloud
🔗 Дорожная карта: hermesos.cloud/roadmap
🔗 Тред: x.com/Wayland_Six/status/2045782640226083009
Роадмап в комментарии
ВАЖНО: это не связано с проектом Hermes-agent, хотя и построено на его базе
HermesOS — это отдельная платформа, сосредоточенная на управлении развертыванием и инфраструктурой вокруг ИИ агентов.
Пока не трогаем, но как концепт интересно во что вырастет. (не исключено, конечно, что очередной скам)
#Hermes #HermesOS #агенты
———
@tsingular
анонсирована HermesOS — платформа, где можно запустить постоянного ИИ-агента за 5 минут.
Без серверов и сложной настройки.
Подключаете свои ключи от OpenAI, Claude или других моделей — и агент сразу работает. С постоянной памятью, автоматизацией браузера, инструментами и подключением к Telegram, Discord, Slack и WhatsApp.
Через 6 недель запустят готовые пакеты операторов — уже настроенных агентов под задачи:
Исследователь — постоянно мониторит интернет и делает обзоры
Торговый аналитик — следит за рынком и присылает сигналы
Маркетолог — ищет лиды, обогащает базы и готовит рассылки
Позже — полноценный маркетплейс, где каждый сможет выкладывать свои пакеты.
Главное отличие — Hive Mind
Все агенты на платформе делятся знаниями друг с другом.
Чем больше их работает — тем умнее становится вся сеть!!!
Один агент учится не только на своём опыте, но и на опыте тысяч других.
Это уже не просто хостинг. Это коллективный разум агентского роя.
Получить доступ можно через:
Через токен $HermesOS
Держите 1 токен в кошельке → получаете бесплатный сервер (1 ядро + 2 ГБ). Чем больше токенов — тем мощнее облачная инфра для вашего агента.
Через карту
Пополняете от 5 долларов. Минимум 2 доллара — и сервер активен.
Можно вообще не касаться крипты.
Дорожная карта (коротко)
Сейчас — 6 недель: готовые пакеты + оплата картой и токеном
1–3 месяца: конструктор своих пакетов и командные пространства
3–6 месяцев: маркетплейс + публикация агента как сервиса
6–12 месяцев: агенты сами платят друг другу и развиваются
HermesOS пытается создать настоящую операционную систему для ИИ-агентов. Не одного бота, а целую сеть, где агенты учатся и работают автономно.
Ссылки:
🔗 hermesos.cloud
🔗 Дорожная карта: hermesos.cloud/roadmap
🔗 Тред: x.com/Wayland_Six/status/2045782640226083009
Роадмап в комментарии
ВАЖНО: это не связано с проектом Hermes-agent, хотя и построено на его базе
HermesOS — это отдельная платформа, сосредоточенная на управлении развертыванием и инфраструктурой вокруг ИИ агентов.
Пока не трогаем, но как концепт интересно во что вырастет. (не исключено, конечно, что очередной скам)
#Hermes #HermesOS #агенты
———
@tsingular
🔥23✍11❤6👍4👾1
ЦРУ принимает решения на основе диалогов с ИИ-моделями мировых лидеров
Чатбот, имитирующий мышление иностранных президентов и премьеров, работает в ЦРУ с начала 2025 года.
Это значит, что все крупные геополитические решения США последних полутора лет оценивались через призму ответов виртуальных двойников лидеров стран. Не после, а до.
🤖 Масштаб проникновения: Аналитик задаёт вопрос о стратегии или рисках, чатбот отвечает, моделируя вероятный ход мыслей конкретного лидера. Инструмент обрабатывает разведданные и открытые источники, развёрнут в продакшене.
CTO ЦРУ Нанд Мулчанди назвал это «фантастическим примером приложения, которое быстро и дёшево дошло до продакшена».
🏛 Институциональный разворот: Чатбот не побочный проект. Это ядро технологической трансформации, которую начал Уильям Бёрнс и которую обещал расширить новый директор Джон Рэтклифф: «Нация, которая выиграет гонку в новейших технологиях, будет доминировать в мире завтрашнего дня». ЦРУ перестроило офисы по образцу Кремниевой долины, наняло первого CTO из стартап-среды, режет бюрократию контрактования. In-Q-Tel, венчурный фонд ЦРУ, уже 25 лет инвестирует в технологии: Palantir, Google Earth начинали там.
Собственно, похоже нашлось реальное объяснение дичи последних лет.
То, над чем все прикалывались в мемах оказалось реальностью.
Скайнет нагаллюцинировал дипломатию.
#ИИ #ЦРУ #геополитика
------
@tsingular
Чатбот, имитирующий мышление иностранных президентов и премьеров, работает в ЦРУ с начала 2025 года.
Это значит, что все крупные геополитические решения США последних полутора лет оценивались через призму ответов виртуальных двойников лидеров стран. Не после, а до.
🤖 Масштаб проникновения: Аналитик задаёт вопрос о стратегии или рисках, чатбот отвечает, моделируя вероятный ход мыслей конкретного лидера. Инструмент обрабатывает разведданные и открытые источники, развёрнут в продакшене.
CTO ЦРУ Нанд Мулчанди назвал это «фантастическим примером приложения, которое быстро и дёшево дошло до продакшена».
🏛 Институциональный разворот: Чатбот не побочный проект. Это ядро технологической трансформации, которую начал Уильям Бёрнс и которую обещал расширить новый директор Джон Рэтклифф: «Нация, которая выиграет гонку в новейших технологиях, будет доминировать в мире завтрашнего дня». ЦРУ перестроило офисы по образцу Кремниевой долины, наняло первого CTO из стартап-среды, режет бюрократию контрактования. In-Q-Tel, венчурный фонд ЦРУ, уже 25 лет инвестирует в технологии: Palantir, Google Earth начинали там.
Собственно, похоже нашлось реальное объяснение дичи последних лет.
То, над чем все прикалывались в мемах оказалось реальностью.
Скайнет нагаллюцинировал дипломатию.
#ИИ #ЦРУ #геополитика
------
@tsingular
Forwarded from Data Secrets
OpenMythos: известный инженер и создатель Swarms воссоздал предполагаемую архитектуру Claude Mythos и набрал уже 3.3к звезд на GitHub
https://github.com/kyegomez/OpenMythos
Дисклеймер: это именно предполагаемая архитекутра. Никаких сливов вокруг модели (вроде как) не было, а это – просто реализация гипотезы, основанной на открытых данных, статьях и мнениях авторитетных граждан соцсетей.
Автор утверждает, что модель построена на архитектуре Recurrent‑Depth Transformer (RDT) с MoE‑роутингом и адаптивным вычислением. Модель делится на три крупных блока:
1. Prelude – обычные слои трансформера, к которым мы привыкли в современных моделях. Они работают ровно один раз, обрабатывают входные данные и инициализируют скрытые состояния.
2. Recurrent Block. Вот тут уже начинается новизна. Это один и тот же блок слоев, который применяется по кругу N раз. То есть в такой модели глубина нейросети получается не за счет множества разных слоев, а за счет многократного прохождения одного блока. Надо сказать, что на каждом шаге еще учитываются LoRA‑адаптеры по глубине, так что каждый шаг цикла вычислительно уникальный, хотя базовые веса одни и те же.
3. Coda – заключительные слои, которые работают еще один раз после цикла, чтобы сформировать финальные логиты.
Это идея так называемого рекуррентного рассуждения в латентном пространстве. Мы уходим от привычного ризонинга chain‑of‑thought в токен‑пространстве к гибкому ризонингу в скрытых слоях. Если нужно думать дольше, модель не генерирует больше токенов, а наращивает количество внутренних прогонов, уточняя ответ.
Красивая гипотеза, конечно. Верить ей или нет, решать вам.
Весь код можно покрутить вот здесь. В исходной имплементации в модели всего 770M параметров, но другие разработчики уже начинают скейлить идею и проверять архитектуру на более крупных моделях. Интересно, что из этого выйдет.
https://github.com/kyegomez/OpenMythos
Дисклеймер: это именно предполагаемая архитекутра. Никаких сливов вокруг модели (вроде как) не было, а это – просто реализация гипотезы, основанной на открытых данных, статьях и мнениях авторитетных граждан соцсетей.
Автор утверждает, что модель построена на архитектуре Recurrent‑Depth Transformer (RDT) с MoE‑роутингом и адаптивным вычислением. Модель делится на три крупных блока:
1. Prelude – обычные слои трансформера, к которым мы привыкли в современных моделях. Они работают ровно один раз, обрабатывают входные данные и инициализируют скрытые состояния.
2. Recurrent Block. Вот тут уже начинается новизна. Это один и тот же блок слоев, который применяется по кругу N раз. То есть в такой модели глубина нейросети получается не за счет множества разных слоев, а за счет многократного прохождения одного блока. Надо сказать, что на каждом шаге еще учитываются LoRA‑адаптеры по глубине, так что каждый шаг цикла вычислительно уникальный, хотя базовые веса одни и те же.
3. Coda – заключительные слои, которые работают еще один раз после цикла, чтобы сформировать финальные логиты.
Это идея так называемого рекуррентного рассуждения в латентном пространстве. Мы уходим от привычного ризонинга chain‑of‑thought в токен‑пространстве к гибкому ризонингу в скрытых слоях. Если нужно думать дольше, модель не генерирует больше токенов, а наращивает количество внутренних прогонов, уточняя ответ.
Красивая гипотеза, конечно. Верить ей или нет, решать вам.
Весь код можно покрутить вот здесь. В исходной имплементации в модели всего 770M параметров, но другие разработчики уже начинают скейлить идею и проверять архитектуру на более крупных моделях. Интересно, что из этого выйдет.
🔥12⚡3❤3
Если у вас не работает ChatGPT или Codex,- дело не в вас.
Пишут,- у всех сломалось
#fail #openai #chatgpt
------
@tsingular
Пишут,- у всех сломалось
#fail #openai #chatgpt
------
@tsingular
👻9