Почему люди большие языковые модели до сих пор галлюцинируют? Всё дело в токенах. И да — к робототехнике это имеет прямое отношение 👁

В основе больших языковых моделей (БЯМ или по-английски Large Language Model, LLM) лежит нейросеть, обученная на огромном массиве различных текстов или знаковых последовательностей.

Каждый такой текст модель разбивает на токены — кусочки информации, с которыми ей удобно работать. Токены могут быть целыми словами, знаками препинания, символами и цифрами, даже частями слов.

❗️Термин «токен» пришел в искусственный интеллект из теории компиляторов. Токен в компиляторе — дискретная синтаксическая единица, создаваемая лексером. Например, ключевое слово, идентификатор, оператор. Это слово подразумевает дискретность, четкость границ и атомарность.

🔜 Современный ИИ унаследовал как сам термин, так и его значение. Токены теперь являются единицей обучения, логического вывода и ценообразования. Контекстное окно моделей состоит из n токенов. А стоимость логического вывода составляет x долларов за миллион токенов. Благодаря словарному запасу токены воспринимаются как естественные атомы языковой обработки.

И действительно, ещё совсем недавно я объяснял принципы работы БЯМ примерно так:

Слово «вездеход» длинное, его можно поделить на два токена: «везде» и «ход». Важно понимать, что на выходе БЯМ не сочиняет тексты, а лишь умеет довольно точно предсказывать, какой токен появится следующим после некоторого набора других токенов. Скажем, у нас есть ряд: «”По” - “рель” - “сам” - “ехал” - “паро”…». Нейросети требуется сгенерировать следующий токен — часть слова. Имеющиеся варианты: «ним», «ход», «воз», то есть — «пароним», «пароход», «паровоз».

Во время обучения модель «узнала», что если токену «паро» предшествуют «рель» и «сам», вероятность следующего токена оказаться «ним» — 0,5%, «ход» — 4,5%, а «воз» — 95%. Создав таким образом распределение вероятностей токенов, она выбирает самый статистически частый вариант.

‼️ Так вот, это не так. «Токен» в современных БЯМ — это артефакт кодирования в виде пары байтов: строка символов, которая достаточно часто встречается в обучающих данных, чтобы заслужить собственное представление. Процедура создания токенов носит статистический, а не лингвистический характер.

👀 Сами по себе токены не являются единицами языка. Это единицы сжатия, оптимизированные для эффективного представления, а не для выполнения каких-либо функций, которые люди ассоциируют со словами или морфемами, как в примере выше.

〰️〰️ Вот почему модели ведут себя странно на границах токенов. Им сложно подсчитать количество букв в слове, потому что слово может быть одним токеном. Им сложно работать с символами, потому что они никогда не воспринимали символы как единое целое. Они разбивают числа на части, которые не имеют математического смысла.

👁 Поэтому правильнее их называть не «токенами», а «единицами сжатия» или «фрагментами кодирования». И именно проблемы бессмысленного — с точки зрения человека — разделения как раз и приводят к галлюцинациям моделей и сбоям поведения роботов.

Словно дежавю, ошибка Матрицы в момент склейки двух токенов реальности при вторжении Агентов…

#По_понятиям #Это_база #ИИ_и_роботы #БЯМ #Галлюцинации

⬆️ Чувствуем, как предыдущий пост заставил скрежетать ваши шестеренки. Поэтому выдыхаем и умиляемся!

Колин Энгл — парень, который почти четверть века назад (!) убедил мир пустить под свои диваны роботов-пылесосов, вернулся с новой идеей. Основатель iRobot и его свежий стартап Familiar Machines & Magic показали четвероного и пушистого домашнего робота Familiar. И боже, он такой мимимишный 🥺

🏠 Familiar будет жить у вас дома, отслеживать ваш режим и активно мотивировать стать лучшей версией себя. Не пылесос, но тоже убирает — только не крошки, а вредные привычки.

🎥 Робот сможет распознавать вашу активность (например, сколько часов вы тупите в смартфон) и вмешиваться: предложить прогулку, позвать к ужину или просто прийти потереться об ноги, когда вы засиделись за Netflix Кинопоиском.

😻 Говорить Familiar не умеет (Энгл прямо заявляет, что технологий безопасного разговорного ИИ пока нет), зато может выражать эмоции ушами, хвостом, глазами и скулежом. Хозяева собак поймут, подчиненные кошек — оценят, а владельцы рептилий — посмотрят с недоумением.

💷 Цена пока не названа, но Энгл обещает «стоимость владения, сопоставимую с домашним животным» — где-то $65–100 в месяц. Стартап хорошо выучил уроки громких провалов Jibo и Anki, поэтому ставку делает не на хайповую демку, а на долгосрочную привязанность. Получится ли? Поживём — увидим.

#Робототехника #Социальные_роботы #Робособаки

💬 Заметка о токенах как причине галлюцинаций у ИИ, вызвала оживленное обсуждение. Автор канала «Игры разума» даже вызвался написать гостевой пост с возражениями. Представляем его в нашей редактуре:

Токены и галлюцинации: связь есть, но её (почти) нет

❗️Проблемы с токенизацией — и правда самая тяжелая и пока неизлечимая болезнь больших языковых моделей (БЯМ, англ. Large Language Model, LLM). Классический пример — ошибочные ответы ранних версий БЯМ на простой вопрос о количестве определенных букв в слове, по которому проходят границы токенов.

Сколько раз r встречается в strawberry?

🍓 Grok 4.1, например, сейчас ответит правильно — три. А вот GPT-4o на старте, Claude 3.5 Sonnet и другие ошибались, да ещё и уверенно настаивали на своем. Всё потому что слово «strawberry» токенизируется по частотным фрагментам — на «straw» и «berry». По крайней мере, в старых моделях.

❓ Но говорить, что причина галлюцинаций в токенах — большое преувеличение. Токенизация — лишь один из факторов, но далеко не единственный. Причины галлюцинаций значительно глубже. Среди них:

🔴 Обучение в парадигме reward guessing, когда модели поощряют за уверенные ответы, а не за «кто его знает, братан, спроси что-нибудь попроще или уточни». Как признались в OpenAI в прошлом году:

«Хотя сами оценки напрямую не вызывают галлюцинации, большинство измеряют производительность модели таким образом, чтобы поощрять догадки, а не честность».

🔴 Обучение моделей на данных, а не на правилах: в конце концов, в интернете никто не объясняет, сколько букв r в слове strawberry — и почему, да и вообще не подсчитывает. В результате модель индуцирует неявные правила из данных без гарантии корректности.

🔴 Отсутствие человеческого понимания мира, смыслов в психологическом значении этого слова. А взамен — работа на основе паттернов. Видимо, в этом фундаментальная причина галлюцинаций.

Но есть и хорошие новости: галлюцинации БЯМ бывают настолько интересны, свежи и неординарны, что в итоге — очень полезны! Как творчество душевнобольных для искусства, ведь:

Высокий ум — безумию сосед,
Границы прочной между ними нет!

#По_понятиям #Это_база #ИИ_и_роботы #БЯМ #Галлюцинации

T1000 должен был состоять из жидкого металла и принимать любые формы... А оказался просто лошадью-тяжеловозом!

Недавно китайская компания DAX Robotics представила робоконя Qiji T1000. Четвероногая машина способна поднять и переместить груз в одну тонну!

🚑 Перспективная технология для переноски клади и эвакуации раненых на пересеченной местности.

До мемов с обнаженным по пояс Си Цзиньпином верхом на киберпони осталось 3, 2, 1...

#Робототехника #Спасательные_роботы #Робособаки #Китай

И вновь наша традиционная рубрика: «А что там у китайцев?».

🇨🇳 Без изменений: Китай на пути к мировому доминированию в робототехнике. Поднебесная не просто участвует в гонке, наряду с США и Европой Японией, но стремительно наращивает лидерство, повторяя свой успех в производстве электромобилей.

🇨🇳 Согласно Morgan Stanley, Китай захватил 90% мирового рынка гуманоидных роботов.

🔥 За первые четыре месяца 2026 года венчурные инвестиции в китайских роботов достигли ошеломляющих 259,22 млрд юаней, превысив сумму за весь 2025 год. Рынок Поднебесной привлек около 46% всех мировых венчурных инвестиций в робототехнику.

🇨🇳 🌍 Китай за первый квартал 2026 года экспортировал своих роботов в 148 стран мира на сумму в 113,2 млрд юаней.

Борьба Илона Маска против экосистемы Unitree Robotics

💠 Его компания Tesla подтвердила планы по демонтажу сборочных линий электромобилей Model S/X для запуска массового производства гуманоидных роботов Optimus Gen-3 на заводе во Фримонте в конце июля-августе 2026 года.

❤️ Ответ китайской стороны оказался более агрессивен. Они не только открыли первый магазин в Пекине, как мы писали ранее, но и сделали ключевой шаг для масштабирования: 7 мая компания объявила о полноценном запуске первого в мире магазина приложений для гуманоидных роботов UniStore.

📲 Это позволяет сторонним разработчикам создавать и продавать навыки для роботов, что кардинально меняет правила игры и открывает путь для быстрого тиражирования сценариев их использования, как в свое время аппок для смартфонов в App Store или Google Play.

Глобальная технологическая гонка

🇨🇳 Пока другие страны в основном имеют только прототипы, Китай уже активно развертывает массовое производство. Во многом благодаря беспрецедентным мерам правительственной поддержки и госзаказу на различных промышленных и сервисных роботов.

#Китайские_роботы #Гуманоидные_роботы #Экономика #Китай

Будущее дало леща: робота-кунгфуиста взбесили школьницы

🤩 Пока по всему миру выявляют очередные случаи вспышки хантавируса, в Китае продолжается эпидемия помешательства роботов. Сначала андроиды лезли обниматься к девушкам, а теперь окончательно распоясались и разбивают кожаным мешкам нос. Очередной инцидент произошел в Ухане одной из школ Синьцзяна.

🤬 Гуманоид Unitree G1, видать, скачал непроверенный навык из вновь открытого магазина приложений UniStore. Поэтому вместо исполнения шаолиньских таолу, робот отчаянно вступил в бой с тенью в стиле «пьяного мастера».

🤩 К счастью, его оператор не растерялся. Он выбежал на поле и — пользуясь преимуществом в весе — усмирил 35-килограммового Kung Fury в манере праймового Хабиба Нурмагомедова.

🪩 Вообще, G1 — аппарат отнюдь не бесталанный. Стоит всего каких-то $13 500, а научить его можно даже крутить сальтуху и кататься на коньках. Но, судя по всему, в прошивку пока не завезли функцию «не паниковать при виде симпатичных девчонок».

По предварительной версии, робота сбили с толку множество одновременно движущихся объектов — классический edge case — проблема «крайнего случая», возникающая при экстремальных для технической системы параметрах окружающей среды. В лаборатории её воспроизвести невозможно.

👊 Взрывной рост насилия среди гуманоидов настораживает: в марте другой G1 заехал рукой по лицу мальчику на демонстрации в Шэньси, а месяцем ранее — зарядил собственному оператору в нос до крови. Неужели близится Ихэтуаньское восстание эпохи развитого киберпанка?

Спойлер: нет! Ответ лежит на поверхности — в Китае очень много гуманоидных роботов, они повсеместно применяются и участвуют во множестве мероприятий. А вот их алгоритмы управления пока далеки от совершенства, что и приводит к подобным казусам.

#Гуманоидные_роботы #Китайские_роботы #Восстание_машин #Ошибки_и_поломки

😎 «Я — прямая кишка кремниевая ярость Джека». В Сан-Франциско организовали подпольные бои гуманоидных роботов. Тайлер Дёрден был бы доволен! А вот мы нет.

🤩 Первое правило бойцовского клуба для андроидов — всем рассказывай о бойцовском клубе! Владелец магазина роботов REK решил подстегнуть продажи партизанским маркетингом и выложил ролик, мгновенно ставший вирусным.

На видео два китайских гуманоида — EngineAI PM01 и Unitree G1 — избивают друг друга под вопли озверевших от своей безнаказанности гиков. Кульминацией схватки стал взаимный хайкик в голову, отправивший обоих бойцов в глубокий нокаут.

…а в это время ещё четыре машины безропотно ждали своей участи.

Владелец REK сформулировал бизнес-модель с обескураживающей прямотой:

«Днём продаём роботов, вечером запираем двери и устраиваем бои!».

Здесь сложно не процитировать классику:

«Мы — поколение мужчин, воспитанных женщинами. Поможет ли другая женщина решить наши проблемы?».

Похоже, в 2026 году ответ окончательно ясен — им не поможет. А вот пара китайских роботов за $40 000 на двоих — вполне.

Остается вопрос — насколько этично стравливать машины друг с другом на потеху публике? Чем это лучше собачьих или петушиных боев? И не потеряли ли привилегированные резиденты Кремниевой долины окончательно берега…

#Гуманоидные_роботы #Китайские_роботы #Восстание_машин #Права_роботов #Робоэтика #Экономика

Заметил, что робототехника гораздо менее популярна у широкой аудитории, чем искусственный интеллект.

🤖 Одна из целей этого канала — показать, что для роботов сейчас наступает их 2017 год, (тогда в ИИ начался бурный прогресс после выхода статьи «Внимание — это всё, что вам нужно» и широкого распространения архитектуры трансформеров).

👁 За этой темой надо следить. И готовиться.

Да, пока ловкость гуманоидных роботов, как у любителей «Слезы комсомолки». Но вспомните, какие тексты генерировали большие языковые модели в 2021 году? А какие изображения ещё в середине 2022-го? И что они делают сейчас?

👤 ИИ совершил переворот в творческих профессиях и интеллектуальном труде. Роботы сделают то же самое в труде физическом. В том числе квалифицированном. А ещё в сфере услуг.

🪩 Нам всем придется учиться работать вместе с андроидами, руководить ими, доверять им себя и своих детей и, наконец, относиться к ним по-человечески.

Вторая половина 2026-го - 2027-й станут tipping point в области робототехники. Не является индивидуальной инвестиционной рекомендацией.

Сомневаетесь? Тогда просто обдумайте недавние новости:

1️⃣

Tesla запустит конвейерное производство Optimus Gen 3 летом 2026 года, а к 2027-му компания планирует масштабировать выпуск до промышленных объёмов. Линии спроектированы с расчетом на сборку 1 000 000 единиц в год. Данные для дообучения моделей на борту будут собирать непосредственно в процессе эксплуатации роботов.

2️⃣

При этом в настоящий момент Китай уже выпускает около 90% всех гуманоидных роботов в мире. А компании UBTech, AgiBot и Unitree Robotics активно масштабируют производственные линии. Плюс ещё более 150 китайских компаний включились в гонку гуманоидов.

3️⃣

Стартап-производитель роботизированных кистей и манипуляторов Linkerbot готовится к оценке в $6 млрд. Это больше, чем капитализация Avito или VK и «Лаборатории Касперского» вместе взятых.

#Гуманоидные_роботы #Экономика #Прогресс #STS

👷 Немецких рабочих заменят роботами: новая «альтернатива для Германии».

У пролетариев в ФРГ не лучшие времена. Сначала их работодатели лишились дешевых энергоносителей и потеряли рынки сбыта. Затем часть производств переехала в США и Азию.

👷‍♂️ Теперь беда пришла откуда не ждали — бывший российский ювелирный магнат, а ныне британский стартапер Артём Соколов лишит ещё две тысячи бюргеров рабочих мест.

🇷🇺🇬🇧 🤖 В 2024-м Соколов основал в Лондоне компанию Humanoid, куда нанял 200 лучших инженеров. А на днях его фирма заключила один из крупнейших известных контрактов на поставку гуманоидной робототехники в промышленности — к 2032 году не менее 2000 колесных HMND 01 будут трудиться на фабриках концерна Schaeffler.

⚙️ Судя по всему, сделка частично бартерная, так как немецкий гигант, в свою очередь, станет ключевым поставщиком актуаторов для конечностей и корпуса HMND 01. Чем-то это напоминает сюжет эпизода «Автофабрика» из сериала «Электрические сны Филипа К. Дика», где роботы собирали роботов для роботов.

🪩 Схема сотрудничества построена по модели RaaS (Robot-as-a-Service): Humanoid поставляет машины, интегрирует их в существующую инфраструктуру, разрабатывает софт для управления парком, обеспечивает техническую поддержку 24/7 и постоянные обновления.

🇩🇪 Уже с декабря 2026 года первые гуманоиды начнут работу на двух площадках Schaeffler в Германии. В Херцогенаурахе роботы займутся перемещением коробок, а после дополнительного обучения — сборкой и упаковкой продукции. В Швайнфурте пройдут полноценные испытания в условиях, приближенных к реальному производству.

🌟 И это не единичная история. Ещё в апреле Humanoid договорился с Siemens о поставке логистических роботов на их завод в Эрлангене. Видимо, для немцев пришло время базового безусловного дохода и конкуренции за места в чайных с мигрантами-турками!

#Гуманоидные_роботы #Робототехника_в_промышленности #Сервисные_роботы #Европа #Экономика

Достали из широких штанин: гуманоидным роботам в Китае начали выдавать паспорта. Недалеко и до присвоения социального рейтинга!

✨ В провинции Хубэй, где находится знаменитый своими летучими мышами и панголинами город Ухань, впервые в мировой истории андроиды получили «удостоверения личности».

Ну как удостоверения, — уникальные идентификационные коды из 29 цифр и букв английского алфавита. Впрочем, это всё равно больше, чем на ID у теплокровных граждан Поднебесной. Там символов всего 18.

3️⃣1️⃣2️⃣Номер содержит ключевые сведения: страну-производителя, компанию-сборщика, модель и серийный номер. Помимо них, идентификатор обеспечит полную информацию об истории технического обслуживания и сценариях применения робота.

2️⃣1️⃣3️⃣ В реальном времени через платформу управления любой желающий сможет получить доступ к таким данным, как износ шарниров, состояние аккумулятора и рабочая точность.

Нововведение будет очень полезно для вторичного рынка. Новый пользователь сможет проверить производительность и историю обслуживания бывшего в употреблении робота.

🪩 Особенно это важно, конечно, для сексботов, а то мало ли у него/неё окажется на максимум выкручены настройки «сексуальности», «духовности» и «сучества» (привет Дамилоле Карпову!)

✅ Пока ID получила только тестовая партия машин. Инициативу поддержали все ведущие производители роботов в регионе: Optics Valley Dongzhi, Glroad, Hubei Qirobotics, Jingchu Humanoid Robot, HandX, Guanggu Haribit и Maxnova. Массовая официальная паспортизация начнётся после выхода соответствующих национальных стандартов.

Хотя есть чуйка, что китайские роботы всё равно обзаведутся документами быстрее, чем российские футбольные болельщики FAN ID.

#Гуманоидные_роботы #Китайские_роботы #Социология_роботов #Права_роботов #Робоэтика #Экономика

🔔🔔 Роботы на ЦИПР-2026: найдите их всех!

Вы уже знаете, что роботы станут полноправными участниками деловой программы, но их присутствие этим не ограничится. Просто гуляя по площадке конференции, вы встретите технологии в самых разных воплощениях.

🤖 Роботы на стенде МФТИ
Демонстрация отечественной робототехники: антропоморфный «Сервант», образовательные Роки-2 и Роки-4 и робот-доставщик последней мили.
🤖 Робособаки
Высокотехнологичные питомцы от «Корпорации роботов» будут общаться с гостями и предлагать отсканировать QR-коды для быстрого перехода к сайту ЦИПР.
🤖 Qubot
Роботизированный помощник в зоне мерча будет сортировать аксессуары, аккуратно складывать одежду и поддерживать порядок на стойках.
🤖 Роботы-роверы Яндекса
Автономные роботы-доставщики будут курсировать по территории, угощая участников полезными батончиками из «Яндекс Лавки».
🤖 Мороженое-робот
Не волнуйтесь, микросхемы есть не придётся. На площадке вы найдёте стойку с мороженым Stoyn в форме роботов — вкусный и фотогеничный перекус;
🤖 Гуманоидный робот AgiBot X2
19 мая в 16:15 на сессии «Роботы по подписке: новая экономика промышленной роботизации» — гуманоидный робот нового поколения, которого представит VVP Group. Модератор сессии — Иван Беров, вице-президент «Ростелекома»;
🤖 Робот с лазерной сваркой и компьютерным зрением
На стенде «Ростелекома» покажут промышленного робота в работе: автоматическая лазерная сварка, компьютерное зрение и современные технологии роботизации производства.

Роботизация ЦИПР идёт полным ходом🦾

💚💚💚💚💚 Весна полностью вступила в свои права, за окном пышный ковер зелени и цветущая сирень! А значит пришло время обновления — у нас теперь собственный стикерпак 👍 и новое лого. Да не простое, а концептуальное!

Логотип собран из деталей — это визуальная метафора процесса сборки, в котором целое возникает из отдельных, точно подогнанных друг к другу частей... Как и наши главные герои — роботы!

😊 К 2060 году в собственности у людей будет больше гуманоидных роботов, чем автомобилей, считают аналитики Bank of America (BofA).

👁️ Существует расхожая легенда о «Великом навозном кризисе». Якобы в конце XIX века величайшие умы предрекали, что к середине XX столетия улицы Лондона и Парижа погрязнут под трёхметровым слоем конского навоза из-за развития гужевого транспорта. И хотя эта история полностью сфабрикована, тем не менее она верно отражает «точность» предсказаний профессиональных футурологов.

В России в конце 2010-х визионеры под эгидой Агентства стратегических инициатив и МШУ «Сколково» тоже много лет подряд создавали «Атлас профессий будущего».

🙂 Среди них: проектировщик дирижаблей, тренер творческих состояний, продюсер смыслового поля и кибертехник умных сред. Зато промпт-инженера, вайбкодера, ИИ-креатора или архитектора RAG-систем там не найдешь.

В общем, к любым прогнозам нужно относиться осторожно, однако расклад на будущее робототехники от BofA небезынтересен. Вот главное:

1️⃣ Гуманоидная робототехника переходит из стадии «демо и хайпа» в фазу долгосрочного промышленного бума, сопоставимого по масштабу с автомобилями и смартфонами.

2️⃣ Рынок андроидов, вероятно, станет следующим крупным циклом после генеративного ИИ. На Земле будет до 3 млрд гуманоидов к 2060 году.

2️⃣ Главный драйвер — демография. Население Европы, США, Южной Кореи и Японии стареет. В большинстве отраслей дефицит рабочей силы, рост зарплат и текучка кадров.

4️⃣ До конца 2020-х основная масса внедрений будет происходить на складах, в логистике и производстве. Домашние роботы — история скорее 2040-х. Так что ближайший рынок для гуманоидов — B2B, а не B2C.

5️⃣ Преимущество Китая. Компании Поднебесной уже сейчас резко снижают себестоимость роботов благодаря масштабу производства, дешёвой компонентной базе и поддержке государства.

6️⃣ Стоимость гуманоидов падает быстрее, чем многие ожидали. Себестоимость китайского робота примерно $35 000 в 2025 году и менее $17 000 к 2030. При таких ценах робот становится сравним по стоимости с автомобилем, а не с промышленным оборудованием.

7️⃣ Рынок перешел от стадии исследований и разработок к гонке платформ. Инвестиции в гуманоидную робототехнику выросли примерно с $0,7 млрд в 2018 до $4,3 млрд в 2025. Уже сейчас конкурируют более 50 компаний и около 150 коммерческих продуктов.

8️⃣ Большие языковые модели и воплощенный ИИ стали переломным моментом. Главный технологический прорыв — объединение БЯМ, компьютерного зрения и робототехники. Роботы начинают понимать инструкции на разговорном языке и адаптироваться к новым задачам без жёсткого программирования сценариев.

9️⃣Формируется новая робономика. В выигрыше окажутся не только производители роботов, но и поставщики сенсоров, приводов, редкоземельных металлов, батарей, чипов и софта.

Впрочем, скептики считают прогнозы BofA чрезмерно оптимистичными. Палки в колеса гуманоидных роботов могут вставить сложность реального мира, высокая стоимость обслуживания, проблемы энергоэффективности, безопасности и масштабирования производства.

#Гуманоидные_роботы #Экономика #Футурология #Тренды