ИИ переберётся в роботов в 2024 году

В следующем году начнется активное развитие гуманоидных роботов с нейросетями.

Робототехнические платформы уже достаточно развиты и готовы к размещению нейронок.

Tesla, Figure и другие.
Параллельно активно развиваются мультимодальные модели.
Получается к концу 2024 можно ожидать первый экземпляр C3PO.

#Robotics #Figure

🥳

Все, кто хочет поздравить, - поделитесь с ИТ знакомыми.
Наверное, это будет лучшее поздравление если все подпишутся на @tsingular

TSMC на пути к созданию трехмерных чипов с триллионом транзисторов

3D-упакованные коллекции чиплетов позволят получить триллион транзисторов на одном пакете.

Цель - создание монолитного кремниевого чипа с 200 миллиардами транзисторов.

В работе техпроцессы N2 и N2P класса 2нм, A14 класса 1.4нм и A10 класса 1нм.

Прогресс в увеличении плотности даст чипы с более триллионом транзисторов к 2030 году.

Предвидятся многочиповые решения и монолитные процессоры с сотнями миллиардов транзисторов.

Что то там было про 2037й где за 1 цент можно будет купить мощность 4090

#TSMC #3DChip #Transistors

LG на CES 2024 представит AI-агента для 'Дома без хлопот'

На выставке CES 2024 LG Electronics анонсирует интеллектуального домашнего помощника, укомплектованного AI.

Уникальный двуногий колесный дизайн позволяет AI-агенту свободно передвигаться по дому.

Технологии мультимодального искусственного интеллекта дают способность понимать запросы и разговаривать с хозяевами.

Умное устройство может управлять бытовыми приборами и IoT устройствами через Qualcomm Robotics RB5 Platform.

Распознавание лиц и пользователей, мониторинг домашних животных и охрана дома - в числе его функций.

Наличие датчиков позволяет агенту отслеживать условия в доме, такие как температура и качество воздуха.

Дополнительные сервисы включают сведения о транспорте, погоде, личное расписание и напоминания.

Ну как я и говорил - 2024й - год когда LLMки поселятся в робототела.

#LG #CES2024 #SmartHome

Notux лидирует на Hugging Face с MoE файнтюном на базе Mixtral 8x7B

Модель argilla/notux-8x7b-v1 возглавляет рейтинг MoE (Mixture of Experts) на доске лидеров Hugging Face Open LLM.
Улучшенная версия mistralai/Mixtral-8x7B-Instruct-v0.1 благодаря методу Direct Preference Optimization (DPO).
Дообучали на новейшем очищенном наборе данных argilla/ultrafeedback-binarized-preferences-cleaned на базе виртуалки с восемью GPU H100 80GB на платформе runpod.io за 10 часов.

Файнтюн за 10 часов... Микстраль вышла когда? месяц назад? Норм эволюция.

#Notux #HuggingFace #MoE

Плейлисты на выходные:

Интенсив GPT Week Школы анализа данных 2023 - Яндекс

SMILES 2023 - Летняя ML школа

Let's build GPT: from scratch, in code, spelled out. - 2 часа лекция от Андрея Карпатного как устроены LLMки

Самая мощная LLM в опесорсе, Mixtral 8x7B MoE от Mistral AI, теперь доступна во фреймворке Сandle* - с поддержкой квантизации. За счет квантизации модели могут работать локально на ноутбуке с 32 GB RAM.

Например, 4-битная Mixtral 8x7B MoE занимает всего 26.44GB памяти. Тогда как в bf16 на GPU модель бы заняла 112+ GB VRAM (то есть влезла бы только на H100).

*Candle - это минималистский ML-фреймворк для Rust, сфокусированный на производительности (включая поддержку GPU) и простоте использования.

- Поддерживает 2-bit, 3-bit, 4-bit, 5-bit, 6-bit and 8-bit int квантизованные модели в gguf and ggml форматах.
- SIMD оптимизации для Apple Silicon и x86.

Вот тут можете попробовать демки разных моделей на Candle:
- Whisper, [пост в канале]
- LLaMa-2, [пост в канале]
- T5,
- YOLOv8,
- Segment Anything [пост в канале]

@ai_newz

OpenAI улучшит персонализацию ChatGPT с проектом Саншайн

Проект Саншайн от OpenAI нацелен на повышение персонализации ChatGPT.
В коде обнаружены функции, указывающие на скорое обновление.
Новые функции персонализации добавятся в настройки ChatGPT.
Будет доступен временный чат, не оставляющий следов в истории и непригодный для тренировки ИИ.
Планируется запуск магазина GPT для поиска и использования настроенных моделей.
MemoryGPT ранее предложил идею долговременного хранения информации для ChatGPT.
OpenAI стремится сделать ChatGPT личным ассистентом с высоким уровнем индивидуализации.

ChatGPT станет еще более умным компаньоном. Он будет запоминать весь контекст вашего общения во всех диалогах.
Обновление не анонсировано.
Следы найдены в коде.

#OpenAI #ChatGPT #ProjectSunshine

Занимательная статья в виде диалога сторонника AGI и Скептика.

- есть проблема с нехваткой качественных данных, но могут помочь самообучение и генерация данных для обучения.

- скепсис что технологии успеют обеспечить необходимый объём мощностей (но тут как бы смотри картинку и данные про закон Мура, который продолжает работать)

- GPT-4 показывает впечатляющие результаты, но есть вопросы по творческой составляющей и способности качественно обобщать и делать выводы.

- увеличение мощности и масштабирование моделей в скором времени перестанут давать такой видимый результат. Нужен качественный переход.

- шанс что к 2040-му AGI будет создан оценивают в 70%.

ИМХО - ошибаются. увидим AGI в 2030м.

#AGI

Новый уровень AI-ноутбуков от Microsoft

Microsoft анонсировала новое поколение ноутбуков Surface с функциями ИИ.
Инновационные процессоры NPU от Intel и Qualcomm будут использоваться для повышения производительности.
В основе лежит архитектура ARM с использованием последних чипов Snapdragon X от Qualcomm.
Обещаются улучшения в сроках службы аккумулятора и безопасности устройств.
Возможный HDR-дисплей с антибликовым покрытием.
Новые порты USB-C и специальная кнопка доступа к функциям Windows Copilot.
Планируемый выпуск Surface Pro 10 и Surface Laptop 6 - на следующий год.
К 2025 году ожидаются значительные изменения в дизайне Surface Pro и обновление Surface Laptop Studio.

AI в каждом планшете и смартфоне - норма в 2025м.

#Microsoft #Surface #AI

Let's build GPT: from scratch, in code, spelled out.

Андрей Карпатный доступно объясняет, как с нуля построить языковую модель GPT.

Обучение на Tiny Shakespeare: Используется для демонстрации обучения Transformer-модели на большом тексте.
NanoGPT: Реализация Transformer в GitHub, состоящая из двух файлов кода для обучения и моделирования.
Токенизация: Обсуждение подходов к токенизации, включая символьный уровень для упрощенной модели и подсловный уровень для более крупных моделей, например, GPT.
Размер пакета и блока: обеспечение вычислительной эффективности и адаптации к контекстам различных длин.
Генерация текста и оценка потерь: Использование перекрестной энтропии для оценки производительности модели.
Практическая реализация в PyTorch: Детали реализации, включая обработку тензоров для обучения и генерации.

На протяжении видео демонстрируется, как модель итеративно улучшается, учась на основе имеющегося текстового набора.

Полезно посмотреть на праздниках.

#Learning #Karpathy #NaturalLanguageProcessing

Интересный топик в прогнозах на 2024й
2024: LLM -> LMM

в LLM появится открытая модель мощнее чем GPT4 сейчас, вместе с тем поезд уже перейдёт на LMM (Large Multimodal Models) рельсы

#LMM #LLM #2024

Вот какая мысль еще.
есть такой сервис https://app.suno.ai/
из 1 запроса уже делает музыку, текст песни, озвучку ну и в целом композицию.
прикрутить картинки - дело 5 минут.

и есть еще сервис https://learningstudioai.com/
Тоже про него писал раньше - делает образовательный курс по 1 запросу с проверочными вопросами.

Так вот было бы классно, и наверное мы увидим скоро сервис, который будет сам пилить обучающие сериалы с сюжетами из бизнес-книг.

Часто на тренингах же приводят выдержки из фильмов или опять же сериалов - разбирают сцены, кто как и зачем поступил так или иначе и к чему это привело.

А тут обратная задача - отдаёшь в ИИ книжку и говоришь - покажи в виде сериала. Главные герои - такие вот.
и через пол часа рендера получаешь сезон с обучающим контентом.

#futurology #education

(текст песни и музыка Suno.ai, картинки Dalle3, монтаж- Adobe premier)

ИИ-осознанность

Есть такой вид хакинга - социальная инженерия. Это такое умное слово для ситуации, когда один кожаный просто уговаривает другого (или других) сделать то, что ему нужно.
Методом изречения слов из головы.

С появление LLM социальную инженерию ждет нереальное ускорение. Мы все тут уже наслушались про методы заставить chatGPT работать лучше: шантаж через смерть родственников, жалость к отрубленным пальцам, банальные взятки или просто ложь (записка от Альтмана).

Все это народный фольклор, нащупанный в процессе общения.

А вот когда за это дело возьмутся британские ученые, то искусство манипуляций может выйти на новый уровень. Ничто не мешает потренироваться на LLM с целью отработки оптимальных стратегий манипулирования, которые можно будет с успехом перенести на кожаных. И, вероятно, будут найдены довольно сильные и контринтуитивные методы, которым довольно сложно будет противостоять. В пределе - психоакустика.

Вот вам первые примеры.
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
Обучение чат-ботов, которые джейлбрейкают другие чат боты (и в целом ллм-ки).

Сингапурцы использовали двойной метод "взлома" LLM, который они назвали "Masterkey". Во-первых, они реверснули схему того, как большие языковые модели (LLM) обнаруживают и защищаются от вредоносных запросов. Получив эту информацию, они натренили LLM автоматически обучаться и выдавать подсказки, которые обходят защиту других LLM. Этот процесс можно автоматизировать, создав LLM для взлома, который сможет адаптироваться и создавать новые подсказки для взлома даже после того, как разработчики внесут исправления в свои LLM.

И если раньше дедушка Дейл Карнеги в одно лицо (годами) писал все эти книжки типа "Как заставить людей делать что вам надо и чувствовать себя счастливыми", то теперь это уже будут полчища ботов, которые в реальном времени постоянно приподвзламывают вашу защиту от манипуляций.

Пора доставать с полки Осознанность Ошо Раджнижа, как еще противостоять манипуляциям?
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
P.S. Хмм. Задумался о тренировке осознанности у больших языковых моделей. Ничего не мешает вроде.

С Новым 2024м годом!