Тут вчера интересно стало, а как разные модели на одни и те же вопросы отвечают.

Запилил по-быстрому за часик такое приложение, - локальный вебсервер на Go (мы же теперь с GPT-5, почему бы и нет), который тестирует одновременно вообще ВСЕ модели, которые есть в Aitunnel.ru.

Получается рублей 60-100 за 1 запрос, но зато быстро и наглядно.

Выкладываю исходник в комментарии.
для запуска нужен Go, скомпилировать файл и еще .env файл рядом положить с вашим ключём к aitunnel в виде: AITUNNEL_API_KEY=sk-aitunnel-rS4 ит.д..

Через роутер тестирую потому, что там можно с одним ключём достаточно много моделей дернуть по одному апи.

Так то можно потом будет собрать такой же и для Cloud.ru, например.

Вообще код универсальный, - там baseurl может быть любой совместимый с openai и модели поправить в списке - можно вообще любые хабы быстро подключать

#dev #tests #Go #API
———
@tsingular

Про запуск GPT-5 :)

#юмор
———
@tsingular

Google Finance тестирует новые AI-функции

Google интегрирует в Finance возможности своей Gemini AI для улучшения финансовой аналитики.

Новые функции включают умные исследовательские инструменты, продвинутые графики и ленту новостей в реальном времени с ИИ-анализом.

Платформа будет использовать машинное обучение для контекстного анализа финансовых данных и предоставления персонализированных инсайтов пользователям.

Рынок финтех-решений с ИИ ожидают рост до $70,1 млрд к 2033 году, что делает эти обновления критически важными для конкурентоспособности Google против новых стартапов.

Если даже ИИ Гугла будет давать финансовые советы, то что может пойти не так? 📈🤖

#Google #Finance #Gemini
------
@tsingular

Телескоп Webb обнаружил свободно дрейфующие планеты размером с газовые гиганты

James Webb зафиксировал планеты-скитальцы, которые настолько массивны, что способны собирать вокруг себя собственные планетные системы.

Эти объекты дрейфуют в космосе без звезды-хозяина, но их гравитация достаточно сильна для захвата других небесных тел. Инфракрасные наблюдения выявили планеты массой до 5 Юпитеров в звездообразующих скоплениях вроде NGC 1333.

Обнаружение таких систем переворачивает представления о формировании планет. Теперь мы знаем - планетные системы могут возникать не только вокруг звезд.

Должна еще где-то быть планета на слонах и черепахе.
Нужно искать лучше. :)

#Webb #planets #rogue
------
@tsingular

А почему до сих пор мультимодалки не тестируют ребусами?
Зачем выдумывать все эти AGI тесты?

#ребусы #бенчмарки
———
@tsingular

Ну вот Sonnet 4 решил, но ход размышлений ИИшный.

В общем ребусы уже можно использовать для проверки моделей.
Надо собрать пайп.

#ребус
———
@tsingular

GPT-5!!
ну все, - AGI
апострофы только не объяснила, которые К и А убирают
%)

#ребусы #GPT5
———
@tsingular

нет.. не AGI :)

#GPT5 #ребусы
———
@tsingular

GPT5 и Соннет 4 на простом завалились.
Ну в общем вывод такой, - старые ребусы можно и нужно использовать для тестирования мультимодалок.

а роботов нужно на 3х мерных детских загадках-конструкторах тестировать

#ребусы #бенчмарки
———
@tsingular

💡 Meta* представила Byte Latent Transformer (BLT) — модель без токенов, которая обгоняет классические

Meta Research выложили исходник BLT (Byte Latent Transformer).
впервые байтовая модель догнала и местами превзошла токенизационные LLM вроде LLaMA 3, при этом снижая затраты на инференс до 50% и заметно повышая устойчивость.

🔍 Что нового в BLT
- Никакой токенизации: модель учится прямо на байтах, без фиксированного словаря.

- Динамические «патчи»: байты группируются в блоки переменной длины в зависимости от сложности текста (энтропии следующего байта).

- Эффективное распределение вычислений: сложные участки текста получают больше внимания и ресурсов, простые — меньше.

- Гибкое масштабирование: можно одновременно увеличивать размер модели и длину патча, сохраняя бюджет по FLOPs.

- Три уровня архитектуры: лёгкий байтовый энкодер, тяжёлый глобальный латентный трансформер и лёгкий декодер.

📈 Ключевые моменты из статьи

- Масштаб: обучение моделей до 8B параметров и 4T байт данных.

- Сравнение: при фиксированном бюджете инференса BLT обгоняет LLaMA 2/3 уже после compute-optimal точки.

- Качество: BLT-Entropy 8B превзошла LLaMA 3 на 4 из 7 стандартных бенчмарках, а в задачах устойчивости к шуму и работе с символами — с огромным отрывом (CUTE benchmark +25 пунктов).

- Переводы: +2 BLEU в среднем на низкоресурсных языках в FLORES-101.

- Инференс: патчи по 8 байт экономят ~50% FLOPs при минимальной потере качества.

💡 Почему это важно

BLT открывает путь к универсальным LLM, работающим с любыми языками и форматами без тонкой настройки токенизатора. Это особенно перспективно для:
— мультиязычных и низкоресурсных сценариев;
— устойчивости к ошибкам и «грязным» данным;
— мультимодальных моделей (байты можно применять и к аудио/видео-потокам).

📎 Репозиторий: github.com/facebookresearch/blt
Paper

TLDR: Meta убила токенизаторы

*Meta - запрещенная в РФ организация

#BLT #Meta #Transformers
———
@tsingular

нашел непробиваемый ребус.
решит только лишь AGI

Все нейронки не справились

#ребус #юмор
———
@tsingular

🤨 OpenAI заявила о 74.9% на SWE-Bench, чтобы обойти Opus 4.1 с его 74.5%…
Но тест они прогнали не на всех 500 задачах, а только на 477.

Ирония в том, что в официальной system card у них стоит просто 74%.

Источник: https://cdn.openai.com/pdf/8124a3ce-ab78-4f06-96eb-49ea29ffb52f/gpt5-system-card-aug7.pdf

Grok4 теперь бесплатный для всех

Илон Маск сделал Grok4 полностью бесплатным для пользователей.

Новая модель показывает прорыв в тестах на рассуждения - первая превысила 10% на бенчмарке ARC-AGI, достигнув 15,9%. В программировании набирает 72-75% на SWE-bench.

Основные фишки:
- архитектура "reasoning-first" вместо традиционных трансформеров
- нативная работа с инструментами в режиме "Grok Heavy"
- доступ к реальным данным из X в реальном времени
- меньше ограничений в ответах по сравнению с конкурентами

Пробуем тут: https://x.com/i/grok

Бесплатный сыр только в мышеловке, но пока что мышеловка выглядит довольно интересно.

До конца месяца обещают 4.5 версию.

#Grok4 #xAI
------
@tsingular

Stanford обновил полный курс по языковым моделям с нуля

CS336 от Стэнфорда учит создавать языковые модели от сбора данных до деплоя.

Ведут лекции Перси Лианг (директор CRFM) и Тацунори Хашимото. Курс покрывает трансформеры, обучение на ограниченных датасетах через синтетические данные, этику ИИ и работу с GPU.

Отдельные лекции посвящены параллелизму, оценке моделей через бенчмарки вроде MMLU и Stanford QA Dataset. Студенты проходят путь от теории до практических заданий по построению архитектуры.

Полный плейлист доступен на YouTube с детальным разбором каждого этапа создания языковых моделей.

Актуальная версия на 2025й год.
https://online.stanford.edu/courses/cs336-language-modeling-scratch

#Stanford #CS336 #обучение
------
@tsingular