🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple.

FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины.

Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации.

В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями .

FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания:

ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров .

Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000.
На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям.

Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов.

Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление.

Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения.

FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео.

▶️Набор токенизаторов:

🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN.

▶️ VAE:

🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8;
🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8;
🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8.


🟡Страница проекта
🟡Набор на HF
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Tokenizer #Flextok #Apple

🔢 Мессенджер, который работает БЕЗ ИНТЕРНЕТА — Bitchat

Новый проект от бывших инженеров X/Twitter, который превращает обычные смартфоны в mesh-сеть.
Сообщения проходят даже там, где глушат связь, отключают вышки и происходит цифровой шатдаун.

📡 Без сим-карт. Без регистрации. Без сервера.

Что умеет:
— Работает без интернета (реально)
— Шифрует сообщения
— Подключается к другим телефонам поблизости
— Подходит для митингов, фестивалей, отключений связи и просто на всякий случай

🆓 Бесплатно
📱 Уже доступен для iOS через TestFlight.

📌 EXAONE 4.0 — новая LLM от LG, уверенно конкурирующая с топами

LG AI Research представила EXAONE 4.0 (предыдущие версии) , свою ризонинг-модель. Разработчики называют ее «гибридным ИИ», и это не просто маркетинговый ход. По сути, это сплав классических языковых способностей с мощным механизмом логических рассуждений, унаследованным от предшественника EXAONE Deep.

Главная фишка — пошаговый подход к решению задач, основанный на выстраивании цепочки мыслей. Это позволяет модели хорошо справляться не только с текстами, но и со сложными областями вроде математики, науки и программирования.

В LG решили не размениваться на мелочи и не придумывать собственные удобные бенчмарки, а сразу вышли на глобальную арену.

Модель показала себя более чем достойно на самых сложных и актуальных тестах. Например, на GPQA-Diamond, который проверяет научные знания, она набрала 75.4 балла, а в математическом AIME 2025 — все 85.3. Судя по графикам, EXAONE 4.0 уверенно конкурирует как с открытыми, так и с передовыми закрытыми моделями на английском языке, а также демонстрирует отличные результаты на корейском и недавно добавленном испанском.

🟢На бенчмаркх видно: EXAONE 4.0 уверенно конкурирует с передовыми закрытыми и открытыми LLM на английском, а также остаётся одной из лучших на корейском рынке.

🟢 Модель вышла в двух вариантах:
1. EXAONE 4.0 Professional (32B параметров) — заточена под медицину, право и другие сложные предметные области. Уже сдала 6 национальных сертификационных экзаменов в Корее.
2. EXAONE 4.0 On‑Device (1.2B параметров) — работает офлайн прямо на устройстве. При этом она вдвое компактнее, но быстрее предыдущей версии. Идеально для задач с требованиями к приватности и скорости отклика.

Появилась модель, которая решает больше edge‑кейсов, чем Qwen‑235B, но при этом требует в 7 раз меньше памяти.
Еще:
- Обучена на 14T токенах.
- Поддерживает Model Context Protocol (MCP)
- Поддерживает**Function Calling** — интеграция с внешними инструментами и API прямо через LLM.

📌 Многоязычие, высокая точность, локальная работа — всё это делает EXAONE одним из самых интересных релизов LLM‑рынка в 2025 году.

🟠Подробнее: https://www.lgresearch.ai/blog/view?seq=576
🟠Model: https://huggingface.co/LGAI-EXAONE/EXAONE-4.0-32B

@ai_machinelearning_big_data

#AI #ML #LLM #EXAONE #LG