The Cybernetic Teammate: A Field Experiment on Generative AI Reshaping Teamwork and Expertise

tldr: Person with AI ~ Person who talks and works with teammates.

Source: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5188231

недавно в новостях привели фразу Сундара Пичаи (CEO Google):

Google CEO Sundar Pichai says There's a new term for the current phase of AI: "AJI."
It stands for "artificial jagged intelligence," and is the precursor to AGI.

первым это определение придумал Андрей Карпаты (автор термина вайб-кодинг), но на мой взгляд тут интересно не авторство, а семантика термина: jagged переводится, как "зазубренный" и смысл такого определения в том, что современные ИИ-модели очень хороши в чем-то одном, но при этом совершенно элементарные вещи делать не способны (типа посчитать, сколько "r" в слове "strawberry"); и тут вступает в игру уже семантика русского языка, в котором есть близкое по звучанию слово "зубрежка", обозначающее заучивание ответов; и как раз зубрежка лучше всего подходит для описания процесса обучения современных LLM; так что предлагаю все ИИ-модели называть зубрами тут уместно вспомнить, высказывание Козьмы Пруткова: "специалист подобен флюсу, и полнота его одностороння"

ByteDance выкатил Seedance 1.0 — модель генерирует 5-секундные ролики 1080p примерно за 40 секунд, удерживает персонажей и плавные переходы, а в свежем рейтинге Artificial Analysis обошла Veo 3, Kling 2.0 и Sora. Для оценки компания собрала SeedVideoBench, где Seedance лидирует по движению, точности запроса и эстетике. Осенью модель встраивают в Doubao-чат и видеоплатформу Jimeng.

И что?
Seedance сдвигает планку в трёх вещах:

1. Экономика ролика — 5 секунд Full HD обходятся дешевле статичного баннера, значит видео войдёт в каждую товарную карточку и лендинг.

2. Скорость интеграции — модель сразу переезжает в Doubao и Jimeng, поэтому метрики качества-дохода появятся уже в этом квартале, а не «когда-нибудь после беты».

3. Новые требования рынка — теперь baseline для любого видеогенератора – мультисцена, стабильные персонажи и рендер < 1 мин. Всё, что не дотягивает, останется демонстрацией, а не инструментом.

World first: brain implant lets man speak with expression — and sing

tldr: implant enabled vocally impared person to speak

Source: https://www.nature.com/articles/d41586-025-01818-1

#implants #neurosquared #BCI

🎤 Друзья, остался буквально 1 день до окончания подачи заявок докладов на Practical ML Conf от Яндекса — самой практичной и хардовой конференции по машинному обучению!

✅ Принимаем доклады как для офлайн-участия в Москве, так и для онлайн-трека.

Practical ML Conf — это то, о чём не пишут в научных статьях: реальный опыт, лайфхаки, провалы и нестандартные решения из мира ML!

Успейте подать заявку: ссылка на CFP

И немного личного от Петра Ермакова, руководителя программного комитета:

Practical ML Conf мы проводим уже в третий раз. Это проект, которым я действительно горжусь и который люблю всем сердцем. Я вложил сюда всего себя — и хочу, чтобы этот опыт разделили все участники и докладчики! Буду рад если вы расскажете о возможности подачи всем своим знакомым в ML

If you have worked with LLMs, you know how sharply and satisfyingly they grow stupid from large command windows. Mess up anything in the prompt—easy. Forget a chunk of text—easy. A large code-base? Forget it. That, by the way, underlies censorship bypasses, when a small censoring model is overloaded by a huge request and the larger primary one still executes it.

The attention mechanism is to blame—one of the pillars of their power to “think”. Now an architecture has been proposed that can do without it. Designed for gigantic tasks.


They propose to throw out attention. But not completely.

The foundation of a transformer is the self-attention mechanism. That is when each word in the text looks at every other word to grasp context.

It is like forming neural links between tokens. Very cool, strong, powerful, but it demands enormous computation.

Double the text length—get a stack overflow.

The Gemini command window is currently 1 million tokens (2 million on request), and that is still insufficient for real tasks. For example, rewriting “War and Peace”. Although real tasks are all somehow about war, without peace.

Instead of a word-to-word model, other approaches appear here:
— Cutting into chunks (for example, 2 048 words each). A cluster is formed, processed within itself, and builds neural links to other clusters. Hello, “Programming Pearls”; hello, Bentley.
— Blocks based on state-space models (SSM)—inside chunks blocks process words. This is like very smart convolutions. In essence, it is a filter deciding which neural connections to build. These operations run much faster than attention, almost linearly with chunk length.
— Multi-Resolution Convolution layers—inside each chunk after SSM are convolution layers with different strides. They let the model capture local patterns at various detail levels—from ties between neighbouring words to ties between words slightly farther apart inside the chunk. Thus every cluster is composed of clusters as well.
— Recurrent observer—outside all this sits a marvel with an attention mechanism. Another light model able to keep the continuous thread and pass information from one chunk to another (for example, a GRU or LSTM). It receives a summary (embed) of the current processed chunk and updates its internal global state, handing it to the next chunk. This helps maintain coherence across the whole long text.
— External memory with retrieval—for every processed chunk its compact representation is created. These representations are stored in an external memory database, brief summaries of their content. When the model processes a new chunk, it can query this memory to find representations of the most similar or relevant past chunks. The retrieved information is then added to the current chunk, enriching its context from the distant past without recomputing everything afresh. This introduces no quadratic operations.

This is not a total rejection of attention, but its limitation.
The recurrent observer still has attention, but it works at a higher level of abstraction, which is cheaper.
One can say it is an advanced RAG plus hierarchical processing.

This contraption should operate with near-linear growth of complexity.
Starting from a certain size it outperforms other transformers, including sparse ones (BigBird, Longformer), cache-based ones (Transformer-XL) and known non-transformer approaches such as retrieval models (REALM, RAG) and non-attention models (RNN, CNN, pure SSM like S4, Mamba).

Where it is needed:
— To extract meaning from a large mass of information, for example your entire personal correspondence, because you are tired of chasing links across chats;
— To answer questions over a large body of documentation;
— To work with a large code-base;
— And other ideas will come up.

In short, they removed token-to-token links and thus crossed the quadratic barrier of ordinary attention.
With this architecture one can find all the important things inside a block very closely and then hand them to attentive LLMs.

Publication: https://arxiv.org/abs/2506.01963
Original post in Russian: https://t.iss.one/Fourier_series/416

P.S. Fourier Series (@Fourier_series) is a great channel, get serialized! Fourier Transform is for the best!

#LLM #nn