Перепост из чата по ML. Вырываю из контекста, поэтому объясню о чем речь - обсуждается свежая статья про интерпретируемость искусственных нейросетей, поиск структуры в работе сотен миллиардов нейронов 👇👇👇

Кстати, на стриме в это воскресенье предварительно планирую с помощью примеров кода моих экспериментов с этим подвести к тому а как же у нас в мозгу с интерпретируемостью работы нейросетей и дать слово людям, которые разбираются как работает естественный мозг

Это очередная крайне наивная попытка узнать "как нейросети работают внутри", еще лучше "какая же структура нейросети?"

Да никакая. Таких исследований ведется много, но все они кончаются обычно Эпик Фейлом и есть только элементы интерпретируемости при снижении размерности до 12 слоев с 60-100 слоев реальных GPT и измерений векторов до 500 с 10.000+ в реальных GPT. Просто в силу "зажатости" тут получается небольшая специализация у нейросети.
Тут такая же очередная ахинея с малышом как Gemma.

Даже не думайте, что крупная нейросеть как Gemini имеет хоть 0,1% того, что горе исследователи увидели в Gemma

Даже в малой нейросети в 12 слоев полифукнциональность бьет ключом и 95% головок внимания НЕ ИМЕЮТ закрепленной функции или смысла, а работают ВСЕ ВМЕСТЕ ПО ВСЕМ СЛОЯМ.

Принципиальную вещь которую нужно понять, что все такие исследования маргинальные. Для ученого очевидно, что крупные нейросети бесструктурные и искать там смысл элемента часто может идиот. Просто вычисление "размазывается" по всей нейросети. Также размазывается семантика вектора по всем измерениям и отдельные измерения векторов крупной нейросети не имеют интерпретаций.

Измерения крупной нейросети на деле имеют свойства как:
1. Ортогональность почти любого вектора "не имеющего отношения к делу" к текущему вектору, поэтому 10.000 измерений сделано для этого на деле - чтобы не было глюков корреляции и ложных срабатываний
2. Векторное пространство GPT позволяет линейным преобразованием в механизме внимания и нелинейным в перцептроне получить всегда новый вектора, т.е. если вектор V1 и V2 коррелируют, то можно сделать V3=перцептрон(a1*V1+a2*V2) Это упрощенно без SoftMax

Мне просто интересно когда даже до ученых-маргиналов наконец дойдет научный консенсус, что нейросети принципиально бесструктурные по природе и искать там функциональные части бесперспективно, а что видно на мелких нейросетках не видно вообще никак на крупных, где зажатия нет у GPT

История науки по-пацански. Выпуск 5: как срач привел к появлению науки. Часть первая.

Давным давно, в одной научной галактике… Не, правда очен-очень давно - четыре века назад - люди игрались со стеклом и придумали микроскоп. Точнее - со стеклами, отец и сын Янсены, которые делали очки, сложили вместе пару линз и сделали то, что увеличивало мелкие детали.

Потом микроскоп делали многие - тот же Галилей не только телескоп сотворил, но и микроскопами баловался (правда, слова такого не было, он называл его оккиолино - «глазок», но потом появились белорусы, картошка и глазки начали вырезать). Однако до британца Роберта Гука микроскопы считались баловством и были не очень популярны. Гук же стал рассматривать в микроскоп живое - все, что попадалось под руку, и описал это в своей книжке «Микрография».

Тогда это было сильно круче порносайтов, ибо секс тогда в Британии уже был, чай не СССР, а огромной блохи или вши, или кратеров Луны (Гук и телесопами баловался) - нет. Но для нас главное то, что Гук посмотрел в микроскоп и на обычную пробку. И увидел, шо и там жизнь - карцер или зоопарк, потому что все состоит из клеток (сеlla). Кстати, русское слово келья - однокоренное, ну а что за жизнь в монастыре.

Прошли годы. Много лет, почти двести. Три немца - сначала Маттиас Шлейден, ботаник и Теодор Шванн, гистолог, а затем и великий Рудольф Вирхов (который сначала произвел революцию в физиологии, а потом мешал другим это делать в медицине - гнобил Коха за его теорию инфекционных заболеваний) - придумали клеточную теорию. Типа, шо все живое состоит из клеток, и всякая клетка происходит от клетки. Вирусы, конечно, громко смеялись, когда услышали, но в целом это была мировая рррреволюция, как говорил товарищ Ленин. Пусть только в физиологии, но тоже хорошо - и главное, бескровно.

Но потом началась проблема с мозгом. Не, проблемы с мозгами были у многих и всегда, но вот с точки зрения клеточной теории возникла проблема: есть ли клетки и в мозге. Понятно, шо тогда современных учебников биологии не было, и слова «нейрон» никто не слышал. Другие клетки - глию - видели, Вирхов их и открыл, но кому они были интересны тогда. Это сейчас с них нейробиологи кипятком писают, но это - другая история. Но то, чем мы думаем - оно как? Там клетки есть? Казалось бы, в чем вопрос, какая тут может быть проблема

А проблема была такая. Мы сейчас, конечно, привыкли, к красивым картинкам конкурса Nikon Small World, конфокальной микроскопии и все такое. Но если вы сейчас возьмете ближнего своего, вскроете ему череп, вытащите мозг (не повторяйте это дома, это мысленный эксперимент), нарежете то, шо найдете под черепом на тонкие слайсы - как современный ученый работу по гранту РНФ на публикации в ку раз и ку два - и засунете под микроскоп - то вы нихрена такого красивого не увидите. Оно там все прозрачное почти, шо твоя инфузория-тапочка, только не движется. Видели самую первую зарисовку нейрона? Запятая и запятая. Или игольное ушко

Отсюда вопрос: а что там в мозге таки есть? Есть ли отдельные клетки, или все представляет одну сеть?

Был такой клевый итальянский чувак, Камилло Гольджи. Великий гистолог (и не только - например, он подтвердил, что малярия передается посредством комаров, а еще страдал комплексами - в смысле, увидел в микроскоп странную структуру в клетке, которую потом никто не видел и назвали ее комплексом Гольджи. Но потом выяснилось, шо все - лохи, а Гольджи - молодец, а комплекс или аппарат Гольджи нужен, чтоб вещества, синтезированные в эндоплазматическом ретикулуме выводить) догадался, шо если полить мозг бихроматом аммония и нитратом серебра, то в нейронах (которых тогда никто не знал) начинается великое бурление, они окрашиваются в черно-коричневый цвет - и ура - все видно. Назвали это все la reazione nera - «черная реакция». Знай, смотри себе одним глазом в микроскоп, другим - в рабочую тетрадь, и зарисовывай.

Казалось бы, должно было все разрешиться. Но - ученый это ж художник, и «я художник, я так вижу». И разразился великий срач на много лет. А потом - еще один. О них - во второй и третьей частях выпуска, поскольку это уже чуть другая история. И не одна.

На рисунках: Роберт Гук, его «Микрография» и рисунки из нее, Рудольф Вирхов, первое изображение нейрона, Камилло Гольджи и нейрон, окрашенный по его методу.

Не пропустите в это воскресенье! 👇👇👇

🎙️ СТРИМ / ДИСКУССИЯ — это воскресенье!

📅 Когда:
🕐 Воскресенье, 13:00 по Центральноевропейскому времени
🕑 (14:00 по Москве)

📌 Формат:
Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга. Всё зависит от того, кто придёт и какие темы захочет поднять.

💡 Планирую короткое вводное (буквально на 10–20 минут):
- как работают большие языковые модели (LLM),
- что такое эмбеддинги и механизмы самовнимания,
- интерпретируемость в нейросетях.

Дальнейшие темы, которые мы попробуем обсудить или хотя бы затронуть совместно с нейробиологами и специалистами по ИИ (в разумных временных рамках на стрим) 🧠⚡️🤖

Нейроны: биология vs кремний.
Сравним, как кодируется и обрабатывается информация в мозге и в искусственных нейросетях (ИНС). Так ли важно точное моделирование биологических нейронов?

Алгоритмы обучения: от синапса до сети.
Как мозг учится на уровне связей (Хебб, STDP) и как это соотносится с Backpropagation? Заглянем в биоправдоподобные подходы вроде Predictive Coding и Energy-Based Models.

Мозг vs ИИ: общая картина. Разберем ключевые различия: скорость обучения, память (привет, гиппокамп!), катастрофическое забывание и архитектура сетей.

Модели, вдохновленные мозгом.
От классики CNN до современных Трансформеров и Reinforcement Learning – как ИИ "подсматривает" за природой?

На пути к AGI.
Какие вызовы стоят перед созданием ИИ уровня мозга? Роль Meta-Learning, World Models, иерархического RL и online-обучения.

Сознание у ИИ?
Самый сложный вопрос: может ли ИИ, особенно LLM, обрести сознание? Поговорим об аргументах, ограничениях и философии.

Ожидаемый уровень аудитории:
от специалистов до всех интересующихся. Разговор будет идти на уровне общих неформальных идей.

🎥 Трансляци в канале, вверху будет кнопочка "Присоединиться к стриму"

📣 Приходи с вопросами, мыслями и интересом — будем думать вслух!

🧠 Как впихнуть нейросеть в тостер — квантизация

Короче, нейросети огромные, а памяти мало, грустно.

Чтобы всё это хоть как-то работало на обычных устройствах, придумали квантизацию — берём большие весёлые 32-битные числа и сжимаем их до унылых 4-8 бит.

Типа была модель на стероидах — стала на диете. Если подходить к этому с умом, то работает почти так же, зато влезает в память.

📚 Классный визуальный гайд по теме — прям с картинками и всё понятно:
👉 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization


#LLM #Transformer #Quantization #Efficiency