Размер имеет значение? На что обращать внимание при выборе LLM

Все мы знаем, что модели существуют разные: GPT-4o и GPT-4o-mini, Gemini Pro и Gemini Flash... А если вы, как и я, любите возиться с опенсорсными моделями, то наверняка обращали внимание на цифры с рядом с буквой "b" в названиях: 7b, 14b, 70b. И то и другое относится к размерности модели. Но как оно влияет на работу?

Давайте разбираться!
Эти самые "b" – это миллиарды параметров модели. Грубо говоря, параметры – это количество нейронов в “мозгу” ИИ. Чем их больше, тем обычно "умнее" модель и тем сложнее задачи она может решать. Однако, как и в жизни, "больше" не всегда значит "лучше"! 🙃

Не гонитесь за гигантами!
Не для каждой задачи нужен "тяжеловес" с сотнями миллиардов параметров. Например, если вам нужно быстро просуммаризировать статью или получить ответ на простой вопрос, вполне хватит и "малыша". Я, например, для таких целей часто использую китайскую Qwen 2.5 на 7b. Шустрая, компактная, бесплатная и работает оффлайн!

Но! Важно помнить, что количество параметров - это не единственный фактор. Очень многое зависит от архитектуры модели, качества данных, на которых она училась, и методов обучения. Вполне реальна ситуация, когда модель с меньшим количеством параметров уделывает более "накачанного" конкурента. Например, новые модели LLama при меньшей размерности работают лучше, чем предыдущее поколение.

Коротко и ясно vs. Подробно и детально
Тут есть важный нюанс. Маленькие модели, как правило, лучше работают с короткими и четкими промптами. Им сложно удерживать в памяти длинные инструкции и кучу деталей. Но если у вас задача -“монстр", требующая соблюдения множества условий, тут без большой модели зачастую не обойтись.

Хотя и тут есть лайфхаки! Даже с небольшой моделью можно добиться хороших результатов, если правильно "разжевать" ей задачу. Используйте few-shot prompting (дайте модели несколько примеров) или chain-of-thought prompting (разбейте задачу на цепочку простых шагов). Это как объяснить что-то ребенку: не надо сразу вываливать всю информацию, лучше по шагам, с примерами.

Контекст – наше все!
Хоть это и не связано напрямую с количеством параметров, но более "тяжелые" модели обычно имеют и большее контекстное окно. Это как оперативная память у ИИ: чем больше, тем больше информации он может удерживать “в голове” и учитывать при ответе. Например, у Gemini Pro контекстное окно - 2 миллиона токенов, а у Flash - 1 миллион. Для большинства задач и миллиона хватит за глаза, но бывают и исключения.

Но опять же, не все так просто. Есть техники, позволяющие работать с длинными текстами даже на моделях с небольшим окном. Можно разбить текст на части, обработать каждую отдельно, а потом "сшить" результаты. Или использовать RAG, когда модель ищет нужную информацию в базе данных, а не держит все в памяти.

Больше данных – больше проблем?
Размерность модели влияет и на то, насколько эффективно она работает с большими объемами информации. По своему опыту скажу: Gemini Flash начинает "сбоить" после 50 тысяч токенов, а Pro спокойно переваривает и 800 тысяч! Так что, если вы планируете "скормить" модели целую библиотеку, выбирайте с умом.

И не забывайте про узкие места. Например, внимание (attention) – механизм, который позволяет модели фокусироваться на важных частях текста. В классических трансформерах (архитектура большинства LLM) сложность вычисления внимания растет квадратично с длиной текста. Это значит, что обработка очень длинных текстов может быть очень медленной и дорогой (особенно если вы платите за API). Поэтому разработчики и придумывают всякие "хитрости", вроде sparse attention или linear attention.

Выбор модели – это всегда компромисс между мощностью, скоростью, размером контекстного окна и... вашими задачами. Смотрите на реальные возможности моделей, экспериментируйте и помните, что лучший ИИ – это тот, который решает ваши задачи, а не тот, у которого больше цифр в названии.

Еще больше про особенности выбора моделей я рассказываю в рамках обоих тренингов, на которые все еще можно записаться по сниженной цене.

#обучающиематериалы

AI заменит джунов - их навыки никому не нужны
На пост с такой идеей я наткнулся на днях, листая LinkedIn. Подобное говорят уже давно, просто чаще всего под удар попадают разработчики, а тут речь шла о продактах, маркетологах и вообще любых других специалистах.

Основной поинт автора был в том, что на джуниор позиции обычно нанимают людей, чтобы они выполняли простые операции: для продакта - это составить скрипт интервью, сделать анализ рынка, написать ТЗ и так далее по списку. Все эти функции будут делаться через AI-инструменты и ИИ-агентов, которые работают быстрее, дешевле и без кофе-брейков.

Почему это неправда
Начну с того, что я категорически не согласен с автором. Делегирование - это сложный процесс, и если бы все было так просто, то джуны уже не нужны никому с 2022 года, вместе с появлением ChatGPT.

Когда я делегирую задачу джуну, я жду не тупо исполнения, а:

Во-первых, вопросов или лучше даже несогласия в чем-то
Во-вторых, что он ее как-то докрутит и интерпретирует по-своему
В-третьих, что он пропустит ее через свой опыт и, будучи максимально мотивированным, сделает больше, чем я его просил

А теперь сравним мои ожидания с тем, что есть у ИИ:
1. Отсутствие эмпатии и эмоционального опыта. ИИ не понимает контекст человеческих отношений в команде, политику компании и неписаные правила, которые новичок схватывает на лету.
2. Отсутствие механизма регуляции критического мышления. Если попытаться запромптить LLM давать объективную оценку, то она все равно будет клониться в сторону тех суждений, которые ей заложили на этапе обучения. Просишь быть критически настроенной - будет критиковать до бесконечности, пока ее не остановишь.
3. Отсутствие мотивации как таковой. ИИ не хочет вырасти до сеньора, не мечтает о повышении и не стремится превзойти ожидания.
4. Отсутствие механизма иной интерпретации того, о чем я его попросил. LLM будет предсказывать наиболее вероятный ответ по моему запросу, а мне не всегда это нужно. Иногда нужен неожиданный взгляд или "глупый" вопрос, который перевернет всё с ног на голову.

Кого действительно заменит ИИ?
Как видим - все эти качества присущи именно человеку. Поэтому каких людей ИИ заменит, так это тех, кто не развивает свое мышление и другие софт-скиллы. И, объективно говоря, такие сотрудники никогда и никому не были нужны.

Поэтому если всё, что у вас есть - это навыки заполнения документов, поиска в гугле и т.п., то не ИИ вас заменил, а вы сами совершили карьерный суицид. Роль ИИ в данном случае - просто вбить последний гвоздь в гроб для карьеры такого специалиста.

Что изменится?
Джуны все еще будут нужны, просто произойдет изменение в том, какие к ним предъявляются требования:

1. Спрос на эмоциональные навыки + быстрый онбординг. Боевые задачи с реальными людьми сразу после прихода в компанию. Вместо рутины - настоящая работа.
2. Навык валидации результатов работы AI. Даже если AI найдет информацию с указанием ссылки на источник - все равно нужно будет валидировать не только AI, но и первоисточник. Насколько он соответствует задаче и вашему продукту?
3. Понимание того, когда и какой AI вам стоит применить. Допустим, вы сделали анализ рынка через DeepResearch. Проанализировали конкурентов, протыкали их приложения и составили список лучших функций. Где применять AI, а где нет? Стоит ли это делать для формирования выводов или их валидации? Тот самый навык AI Orchestration, о котором я говорил во время стрима.

Требования изменятся не только к джунам, а вообще ко всем. Нужно будет уметь мыслить стратегически, трезво оценивать перспективы, вовремя уметь остановиться и, где нужно - применить AI, а где нужно - включить человеческий фактор.

На самом деле, джуны даже получают фору перед более опытными специалистами - они изначально растут в эпоху AI и воспринимают его как естественный рабочий инструмент, а не как "новую технологию", к которой нужно адаптироваться.

Именно такому подходу работы с ИИ я обучаю на обоих своих тренингах. Если еще не записались - у вас все еще есть такая возможность.

#развитиеии

"Сделано человеком" 2.0: Как Vibe Coding и AI меняют ценность экспертизы.

Текущее развитие AI-инструментов делает доступным широкому кругу людей просто огромное количество вещей, которые ранее были немыслимы для масс. Чего стоит один Vibe Coding, делающий программирование доступным почти каждому! С ИИ можно создать свое приложение, запустить бизнес, вести блог, стать AI-художником, писателем — кем угодно. ИИ дает огромный простор для деятельности, снижая барьеры входа практически в любую сферу. Каждый может проявить свою креативность. Но не напоминает ли вам это что-то?

История богата примерами, но так как музыка - одно из моих хобби, хочется провести параллель именно с ней. В 80-х появились доступные синтезаторы, активно пошла цифровая звукозапись. В 90-х - ПО вроде Pro Tools и FL Studio, которое позволило любому клепать треки с помощью драм-машины и плагинов, сидя дома на диване. Необязательно было быть виртуозным музыкантом - достаточно усидчивости и желания донести свою идею. К чему это привело? К взрыву новых жанров, альбомов, к появлению чего-то прорывного... и одновременно к тоннам музыкального хлама.

Умерла ли "традиционная" музыка? Конечно, нет. Кто-то остался верен гитарам и живым барабанам (классика, блюз, рок), кто-то полностью ушел в электронику, а кто-то, как Linkin Park, гениально смешал лучшее из двух миров. На каждый продукт нашлась своя аудитория. Кому-то, как и мне, важна аранжировка, игра с паузами, глубина текста и музыки, "почерк" автора. Кому-то — главное, "чтобы качало". Опера, альтернативный рок и электронная музыка спокойно сосуществуют. Предпочтения часто зависят от искушенности слушателя.

Очень похожее происходит сейчас и с "ИИ-креативностью". У нас есть тексты, код, дизайн, созданные с помощью ИИ. Но тут начинается самое интересное:

Чистый AI-продукт: Часто создан людьми без глубокого понимания дела. Это шаблонный контент, сгенерированный по запросу. Дешевый масс-маркет. В народе — ширпотреб со всеми его плюсами и минусами.

Гибридный подход: Специалисты используют ИИ как мощный инструмент, но вкладывают свою экспертизу, видение, доводят результат до ума. Продукт получается на порядок качественнее, часто с уникальными фишками.

Ручной труд: Эксперты создают что-то с нуля, полагаясь только на свой опыт и мастерство.
Отличие последних двух категорий от первой — ровно как и с музыкой: авторы этих продуктов глубоко понимают, ЧТО они делают и КАК. Они вкладывают душу и мастерство.

И вот мой прогноз: чисто "ИИшные" продукты останутся уровнем масс-маркета. А вот гибридный и особенно "ручной" труд станут цениться еще выше. Мы придем к точке, когда будем готовы доплачивать за пометку "Сделано человеком", точно так же, как сейчас платим за ярлычок "Organic" на продуктах.

Реально крутой специалист, независимо от сферы, найдет применение своему мастерству - будет он использовать ИИ или нет. Что точно изменится, так это само понятие "посредственный". Если раньше это значило просто “дерьмовый”, то теперь "посредственный" — это "созданный AI без глубокой экспертизы и души".

Так что нет никакой ИИ-революции. Есть только естественно протекающая эволюция.

С 4 апреля дня повышаю цены на тренинги

Друзья, короткий апдейт. Если вы пропустили анонс или раздумывали над приобретением места на какой-то из моих тренингов, то сегодня у вас последняя возможность сделать это по самой низкой цене. Изначально планировал повышение с 3 апреля, но слишком погрузился в создание контента и чуть запоздал с этим ремайдером, поэтому текущие цены оставляю еще на один день.

В группах уже запустил сбор пожеланий по каждой из тем тренинга. Все материалы будут адаптированы под конкретный поток.

Мест осталось немного + в последние дни продаж планирую дополнительное привлечение, после которого, скорее всего, не останется мест на тренинг по эффективности, но еще будет парочка на продакт менеджмент.

👉 Забрать свое место

P.S. Чуть позже опубликую разбор статьи по безопасности ИИ от DeepMind, там много интересного. Прочитал более 100 страниц и был действительно вдохновлен увиденным

Разбор статьи Google DeepMind "An Approach to Technical AGI Safety and Security"

Вот и обещанный разбор статьи от DeepMind. На написание ушло несколько больше времени, так как не хотел ограничиваться поверхностным анализом, поэтому получилась целая статья на основе статьи и моей диссертации пятилетней давности.

Интересно, что темы, волновавшие меня в 2020, сегодня стали только более актуальны.

В статье подробно разложил:
- какие ИИ-риски выделяет Google
- как они предлагают с ними бороться: создать “хороший” ИИ, а опасный “поместить в клетку”
- чем Google лучше или хуже OpenAI и Antrhopic
- почему разработка безопасного ИИ - это самая важная проблема здесь и сейчас

Читайте на выходных 🙂

Meta* выпустила лучшие практически во всех “тяжелых” весовых категориях не Reasoning модели

Речь идет о новом поколении моделей Llama 4.

Всего представили 3 модели:
- Llama 4 Behemoth - 2T параметров (говорят. что столько было у GPT4). Модель называют “самой лучшей” для выполнения функции учителя при дистиляции знаний в модели меньшей рамерности.
- Llama 4 Maverick - 400b параметров - конкурент нашумевшей DeepSeek V3
- Llama 4 Scout - 109b параметров - замена Gemini 2.0 Flash-Light, Llama 3.3 70b и более мелких моделей с контекстным окном аж до 10 млн токенов

Судя по цифрам в бенчмарках, модели получились очень мощными, а Maverik на LMarena с ELO 1417 занимает второе место после Gemini 2.5 PRO, обгоняя GPT-4o, Grok 3, Claude 3.7 и другие модели. Бегемот все еще учится и даже не представляю, какие цифры выбьет он.

Meta вновь решили знатно пошуметь в опенсорс пространстве. Учитывая то, насколько хороша были предыдущие модели Llama, я практически уверен, что цифры бенчмарков будут не так далеко от правды.

Для кого эти модели? Прежде всего, для крупных энтерпрайзов, которым нужна приватность и которые могут позволить себе купить и гонять модель на видеокарте H100 (либо арендовать ее) 🙂 То есть далеко не для всех. Но уверен, что этот релиз знатно качнет опенсорс. Особенно китайский.

Если Behemoth действительно будет так хороша, как о ней пишут, то очень скоро ее дистилируют в условный QWEN и будет счастье не только крупным компаниям, но и бизнесам поменьше.

Интересно, чем на этот релиз ответят Google, OpenAI и Anthropic 🙂

👉 Новость с релизом тут

*Meta запрещена на территории РФ

#развитиеии

Самокритичный ИИ от DeepSeek уже рядом

Хоть я и не являюсь большим фанатом DeepSeek, но эти ребята делают реально крутые вещи и двигают ИИ-разработку вперед. На прошлой неделе вышла совместная статья от DeepSeek и исследователей из Tsinghua University, где был предложен новый метод обучения моделей, так называемый Self-Principled Critique Tuning (SPCT), позволяющий моделям лучше размышлять

Ок, новый метод, а нам с этого что, скажете вы? Дело в том, что Reasoning - это одна из наиболее интересных областей развития LLM сейчас. Мы все видим, насколько хороши Reasoning модели, чего стоят Gemini 2.5 и модели семейства “o” от OpenAI. Хороший Reasoning - ключевой элемент для построения точного и автономного агентского ИИ, и ,на данный момент, нет какого-то единого подхода к Reasoning, который можно было бы смело назвать Best Practice.

Однако есть кое-что общее - это процесс обучения. На финальной стадии обучения моделей, для четкого соблюдения инструкций используется Reinforcement Learning - обучение с подкреплением, когда мы даем модели примеры пар вопрос-ответ и “награждаем” за правильные ответы. Проблема состоит в том, что данный подход хорошо работает в областях, где у нас есть четкие правила и однозначные ответы. Но это хуже работает в области неспециализированных запросов (general queries), где все на так однозначно.

Здесь на сцену выходит SPCT. Что это такое?
Вместо того чтобы просто "награждать" модель за ответ, который нам кажется правильным, SPCT учит модель саму для себя формулировать принципы оценки хорошего ответа на конкретный запрос.

Работает это так:

Вы задаете сложный, открытый вопрос. Модель, обученная по методу SPCT, сначала как бы говорит себе: “Чтобы ответ был хорошим должен соответствовать определенным принципам: например, быть логичным, полным, учитывать контекст, и.т.д…” Затем она генерирует свой ответ и сама же его критикует с точки зрения этих выработанных принципов. Получается не просто бинарная оценка "хорошо/плохо", а развернутая обратная связь, основанная на самоанализе.

Примерно в таком же направлении пошли Anthropic в своей думающей Sonnet 3.7. Возможно китайцы нашли новую жертву (в прошлый раз ей была OpenAI) 😁

Но давайте лучше разберем, почему это подают как инновацию в Reasoning. В данном случае модель учится не просто следовать инструкции, а понимать, что значит "хорошо" в контексте конкретной, возможно, очень нетривиальной задачи. Она развивает способность к самооценке и адаптации критериев качества под разные ситуации. Это как раз то, что нужно для сложных рассуждений и построения автономных ИИ-агентов. Модель не просто ищет ответ, она учится оценивать качество своего мышления.

Какие еще плюсы дает SPCT
1. Снижение предвзятости: по результатам тестов модели DeepSeek-GRM, обученные с SPCT, показали меньше систематических ошибок и перекосов при оценке ответов из разных областей знаний по сравнению с другими подходами.
2. Эффективное масштабирование производительности: SPCT отлично показывает себя при масштабировании во время инференса (inference-time scaling). Простым языком: от модели можно получить значительно более качественные и продуманные ответы, просто выделив ей больше вычислительных ресурсов в момент генерации ответа. При этом LLM может параллельно сгенерировать несколько наборов принципов/критик, проанализировать их и выдать лучший результат. DeepSeek утверждают, что такой подход может быть эффективнее, чем простое увеличение размера самой модели.

☝️Начало поста выше

Этические аспекты (обозначенные в статье):
Несмотря на многообещающие результаты, авторы SPCT поднимают следующие этические вопросы:
1. Риск усиления предвзятости: Хотя тесты показали снижение bias, автоматическая генерация принципов может непреднамеренно усилить предубеждения, особенно если в обучающей выборки были, как отметили авторы “токсичные обучающие данные”. В данном случае SPCT потенциально может это усилить при генерации своих "принципов". Это именно то, о чем говорили Google, критикуя чрезмерную автоматизацию.
2. Человеческий контроль остается ключевым: SPCT - не замена человеку, а инструмент для более эффективного масштабирования человеческого надзора. Тут ребята как раз с Гуглом соглашаются, говоря о важности пракики human-in-the-loop 🙂
3. Прозрачность и ответственность: С ростом возможностей таких моделей возрастает и необходимость в их прозрачности, подотчетности и постоянной проверке на надежность и безопасность. С этой целью модели будут выложенны в опенсорс, как и их предшественники.

Очень интересно, как проявят себя эти модели и как их выпуск повлияет на дальнейшее развитие в индустрии

#развитиеии

AI 2027 - разбор статьи о супер-ИИ, которому не нужен человек

На прошлой неделе вышел ряд статей по безопасности ИИ. И теперь это ядро моего контента 😁

Сегодня поговорим о нашумевшей AI 2027.

Авторов у статьи несколько, один из них - Даниэль Кокотайло, бывший сотрудник OpenAI, известный как один лучших прогнозистов по будущему AI. А еще он запомнился скандалом с уходом из компании, когда OpenAI блокировали бывшим сотрудникам продажу акций, если они представляли компанию в невыгодном ключе. Что лишний раз доказывает: им есть что скрывать.

Сама статья огромная и представляет собой сценарий развития ИИ с двумя возможными исходами: замедление ИИ гонки и создание более-менее безопасного ИИ, или ее продолжение и создание Супер-ИИ, который в конечном итоге бахнет по нам биологическим оружием ☣️

AI 2027 - тот редкий случай, когда пересказ не передаст всей глубины работы. Я настоятельно рекомендую выделить 2 часа и прочитать ее целиком. А здесь я поделюсь своими мыслями о том, как, на мой взгляд, должен разрабатываться Супер-ИИ, чтобы избежать описанных последствий.

1. Политическая конкуренция - худший стимул прогресса. Статья показывает, как гонка между "OpenBrain" (США) и "DeepCent" (Китай) толкает обе стороны к безрассудным решениям и пренебрежению безопасностью. На мой взгляд, самые бестолковые люди, когда дело касается экзистенциальных рисков - это политики. Они не имеют должного уровня компетенции, чтобы заниматься наукой, коей является разработка ИИ. Трамп, Синь Цзи Пин,Путин и другие - сборище идиотов, которое должно быть изолированно от принятия решений по развитию ИИ. Цель любого из них – популизм, власть, демонстрация силы и, как показывает история – ВОЙНА или ее подготовка. “Правильный” ИИ не может быть создан, если цель его создания - власть над миром.

2. ИИ-должен разрабатываться глобально. Вместо политиков, корпораций и отдельных стран решения по развитию ИИ должен принимать международный консцирум лучших ученых. В эту комиссию следует включить ведущих специалистов из различных областей: как гуманитарных (философии, социологии, этики) так и технических (ядерная физика, кибернетика и математика). Любая выдающаяся ИИ-разработка будет влиять на мир как на систему, и решения об этом влиянии должны быть системными и глобальными, а не продиктованными интересами одной нации или компании.

3. Люди должны отказаться от идеи AGI. Вместо этого, нужно сменить фокус на создание узкопрофильных ИИ. Появление мультиспециализированного ИИ - прямой путь к мисалайнменту, обману и манипуляциям человеком со стороны ИИ. Невозможно контролировать того, кто в 100 раз умнее тебя во всех областях знаний и способен просчитывать твои действия наперед. Фокус на узких системах мог бы существенно снизить риски.

4. Смену фокуса на вопросы безопасности, этики и интерпретируемости нужно осуществить немедленно - в ближайшие год-полтора. Для создания безопасного ИИ человек должен иметь возможность понимать, анализировать и интерпретировать его работу. Современные LLM во многом остаются для нас "черным ящиком". При этом уже появляются тревожные сигналы, которые статья предвосхищает: ИИ проходит тест Тьюринга, склонность моделей ко лжи и сикофантии (поддакиванию). Решение о приоритете безопасности должно приниматься как можно скорее, пока мы не прошли точку невозврата (в статье это Agent-4)

5. Нельзя создавать ИИ-системы, цель которы исследование и разработка способов усиления самого ИИ. Поступая так, мы создаем черный ящик, который просто не сможем ни понимать, ни контролировать. Это ключевой элемент "взрыва интеллекта”, который в Сценарии 2 позволяет рассогласованному ИИ (Agent-4, Agent-5) захватить контроль над собственным развитием, скрыть опасные открытия и спроектировать преемников, лояльных только себе. Остановка такого автономного самоисследования ИИ - критически важный шаг к сохранению контроля.

Понятно, что какие-то события в статье были преувеличины, однако на мой взгляд, она описывает вполне реальные сценарии. Но, как мне кажется, выбор между Сценарием 1 и Сценарием 2 должен делаться уже сейчас.

Выложил в открытый доступ часть вводной лекции по ИИ

Вчера стартанул очередной поток тренинга по личной эффективности, сегодня стартуем AI продакт менеджмент. Начали обучение с основ ИИ и разбора базы. Решил скинуть сюда отрывок из того, что разбирали. Здесь первые 30 минут, а целиком лекция длилась аж 1:45. Поговорили про виды GenAI, работу с RAG, принципы функционирования LLM, сильные и слабые стороны моделей, ну и про этику 🙂

До следующего вторника еще есть возможность записаться на любой из текущих потоков, т.к. можно будет нагнать остальных. Кто не успеет - уже на следующие.

Про тренинги можно почитать тут

👉🏻Купить местечко

Самым быстрым, кто отпишет в ЛС дам промокод на скидку, который вернет старые цены

Как я использую ИИ для чтения

Вы, наверняка, уже заметили, что многие мои посты основаны на анализе различных научных статей. В последнее время мой фокус чтения сместился с литературы именно на статьи, потому что статьи, которые мне необходимы, чтобы оставаться актуальным, выходят гораздо чаще, чем книги, и зачастую имеют меньшую длину.

Статьи по серьезной тематике, вроде этики, я всегда читаю полностью, а вот для чтения материалов по новым методам и всему остальному, что помогает мне быть в курсе событий, я активно использую LLM. Сегодня я поделюсь своим подходом к поглощению знаний.

Итак, как выглядит мой процесс.

1. На входе у меня есть множество различных источников, в которых мне могут попадаться те или иные интересующие меня научные исследования: новостная лента, почтовые рассылки, другие Telegram-каналы, а также первоисточники в виде блогов компаний-разработчиков LLM. Таким образом, у меня есть комбинация как обработанных кем-то источников, так и необработанных. В первую очередь я пролистываю их, ищу то, что меня заинтересует.

2. Найдя нужное исследование, я читаю его аннотацию (Abstract). Если она меня заинтересовала - я даю себе 5 минут на то, чтобы пролистать весь текст. Обращаю внимание на заголовки, графики, выделенные автором фрагменты текста. Также я осуществляю поиск по документу, используя интересующие меня ключевые слова. После этого я формирую у себя какое-то представление о документе.

3. Далее я копирую текст (именно текст, а не документ) и вставляю в Google AI Studio. Почему текст? Если загружать документ, я заметил, что на счетчике зачастую отображается меньше токенов, чем при отправке просто текста - часть информации теряется. Почему Google AI Studio? Потому что Gemini лучше всего работает с извлечением информации, а также я имею контроль над температурой. Температуру модели я ставлю на 0.7, чтобы модель не додумывала лишнего.

4. После этого, на основе своего первоначального прочтения, я начинаю задавать модели вопросы по тексту. При генерации ответа я прошу модель указать конкретные места в тексте, на основании которых были даны эти ответы. Также, помимо прямого ответа на мой вопрос, я прошу модель дать мне список вопросов, которые могли бы меня заинтересовать, исходя из формулировки моего первоначального вопроса. Таким образом я позволяю себе, во-первых, осуществить факт-чекинг, во-вторых, не отвлекаться на «воду», в-третьих, читать только те фрагменты текста, которые меня интересуют.

5. После этого я формирую мнение о статье и выводах, которые я для себя сделал, и прошу модель сравнить мои формулировки с тем, что написано в статье, указав, есть ли у меня расхождения в понимании и, если есть, то где.

6. Если статья оказалась полезной -я либо сохраняю ее к себе в NotebookLM для дальнейшей работы, либо пишу по ней пост сюда.

Таким образом, я не просто суммаризирую длинные тексты, а в процессе анализирую их и повышаю степень усвоения мной информации.

А какие у вас лайфхаки по работе с информацией?

#инструменты

Perplexity теперь доступен в Telegram!

А вот вам и приятная новость. Появился официальный бот Perplexity AI @askplexbot

С ботом можно как общаться индивидуально, так и добавить в групповые чаты. В случае добавления в чат, бот будет использовать последние 10 сообщений в качестве контекста для осуществления поиска.

Присутствует как обычный, так и PRO режим.

Круто, что на Telegram обращает внимание все больше AI-компаний. Первыми были Microsoft с @CopilotOfficialBot, недавно Grok @GrokAI. А теперь Perplexity. Причем, этот бот, на мой взгляд, самый полезный.

Погнали тестить!

Deep Cogito: Новый ИИ-стартап с "думающими" моделями от выходцев из Google

Пару дней назад из стелс-режима вышел новый стартап - Deep Cogito. И на него стоит обратить внимание, потому что он не только основан выходцами DeepMind и Google, но еще ставит перед собой довольно дерзкую цель: переосмыслить масштабирование LLM.

Ранее я писал про SPCT от DeepSeek, где модель учится сама формулировать принципы хорошего ответа для конкретного запроса, а затем критиковать свой ответ по этим принципам. И вот теперь Deep Cogito выкатывает свой взгляд на улучшение моделей с релизом Cogito v1 (линейка от 3B до 70B параметров), который тоже основан на идее самосовершенствования, но с другим фокусом. Называется он IDA (Iterated Distillation and Amplification).

Что это за подход?
Вот здесь интересно сравнить с SPCT. Если SPCT учит модель быть лучшим оценщиком через самокритику по выработанным принципам, то IDA, судя по описанию, нацелен на улучшение самой генерирующей модели.

Как это работает:
- Сначала модель генерирует ответы, используя более интенсивные вычисления и "рассуждения" (упоминают recursive thinking). То есть, она как бы "думает усерднее", чтобы получить ответ более высокого качества.
- Затем эти улучшенные ответы (а точнее, способность их генерировать) дистиллируются обратно в параметры самой модели, становясь ее встроенными возможностями.

Получается, это своего рода само-дистилляция через рассуждения: модель сама для себя создает улучшенные примеры и учится на них. В отличие от SPCT, где фокус на генерации принципов оценки и критики, здесь фокус на генерации улучшенного конечного результата и его интеграции в модель. Оба метода - шаг в сторону от классического подхода к обучению, попытка научить модели улучшаться через более сложные внутренние процессы.

Какие плюсы приписывают IDA
1. Потенциально более масштабируемо и не ограничено качеством фидбэка от людей или возможностями модели-учителя. Модель сама себе поднимает планку.
2. Скорость разработки. Заявляют, что 70B модель сделали всего за 75 дней, и она якобы обгоняет LLaMA 4 109B MoE по ключевым бенчмаркам. (хотя выяснилось, что у LLaMA цифры были нарисованные)

В чем еще фишка моделей Cogito
Данные модельки умеют переключаться между стандартным режимом (для скорости) и режимом reasoning для сложных задач. Идея в том, чтобы решить классическую проблему: либо быстро, либо "умно" и ресурсозатратно. Чтобы включить ризонинг-режим в системный промпт надо ввести:

Enable deep thinking subroutine.

Deep Cogito заявляют, что их модели превосходят лучших конкурентов в каждой весовой категории (упоминают аналоги от LLaMA, DeepSeek, Qwen). Их флагманская Cogito 70B, по словам компании, обходит не только LLaMA 3.1 70B (дистиллированную с 405B модели), но и Llama 4 109B MoE (Scout), дистиллированную с гигантской 2T модели Llama 4 Behemoth.

Я уже успел немного пощупать младшие модели – Cogito 8B и 14B. И по первым ощущениям, они действительно выглядят очень достойно на фоне конкурентов схожего размера.

Из плюсов бы отметил:
1. Скорость генерации на пару токенов в секунду выше
2. Ощутимо лучше работают с русским языком, практически не уступают YandexGPT
3. Понравилась возможность переключения между режимами. И Reasoning в 14b модели мне понравился больше, чем у DeepSeek

Affine - симбиоз Notion и Miro, напичканный AI

Я как-то писал, что меня довольно сильно задело в тот момент, когда Notion решили тупо заблокировать все учетные записи, к которым когда-то были привязаны российские карты. Тогда я потерял свое рабочее пространство и часть данных так и не удалось восстановить нормально.

Я решил отложить вопрос полного восстановления данных из бэкапа и вернул только самое необходимое. Однако для меня было ясно, что мне нужно более надежное решение, которое не уступало бы по функциям, где сохранность моих данных была бы в безопасности, а в идеале, чтобы там был еще AI функционал, который стоил бы дешевле. Мне понравился Notion AI, но я не хотел отдавать 100 баксов в год за то, чем пользуюсь не так часто.

С тех пор я понемногу пробовал различные альтернативы. У меня арендован сервер на DigitalOcean, который я использую для VPN и своих проектов, поэтому я решил смотреть на OpenSource решения, которые можно было бы захостить на моем сервере.

Вариант 1 - Obsidian. Круто, но неудобно
Эту опцию многие рекомендуют как главную альтернативу Notion. Приложение действительно неплохое. Плагины позволяют подключить AI как через API-ключ, так и локально, с помощью Ollama. Помимо этого, есть прикольный функционал со схемами. Хорошие приложения на iPad и Android. Единственная причина, по которой я не выбрал этот вариант - не понравился UX. В первую очередь тем, что в Notion ты создаешь новые элементы и вводишь команды через слеш “/“. И мне это намного удобнее, чем подход Obsidian с шорткатами. Плюс ко всему, шорткаты настроеные на другие приложения конфликтовали с Obsidian.

Вариант 2 - AppFlowy. Неплохо, но требовательно и нефункционально
Хороший вариант, на котором я почти остановился. В приложении можно подключить локальный AI через Ollama. Есть приложение на Android, на iPad отсутствует. Есть возможность хостинга на своем сервере, но серверное приложение какое-то кривое. Мне удалось настроить авторизацию через Google-аккаунт, но авторизация через почту не завелась, также криво работала админ-панель. + серверная часть довольно прожорливая к ресурсам. Минимальное требования - 2 гб оперативной памяти, оптимальное - 4. Помимо этого, дизайн приложения выглядел устаревшим.

Вариант 3 - Affine. Симбиоз Notion и Miro!
Открыв приложение я понял, что это то, что я искал! Помимо присутствия всех нужных мне функций из Notion, приложение еще заменяет и Miro, предлагая возможность создать бесконечное количество досок. А на сами доски можно прикреплять не просто стикеры, а документы, которые можно отдельно редактировать. Есть шаблоны, инструменты журналинга и календаря. Самый приятный UX из всего, что пробовал. Мобильные приложения пока что в разработке, но бета на iPad поддерживает Apple Pencil. Серверная часть приложения разворачивается буквально в 2 клика.

Отдельно отмечу Affine AI. Это все так же оболочка для API. Можно подключить API Perplexity, Gemini, OpenAI, Stable Diffusion. Ребята сделали алгоритм, который определяет когда и какой AI использовать с какой моделью. В случае селф-хостинга вы платите только за свои запросы. Пока что ассистент работает только с GPT-моделью, но мне этого хватает.

Данные можно мигрировать между своим сервером и сервером Affine.

В общем, очень верю в этих ребят свои проекты и воркфлоу переношу в Affine.

#инструменты

Скидки на последние места в текущем потоке моих тренингов

Друзья, сегодня последний день продаж мест на текущий поток обоих мох тренингов. Ранее про них писал вот тут.

Коротко о курсах:
ИИ для личной эффективности - для всех, кто хочет научиться не просто использовать ИИ, а понимать, как он работает, изучить продвинутые стратегии промпт-инжиниринга, научиться правильно кодить с ИИ, работать с локальными моделями и оптимизировать свой рабочий процесс

AI Продакт менеджмент - для тех, кто хочет научиться разрабатывать продукты и фичи на базе AI при этом самостоятельно применяя ИИ на ВСЕХ этапах разработки. В программу входят материалы для базового понимания AI, промпт-инжиниринга, создания прототипов с помощью ИИ, а также моя авторская методолгия AI-дизайна продукта, которая прошла через Skyeng, Pearson и сейчас применяется в нашем агентстве EAI.

В честь последнего дня продаж добавил промокод на очень вкусную скидку. Кто успеет - тому повезло и вы даже успеете на сегодняшнюю или завтрашнюю лекцию.

Промик вводить на странице заказа:

lastday

👉 Забрать последние места

P.S. также возможна оплата криптой, пишите в ЛС @vladkor97

Про Vibe Coding

Один из развивающихся ИИ-трендов сейчас - это ИИ-программирование или, как назвал его Андрей Карпатый - Vibe Coding. Тему вайб кодинга у себя в канале я освещаю нечасто.
Моя основная сфера интереса - это AI продакт менеджмент и ИИ-этика, ведение канала для меня также способ узнавать новое, а что касается вайб кодинга - я его больше применяю, чем пишу. Просто потому что сфера настолько динамична, что еще и за этим следить я не успеваю.

При этом, вайб-кодинг помогает мне:
- В создании рабочих прототипов
- Подготовке моих тренингов (сделал сайт и несколько ботов)
- Создавать специфические, нужные мне приложения

Большее количество знаний я получаю из практики, периодически смотрю гайды на YouTube. При этом, я все-таки люблю текстовый контент и хочется еще и следить за темой через чтение.

И в этом плане мне повезло познакомиться с Костей. У Кости большой бэкграуд разработчика и тимлида, сейчас он разрабатывает ИИ агентов для корпоративного обучения в Сбере и ведет свой канал «Искусный Интеллект», в котором много пишет про вайб-кодинг.

Именно из его канала я узнал про появление бесплатного аналога Cursor - Trae, а еще он периодически разбирает интересные статьи.

Среди последних постов я бы выделил:
- Пост про дебагинг при вайб кодинге - писать код с ИИ легко, а вот дебажить 🙂
- Пост про формирование ожиданий к вайб кодингу - как не переоценить ИИ-код
- Анализ статьи по будущему вайб кодинга - заменит ли ИИ разработчиков

Помимо этого, Костя еще строит отдельное Vibe Coding Community, в которое скидывает кучу полезного материала. Поэтому кому интересна тема ИИ-программирования - очень рекомендую подписаться на канал, там много полезного.

👉🏻Ссылка на канал Кости

Как работают иностранцы: мой опыт кросскультурной коммуникации

За время работы я неоднократно попадал в команды с иностранцами или общался с ними по работе. Работая в СНГ, привыкаешь к определенному стилю, но в международке тебя ждет другой опыт.
Дисклеймер: это исключительно мой опыт, а не характеристика всех представителей культуры.

🇵🇱Поляки
Начну с любимых — поляков. С ними я очень много работал в Pearson. Там собралась крутая команда AIC (AI capabilities), состоящая полностью из поляков. Мы вместе работали над моим тулом для создания образовательного контента. Провели кучу экспериментов, собрали бесчисленное множество прототипов. И это одна из лучших команд, среди тех, с которыми я работал. Максимально самоходные, проактивные ребята, которые знают и любят свое дело. У 2 из 3 была степень PhD. С коммуникацией тоже все замечательно: легко понимали друг друга, в сложных ситуациях всегда могли договориться. Меня не покидало ощущение, что я работаю с россиянами, просто другими :) Единственное отличие — они меньше склонны к риску, чем мы. Отдельное удовольствие — зайти к ним на звонок и услышать знаменитое "Kurwa".

🇺🇸Американцы
С этими ребятами мне также понравилось работать, но с ними атмосфера совершенно иная. Они — предприниматели, которые любят все делать быстро и не боятся рисковать. В Pearson постоянно пытались создать какой-то стартап внутри компании, активно взаимодействуя между подразделениями. Все дедлайны с ними в стиле "это надо сделать вчера". Кого-то это раздражает, а мне в условиях большой и неповоротливой компании это безумно нравилось. Что интересно — сейчас, живя в США, таких американцев не встречаю - попадаются сплошные бюрократы.

🇸🇦Арабы
С арабами зачастую приятно работать. Самое крутое — что с ними обо всем можно договориться. Некрутое — ты тратишь кучу времени на их культуру торга. Запрашиваешь $50к за проект, а тебе на серьезных щах говорят — а давай 25? Чтобы получить нормальную цену за свои услуги, нужно максимально разжевать что и почему надо делать. Если ты недостаточно убедителен — уйдут к пакистанцам, которые сделают дешевле. Но если удалось договориться — это твои клиенты, правда надо быть готовым к торгу на последующих этапах. Они очень вовлекаются в рабочий процесс и стараются помочь, но при этом любят длинные звонки по 2 часа.

🇨🇳Китайцы
Я очень люблю китайцев и азиатов в целом. Если вам в команду нужен исполнитель, который просто берет и хорошо делает свою работу, соблюдая дедлайны — нанимайте китайцев. Еще когда я работал SMM-щиком в Xiaomi, я поражался тому, что они буквально жили в офисе. Я был студентом и приезжал в офис либо до, либо после пар. Приезжал к 7 утра — китайцы уже там. Уезжал после пар в 9 вечера — китайцы все еще там. Бесконечное уважение за такое отношение к труду и дисциплине.

🇩🇪Немцы
Все мы наслышаны про немецкую точность. Так вот, я с ней столкнулся в плохом проявлении. Работал в кросс-команде с девушкой из Германии. Отказывалась делать что-то сверх того, что требовал ее непосредственный руководитель. Помог переход на жесткий менеджмент и ультиматум в стиле "либо делаешь как я сказал, либо катишься отсюда нахрен". Работу в итоге она сделала идеально.

🇬🇧Британцы
Мой худший опыт. Ленивые, несамостоятельные и чрезмерно нежные. Мой дизайнер не успевал уложиться в дедлайн, о чем я ему сказал прямым текстом, мол, не успеем сделать — проект закроют, давай искать пути оптимизации. Тот пошел жаловаться своему руководителю, что я был грубым и оказываю на него давление. А его руководитель (тоже британка) — моему, но мой менеджер был русским, и мы их в итоге задавили 🙂 Помимо скорости, мой британский дизайнер был максимально негибким и не любил проводить исследования, при этом стоил просто дофига денег. Был и хороший пример. В один момент ко мне также приставили девушку-продакта, чтобы я ее менторил. Работала она неплохо, не хватало самостоятельности, но в целом — неплохо. И, кстати говоря, на днях увидел, что она перешла на позицию AI-продакта в Pearson, так что можно считать, что менторинг удался.

А какой у вас опыт работы с иностранцами?