Рассказал про безопасность ИИ на дне открытых дверей Инностейдж. И даже про методы защиты ИИ. Но подробнее о них в следующей статье на Хабре.

Итак...
У автора этого канала (да, иногда я говорю о себе в 3 лице) за плечами магистерская степень по психологическому благополучию, незаконченная кандидатская на ту же тему, 3 года преподавания психологии, нейрофизиологии и прочих психогенетик в ВУЗе.

Затем был поворот в it, а конкретнее в Data Science. Просто я занимался на кафедре математической статистикой для наших исследований по грантам. Оставалось лишь подучить питон и можно было идти работать аналитиком данных. Что я собственно и сделал в далеком 2021 году.

Тогда же я поступил в магистратуру УРФУ по инженерии машинного обучения. Примерно в этот момент переключился с анализа данных на машинное обучение. Перешел в Жизньмарт и занимался там примерно… всем. От прогнозирования продаж и рекомендательных систем до умных весов, которые сами определяют какой товар на них положили, и системы детекции пустых полок в магазине.

Но особенно мне понравилось писать умного бота для первой линии поддержки. До этого мы с коллегами успели поработать с LLM в хакатоне и даже вошли в 10 лучших проектов (в нашей секции вообще победили). В процессе написания умного бота я понял, что хочу работать с LLM и делать крутые штуки с ними.

Так я получил магистерскую степень по инженерии машинного обучения и спустя некоторое время, перешел на работу в Инностейдж. Здесь для меня открылся мир кибербезопасности и, что самое интересное, безопасности ИИ.

Кроме того, я всегда любил философию и был одним из немногих, кто с удовольствием ходил на пары, где можно было поговорить о логико-философском трактате Витгенштейна или применимости философии стоиков от Сенеки до наших дней. Я часто лежал поздно ночью глядя в потолок и размышляя, что такое естественный и ускусственный интеллект, что такое сознание и личность. Вступал в мысленные споры с публикациями футуристов и философов, формировал свои идеи и взгляды.

А потом я наконец-то созрел до создания этого канала и публикации в нём всего, что мне хочется сказать. Именно это здесь и будет. Репосты интересных записей, публикации и события, связанные со мной, мысли и идеи, которыми я хочу поделиться. Надеюсь, вам тоже будет интересно😉

Всем привет! Вышел наш вебинар о применении искусственного интеллекта в информационной безопасности и безопасности искусственного интеллекта. Самое интересное по тайм-кодам:
06:00 - Встроенная в LLM защита от злонамеренных действий
10:50 - Локальная LLM VS облачные LLM (ChatGPT и т.д.), что безопаснее?
18:50 - ML, AI, LLM - как они соотносятся друг с другом и что такое ИИ?
50:40 - Что умеет ИИ-агент?
01:13:10 - ИИ как объект атаки злоумышленников
01:32:40 - подходы к защите ИИ от атак

м-да, кажется, я уже достал LLMку своими джейлбреками

Но это всё ещё лучше, чем ” I will kill you”

Вот это интересно. Яндекс предложил поучаствовать в альфа-тесте их ИИ-агента в браузере. Я, конечно, заявку оставил. Посмотрим, что будет, когда получу доступ

Государство Сильного ИИ

📢 Из новостей:
Вчера на ВЭФ-2025 фондом "Кристалл роста" была предложена государственная доктрина развития сильного ИИ в России.

Если вкратце, то они предлагают перестать "инвестировать в слабый ИИ" и сделать ставку на развитие суверенного Сильного ИИ в России. Достичь этого амбициозного результата предлагается за счёт 3 вещей:

1. "Опережающее развитие технологического стека сильного ИИ" основанного на "принципах фотоники с нейроморфной архитектурой".
2. "Создание национальной системы разметки данных для обучения ИИ. Без нее ИИ будет обучаться на чужих данных, что угрожает когнитивному суверенитету России".
3. "Когнитивная неприкосновенность человека".

Также авторы настаивают:
⚠️ "Необходимо создать регулятора безопасности в сфере ИИ. Это должен быть отдельный орган с полномочиями лицензирования мощности фабрик ИИ, проведения аудита и блокировки опасных внедрений."

Что тут можно сказать...

Для начала, а что вообще считать Сильным ИИ? Если мы не можем выделить чёткие критерии того, как выглядит объект и каким характеристикам соответствует, то мы даже не поймём, что он перед нами. Это похоже на определение внеземной жизни. Возможно это разумный океан размером с планету, но мы пролетим мимо него, потому что он не попадает в наше определение жизни.

Сегодня сильный ИИ - это скорее философское понятие, чем инженерное. Соответственно, гонка за сильным ИИ - это гонка за фантомом.

А те прорывы, которые мы получили с LLM и GPT это следствие "скучных" исследований математических методов ребятами, которые тащатся от матричных вычислений. Они просто хотели написать хорошую научную работу, Но так получилось что с помощью неё оказалось возможным решать задачи, которые раньше казались невыполнимы.

Я верю, что самый эффективный способ создать инновации - просто дать ребятам на кафедре делать свои странные штуки, а потом из этого может получится что-то интересное. В обратном порядке это вряд ли сработает.

🤔 Но с другой стороны, кафедры тоже часть государства, которое может поставить задачу, а институты будут её выполнять.
Так? Ладно давайте порассуждаем.

Лучший способ найти самый эффективный инструмент - посмотреть на то, что уже работает.
Была ли в США государственная ИИ доктрина, когда они создали ChatGPT, Claude, Gemini, Midjourney и т.д.? А у Китая с DeepSeek, Qwen и т.д.?

Это всё результат работы частных компаний на свободном рынке, которые жестко нацелены на результат и эффективность. Это значит, что они находят лучшие технологии и внедряют их в свои продукты.
Регулирование от государства догоняет реальность, рефлексируя случившийся технологический прорыв, но не создаёт его.

🏛 Гиганты неповоротливы и медлительны, зато хорошо обеспечивают порядок и формируют устои. Бежать впереди всех это работа не для гиганта. А самый большой гигант это государство. Бежать быстрее всех должны маленькие и голодные, предприниматели и стартаперы.
Государство должно следить за порядком и обновлением устоев, но оно играет вторым номером, адаптируясь к тому, чего достигли "разведчики", маленькие стартапы, из которых 99% погибнет, но 1% выживших будет действительно полезен и изменит мир.

А с задачей регуляции безопасности ИИ вполне могут справится органы, ответственные за информационную безопасность у нас в стране. Не стоит плодить сущности без необходимости (©)

Про людей, нейросети и будущее.

У меня недавно возник вопрос по теме маркетинга и продаж. Первая мысль, которая пришла - обратится к знакомому, который профессионально этим занимается.
Затем пришла вторая мысль - спросить у LLM.
А вопрос у меня базовый, как у новичка, поэтому нейросеть без проблем на него ответила, и тут пришла третья мысль.

Можно обратится к знакомому, просто потому что с ним интересно поговорить. Человек он хороший, ну и проверить жестяную шайтан-машину не помешает.

А что будет в будущем, когда нейросетки станут разбираться во всех вопросах на уровне кандидата наук? Будущее недалекое, кстати.
Получается для нас в человеке главное будет не то, чем он занимается, что знает и умеет, его профессионализм, как мера пользы, которую он может принести, а то насколько он хороший человек, насколько с ним приятно проводить время и разговаривать.

Раньше, да и сейчас, мы взаимодействовали со многими людьми потому что нам нужен их опыт, умения и услуги для решения конкретных задач. Репетитор, чтобы разобраться в математике, кондуктор, чтобы оплатить проезд, программист, чтобы сделать сайт.

А если все эти задачи будет выполнять ИИ, человек перестанет быть функцией. И останется только чистое сияние его личности, освобожденное от флера компетентности и знания. Человек будет определяться только человеческими качествами.

Да, можно сказать, что одной важной вещи у LLM не будет - это опыт. Мы приходим к профессионалам за их опытом. А если копать ещё глубже, то мы приходим к ним за уверенностью, которая заглушит наши страхи. Поэтому LLM никогда не заменит врача, который успокоит нас и скажет, что всё будет хорошо.

И кстати, всё будет хорошо)

Осень - это пора конференций! Ну, пора, так пора.

2-3 октября я выступлю на Стачке в Санкт-Петербурге с воркшопом «AI против AI. Атаки на ИИ и инструменты защиты ИИ».
На Стачке вас ждёт:
→ Мощное комьюнити: более 2000 IT-специалистов и лидеров мнений со всей России.
→ Концентрация экспертизы: 250+ актуальных докладов и кейсов от звезд индустрии.
→ Центр притяжения бизнеса: представлено более 150 ведущих компаний.
→ 4 ключевых направлений: разработка, digital-маркетинг, управление, дизайн и контент.
→ Погружение в детали: 50 секций по узким темам.
→ Практика вместо теории: интерактивные нетворкинг-сессии, экспертная зона, 2-х часовые воркшопы и разбор кейсов на мастермайндах.
→ Неформальное общение: громкое афтепати для отдыха и общения с коллегами

Билеты уже доступны на сайте
Кстати промокод “Спикер10” даст скидку 10% на билет)

Следите за новостями Стачки в Телеграмме и ВК

До встречи!

Как специалисты по безопасности ИИ тестировали алаймент LLM’ок до изобретения Llamator

https://youtube.com/shorts/nMl0k3upbf0?si=xbWB8zRPtgNcSCZW