Привет всем! Сегодня поговорим о нейронных сетях и разберемся, как они появились.

Начнем с того, что первые идеи появились ещё в 40-50-х годах. Ученые Уоррен Маккаллок и Уолтер Питтс пытались понять, как работает мозг, и создали простую модель нейрона. В этой модели у нейрона были "входы" и "выход". Входы получали какие-то сигналы, а нейрон решал, передавать ли сигнал дальше или нет. Схема была простой, но эта идея стала основой для всего, что появилось потом.

Перепрыгнем в 80-90-е. Тут на сцену выходит Ян Лекун и его сверточные нейронные сети. Так, что это за зверь? Сверточные сети — это как обычные нейронные сети, но умеющие "смотреть" на изображения. Они могут узнавать объекты на фотках, распознавать лица и многое другое. Сверточные сети позволили нам делать кучу крутых вещей: от распознавания текста до создания искусственных изображений.

И сейчас эти сети повсюду — от рекомендаций в интернет-магазинах до управления автомобилями.


1) Пример простой сети (схема)
2) ИИ как его видит Daisy
3) Первый компьютер на котором была запущена первая нейронная сеть "«Перцептрон Mark I». Источник: [Rosenblatt 1960]"

Всем привет и с началом чего-то нового!

Я долго думал, чем начать и продолжать наполнять этот канал и понял.

Самое главное это я буду оставлять тут свои заметки об AI и инструментах. Мысли про то, как будет трансформироваться мир, учитывая текущие тенденции развития технологий. Это нужно что бы всегда иметь возможность к ним вернуться, и практиковать хорошее и качественное оформление своих мыслей.

Буду вам рассказывать про то, как я оказался в ИТ. Как попасть в ИТ и на что стоит обратить внимание (без рекламы курсов, я в них не верю).
В целом, все, что я вижу почти каждый день, я буду стараться сюда выкладывать.
Вот список тем, которые я сейчас развиваю и в которые я ежедневно углубляюсь:
- GenAI,
- LLM,
- AI Startups,
- Инструменты для ежедневной работы на базе GenAI,
- Развитие продуктовых навыков (упаковка, презентация, ведение за инвестициями),
- Управление и делигирование,
- Выстраивание партнерских взаимоотношений.

Вы так же можете запросить в комментариях направление что интересует вас.


И многое другое в области AI стартапов.

Отдельно я все бы затронул такие темы как становление в таких начинаниях как ИТ и AI.
Как я себя позиционировал и что вело меня к тем или иным решениям.

Как я стал DevOps и продолжаю им быть. Как я стал Hardware-инженером и продолжаю интересоваться железом и использовать его для своей работы. Как я стал CEO и какой это был путь длиной в 5 лет от системного администратора до руководителя своего стартапа.


А начну, наверное, с практики.

И так, чем занимаются такие, как я шизики, в начале года и недели:

1) Уже поиграли с командой в игру "Вспомнить все". Картинка 2: провели поиск и анализ всех проектов, которые были в разных статусах на конец 2023.
Собрались с ребятами и обсудим все эти проекты а так выставили приоритеты.

2) Собрали стратегию по выполнению задач. Картинка три.


3) Отдельно я подготовил шаблон и с Core Team проведем стратегическую сессию над выбором целей для новых исследований по очень крутому шаблону в miro

Много шума касается маркета OpenAI. От себя скажу:

Вот статья к прочтению о том, что такое GPT's: https://habr.com/ru/articles/775070/.

Кратко, это удобный интерфейс для создания RAG без тонкой настройки.

Кому это полезно?

Как пример:

Небольшим бизнесам (малым продуктам) можно создать FAQ по продукту быстро и достаточно просто (обычный человек точно не справится, нужно разбираться в промптировании).
А теперь о проблемах.

Есть одна глобальная проблема у таких решений и несколько поменьше, а именно - точность. Веб-интерфейс OpenAI вам не поможет это решить при создании GPT's.

Мы сейчас с командой занимаемся разработкой альтернативных вариантов для улучшения точности в RAG-системах и уже внедрили первый пайплайн HyDE.

В чем суть?

Если мы ищем данные в наших знаниях и пытаемся использовать LLM для анализа, то часто упускаем из виду, что неподготовленные данные и инструкции снижают точность работы такой системы до 45% и ниже.

Мы уже знаем, что нужно проверять и пробовать под конкретные задачи. Например, для нашей SmartBase мы разрабатываем инжиниринг промптов и чанк-эксперименты. Они уже завершились успешно: для узкого домена данных мы подняли точность до 90-97% полноты и качества ответов.

Это о том, что даже инструменты для создания GPT's сильно ограничены, когда мы хотим работать с уникальным доменом и требуется тонкая настройка.

Сейчас мы проводим эксперименты с HyDE (Hypothetical Document Embeddings).

При стандартном RAG в качестве "ответов" служат документы из базы знаний, в качестве "запросов" - вопросы от пользователей. Есть гипотеза, что эмбеддинг вопроса и эмбеддинг ответа принадлежат разным семействам. По аналогии, ключи и значения в механизме внимания трансформеров - это разные вектора.

Из-за задушенной политики безопасности Openai на Amazon появились товары с названиями вроде "Я не могу выполнить этот запрос". Под этим названием на маркетплейсе продают шезлонги, книги, диваны и другие товары. По-видимому, текст для карточек на Amazon генерируют с помощью ChatGPT от Openai и добавляют его в описание не глядя.

На российских маркетплейсах ничего подобного не нашли, но уверены, все еще впереди.