🎙Создание локально работающего голосового помощника

В этой статье я расскажу о том, как создать помощника, который позволит вокально взаимодействовать с LLM с открытым исходным кодом. Все компоненты будут работать локально на вашем компьютере.

Архитектура

Архитектура включает три отдельных компонента:

🔵сервис обнаружения “пробуждающего” слова, активирующего голосового помощника (wake-word detection service);
🔵сервис голосового помощника (voice assistant service);
🔵чат-сервис (chat service).

📌 Продолжение


@machinelearning_interview

⚜️Вышел релиз GitLab 16.9 с расширенным доступом к бета-версии Duo Chat

GitLab Duo Chat может:
➖Объяснить или пересказать содержание тикета, эпика или кода.
➖Ответить на конкретные вопросы об этих артефактах. Например: «собери все аргументы, упомянутые в комментариях применительно к решению, предложенному в этом тикете».
➖Сгенерировать код или текст на основе информации из этих артефактов. Например: «напиши документацию для этого кода».
➖Помочь вам начать работать с GitLab с нуля. Например: «создай файл конфигурации .gitlab-ci.yml для тестирования и сборки приложения Ruby on Rails с конвейером CI/CD GitLab».
➖Ответить на вопросы любого уровня сложности, от новичка до эксперта. Например: «Как настроить динамическое сканирование безопасности приложений для REST API?»
➖Ответить на последующие вопросы, чтобы вы могли последовательно проработать упомянутые сценарии.

🔗 Duo Chat

@machinelearning_interview

4️⃣самые популярные функции активации, о которых нужно иметь представление

— Сигмоида
Нелинейна по своей природе, поэтому комбинация таких функций производит тоже нелинейную функцию. Так что она хорошо подходит для комбинации слоёв. Чаще всего применяется в задачах бинарной классификации, где нужно предсказать вероятность принадлежности к одному из 2 классов.

— Tanh
Гиперболический тангенс — это скорректированная сигмоидная функция. Стоит отметить, что градиент тангенциальной функции больше, чем у сигмоиды; она растёт быстрее. Активное используется в рекуррентных сетях, вероятностных моделях и т.д.

— ReLU
Имеет низкую вычислительную сложность, устойчива к переобучению. Область допустимых значений ReLu — [0, inf), то есть активация может "взорваться" от больших значений. Широко применяется в глубоких нейронных сетях благодаря простоте и отсутствию затухающего градиента

— Leaky ReLU
Модификация ReLU, призвана решить проблему "умирающей ReLU". Используется в нейронных сетях для введения нелинейности в выходные данные каждого нейрона.

📁Лекция МГУ в тему [pdf]

#junior

@machinelearning_interview

🌟 Самые известные виды и архитектуры нейронных сетей

Вот подробнее о некоторых из них:

⏩Перцептрон — состоит из 1 слоя нейронов, которые принимают входные данные, вычисляют взвешенную сумму входов и используют функцию активации для преобразования этой суммы в выходной сигнал. Используется в основном для обучения линейно разделимых наборов данных.

⏩Рекуррентная нейронная сеть (RNN) — имеет рекуррентные (обратные) связи, что позволяет ей использовать информацию из предыдущих шагов для обработки текущих входных данных. Это делает RNN идеальной для распознавания речи, рукописного текста и перевода.

⏩LSTM (Long Short-Term Memory) — способна обучаться долговременным зависимостям, что делает их особенно полезными для задач, связанных с последовательностями. Они используются в широком диапазоне приложений, от распознавания рукописного текста и распознавания речи до генерации текста и анализа временных рядов.

⏩Сверточная нейронная сеть (CNN) — используется для обработки данных с сетчатой топологией. Они особенно полезны для обработки изображений и других двухмерных входных данных. CNN широко используются в приложениях компьютерного зрения, таких как распознавание образов и обработка изображений.

⏩Глубокая сеть доверия (DBN) — использует алгоритм глубокого обучения для обучения сложным вероятностным моделям. Используются для решения многих видов задач, таких как классификация, регрессия, кодирование, декодирование, моделирование и генерация.

⏩Генеративно-состязательная сеть (GAN) — используется для генерации новых данных, похожих на данные обучения. GAN используется для решения многих видов задач, таких как генерация изображений, преобразование изображений и восстановление изображений.

Годная статья — "Зоопарк архитектур нейронных сетей"

@machinelearning_interview

📈 Вышел первый международный рейтинг Global Generative AI Landscape 2024. Его опубликовал AIPort.

В него попали самые заметные разработки в сфере GenAI по ключевым категориям, в том числе две нейросети от Яндекса: текстовая YandexGPT и мультимодальная YandexART.

Яндекс отмечен как одна из 11 компаний со всего мира, разрабатывающих более одного типа генеративных AI-моделей. В этот же список попали Open AI, Google, Microsoft, Meta, Tencent и другие.

Странами-лидерами по количеству активных компаний GenAI стали США, Китай, Аргентина, Великобритания, Израиль, Южная Африка.

▪️Читать

@machinelearning_interview