🤖 Создание собственного ИИ-бота на Python за 33 строчки кода

В статье рассказываем, как создать собственный чат-бот на Python с помощью языковой модели falcon-7b-instruct, которая следует инструкциям. Доступ к модели мы получаем благодаря Hugging Face.

🔗 Читать статью
🔗 Зеркало

✨ Коллекция гайдов и примеров использования Google Gemma

Gemma — это семейство легковесных языковых моделей. Недавно была представлена опенсорсная Gemma-2, которая в размере 9B превосходит Llama 3 8B в тестах, а в размере 27В — Llama 3 70В.

В GitHub-репозитории Gemma Cookbook вы можете найти примеры использования этих моделей. Гайды будут в принципе полезны всем, кто хочет работать с LLM и строить приложения на их основе.

Вот некоторые интересные примеры:

🔸Игра по угадыванию слов с Gemma и Keras
🔸Использование LLM для перевода корейской литературы
🔸Деплой модели Gemma с помощью vLLM
🔸Создание системы RAG с ChromaDB
🔸Файн-тюнинг Gemma с использованием Axolotl

🐍📦 Ваш код достоин PyPI: как правильно опубликовать Python-пакет

Это краткая инструкция по публикации Python-пакетов на PyPI. Узнайте, как структурировать проект, настроить метаданные и загрузить свой пакет в репозиторий.

🔗 Читать статью
🔗 Зеркало

🧠 Исследователи придумали, как обучать большие языковые модели (LLM) без матричных умножений

Матричные умножения — ключевая операция, использующаяся в обучении LLM, так как входные данные тут представлены тензорами. Однако матричные умножения требуют много вычислительных ресурсов. Авторы новой статьи Scalable MatMul-free Language Modeling предложили решить эту проблему следующим образом:

▪️Использовать аддитивные операции и произведения Адамара в self-attention.
▪️Применять в весах числа из набора {-1, 0, +1}.

Авторы утверждают, что модели без матричного умножения показывают высокую производительность в задачах обработки естественного языка, демонстрируя конкурентоспособные результаты.

🔗 Читать статью
🔗 Ссылка на код

👆Классическая ситуация, когда следуешь туториалам по машинному обучению👆

Инструменты для работы c ML-моделями и обзор MLOps от CERN

В дайджесте много интересных обзоров по инструментам — как говорится, ни ClearML и Airflow едиными. Рынок решений стремительно развивается, и подборки помогут вам держать руку на пульсе.

Читать дайджест

Как часто вы программируете на других языках? Зачем переходите на них?
#интерактив

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

Запустится ли этот код на Python 3? Если да, то что он выведет?

sys.allow_boolean_assignment разрешает создавать переменные с именами, зарезервированными под идентификаторы типа bool. Поэтому этот код запустится и выведет «True is False».

Эта настройка введена в известном первоапрельском коммите, который до сих пор остался в коде интерпретатора. Если кандидат об этом знает, можно с уверенностью сказать, что он общается в должных профессиональных кругах и любят углубляться в детали.
#вопросы_с_собеседований

Как прочитать данные в DataFrame из файла CSV?

Мы можем создать фрейм данных из файла CSV — «Comma Separated Values (значения, разделенные запятыми)». Это можно сделать с помощью метода read_csv(), который принимает файл csv в качестве параметра:
pandas.read_csv(file_name)

Другой способ сделать это — использовать метод read_table(), который принимает CSV-файл и значение разделителя в качестве параметра:
pandas.read_table(file_name, delimiter)
#вопросы_с_собеседований

👾 «Как я спас робота от жены»

Программисты — интересные люди. Они могут потратить часы своего времени чтобы реализовать сложную, но интересную вещь.

В этом видео автор использовал компьютерное зрение, нейросети и смекалку программиста, чтобы спасти робота-пылесоса от ужасной участи оказаться на свалке.

Смотреть видео

LightGBM

LightGBM — библиотека, созданная сотрудниками Microsoft для работы в сфере машинного обучения. Ее ключевая особенность — быстрая реализация градиентного бустинга. Это такой принцип машинного обучения, который помогает разработчикам создавать новые алгоритмы, используя многоуровневые решения.

Выполнение этого кода позволит обучить модель LightGBM на выборки данных из файла 'data.csv', разделить выборку на обучающую и тестовую, определить параметры модели и обучить ее. В конце модель используется для прогнозирования значений на тестовом наборе данных, и вычисляется точность модели.

Результат работы показывает Accuracy (точность) модели, которая здесь равна 0.8761.

Приходилось ли вам приукрашивать опыт работы на собеседовании? Ловили ли вас на слове?
#интерактив

Метод index()

Метод index — это встроенный метод списка, который позволяет узнать индекс или позицию элемента в последовательности.

Этот метод ищет элемент в списке и возвращает индекс, соответствующий его значению, в противном случае возникает ошибка ValueError.

Ещё один свежий #дайджест по области DS:

🤖 Как создать панель мониторинга на Python из PostgreSQL
Классический гайд.

🤖 О каких проблемах в AI/ML никто не говорит? [Обсуждение на Реддите]
Более 190 комментариев.

🤖 torch.compile, недостающее руководство [документ Google]
Углублённое введение в метод.

🤖 Погружение в R с Изабеллой Веласкес: перспективы R-Ladies Сиэтла
О языке R и его использовании в DS.

🤖 Regrets and Regression (Сожаления и регрессия)
Фрагмент из книги.

Пошаговое распространение: элементарное руководство

Авторы представляют доступный первый курс по диффузионным моделям и сопоставлению потоков для машинного обучения, предназначенный для технической аудитории без опыта. Они постарались максимально упростить математические детали (иногда эвристически), сохраняя при этом достаточную точность для вывода правильных алгоритмов.

Читать руководство

Итак, вы хотите написать потоковый процессор? Остерегайтесь синдрома утки.

Слышали ли вы о «утином синдроме»? Эта концепция описывает утку, которая, кажется, легко скользит по течению, но яростно гребет под поверхностью воды, и обычно используется для описания человека, который выглядит расслабленным, но неустанно работает, чтобы сохранить этот внешний вид.

Читать статью

🧠 Как нейросети генерируют изображения

У нейросетей очень много направлений, но генерация изображений — это, пожалуй, самое востребованное и перспективное направление среди всех остальных.

Из этого видео вы во всех подробностях узнаете, какие есть архитектуры построения модели для создания изображений, чем они отличаются друг от друга и увидите всё на понятных практиктических примерах.

Смотреть видео