AI на дровах 🪵
237 subscribers
76 photos
19 videos
1 file
130 links
Привет! Меня зовут Семён, я работаю в сфере ML и аналитики данных, пишу в блог nerdit.ru статьи о своем опыте и том, что может пригодиться начинающим в начале их пути изучения больших данных.

👾HSE ML Unit Head⚡️
❤️Litres DS Team
Download Telegram
Искусственный интеллект (ИИ) — это область компьютерных наук, которая занимается созданием интеллектуальных машин, способных выполнять задачи, обычно требующие человеческого интеллекта. К ним относятся распознавание речи, обработка естественного языка, компьютерное зрение, робототехника, игра в шахматы и многое другое. Искусственный интеллект может быть применен в различных областях, таких как медицина, финансы, транспорт и т. д.

Основные методы машинного обучения:

1. Обучение с учителем — это метод, при котором машина обучения получает набор данных с известными ответами. Затем она использует эти данные для обучения и создания модели, которая может предсказать ответы на новые данные.

2. Обучение без учителя — это метод, который не требует наличия известных ответов. Он используется для поиска закономерностей в данных.

3. Обучение по подкреплению — это метод, основанный на принципе вознаграждения и наказания. Машина обучения получает вознаграждение за правильное решение задачи и наказание за неправильное решение.

4. Рекуррентное обучение — это метод, используемый для обработки последовательностей данных. Он позволяет учитывать информацию о предыдущих элементах последовательности при принятии решения.

5. Глубокое обучение — это метод машинного обучения, который использует нейронные сети с большим количеством слоев. Он позволяет создавать более сложные модели.
🤡1😭1😨1
Если вы хотите начать изучать Python, то вам нужно начать с базовых понятий языка программирования. Вот несколько советов, с которых можно начать:

1. Изучите основы программирования: начните с изучения основных конструкций языка, таких как переменные, условия, циклы и функции.

2. Изучите базовые библиотеки Python: Python имеет множество библиотек, которые позволяют ускорить процесс разработки и упростить работу с данными. Например, библиотека NumPy используется для работы с массивами и матрицами, библиотека Pandas для работы с табличными данными, библиотека Matplotlib для построения графиков и диаграмм.

3. Практикуйтесь: начните писать небольшие программы и проекты, чтобы закрепить полученные знания. Это поможет вам лучше понять, как работает Python и как использовать его для решения реальных задач.

4. Изучайте документацию: Python имеет отличную документацию, которая поможет вам разобраться в тонкостях языка и его библиотек.

5. Присоединяйтесь к сообществу Python: существует множество сообществ Python, где вы можете задавать вопросы, получать помощь и делиться своими проектами.

6. Используйте онлайн-курсы и ресурсы: существует множество онлайн-курсов и ресурсов, которые помогут вам изучить Python. Некоторые из них бесплатны, а другие требуют оплаты.

7. Не бойтесь экспериментировать: Python позволяет экспериментировать и создавать свои собственные библиотеки и инструменты. Это поможет вам стать более гибким и творческим в работе с языком.
💋1
Протоколы в Python

В Python 3.8. появилась новая примечательная возможность — протоколы (protocols). Протоколы — это альтернатива абстрактным базовым классам (abstract base classes, ABC). Они позволяют пользоваться структурной подтипизацией (structural subtyping), то есть — осуществлять проверку совместимости классов исключительно на основе анализа их атрибутов и методов.

Смотреть статью
🤔1
Секреты создания качественных ML-систем

Серия из двух статей про планирование, документацию и жизненный цикл ML-проекта, Data-centric ИИ, данные для обучения, Data Engineering и ETL. Как и зачем определять ценность для бизнеса, собирать требования и трезво оценивать, действительно ли в данном случае нужно именно машинное обучение.

Читать первую часть
Читать вторую часть
🎃4👎3🥱3😴3🤝3😱2🙏2😍2💋2🔥1🥴1
LangСhain: создаем свой AI в несколько строк
• LangChain - перспективный фреймворк для работы с языковыми моделями.
• LangChain позволяет собрать различные компоненты для создания ChatGPT.
• Модели: универсальный интерфейс для работы с языковыми моделями, поддержка API OpenAI, Cohere, Hugging Face и других.
• Промпты: функции для работы с промптами, представление промпта согласно типу модели, формирование шаблона на основе внешних данных, форматирование вывода модели.
• Индексы: структурируют документы для оптимального взаимодействия с языковыми моделями, поддержка индексов на основе векторных баз данных.
• Цепочки: объединение разных языковых моделей и запросов в многоступенчатые конвееры, применение для разговоров, ответов на вопросы, суммаризации и других сценариев.
• Агенты: доступ модели к различным источникам информации, таким как Google, Wikipedia и т.д.
• Память: сохранение состояний в цепочках, например, для создания чат-бота, сохранение предыдущих вопросов и ответов.

Документация: https://python.langchain.com/docs/get_started/introduction
Forwarded from AI для Всех (Artemii)
Новый курс: создание диалоговых агентов на основе LangChain

Компания LangChain (совершенно пропустил момент когда они стали компанией) выпустила бесплатный курс о последних достижениях в области языковых моделей и как их можно использовать для создания диалоговых агентов.

В курсе рассматриваются новые возможности, такие как вызов функций в ChatGPT. Также вводится новый синтаксис LangChain Expression Language для настройки поведения агентов.

Слушатели научатся:

- Генерировать структурированный вывод с помощью вызова функций
Использовать LCEL для настройки цепочек обработки запросов
- Применять вызовы функций для задач вроде тегирования данных
- Понимать маршрутизацию запросов с помощью инструментов LangChain

Курс рассчитан на 1 час и доступен бесплатно в течение ограниченного времени. Рекомендуется базовое знание Python и опыт написания промптов для языковых моделей.

Это отличная возможность изучить новейшие инструменты для создания приложений на основе ИИ и улучшить свои навыки в этой области!

🦜🔗 Курс
Forwarded from Не баг, а фича
This media is not supported in your browser
VIEW IN TELEGRAM
Плагин для VSCode пишет весь код локально на вашем ноутбуке. CodeGPT объяснит код, найдет баги, сделает тесты и напишет функции — всё это даже без интернета.

Есть поддержка разных языков программирования, а еще импорт библиотек и фреймворков. Можно взять с собой ноут куда угодно и кодить в паре с ИИ.

Плагин CodeGPT — тут.
Гайд по локальному запуску — тут.

@bugnotfeature
Forwarded from эйай ньюз
Я знаю, у вас мало времени, поэтому TLDR по OpenAI DevDay:

1️⃣ Релизнули ChatGPT-4-Turbo - ускоренную и более дешевую версию.
• Расширили контекст до 128к токенов (это ~300 страниц текста)
• Увеличили лимиты генерации токенов/сек.
• Каждый токен в промпте стал в 3x раза дешевле, а сгенерированные токены - в 2x раза дешевле по сравнению с ChatGPT-4
• База знаний ChatGPT-4-Turbo рсширилась до апреля 2023 (у ChatGPT-4 было до сентября 2021).
• Очень интересно уведеть бенчмарки, насколько пожертвовали качеством генерации у Turbo версии ради ускорения.

2️⃣ Запустили Assistants API - набор no-code инструментов для создания кастомных ботов-ассистентов на основе ChatGPT.
• Ассистенты могут писать и выполнять код, принимать на вход документы и PDF. Возможность грузить картинки добавят позже.
• Это убило много стартапов, которые строили свои продукты вокруг промптинга и предоставления доступа к кастомным агентам.

3️⃣Новые модальности (Vision & Audio):
Dalle-3 теперь доступна через API.
Релизнули модель для синтеза речи (TTS). Доступна через API.
Релиз Whisper-3 - более мощный speech-2-text. Уже в опен-соурсе на GitHub. А также через API.
• ChatGPT теперь может принимать картинки через API.

4️⃣ Анонсировали "GPTs" - возможность создания кастомных версий ChagGPT для разных целей и маркетплейс для них.
• Девелоперы могут продавать свои кастомизированные GPT на централизированном маркетплейсе и получать процентик от ревенью. Типа App Store для ботов.

5️⃣ Copyright Shield - защита от нарушения автораских прав для пользователей Enterprise плана и API. То есть если на пользователя подали в суд за нарешение авторских прав в результате генерации моделями OpenAI, то OpenAI впрягается за пользователя и оплавчивает все судебные издержки.

Видео-выжимка выступлений с основными моментами: тык (19 минут).

@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
В нашем мире информационного изобилия мы часто сталкиваемся с проблемой перегрузки информацией. Статьи, книги, отчеты - все это требует нашего внимания и времени на прочтение.
Но что если бы вы могли получить краткое содержание любого текста, сохраняя при этом все ключевые моменты? Вот где на помощь приходит суммаризация текста - и это то, о чем мы сегодня поговорим.
https://nerdit.ru/maghiia-summarizatsii-tieksta/
#nlp #суммаризация #nltk
1
Рекомендательные системы - это мощный инструмент, который помогает нам справляться с информационным перегрузкой и находить интересующий нас контент. Они основаны на анализе наших предпочтений и поведения, предлагая нам наиболее подходящие варианты.
https://nerdit.ru/recommend-systems/
👍1
Привет, друзья! Сегодня я хочу поделиться с вами интересной функцией в библиотеке Pandas - GroupBy. Если вы занимаетесь анализом данных или работаете с таблицами, то, скорее всего, уже слышали об этой мощной функции. Давайте погрузимся в мир группировки данных с Pandas GroupBy и рассмотрим, как она может помочь вам в ваших проектах.
https://nerdit.ru/pandas-groupby/
#pandas
Создание чат-бота для Телеграм на Python – это увлекательное занятие, которое открывает перед вами огромные возможности. В этом посте мы рассмотрим основные шаги, которые вы должны произвести для создания своего бота.
https://nerdit.ru/telegram-chat-bot-python/
Работа с Excel в библиотеке Pandas предоставляет мощные инструменты для обработки и анализа данных. При помощи функций Pandas, мы можем импортировать данные из Excel-файлов, выполнять различные операции, такие как фильтрация, сортировка, группировка и агрегация данных, а также экспортировать измененные данные обратно в Excel-файлы.

Это значит, что мы можем автоматизировать и ускорить рутинные задачи, связанные с обработкой данных в Excel. Вместо ручного копирования и вставки данных, мы можем использовать функции Pandas для быстрой и эффективной обработки больших объемов информации.

К примеру, мы можем использовать Pandas для фильтрации данных и выбора только нужных строк или столбцов. Затем мы можем применить операции агрегации, чтобы получить суммарные значения, средние значения или любую другую статистику для наших данных.

#pandas #excel

Перейти к посту: https://nerdit.ru/excel-pandas/
Прогнозирование временных рядов: анализ и применение методов машинного обучения

Прогнозирование временных рядов является важной задачей в сфере анализа данных и принятия решений. Временные ряды представляют собой последовательность данных, упорядоченных по времени, и включают такие области, как финансовые рынки, погода, продажи и другие.

https://nerdit.ru/time-series-modeling-techniques/
Pandas dataframe и как его использовать для анализа данных

Pandas - это мощный инструмент для работы с данными в Python. Он предоставляет структуры данных, такие как DataFrame, которые облегчают анализ и манипуляцию данными.

https://nerdit.ru/pandas-dataframe/
Привет, друзья! Сегодня хочу поговорить с вами о знаменитом фреймворке Django. Django - это мощный инструмент для создания веб-приложений на Python, который позволяет разработчикам работать быстро и эффективно. Если вы только начинаете знакомство с Django, то вас ждёт захватывающее путешествие в мир веб-разработки.

Django предлагает гибкую архитектуру, встроенную административную панель, удобную работу с базами данных и множество других полезных инструментов. Этот фреймворк идеально подходит как для небольших проектов, так и для крупных веб-приложений.

Если вы хотите узнать больше о том, как начать работу с Django, оставайтесь с нами! Мы собираемся исследовать его возможности, создавать увлекательные проекты и делиться полезными советами. Держите руку на пульсе и готовьтесь к захватывающему погружению в мир Django. До скорой встречи!
#django
Первый проект на Django: Полное описание и код
Django - это мощный фреймворк для создания веб-приложений на Python. Создание своего первого проекта на Django может быть захватывающим и познавательным опытом. Давайте создадим простое веб-приложение для управления списком задач.
https://nerdit.ru/piervyi-proiekt-na-django-polnoie-opisaniie-i-kod/
#django
Google выпустил опенсорс версию Gemini

Новую модель Гугла, с открытыми весами и коммерческой лицензией, зовут Gemma. LLM доступна в 2х вариантах - 2B (работает на телефоне) и 7B (gpu).

7B модель по качеству обгоняет Мистраль 7B v0.1 и почти догоняет Llama 2 70B (на LLM Leaderboard).

Дать задание Instruct модели можно тут

Обратите внимание, что это (пока что) не чат-бот, а модель которой нужно давать инструкции (например напиши email)

🤗
Блог-пост
🖥 Блог-пост
👍1