⚡️ NVIDIA’s Neuralangelo AI: Gaming Anywhere on Earth!

https://www.youtube.com/watch?v=bSHz0NexLBU

@machinelearning_ru

🦜 Editing Personality for LLMs

Новый фреймворк для редактирования личностных качеств больших языковых моделей (LLM). Easyedit позволяет выполнять корректировку ответов моделей на вопросы, связанные с мнением по заданной тематике.
Проект содержитновый эталонный набор данных PersonalityEdit.

🖥 Github: https://github.com/zjunlp/easyedit

📕 Paper: https://arxiv.org/abs/2310.02168v1

⭐️ Dataset: https://drive.google.com/file/d/1WRo2SqqgNtZF11Vq0sF5nL_-bHi18Wi4/view

@machinelearning_ru

⭐️ Решаем реальные задачи с собеседования Data Science

https://www.youtube.com/watch?v=iLzA0H0Ao6o&t=28s

@bigdatai

🖥 Development with Large Language Models Tutorial – OpenAI, Langchain, Agents, Chroma

Большие языковые модели (например, ChatGPT) могут помочь вам в решении многих задач.

Например, создание динамических пользовательских интерфейсов, навигация по тоннам текстовых данных и многое другое.

В этом курсе вы узнаете об основах и о том, как использовать LLM в своих проектах.

• Видео
• Colab notebook

@machinelearning_ru

🖥 Chatgpt, Bard , Claude, Theb - используй API лучших нейросетей бесплатно и без ВПН на Python

▪Video

@machinelearning_ru

➕ Medical AI Models with TensorFlow – Tutorial

Существует множество полезных способов использования искусственного интеллекта.

Например, врачи могут использовать его для выявления у пациентов таких заболеваний, как рак.

В этом курсе врач + разработчик научит вас применять модели искусственного интеллекта для медицинской визуализации с помощью TensorFlow.

📌 Видео

@machinelearning_ru

🤖 Awesome-Refreshing-LLMs

Кураторский список статей и проектов больших языковых моделей (LLM), не требующих дорогостоящего переобучения.

🖥 Github: https://github.com/hyintell/awesome-refreshing-llms

⭐️ Paper: https://arxiv.org/pdf/2310.07343v1.pdf

@machinelearning_ru

🐼 Pandas 2.0.0 — геймчейнджер в работе дата-сайентистов?

Многофункциональная и универсальная библиотека pandas заняла достойное место в сердце каждого дата-сайентиста.

Практически невозможно представить себе работу с данными — начиная с их ввода/вывода до очистки и преобразования — без import pandas as pd.

Интересный факт: этот релиз готовился в течение 3 лет.

Так что же нового предлагает pandas 2.0? Окунемся в эту версию с головой.

1. Производительность, скорость и эффективность использования памяти
Как известно, pandas была создана на основе библиотеки numpy, которая не была специально разработана как бэкенд для библиотек датафреймов. По этой причине одним из основных слабых мест pandas стала обработка больших массивов данных в памяти.

В этом релизе значительные изменения связаны с появлением бэкенда Apache Arrow для данных pandas.

Arrow — это стандартизованный формат столбцовых данных in-memory (с хранением в оперативной памяти) с доступными библиотеками для нескольких языков программирования (C, C++, R, Python и другие).
Для Python создан пакет PyArrow, основанный на реализации Arrow в C++, а значит, быстрый!

PyArrow избавляет нас от прежних ограничений памяти версий 1.X и позволяет выполнять более быстрые и эффективные с точки зрения памяти операции с данными, особенно в случае больших наборов данных.

Сравним скорость чтения данных без бэкенда pyarrow и с ним на примере набора данных Hacker News размером около 650 МБ (лицензия CC BY-NC-SA 4.0):

%timeit df = pd.read_csv("data/hn.csv")
# 12 с ± 304 мс на цикл (среднее ± стандартное отклонение 7 прогонов, по 1 циклу в каждом)

%timeit df_arrow = pd.read_csv("data/hn.csv", engine='pyarrow', dtype_backend='pyarrow')
# 329 мс ± 65 мс на цикл (среднее ± стандартное отклонение 7 прогонов, по 1 циклу в каждом)

При использовании нового бэкенда чтение данных происходит почти в 35 раз быстрее. Следует отметить и другие моменты:

▪️Без бэкенда pyarrow каждый столбец/признак хранится как собственный уникальный тип данных: числовые признаки хранятся как int64 или float64, а строковые значения — как объекты.
▪️При использовании pyarrow все признаки применяют dtypes Arrow: обратите внимание на аннотацию [pyarrow]и различные типы данных: int64, float64, string, timestamp и double.

df = pd.read_csv("data/hn.csv")
df.info()

# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 3885799 записей, от 0 до 3885798
# Столбцы данных (всего 8 столбцов):
# # Column Dtype
# --- ------ -----
# 0 Object ID int64
# 1 Title object
# 2 Post Type object
# 3 Author object
# 4 Created At object
# 5 URL object
# 6 Points int64
# 7 Number of Comments float64
# dtypes: float64(1), int64(2), object(5)
# использование памяти: 237.2+ MB

df_arrow = pd.read_csv("data/hn.csv", dtype_backend='pyarrow', engine='pyarrow')
df_arrow.info()

# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 3885799 записей, от 0 до 3885798
# Столбцы данных (всего 8 столбцов):
# # Column Dtype
# --- ------ -----
# 0 Object ID int64[pyarrow]
# 1 Title string[pyarrow]
# 2 Post Type string[pyarrow]
# 3 Author string[pyarrow]
# 4 Created At timestamp[s][pyarrow]
# 5 URL string[pyarrow]
# 6 Points int64[pyarrow]
# 7 Number of Comments double[pyarrow]
# dtypes: double[pyarrow](1), int64[pyarrow](2), string[pyarrow](4), timestamp[s][pyarrow](1)
# memory usage: 660.2 MB

2. Типы данных arrow и индексы numpy

📌 Читать

@machinelearning_ru