Personal Copilot: Train Your Own Coding Assistant.

В постоянно развивающейся сфере программирования и разработки программного обеспечения стремление к эффективности и производительности привело к появлению замечательных инноваций.
Одной из таких инноваций является появление моделей генерации кода, таких как Codex, StarCoder и Code Llama. Эти модели продемонстрировали широкие возможности по генерации рабочих скриптов, тем самым показав огромный потенциал в качестве помощников кодера.

Однако, несмотря на то, что эти предварительно обученные модели могут демонстрировать впечатляющие результаты при выполнении целого ряда задач, за горизонтом маячит интересная возможность: возможность адаптировать модель генерации кода к вашим конкретным потребностям. Подумайте о персонализированных помощниках кодинга, которые можно было бы использовать в масштабах предприятия.

В этой статье показано пошаговое создание HugCoder 🤗, кодовый LLM, обученной из публичных репозиториев huggingface GitHub.
В статье показан процесс сбора данных, экспериментах по обучению и некоторых интересных результатах. Это позволит вам создать свой личный Copilot на основе собственной кодовой базы.

@machinelearning_ru

🔥 Популярные алгоритмы машинного обучения наглядно

@machinelearning_ru

🚀 Курс из 12 уроков, обучающий всему, что необходимо знать для создания приложений генеративного ИИ.

Полностью бесплатный и находится на GitHub:

https://github.com/microsoft/generative-ai-for-beginners

@machinelearning_ru

Представляем DeepSpeed-FastGen 🚀

Обслуживание LLM и генеративных моделей ИИ с
- 2,3-кратное увеличение пропускной способности
- В 2 раза меньшая средняя задержка

Автоматическое TP, балансировка нагрузки с линейным масштабированием, а также простой в использовании API.

https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-fastgen

@machinelearning_ru

🚀 Реализация MetNet-3, нейронной модели погоды SOTA из Google Deepmind, в #Pytorch

https://github.com/lucidrains/metnet3-pytorch

#machinelearning #ml #ai #neuralnetworks #datascience #deeplearning

@machinelearning_ru

👉 Awesome Data Labeling

Коллекция инструментов для аннотирования изображений, аннотирования видео, семантической сегментации и маркировки данных для машинного обучения.

🔗 https://github.com/HumanSignal/awesome-data-labeling

@machinelearning_ru

📌 Существует три основных способа обучения LLM: естественный язык, классификация предложений и классификация лексем.

👉 Приведенная картинка дает представление о каждом из них!

#llms #largelanguagemodel #generativeai

@machinelearning_ru

🔥 ИИ-агент, использующий GPT-4V(ision), способный использовать, cv, мышь/клавиатуру для взаимодействия с веб-интерфейсом.

GPT-4V-ACT: https://github.com/ddupont808/GPT-4V-Act
GPT-V-on-Web: https://github.com/Jiayi-Pan/GPT-V-on-Web
vimGPT: https://github.com/ishan0102/vimGPT

@machinelearning_ru

Глубокое погружение в режим Copy-on-Write в pandas. Часть 2

Мы используем технику, применяемую внутренними средствами pandas, чтобы избежать копирования всего DataFrame, когда в этом нет необходимости, и тем самым повысить производительность.

Удаление защитных копий
Начнем с наиболее значимого улучшения. Многие методы pandas выполняли защитное копирование, чтобы избежать побочных эффектов и защититься от последующих модификаций в памяти.

df = pd.DataFrame({"a": [1, 2, 3], "b": [4, 5, 6]})
df2 = df.reset_index()
df2.iloc[0, 0] = 100

В reset_index нет необходимости копировать данные, но возврат представления привел бы к побочным эффектам при модификации результата (к примеру, также обновился бы df). Поэтому в reset_index выполняется защитное копирование.

При включении Copy-on-Write всех этих защитных копий уже нет. Такое действие затрагивает многие методы (с полным списком можно ознакомиться здесь).

Кроме того, при выборе столбцового подмножества DataFrame теперь всегда будет возвращаться представление, а не копия, как раньше.

Посмотрим, как все это выглядит с точки зрения производительности, когда мы комбинируем некоторые из этих методов:

import pandas as pd
import numpy as np

N = 2_000_000
int_df = pd.DataFrame(
np.random.randint(1, 100, (N, 10)),
columns=[f"col_{i}" for i in range(10)],
)
float_df = pd.DataFrame(
np.random.random((N, 10)),
columns=[f"col_{i}" for i in range(10, 20)],
)
str_df = pd.DataFrame(
"a",
index=range(N),
columns=[f"col_{i}" for i in range(20, 30)],
)

df = pd.concat([int_df, float_df, str_df], axis=1)

Создается DataFrame с 30 столбцами, 3 разными типами данных и 2 миллионами строк. Выполним следующую цепочку методов для этого DataFrame:

Смотреть
Часть 1.

@machinelearning_ru

👉 Awesome TensorFlow

Список awesome учебников по TensorFlow, моделей/проектов, библиотек, инструментов/утилит, видео, докладов, статей, сообществ, книг и многого другого.

🔗 https://github.com/jtoy/awesome-tensorflow

@machinelearning_ru

ChatAnything: Facetime-чат с LLM-персонами

проект: https://chatanything.github.io/

abs: https://arxiv.org/abs/2311.06772

@machinelearning_ru