В этом репозитории есть все необходимое для того, чтобы стать экспертом в области #TimeSeries Analysis, который содердит 20+ проектов:

▪ Github

@bigdatai

⚡️ Awesome-Unsupervised-Object-Localization

Awesome cписок работ по неконтролируемой локализации объектов на 2D-изображениях.

▪Github

@bigdatai

Хотите адаптировать LLM под свои данные и сферу деятельности? 🤔

Свежий пост от Pytorch о том, как доработать модель с 7B параметрами на обычном GPU (NVIDIA T4 16GB) с помощью LoRA и инструментов из экосистемы PyTorch и Hugging Face.

🔎 https://pytorch.org/blog/finetune-llms

@bigdatai

🔥 Новый выпуск базы данных эмбедингов txtai-wikipedia теперь доступен на Hugging Face Hub!

Датасет Википедии: https://huggingface.co/datasets/NeuML/wikipedia-20240101
Скрипт для работы с датасетом: https://huggingface.co/datasets/NeuML/wikipedia

@bigdatai

Этот репозиторий содержит 50+ проектов, охватывающих Data #Analytics, #DataScience, #DataEngineering, #MLOps и #MachineLearning.

https://github.com/Coder-World04/Data-and-ML-Projects-

@bigdatai

Только что выложили в открытый доступ два инструмента, которые для обработки масштабных данных и обучения масштабных моделей:
- datatrove - все для обработки данных в веб-масштабе: дедупликация, фильтрация, токенизация - https://github.com/huggingface/datatrove

- nanotron - все, что связано с 3D-параллелизмом: легкое и быстрое обучение LLM - https://github.com/huggingface/nanotron

@bigdatai

TensorDict - это класс, похожий на словарь, который наследует свойства тензоров, такие как индексация, операции с формами, приведение к устройству или связь точка-точка в распределенных системах.

▪Github

@bigdatai

👨‍🎓 Статистика 110: Теория Вероятности от Гарвардского университета.

Несомненно, один из лучших курсов по теории вероятностей в Интернете!

youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo

@bigdatai

Библиотека Python с открытым исходным кодом для автоматизации рабочих процессов машинного обучения🔥

PyCaret - сквозной инструмент для машинного обучения:

- Предварительная обработка данных
- Разработка признаков
- Обучение модели
- Настройка гиперпараметров и
- Оценка модели

"pip install pycaret"

▪Github

@bigdatai

Как создать на Python скринер акций и выполнить анализ настроений на основе ИИ

Поиск акций для инвестирования может оказаться долгим и утомительным. А что, если использовать ИИ и Python для создания программы, способной ускорить этот процесс? В этой статье я расскажу, как применить Python-библиотеку finvizfinance для поиска “недооцененных” акций. Затем представлю метод анализа настроений с помощью FinBERT, предварительно обученной NLP-модели, позволяющей анализировать эти “недооцененные” акции.

Первые шаги
Прежде всего импортируем необходимые библиотеки. Сайт finviz.com предлагает различные инструменты для анализа акций, в том числе бесплатный скринер акций (Screener). Импортируем объект скринера finvizfinance, который возвращает DataFrame Pandas с результатами скрининга в разделе “Overview” (“Обзор”).

from finvizfinance.screener.overview import Overview

Теперь импортируем библиотеки Pandas, csv и os, которые используются в основном для работы с csv-файлами.

import pandas as pd
import csv
import os

Скрининг потенциальных акций
Теперь, следуя подходу стоимостного инвестирования, необходимо составить список потенциально недооцененных акций, к которым стоит присмотреться. Для этого надо создать функцию, которая использует библиотеку finvizfinance для отправки запроса к онлайн-скринеру акций. Вот функция, которая будет выполнять это:

📌 Читать

@bigdatai

🔥 Гайд: пишем Transformer с нуля

Интерсный Jupyter-блокнот, в котором пошагово описан процесс создания собственной модели Transformer. Каждый блок кода сопровождается подробным комментарием.

Гайд начинается с предобработки текста и заканчивает полной сборкой работающей архитектуры. За основу он взял классическую статью Attention Is All You Need и видео Андрея Карпаты Let's build GPT: from scratch, in code, spelled out.

https://blog.matdmiller.com/posts/2023-06-10_transformers/notebook.html

@bigdatai

⚡️ Ego-Exo4D: A diverse, large-scale multi-modal, multi-view, video dataset and benchmark.

Ego-Exo4D:, крупномасштабный датасет для обучения на видел.


Проект помочь качественному обучению моделей ИИ сложными человеческими навыками и подойдет для создания приложений систем виртуальной реальности, робототехники, и многого другого.

Ego-Exo4D содержит три, тщательно синхронизированных датасета естественного языка в сочетании с видео и комментариями экспертов, включают в себя более 1400 часов видео, а также аннотации для бенчмарков.
.

▪Project: ego-exo4d-data.org/
▪Request acess: https://docs.ego-exo4d-data.org/getting-started/

@bigdatai