Big Data AI
16.8K subscribers
840 photos
99 videos
19 files
838 links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
Forwarded from Machinelearning
🧠 Helium 1 preview 2b

Kyutai labs выпустили Helium-1 Preview, 2B многоязычный LLM для edge девайсов и мобильных устройств.

Модель, обучена на 2,5 Т токенов и превосходит Qwen 2.5 1.5B🔥

> Превосходит/сопоставим с Owen 1.5B, Gemma 2B и Llama 3B
> обучен на 2.5T токенов с размером контекста 4096
> использует дистилляцию на уровне 7B модели
> разработчики планируют добавить больше языков, выпустить полную версию
> открытый код

🤗 HF: https://huggingface.co/kyutai/helium-1-preview-2b

@ai_machinelearning_big_data


#Helium #llm #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1🔥1
🔥 Potpie — это инструмент для анализа и автоматизации работы с кодовой базой, который использует ИИ-агентов!

🌟 Он создает граф знаний из компонентов вашего проекта, чтобы предоставлять подробный контекст и рекомендации. Potpie позволяет использовать готовых агентов для отладки, анализа структуры кода, выполнения изменений и других задач, а также предлагает платформу для создания собственных агентов.

🔐 Лицензия: Apache-2.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥2🥰1
📝 AI reads books: Page-by-Page PDF Knowledge Extractor & Summarizer — скрипт, предназначенный для интеллектуального постраничного анализа PDF-книг!

🌟 Скрипт извлекает ключевые знания с каждой страницы и генерирует прогрессивные резюме через определенные интервалы, что позволяет глубже понять содержание книги, сохраняя при этом ее контекстуальную целостность.

🌟 Основные функции скрипта включают автоматический анализ и извлечение информации из PDF, генерацию резюме с использованием искусственного интеллекта, сохранение знаний в базе данных и форматирование итоговых резюме в Markdown. Кроме того, скрипт обеспечивает цветовую индикацию в терминале для улучшения восприятия и может возобновлять работу с места последней обработки, что делает его удобным инструментом для детального изучения и конспектирования PDF-книг.

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53👎1
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.iss.one/ai_machinelearning_big_data
C++ t.iss.one/cpluspluc
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/DevOPSitsec
Data Science: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
Базы данных: t.iss.one/sqlhub
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
Собеседования МЛ: t.iss.one/machinelearning_interview
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg

💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Open Deep Research — это инструмент с открытым исходным кодом, разработанный для автоматизации исследовательского процесса и создания отчётов с использованием искусственного интеллекта!

🌟 Он выполняет три этапа: получение результатов веб-поиска через Bing Search API, извлечение и обработку релевантного контента из найденных источников с помощью JinaAI и генерацию итогового отчёта с использованием AI-моделей, таких как GPT-4, Gemini или Sonnet. Это позволяет пользователям быстро получать синтезированные данные и создавать информативные отчёты по заданным запросам.

🔐 Лицензия: MIT

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Forwarded from Machinelearning
🚀Только что выпущено новое семейство моделей генерации кода Salesforce (SFR-Embedding-Code), занявшее 1-е место на бенчмарке CoIR!

Модель доступна в в 2-х размерах: 2B, 400M.

Основные характеристики:
1️⃣ Модель 2B: Занимает первое место в CoIR.
2️⃣ Модель 400M: демонстрирует лучшие показатели среди моделей на 0,5B параметров.
3️⃣ Поддерживает 12 языков программирования, Python, Java, C++, JavaScript, C# и другие!

Пример Запуска:

import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

# Each query needs to be accompanied by an corresponding instruction describing the task.
query_instruction_example = "Given Code or Text, retrieval relevant content"
queries = [
"how to implement quick sort in Python?"
]

# No instruction needed for retrieval passages
passages = [
"def quick_sort(arr):\n if len(arr) <= 1:\n return arr\n pivot = arr[len(arr) // 2]\n left = [x for x in arr if x < pivot]\n middle = [x for x in arr if x == pivot]\n right = [x for x in arr if x > pivot]\n return quick_sort(left) + middle + quick_sort(right)",
"def bubble_sort(arr):\n n = len(arr)\n for i in range(n):\n for j in range(0, n-i-1):\n if arr[j] > arr[j+1]:\n arr[j], arr[j+1] = arr[j+1], arr[j]\n return arr"
]

# load model with tokenizer
model = AutoModel.from_pretrained('Salesforce/SFR-Embedding-Code-2B_R', trust_remote_code=True)

# get the embeddings
max_length = 32768
query_embeddings = model.encode_queries(queries, instruction=query_instruction_example, max_length=max_length)
passage_embeddings = model.encode_corpus(passages, max_length=max_length)

# normalize embeddings
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
passage_embeddings = F.normalize(passage_embeddings, p=2, dim=1)

scores = (query_embeddings @ passage_embeddings.T) * 100
print(scores.tolist())



Документация
Модель 400M
Модель 2B


📌Лицензирование моделей: CC-BY-NC-SA-4.0 License.


#CodeAI #MLResearch #SOTA #OpenScience #code #llm #ml
2🔥2
🧠 XMIDI Dataset - это крупномасштабный набор данных о музыке с метками эмоций и жанров.

Самый большой из известных мне наборов данных музыки с точными метками эмоций и жанров, содержащий 108 023 MIDI-файла.

📌 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🤗 Hugging Face не так давно выпустила собственную low-code библиотеку для просто создания ИИ- агентов ⚡️

Smolagents - это библиотека на 100% с открытым исходным кодом, которая позволяет запускать мощные агенты, используя всего три строки кода.

↳ Импортируйте необходимые модули.
↳ Выберите агента
↳ Укажите LLM и инструменты, к которым он должен получить доступ.
↳ Запустите агент!

Готово!

- Поддерживает более 40 LLM
- Предоставляет один общий доступ к инструментам HF Hub.
- CodeAgent, который создает код и документирует свои действия.

Установка:


pip install smolagents


Пример работы:

from smolagents import CodeAgent, DuckDuckGoSearchTool, HfApiModel

agent = CodeAgent(tools=[DuckDuckGoSearchTool()], model=HfApiModel())

agent.run("How many seconds would it take for a leopard at full speed to run through Pont des Arts?")


GitHub
Подробнее
👍5👨‍💻2
🖥 SiYuan — это программное обеспечение с открытым исходным кодом для управления личными знаниями, ориентированное на конфиденциальность!

🌟 Оно позволяет пользователям организовывать свои заметки, данные и информацию с высокой степенью гибкости и точности. SiYuan поддерживает работу с Markdown в режиме WYSIWYG, двусторонние ссылки, блочные структуры и встроенные SQL-запросы. Приложение доступно для разных платформ, включая Windows, macOS, Linux, Android и iOS, а также поддерживает развертывание через Docker.

🔐 Лицензия: Apache-2.0

🖥 Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🔎 Depth Anything — это передовая технология оценки глубины, использующая монокуляр (одну камера).

Однако у этой технологии есть проблема с временной несогласованности в видео, что значительно ограничивает её практическое применение.

😩Существующие методы могут улучшить согласованность видео, но они применимы к коротким видео (менее 10 секунд) и требуют компромисса между качеством и эффективностью съёмки.

🤗 Video Depth Anything — модель, которая обеспечивает высококачественную и последовательную оценку глубины видео без ущерба для их эффективности.

Она построена на основе Depth Anything V2 и обладает мощным пространственно-временным управлением.

🍪 Разработанная на основе совместного набора данных о глубине видео и дешевых немаркированных изображений, эта модель представляет эффективную стратегию оценки длинного видео на основе ключевых кадров. Ограничения на градиенты глубины устраняют необходимость в дополнительных предварительных данных.

🖥 Эксперименты показали, что Video Depth Anything обрабатывает видео любой длины без потери качества, последовательности, что устанавливает новый уровень в оценке глубины видео с нулевой съемкой.

Доступны модели различных масштабов, при этом самая маленькая из них обеспечивает производительность в реальном времени со скоростью 30 кадров в секунду 🔥👍

Начало работы:

git clone https://github.com/DepthAnything/Video-Depth-Anything
cd Video-Depth-Anything
pip install -r requirements.txt


Лицензирование: Apache 2.0

GitHub
Paper
Model Small
Model Large
Demo

@ai_machinelearning_big_data


#DepthAnything #opensource #ml #depthestimation #videodepth
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🐳21