Big Data AI
16.8K subscribers
836 photos
98 videos
19 files
837 links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
Forwarded from Machinelearning
🌟BRAG: Серия Instruct-RAG LLM.

BRAG - это серия специализированных языковых моделей, обученных для RAG-задач с текстом, таблицами и в режиме чата. Все модели ориентированы в основном на английский язык, но модели на базе Llama-3.1-8B и Qwen2-1.5b имеют наследованную поддержку мультиязычности.

В качестве базовых моделей использованы Qwen2-1.5B, Qwen2-7B-Instruct, Llama-3.1-8B-Instruct и Llama-3-8B-Instruct.

Список моделей:

🟢BRAG-Qwen2-7b-v0.1 Instruct | 7B | 128K
🟢BRAG-Llama-3.1-8b-v0.1 Instruct | 8B | 128K
🟢BRAG-Llama-3-8b-v0.1 Instruct | 8B | 8K
🟢BRAG-Qwen2-1.5b-v0.1 Instruct | 1.5B | 32K

▶️Формат промта:


messages = [
{"role": "system", "content": "You are an assistant who gives helpful, detailed, and polite answers to the user's questions based on the context with appropriate reasoning as required. Indicate when the answer cannot be found in the context."},
{"role": "user", "content": """Context: <CONTEXT INFORMATION> \n\n <USER QUERY>"""},
]


⚡️Лицензирование :  Apache-2.0



Страница проекта
Коллекция моделей на HF


@ai_machinelearning_big_data

#AI #LLM #ML #BRAG #RAG
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥2
Forwarded from C++ Academy
🪐 Gravitational Lensing by Spinning Black Holes in Astrophysics, and in the Movie Interstellar

Невероятная статья, которую вы возможно пропустили.

Программное обеспечение для создания черной дыры в фильме "Интерстеллар" представляет собой полную реализацию уравнений Эйнштейна в 40 000 строк на C++, которое отрисовало тысячи 23-мегапиксельных кадров формата IMAX на 32 000-ядерной рендер-ферме со скоростью около 20 ядер в час на кадр .

Про реализацию этого монстра можно почитать здесь: https://arxiv.org/pdf/1502.03808.pdf

@cpluspluc
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7🔥5🤩4
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 UnpromptedControl

Unprompted Control — это утилита, которая автоматически удаляет объекты с изображений и восстанавливает поврежденные области, используя методы глубокого обучения и смешивания. В этом процессе ключевую роль играют модели Control Net и Stable Diffusion Inpaint Pipeline, которые направляют восстановление и обеспечивают естественное слияние результатов с остальным изображением.

Однако метод имеет свои ограничения, особенно при работе с изображениями лиц и тел людей. В таких случаях может потребоваться маскирование не только самого объекта, но и его теней для достижения наилучшего результата.

Несмотря на эти сложности, репозиторий предлагает ценный инструмент для бесшовного восстановления и удаления объектов.

- Githiub
- Colab

@bigdatai
👍72🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Интерактивная схема устройства работы векторных баз данных

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥2
⚡️ Отличная статья, которая только что вышла из Stanford Med; "Нелинейная динамика многомерных факторов при старении человека"

самое интересное, что данные находятся в открытом доступе.

репо: https://github.com/jaspershen-lab/ipop_aging

довольно детальная информация

cтатья: https://nature.com/articles/s43587-024-00692-2

@bigdatai
8👍2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Создаем мощный детектор объектов с помощью Fastslam с
помощью ultralytics 🚀

🔗Код: https://docs.ultralytics.com/models/fast-sam/

💡 Здесь используется уменьшенная версия FASTSAM, которая позволяет обнаруживать объекты в режиме реального времени + для повышения производительности используется botsort функция.

#искусственныйинтеллект #отслеживаниеобъектов #sam2

@bigdatai
7👍2🔥2❤‍🔥1🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 open-interpreter инструмент управление компьютером с помощью естественного языка

Это Python-библиотека, которая позволяет управлять ПК с помощью обычной челочеческой речи, в том числе на русском. На видео переключаются со светлой темы на тёмную, конвертируют docx-файлы на рабочем столе в .pdf.

Репозиторий проекта
Интерактивная демка в Colab

#llm #библиотека

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍6🥰2🤔2
⚡️ TurboEdit обеспечивает быстрое редактирование изображений на основе текста всего за 3-4 шага!

Модель улучшает качество редактирования изображений, которое сохраняет исходное изображение за счет использования смещенного алгоритма шумов и метода псевдонаправления, устраняя такие проблемы редактирования, как визуальные артефакты и слабые места при редактировании.

https://turboedit-paper.github.io

@bigdatai
👍63🔥2
Forwarded from Machinelearning
🌟 Clapper: Альфа-версия комбайна для визуализации генеративных сценариев.

Clapper - это инструмент визуализации историй, разрабатываемый как пет-проект сотрудником Huggingface Julian Bilcke

Созданный год назад, Clapper не предназначен для замены традиционных видеоредакторов или AI-редакторов, использующих 3D-сцены в качестве исходного материала.
Философия Clapper заключается в том, чтобы каждый мог создавать видео с помощью GenAI-инструментов посредством интерактивного, итеративного и интуитивного процесса, без необходимости использования разных интерфейсов, навыков режиссуры или AI-инженерии.

В Clapper вы не редактируете последовательность видео- и аудиофайлов напрямую, а итерируете (с помощью вашего помощника ИИ) свою историю, используя высокоуровневые абстракции, такие как персонажи, места, погода, временной период, стиль и т. д.

Конечной целью проекта заявлен полностью режиссерский режим, с которым вы можете просто перевести видео в полноэкранный режим, удобно расположиться в режиссерском кресле (или на диване) и, произнося голосом команды своему AI-ассистенту для создания вашего фильма, насладитесь созданным лично Вами шедевром.

⚠️ Это альфа-версия инструмента, который разрабатывают 3 человека. Не стоит ожидать от этого открытого проекта революционных результатов.

Clapper поддерживает интеграцию по API с локальными системами (ComfyUI) и он-лайн сервисами:
HuggingFace, Replicate, ComfuICU, FalAI, ModelsLab, OpenAI, Groq, Google, Anthropic, Cohere, MistralAI, StabilityAI, ElevenLabs, KitsAI.

Проект написан на TypeScript. Необходимые условия перед установкой:

🟠Git LFS;
🟠Bun;
🟠NVM;
🟢Версия Node - 20.15.1.

▶️Установка и запуск:
# Install the dependencies:
# --include=optional to make
# sure deps are installed
bun i

# build the app:
npm run build

# Running the web app:
bun run dev
# first time you go to localhost:3000
# Wait around 1 minute, the app will compile


▶️Второй вариант запуска, с Electron (еще в процессе разработки):
cd packages/app
bun run electron:start

# You can also build Clapper:
cd packages/app
bun run electron:make




📌Лицензирование : GPL v3 licenсe.


🟡Сообщество в Discord
🟡Demo
🖥Github [ Stars: 1.5K | Issues: 15 | Forks: 129]


@ai_machinelearning_big_data

#AI #Storytelling #Clapper #Visialtool
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥2
🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.

Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.

Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробки

make
make install


Github

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🔥1
🌟 Виртуального ассистента Алису научили общаться более эмоционально

Помощник Яндекса получил большой спектр новых эмоций, которые может выражать голосом в общении исходя их контекста. Среди них — дружелюбие, любопытство, удивление, сочувствие, обида и грусть.

Для обучения Алисы команда использовала модель эмоционального синтеза речи, которую подробно разобрала в статье на Хабре. Обновленная Алиса доступна в Станциях Лайт 2, а чуть позже появится и в других устройствах.

▪️ Хабр

@bigdatai
🔥74👍4💩3😁1
pandas_cheatsheet.pdf
2.6 MB
🖥 Полезная шпаргалка по Pandas

В этой шпаргалке вы найдёте несколько страниц полезных шпаргалок по базовым командам и конкретным задачам.

#шпаргалка #pandas

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73
Трансформеры js py 🤗.

Используйте Transformers.js в Pyodide и основанных на Pyodide фреймворках, таких как JupyterLite, stlite (Streamlit), Shinylive (Shiny for Python), PyScript, HoloViz Panel и так далее.

Оригинальный Transformers нельзя использовать в браузерной среде. Transformers.js - это JavaScript-версия Transformers, которая может работать в браузерах.

Этот пакет представляет собой обертку Transformers.js, чтобы проксировать его API в Pyodide.

https://github.com/whitphx/transformers.js.py

@bigdatai
5👍2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.

Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.

Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.

Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.

Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.

https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/

@bigdatai
11🔥4👍2👾1