Big Data AI – Telegram

Big Data AI

16.8K subscribers

836 photos

98 videos

19 files

837 links

@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe

Download Telegram

About

Blog

Apps

Platform

16.8K subscribers

🖥

SQLFluff — это инструмент для статического анализа SQL-кода (SQL-linter), который помогает проверять и форматировать SQL-запросы в соответствии с определёнными стилевыми правилами!

🌟 Этот проект поддерживает гибкость за счёт настройки под разные диалекты SQL, такие как ANSI SQL, PostgreSQL, MySQL, BigQuery, Snowflake и многие другие.

🌟 Он особенно полезен в проектах ETL и ELT, а также совместим с такими инструментами, как Jinja и dbt (Data Build Tool), поддерживая шаблонизированные SQL-запросы. SQLFluff может автоматически исправлять большинство ошибок форматирования, экономя время разработчиков и позволяя сосредоточиться на задачах высокой важности. Для удобства пользователей доступно расширение для Visual Studio Code и подробная документация.

🔐 Лицензия: MIT

🖥

Github

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

🔥6❤3😍3👌2

2.29K views13:01

Forwarded from Machinelearning

🌟 SmolTalk: синтетический англоязычный датасет для обучения LLM.

SmolTalk - это синтетический датасет, разработанный HuggingFace для обучения SmolTalk: новый синтетический набор данных для обучения больших языковых моделей LLM с учителем. Он состоит из 2 млн. строк и был использован для создания семейства моделей SmolLM2-Instruct. SmolTalk включает в себя как новые, так и существующие наборы данных.

Новые наборы данных:

🟢Smol-Magpie-Ultra (400 тыс. строк);
🟢Smol-constraints (36 тыс. строк);
🟢Smol-rewrite (50 тыс. строк);
🟢Smol-summarize (101 тыс. строк).

Существующие общедоступные наборы данных:

🟠OpenHermes2.5 (100 тыс. строк);
🟠MetaMathQA (50 тыс. строк);
🟠NuminaMath-CoT (1120 тыс. строк);
🟠Self-Oss-Starcoder2-Instruct (1120 тыс. строк);
🟠SystemChats2.0 (30 тыс. строк);
🟠LongAlign (примеры на английском языке с менее 16 тыс. токенов);
🟠Everyday-conversations (50 тыс. строк);
🟠APIGen-Function-Calling (80 тыс. строк);
🟠Explore-Instruct-Rewriting (30 тыс. строк).

SmolTalk сравнили недавно выпущенным набором данных Orca AgentInstruct 1M, обучив SmolLM2 на обоих наборах данных с использованием одинаковой конфигурации обучения.

Результаты показали, что SmolTalk показал значительные улучшения в производительности модели, особенно в задачах математики, программирования и следованию системным промптам. Наблюдались также значительные улучшения в масштабе 7B при обучении Mistral-7B на SmolTalk, особенно по показателям IFEval, BBH, GS8Mk и MATH.

▶️Загрузка датасета для трейна:

from datasets import load_dataset

ds = load_dataset("HuggingFaceTB/smoltalk", "all", split="train")
# to load the train split of a specific subset such as smol-magpie-ultra, you can do
ds = load_dataset("HuggingFaceTB/smoltalk", "smol-magpie-ultra", split="train")

📌Лицензирование: Apache 2.0 License.

🟡

🖥

GitHub

@ai_machinelearning_big_data

#AI #ML #LLM #HuggingFace #Dataset

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

👍5🔥2

2.24K views21:24

📝

LLM Graph Builder — инструмент для создания графов знаний на базе базы данных Neo4j, преобразуя неструктурированные данные (например, текстовые файлы, PDF-документы, видео с YouTube, веб-страницы) в структурированные графы!

🌟 Он использует возможности ИИ-моделей, от OpenAI и LangChain, для извлечения сущностей, их связей и атрибутов из данных.

🔍 Основные функции:

🌟 Генерация графов знаний на основе предоставленных данных.

🌟 Возможность работы с собственными схемами данных или готовыми шаблонами.

🌟 Просмотр графов через Neo4j Bloom и взаимодействие с ними с помощью запросов.

🌟 Интеграция с локальными файлами, S3, YouTube и другими источниками данных.

🔐 Лицензия: Apache-2.0

🖥

Github

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

❤4🔥2👌2

1.96K views12:00

🔥Интересная дискуссия на reddit о 4-битном квантовании без потерь для Qwen2.5 от Intel AutoRound!

🎯Полный текст: https://reddit.com/r/LocalLLaMA/comments/1h0aev6/lossless_4bit_quantization_for_large_models_are/?rdt=60370

@bigdatai

From the LocalLLaMA community on Reddit: Lossless 4-bit quantization for large models, are we there?

Explore this post and more from the LocalLLaMA community

❤4👍2🔥2

1.9K views17:27

🔥

Garak — инструмент от NVIDIA для автоматизированного тестирования безопасности и надежности крупных языковых моделей!

🌟 Он позволяет выявлять уязвимости, проблемы с устойчивостью и некорректные ответы моделей, применяя различные методики тестирования. Это помогает разработчикам и исследователям совершенствовать модели и повышать их качество.

🌟 Инструмент также поддерживает расширение функциональности: пользователи могут добавлять свои собственные тесты, создавая кастомные модули.

🔐 Лицензия: Apache-2.0

🖥

Github

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

❤5🔥3👍2

2.27K views09:00

This media is not supported in your browser

VIEW IN TELEGRAM

⚡️ ERPoT: Эффективное и надежное отслеживание движения мобильных роботов на основе легких и компактных полигональных карт

https://github.com/ghm0819/ERPoT

@bigdatai

👎2💩2🤡2❤1👍1🔥1

2.14K views12:01

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.iss.one/ai_machinelearning_big_data
C++ t.iss.one/cpluspluc
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/DevOPSitsec
АНАЛИЗ Данных: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
Базы данных: t.iss.one/sqlhub
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/golang_interview
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
Собеседования МЛ: t.iss.one/machinelearning_interview
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev

💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy

👍2❤1🔥1

2.04K views10:49

📖

Эта статья описывает подход для улучшения процесса отладки кода, сгенерированного LLM!

🌟 Исследователи представляют метод MGDebugger, который использует иерархическую стратегию отладки. Этот метод включает разбиение кода на древовидную структуру подфункций и их независимую проверку. Это позволяет находить ошибки на различных уровнях детализации: от синтаксических до алгоритмических.

🌟 MGDebugger использует симуляцию выполнения кода внутри LLM для выявления и исправления ошибок. Он генерирует тесты для подфункций на основе публичных тестов основной функции, а затем анализирует их выполнение. В процессе исправления исправленный код обновляет всю структуру. Такой подход упрощает отладку сложных функций и делает процесс более систематичным и эффективным.

🔗 Читать: *клик*

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

👍8❤4👌2👎1🥰1

2.24K views13:01

🔍

fast-graphrag — инструмент, предназначенный для оптимизации работы Retrieval-Augmented Generation (RAG) с использованием графовых структур знаний!

🌟 Он расширяет возможности GraphRAG, добавляя поддержку алгоритма PageRank для улучшения поиска и обработки данных. Этот подход позволяет быстрее находить ключевую информацию, улучшать точность на 20% и снижать затраты на обработку данных примерно в 6 раз по сравнению с традиционными методами RAG.

🔐 Лицензия: MIT

🖥

Github

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

👍8❤4👌3✍1🍌1

2.26K views14:02

This media is not supported in your browser

VIEW IN TELEGRAM

🔥 Все инструменты Flux.1 теперь находятся на HuggingFace Spaces!

🖌

🖼

⛱

Canny
🩻 Depth

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

🔥5❤4🥰2👍1👌1

2.29K views13:00

🔥

nsfw_detector — инструмент для автоматического распознавания NSFW-контента (неподходящего или откровенного)!

💡 Он основан на модели Google ViT, обеспечивает точную классификацию файлов и поддерживает обработку изображений, видео, PDF-документов и файлов в архиве.

🔍 Основные особенности:

🌟 Поддержка работы на CPU, без необходимости использования GPU, что делает его универсальным для большинства серверов.

🌟 Локальная обработка данных для защиты конфиденциальности.

🌟 Легкая интеграция через API и возможность развертывания через Docker.

🔐 Лицензия: Apache-2.0

🖥

Github

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

👍5❤4🔥1😁1👌1

2.21K views13:01

🪐 Multimodal Universe: Свежий датасет 100 ТБ научных астрономических данных

Мультимодальный набор данных Universe - это крупномасштабная коллекция мультимодальных астрономических данных, включая изображения, спектры и кривые блеска, предназначеный для проведения исследований в области астрономии и астрофизики.


python
from datasets import load_dataset

dset = load_dataset('MultimodalUniverse/plasticc', 
                    split='train', streaming=True)

example = next(iter(dset))

Github: https://github.com/MultimodalUniverse/MultimodalUniverse
Colab: https://colab.research.google.com/github/MultimodalUniverse/MultimodalUniverse/blob/main/notebooks/getting_started.ipynb
HF: huggingface.co/MultimodalUniverse

@bigdatai

❤6👍4🔥2👎1🤡1

2.23K views22:11

Forwarded from Machinelearning

This media is not supported in your browser

VIEW IN TELEGRAM

⚡️ PaliGemma 2: Новое семейство VLMs от Google.

PaliGemma 2 - обновление open-sorce VLM PaliGemma, основанное на семействе LLM Gemma 2. Семейство сочетает в себе кодировщик изображений SigLIP-So400m с спектром моделей Gemma 2, от 2B до 27B параметров. Модели PaliGemma 2 обучались в 3 этапа на трех разрешениях (224px², 448px² и 896px²).

PaliGemma 2 демонстрирует впечатляющие результаты в распознавании музыкальных нот, молекулярных структур и медицинских изображений. Модели справляются с распознаванием табличной структуры и созданием отчетов по рентгенограммам.

В задачах генерации длинных, детализированных аннотаций к изображениям PaliGemma 2 превосходит многие популярные VLM, несмотря на то, что она обучалась на значительно меньших наборах данных.

Для развертывания на устройствах без GPU могут использоваться квартованные версии PaliGemma 2. Тесты показали, что переход от 32-битной разрядности (f32) к 16-битной (bf16) или квантованным весам не приводит к заметному снижению качества.

В релиз вошли предварительно обученные модели 3B, 10B и 28B с разрешениями 224px, 448px, 896px, модели, настроенные на наборе данных DOCCI для создания аннотаций к изображениям и их версии для JAX/FLAX.

Процесс файнтюна PaliGemma 2 такой же, как и у предыдущей версии. Разработчики предоставляют скрипт и ipynb-блокнот для тонкой настройки модели или создания LoRA/QLoRA.

Создание LoRA модели PaliGemma 2 на половине валидационного сплита VQAv2 заняло полчаса на 3-х A100 с 80 ГБ VRAM. Результат можно найти здесь, а это ее демо.

▶️Пример инференса модели paligemma2-10b-ft-docci-448 на Transformers:

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests

model_id = "google/paligemma2-10b-ft-docci-448"
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id)
model = model.to("cuda")
processor = AutoProcessor.from_pretrained(model_id)

prompt = "<image>caption en"
image_file = "% link_to_target_file%"
raw_image = Image.open(requests.get(image_file, stream=True).raw).convert("RGB")

inputs = processor(prompt, raw_image, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=20)

print(processor.decode(output[0], skip_special_tokens=True)[len(prompt):])

📌Лицензирование: Gemma License.

🟡

🟡

Коллекция на HF

🟡

Arxiv

@ai_machinelearning_big_data

#AI #ML #VLM #Google #PaliGemma

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

❤4👍3🔥1

1.87K views11:45

This media is not supported in your browser

VIEW IN TELEGRAM

🖥

MagicQuill — исследовательский проект, разработанный для интерактивного редактирования изображений с использованием моделей машинного обучения!

🌟 Этот инструмент позволяет выполнять такие задачи, как модификация цвета и структуры изображения, использование масок для выборочного редактирования и обработка изображений на основе подсказок (prompts). В основе проекта лежат технологии PyTorch и интеграция с Gradio для удобного интерфейса взаимодействия.

🔐 Лицензия: CC BY-NC 4.0

🖥

Github

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

👍5❤3🥰1

2.1K views14:01

📖 Эта статья рассматривает вопрос создания контрфактуальных данных с использованием языковых моделей!

💡 Контрфактуальные данные позволяют понять, как бы выглядело предложение, если бы оно было создано при определенных изменениях в модели. В статье авторы подчеркивают, что контрфактуальное рассуждение отличается от стандартных интервенционных подходов, таких как манипуляция представлениями моделей, поскольку основано на других концепциях причинности.

🌟 Авторы предлагают новый подход для генерации контрфактов, который основывается на формулировке языковых моделей как обобщенных структурных уравнений и использовании трюка Gumbel-max. Этот метод позволяет моделировать совместное распределение исходных строк и их контрфактуальных версий, что обеспечивает более точное понимание воздействия интервенций. Эксперименты показывают, что их алгоритм генерирует значимые контрфакты и демонстрирует, что традиционные методы интервенции имеют нежелательные побочные эффекты.

🔗 Ссылка: *клик*

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

❤2🔥1

1.9K views14:00

Forwarded from Machinelearning

📎

ML в медицине: дайджест за 1 - 7 декабря 2024 г.

▶️

Модели, бенчмарки и датасеты

🔘

SOAR: бенчмарк для оценки LLM в задачах аннотации типов клеток.
Тест, который проверяет, насколько хорошо модели могут понимать и анализировать сложные данные о клетках.

🔘

Повышение точности диагностики рентгенограмм грудной клетки с помощью анализа направления взгляда врачей.
Система 2-х нейросетей, которая помогает диагностировать заболевания по рентгенограммам грудной клетки и предсказывает, на какие области изображения врачи обращают внимание.

🔘

EchoONE: унифицированная модель для сегментации множества плоскостей эхокардиографии.
Модель, которая помогает врачам более точно анализировать снимки сердца, сделанные с помощью ультразвука, даже если снимки сделаны под разными углами.

▶️

Фреймворки и методологии

🔘

RARE: RAG-ризонинг.
Метод для улучшения способности рассуждать и давать точные ответы, используя комбинацию генерации и поиска информации для обогащения своих знаний.

🔘

STORM: cтратегия организации модальностей для классификации редких событий.
Алгоритм, который помогает выбрать лучшие источники информации для решения сложных медицинских задач.

🔘

TransFair: прогноз прогрессирования глазных заболеваний.
Модель классификации, которая помогает сделать прогнозы о глазных заболеваниях более справедливыми и точными.

🔘

PePR: оценка эффективности моделей с учетом потребления ресурсов.
Показатель, который помогает оценить, насколько эффективно модель использует ресурсы.

🔘

Оценка качества рентгенологических заключений с помощью сопоставления клинических данных с изображением.
Метод оценки качества автоматически сгенерированных рентгенологических отчетов, который учитывает точность описания патологических изменений, их локализации и степени выраженности.

▶️

Медицинские LLM-приложения

🔘

MedChain: LLM-агент и бенчмарк для принятия клинических решений.
Набор данных и система для имитации реальной клинической практики, где каждый случай включает подробную информацию о пациенте и требует активного сбора информации и принятия решений на основе предыдущих шагов.

🔘

QG-Summ: автореферирование медицинских записей с самоконтролем, управляемое запросами.
Метод, который помогает создавать краткие и точные отчеты о состоянии пациентов в электронных медкартах, используя запросы, связанные с пациентом, для руководства процессом.

🔘

CLINICSUM: генерация медицинских заключений из диалогов врача и пациента.
Фреймворк, который может автоматически создавать медицинские заключения на основе разговоров между врачом и пациентом, используя специальную архитектуру.

▶️

Исследования и обзоры

*️⃣

Проблемы производительности LLM для здравоохранения с учетом демографической справедливости.
Исследование проблемы демографической предвзятости популярных современных LLM в различных медицинских задачах.

*️⃣

Применение эмбединг-моделей для классификации медицинских текстов.
Статья о том, как использовать эмбединги для классификации медицинских текстов без необходимости обучения на медицинских данных.

*️⃣

BlockMedCare: блокчейн, ИИ и IoT для здравоохранения будущего.
Концепция системы для безопасного и эффективного управления электронными медицинскими картами, позволяя пациентам, врачам и администраторам взаимодействовать с системой на различных устройствах.

🔜

Читать полный дайджест

@ai_machinelearning_big_data

Please open Telegram to view this post

VIEW IN TELEGRAM

👍9❤3🔥2

1.63K views07:14