Анализ данных (Data analysis)
46.3K subscribers
2.3K photos
264 videos
1 file
2.04K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
⚡️ Tele FLM 1T

На Hugging Face на днях появилась open-source LLM с 1 триллионом параметров.
Tele-FLM-1T — это многоязычная LLM с открытыми весами, отличающаяся расширенными возможностями оценки фактов (по крайней мере со слов разработчиков)

Модель построена на базе архитектуры трансформера, обучена примерно на 2Т лексем.
Веса модели открыты, также прилагаются полезные инструкции и т.д.

🤗 Hugging Face

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍125🔥3🤨1
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.iss.one/ai_machinelearning_big_data
C++ t.iss.one/cpluspluc
Python: t.iss.one/pythonl
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/devOPSitsec
АНАЛИЗ Данных: https://t.iss.one/+y_viT9uBdftkZDFi
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
Базы данных: t.iss.one/sqlhub
Linux: t.iss.one/linuxacademiya
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
Собеседования МЛ: t.iss.one/machinelearning_interview
МАТЕМАТИКА: t.iss.one/data_math
C++ собеседования: t.iss.one/cppsobes
Kubernets: t.iss.one/kubernetc


💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno

🎓954ГБ открытых КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
4👍4🔥1
🌟 Lets-Plot: мощная библиотека для визуализации данных на Python

pip install lets-plot

Lets-Plot — библиотека от JetBrains, созданная на основе принципов Grammar of Graphics, как и знаменитая ggplot2 для R.

Особенности и преимущества:

- Мультиплатформенность: Lets-Plot работает как в блокнотах Python (Jupyter, Datalore, Kaggle и др.), так и в IDE PyCharm и IntelliJ IDEA.

- Интерактивные возможности: Поддержка интерактивных карт с возможностью увеличения и перемещения, а также кастомизация подсказок и аннотаций.

- Геопространственная визуализация: Простая интеграция с GeoDataFrame и мощный модуль геокодирования.

- Экспорт графиков: Сохранение графиков в формате SVG, HTML, PNG и PDF с помощью функций ggsave(), to_svg(), to_html(), to_png() и to_pdf().

- Поддержка режима без JavaScript и оффлайн-режима: Lets-Plot генерирует графики как простые SVG-изображения, что обеспечивает работу без Интернет-соединения.


🖥 GitHub
🟡 Доки

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2710🔥4👏1
Media is too big
VIEW IN TELEGRAM
Лекция Эрика Шмидта (бывший CEO Google) в Стэнфорде про будущее AI. Полная запись, которая была удалена с Ютуба.

@data_analysis_ml
👍198🔥8🤔1
⚡️ LLM Compressor

Neural Magic выпустили LLM Compressor: Новую библиотеку для сжатия LLM модели для более быстрого инференса с помощью vLLM.

pip install llmcompressor

Github
Blog

@data_analysis_ml
👍194🔥4
LongWriter с открытым исходным кодом: позволяет генерировать более 10 000 слов из Long Context Lms

Это один из самых мощных LLM с поддержкой long context, который я когда-либо использовал.

Я в восторге)

Самое главное - открытый исходный код.

Github

@data_analysis_ml
👍118🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
🤗 Hugging Face выпустили пошаговый гайд по созданию и обучению своей личной робо-руки.

Компания Hugging Face опубликовала подробную инструкцию по созданию и обучению роботизированной руки.


В ней подробно рассказывается, где приобрести необходимые компоненты, как настроить нейронную сеть, а также приведены лекции, иллюстрирующие процесс сборки.

Крутой бесплатный курс - рекомендуем)

@vistehno
👍137🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Flux Schnell в новом Diffusion Kit с MLX работает на 30% быстрее и использует меньше оперативной памяaти!

pip install -U diffusionkit

На моем ноутбуке M1 max объемом 32 ГБ я создаю высококачественные изображения меньше чем за минуту:

Github

@data_analysis_ml
👍108🔥4
⚡️ Microsoft Phi 3.5: Новые instruct модели.

Представлены модели:

Phi-3.5-mini-instruct: 3.82B параметров, 128K контекст, улучшено понимание кода, математические операции, на 5 пунктов подросло знание русского языка (по бенчмарку Multilangual MMLU):

🟢Демо
🟠GGUF-версии от 2-bit (1.32 Gb) до 32-bit (15/3GB)
🟠MLX-верcии для Mac

Phi-3.5-vision-instruct: 4.15B параметров, 128К контекст, улучшено описание графиков и таблиц, суммаризация по нескольким изображениям и видео, классификация художественных стилей по изображению:

🟢Демо
🟠MLX-верcии для Mac

Phi-3.5-MoE-instruct: 16x3.8B параметров, 6.6B активных параметров при использовании 2 агентов, 128К контекст, актуальность датасета обучения - октябрь 2023:

🟢Демо
🟠MLX-верcии для Mac


📌Лицензирование : MIT License

@data_analysis_ml

#AI #Phi #LLM #ML #Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍125🔥5
🌟 Не так давно вышла новая версия AuraFlow — v0.2

Как вы помните, AuraFlow — это крупнейшая открытая text-to-image модель.
AuraFlow v0.2 была обучена с использованием большего количества вычислительных ресурсов по сравнению с предыдущей версией, AuraFlow v0.1.

AuraFlow v0.2 показывает передовые результаты на GenEval;
на данный момент модель находится в бета-версии.

🤗 Hugging Face

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍107🔥2
💾 LLM Datasets

В нем есть множество высококачественных наборов данных и инструментов для тонкой настройки, очистки, генерации и исследования данных.

Я молча поддерживал его в течение последних месяцев. Особая благодарность geronimi73, Bytes-Explorer и eclipse за их поддержку.

Githib

@data_analysis_ml
👍189🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
🦧 Sapiens: новая SOTA ViTs для задач CV, связанных с обнаружением людей 🦧

Sapiens - семейство моделей для задач CV: оценки 2D-позы, сегментации частей тела, оценки глубины.

Модели поддерживают вывод данных в 1K hi-res. и очень легко адаптируются под конкретные задачи путем простого файнтюнига.

Модель предварительно обучена на более чем 300 миллионах изображений человека в естественных условиях. 💙

HF: huggingface.co/papers/2408.12569
Paper https://arxiv.org/pdf/2408.12569

@data_analysis_ml
14👍9🔥5
🌟 ProLLM: бенчмарк на компетентность языковых моделей в программировании.

Разработчик и автор корпоративного code со-pilot Toqan и FinBERT pfgecnbk запустил публичный Leaderbord бенчмарка ProLLM, в котором языковые модели открытого и закрытого типа тестируются на выполнения различных задач в области программирования:

🟠сoding assistant, создание кода на 27 языках, включая R, ассемблер, haskell, delhi и ada;
🟠StackUnseen, вопросы и ответы из неопубликованных в датасетах данных Stack Overflow за последние 3 месяца;
🟠вызов функций, оценка способности LLM интерпретировать запросы и вызывать соответствующие функции с правильными параметрами;
🟠SQL Disambiguation (только на Португальском языке), оценка того, как тестируемая модель выявляет двусмысленность запроса SQL и определяет, когда требуется уточнение;
🟠извлечение сущностей (только на Польском языке), дает представление об общей эффективности извлечения сущностей и маркировки LLM на непопулярных языках.

Помимо узкоспециализированных тестов, бенчмарк выполняет несколько общих тестов: Q&A Assistant, Summarization и LLM as a Judge.

На сегодняшний день возможность самостоятельного тестирования моделей этим бенчмарком не реализована, но разработчики открыты для диалога в вопросе корпоративного применения своей системы оценки, с ними можно связаться через форму на сайте.

Toqan ProLLM Leaderboard


@data_analysis_ml

#AI #LLM #ML #Benchmark
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍96🔥2🥱1🍌1