⚡️ The Tensor Cookbook: Свежий Гайд по тензорам
Эта компактная книга на 50 страниц даёт полное представление обо всём, что связано с тензорами.
Тензор — это обобщённое понятие для матриц с любым количеством измерений. Тензорами являются скаляры (тензоры нулевого ранга), векторы (тензоры первого ранга) и матрицы (тензоры второго ранга).
В книге также присутствует немало математики, которая поможет глубже понять работу с тензорами.
📚 Книга
@data_analysis_ml
Эта компактная книга на 50 страниц даёт полное представление обо всём, что связано с тензорами.
Тензор — это обобщённое понятие для матриц с любым количеством измерений. Тензорами являются скаляры (тензоры нулевого ранга), векторы (тензоры первого ранга) и матрицы (тензоры второго ранга).
В книге также присутствует немало математики, которая поможет глубже понять работу с тензорами.
📚 Книга
@data_analysis_ml
❤17👍4🔥3
Визуализируйте Google Таблицы с помощью Grafana или используйте Google Таблицы в качестве источника данных для Grafana.
GitHub: https://github.com/grafana/google-sheets-datasource
#data #moni #grafana #datasource
GitHub: https://github.com/grafana/google-sheets-datasource
#data #moni #grafana #datasource
❤13🔥8👍6🥱1
MoMo - метод интерполяции видеокадров VFI, основанный на диффузии, который улучшает качество изображения, за счет генеративного моделирования промежуточного движения.
Метод строится на рассогласованном двухэтапном процессе обучения. Сначала обучается модель синтеза кадров для генерации кадров из входных пар и их оптических потоков. Затем обучается модель диффузии движения, разработанной для оптических потоков, для создания двунаправленных потоков между кадрами.
В процессе создания модели использовался набор данных Vimeo90k, содержащий 51 312 видеотриплетов, где каждый триплет состоит из двух входных кадров и одного целевого промежуточного кадра.
Этот метод, используя простое низкочастотное представление движений, достигает высокого качества при меньших вычислительных требованиях по сравнению с другими генеративными методами моделирования.
Демо результаты MoMo для 2K и 4К видеороликов можно посмотреть на Google Drive.
⚠️ Перед установкой загрузите модель для инференса и сохраните в папку проекта так, чтобы иерархический путь выглядел так:
MoMo/experiments/diffusion/momo_full/weights/model.pth
# Create venv
conda create -n momo python=3.10.9
conda activate momo
# Install requirements
pip install -r requirements.txt
# Run x2 interpolation on single GPU
python demo.py --video <path_to_video.mp4> --output_path <path_to_x2_video.mp4>
▪Arxiv
▪Модель
▪Сообщество в Discord
▪Github
@data_analysis_ml
#AI #ML #Diffusers #Interpolation #MoMo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤4🔥2
Forwarded from Machinelearning
Это потрясающе! Новая 🤯 Llama 3 Reflection 70 превосходит, AnthropicAI
Claude 3.5 Sonnet и GPT-4o.
Reflection Tuning LLM обучена на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. 👀
1️⃣ Алгоритм начинает с вывода своих рассуждений в тегах
2️⃣ Если модель обнаруживает ошибку в своих рассуждениях, она использует теги
3️⃣ Удовлетворившись своими рассуждениями, модель предоставляет окончательный ответ в тегах
Результаты модели:
🏆 89,9% MMLU, 79,7% MATH, 90,1% IFEval > Sonnet 3.5, GPT-4o
🥇 Лучший в мире открытый LLM (на момент выпуска)
🦙 Обучен на базе Llama 3.1 70B Instruct с новыми специальными токенами для <мышления>, <рефлексии>, <вывода>
🚀 405B модель в разработке, ожидается, что это будет лучшая из существующих моделей
🤗 Доступна на HF
📚 Набор данных и отчет об обучении будут готовы на следующей неделе.
Модель: https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B
@ai_machinelearning_big_data
#llama #opensource #llm
Claude 3.5 Sonnet и GPT-4o.
Reflection Tuning LLM обучена на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. 👀
1️⃣ Алгоритм начинает с вывода своих рассуждений в тегах
<thinking>.2️⃣ Если модель обнаруживает ошибку в своих рассуждениях, она использует теги
<reflection> в разделе <thinking>, чтобы сигнализировать об этом и попытаться исправить себя.3️⃣ Удовлетворившись своими рассуждениями, модель предоставляет окончательный ответ в тегах
<output>.Результаты модели:
🏆 89,9% MMLU, 79,7% MATH, 90,1% IFEval > Sonnet 3.5, GPT-4o
🥇 Лучший в мире открытый LLM (на момент выпуска)
🦙 Обучен на базе Llama 3.1 70B Instruct с новыми специальными токенами для <мышления>, <рефлексии>, <вывода>
🚀 405B модель в разработке, ожидается, что это будет лучшая из существующих моделей
🤗 Доступна на HF
📚 Набор данных и отчет об обучении будут готовы на следующей неделе.
Модель: https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B
@ai_machinelearning_big_data
#llama #opensource #llm
👍12🤨4❤3🔥3⚡1🍌1
🔥 Официально выпущен DeepSeek v2.5 238B параметров
📏 Контекстное окно 128K
🚀 Arena Hard 76,3%, оценка Alpaca 50,52%
По внутренним китайским оценкам, DeepSeek-V2.5 демонстрирует значительное улучшение показателей по сравнению с GPT-4o mini и ChatGPT-4o-последней версией (по данным GPT-4o).
✅ Хорошие показатели в кодинге HumanEval на 89%, LiveCodeBench 41%
✅ Доступен на Hugging Face, совместим с Transformers
📈 Улучшен показатель MT Bench: с 8,84 до 9,02
https://huggingface.co/deepseek-ai/DeepSeek-V2.5
@data_analysis_ml
📏 Контекстное окно 128K
🚀 Arena Hard 76,3%, оценка Alpaca 50,52%
По внутренним китайским оценкам, DeepSeek-V2.5 демонстрирует значительное улучшение показателей по сравнению с GPT-4o mini и ChatGPT-4o-последней версией (по данным GPT-4o).
✅ Хорошие показатели в кодинге HumanEval на 89%, LiveCodeBench 41%
✅ Доступен на Hugging Face, совместим с Transformers
📈 Улучшен показатель MT Bench: с 8,84 до 9,02
https://huggingface.co/deepseek-ai/DeepSeek-V2.5
@data_analysis_ml
❤10👍5🔥4
⚡️ Awesome GPT Super Prompting
Большой курируемый список методов обхода ограничений на модели GPT.
- GPT Джейлбрейки
- GPT Prompt Leaks
- GPT Prompt Injection
- LLM Prompt Security
- Prompt Hack
- Prompt Security
- AI Prompt Engineering
- Adversarial Machine Learning
▪ Github
@data_analysis_ml
Большой курируемый список методов обхода ограничений на модели GPT.
Внутри: - GPT Джейлбрейки
- GPT Prompt Leaks
- GPT Prompt Injection
- LLM Prompt Security
- Prompt Hack
- Prompt Security
- AI Prompt Engineering
- Adversarial Machine Learning
▪ Github
@data_analysis_ml
👍11❤6🔥4
🔥 Свежее руководство по выбору моделей OpenAI.
Уроки, приведенные в руководстве, могут быть актуальны и для других LLM.
Смотрите мое подробное пошаговое руководство здесь: https://youtu.be/6txavb0VLR8
@data_analysis_ml
Уроки, приведенные в руководстве, могут быть актуальны и для других LLM.
Смотрите мое подробное пошаговое руководство здесь: https://youtu.be/6txavb0VLR8
@data_analysis_ml
YouTube
How to select the right LLM?
Use code YOUTUBE20 to get an extra 20% off my new prompt engineering course here: https://dair-ai.thinkific.com/courses/introduction-prompt-engineering
IMPORTANT: The discount is limited to the first 500 students.
On selecting the right model and a framework…
IMPORTANT: The discount is limited to the first 500 students.
On selecting the right model and a framework…
❤6👍6🔥2⚡1
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.iss.one/ai_machinelearning_big_data
C++ t.iss.one/cpluspluc
Python: t.iss.one/pro_python_code
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/devOPSitsec
АНАЛИЗ Данных: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
Базы данных: t.iss.one/sqlhub
Linux: t.iss.one/linuxacademiya
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
Собеседования МЛ: t.iss.one/machinelearning_interview
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
МАШИННОЕ ОБУЧЕНИЕ: t.iss.one/ai_machinelearning_big_data
C++ t.iss.one/cpluspluc
Python: t.iss.one/pro_python_code
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/devOPSitsec
АНАЛИЗ Данных: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
Базы данных: t.iss.one/sqlhub
Linux: t.iss.one/linuxacademiya
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
Собеседования МЛ: t.iss.one/machinelearning_interview
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
❤5🥱4👍2🔥1
Media is too big
VIEW IN TELEGRAM
В большинстве современных исследований по ИИ, глубокие нейронные сети (DNN) разрабатываются исключительно для улучшения точности прогнозирования, часто игнорируя реальные ограничения - требования к вычислительным мощностям и памяти.
Авторы исследований обычно предпочитают использовать SOTA DNN из научной литературы из-за описанных экспериментов и накопленного в них опыта, необходимых для разработки новых моделей.
Однако эти DNN зачастую требовательны к ресурсам, чтобы работать на оборудовании с ограниченной ресурсоемкостью, например, на встроенных процессорах. Для решения этой проблемы была предложена технология "Neural Architecture Search (NAS)", это поиск компромисса между оптимальным дизайном сети и эффективным развертыванием.
В представленном на саммите Embedded Vision Summit (05/2024) докладе, Хирам Райо Торрес Родригес, Senior AI Research Engineer в компании NXP Semiconductors, объясняет принципы технологии NAS и ее применении для оптимизации моделей машинного зрения на устройствах с ограниченными ресурсами.
Он показывает, как NAS может обеспечить эффективную реализацию проекта машинного зрения учитывая аспекты развертывания, чтобы получить индивидуальные решения для Edge-узла и как решить проблему масштабируемости NAS с помощью умного дизайна пространства поиска и эффективного выбора оценки производительности.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍7🔥2
✔ xLAM: семейство больших моделей действий для расширения возможностей систем агентов ИИ
Серия больших моделей действий от Salesforce, предназначенных для задач агентов ИИ. Включает пять моделей с плотной и смешанной экспертной архитектурой, варьирующейся от 1B до 8x22B параметров. По использованию инструментов превосходит GPT-4, Claude-3 и многие другие модели.
▪Статья: https://arxiv.org/abs/2409.03215
▪Модели: https://huggingface.co/collections/Salesforce/xlam-models-65f00e2a0a63bbcd1c2dade4
@data_analysis_ml
Серия больших моделей действий от Salesforce, предназначенных для задач агентов ИИ. Включает пять моделей с плотной и смешанной экспертной архитектурой, варьирующейся от 1B до 8x22B параметров. По использованию инструментов превосходит GPT-4, Claude-3 и многие другие модели.
▪Статья: https://arxiv.org/abs/2409.03215
▪Модели: https://huggingface.co/collections/Salesforce/xlam-models-65f00e2a0a63bbcd1c2dade4
@data_analysis_ml
❤10🤣5👍3🔥2
🔥 Новая модель Qwen2-VL-7B Instruct с точностью *100 %* извлекает текст из этого рукописного документа.
Это первая открытая весовая модель (Apache 2.0), которую я видел настолько точным OCR.
https://huggingface.co/spaces/GanymedeNil/Qwen2-VL-7B
@data_analysis_ml
Это первая открытая весовая модель (Apache 2.0), которую я видел настолько точным OCR.
https://huggingface.co/spaces/GanymedeNil/Qwen2-VL-7B
@data_analysis_ml
👍32❤9🔥9😱1
В рамках проекта Open-MAGVIT2 создается открытая копия токенизатора MAGVIT-v2 компании Google и достигается SOTA производительности (1.17 rFID) на ImageNet.
▪Github
▪Hf
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤4🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Полезный инструмент для форматирования файлов на Python, который уделяет внимание организации кода в четыре основные секции: импорты, константы, классы и функции.
В отличие от других
автоформатеров, ориентированных на выравнивание и оформление кода, Tato делает акцент на упорядочивании структуры файла, что повышает его читаемость и упрощает работу с вашим кодом.#opensource #python #terminal #полезныйсофт
▪ Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤4🔥3