—
pip install 'axlearn[apple-silicon]'
Система конфигурации AXLearn позволяет пользователям создавать модели из многократно используемых строительных блоков и интегрировать их с другими библиотеками, такими как Flax и Hugging Face transformers.
AXLearn создана для масштабирования — она поддерживает обучение моделей с сотнями миллиардов параметров на тысячах GPU.
AXLearn также поддерживает работу в публичных облаках и предоставляет инструменты для развертывания и управления моделями.
Поддерживает широкий спектр приложений, включая NLP, CV и распознавание речи, и содержит базовые конфигурации для обучения современных моделей.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤6🔥2😐1
—
pip install d3rlpy
d3rlpy уделяет большое внимание простоте использования; эта библиотека предназначена не только для исследователей, но и для практиков, работающих над обычными проектами.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11❤4🏆2🥰1
В следующий раз, когда будете выбирать бенчмарки для оценки модели, ознакомьтесь с этой корреляционной матрицей из статьи MixEval.
Удобно смотреть производительность чат-ботов на арене, идеально подходит для поиска чат-ботов общего назначения.
🌀 MixEval: https://mixeval.github.io
Удобно смотреть производительность чат-ботов на арене, идеально подходит для поиска чат-ботов общего назначения.
🌀 MixEval: https://mixeval.github.io
❤15🔥5👍3😁1
—
pip install textgrad
TextGrad может оптимизировать неструктурированные переменные, такие как текст. Пусть у нас есть исходное решение математической задачи, мы хотим, чтобы это решение выглядело лучше. Вот как можно реализовать это в коде с помощью TextGrad и GPT-4o:
tg.set_backward_engine("gpt-4o")
initial_solution = """To solve the equation 3x^2 - 7x + 2 = 0, we use the quadratic formula:
x = (-b ± √(b^2 - 4ac)) / 2a
a = 3, b = -7, c = 2
x = (7 ± √((-7)^2 - 4 * 3(2))) / 6
x = (7 ± √(7^3) / 6
The solutions are:
x1 = (7 + √73)
x2 = (7 - √73)"""
# Define the variable to optimize, let requires_grad=True to enable gradient computation
solution = tg.Variable(initial_solution,
requires_grad=True,
role_description="solution to the math question")
# Define the optimizer, let the optimizer know which variables to optimize, and run the loss function
loss_fn = tg.TextLoss("You will evaluate a solution to a math question. Do not attempt to solve it yourself, do not give a solution, only identify errors. Be super concise.")
optimizer = tg.TGD(parameters=[solution])
loss = loss_fn(solution)
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤5👍5
На днях Nvidia выкатили HelpSteer2, который позволяет сделать модели фактологически корректными и последовательными, плюс регулирует сложность и многословность их ответов.
При обучении базовой Llama 3 70B на HelpSteer2 модель достигает 88.8% в RewardBench, что делает ее 4-й лучшей Reward-моделью на текущий момент
🤗 Hugging Face
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10❤4🔥3
—
pip install getdaft
Daft — это распределенный движок запросов для обработки больших данных на Python; реализован на Rust.
Многие идеи Daft позаимствовал из Apache Arrow In-Memory
Особенности Daft
— встроенный мощный оптимизатор переписывает запросы, чтобы сделать их максимально эффективными
— есть полная интеграция с такими системами как Apache Iceberg
— имеется поддержка изображений, URL, тензоров и других самых разных объектов
— рекордная производительность ввода-вывода для интеграции с облачным хранилищем S3
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤5🔥2
Media is too big
VIEW IN TELEGRAM
—
pip install pysr
PySR создан для решения задачи символьной регрессии, т.е. для нахождения интерпретируемого символьного выражения, которое корректно описывает наблюдаемые данные.
PySR был разработан с нуля, чтобы быть
(1) как можно более высокопроизводительным,
(2) как можно более настраиваемым, гибким и
(3) простым в использовании.
Параллельно с PySR развивается библиотека Julia SymbolicRegression.jl, которая отвечает за нагруженные компоненты PySR, в частности за алгортм поиска.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥5❤4
TabuLa-8B обучена на корпусе TabLib.
Модель подробно описана в статье "Large Scale Transfer Learning for Tabular Data through Language Modeling".
🤗 Hugging Face
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥4❤3
—
import Pkg; Pkg.add("Lux")
Lux бесшовно интегрируется с CUDA и AMDGPU, также поддерживается экспериментальная поддержка Metal Hardware.
Фреймворк используется по умолчанию во многих пакетов SciML, включая DiffEqFlux.jl, NeuralPDE.jl и другие.
Lux изначально поддерживает произвольные типы параметров, что делает его совместимым с другими пакетами Julia (и даже с пакетами, не относящимися к Julia).
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤5🔥3
Всё остальное — просто для повышения эффективности и т.д.
Это код
engine.py
из проекта Micrograd. Micrograd – это небольшая реализация нейронной сети от Карпати, написанная на чистом Python без библиотек, в которой вычислительными единицами выступают не векторы и матрицы, а скалярные величины.
Micrograd представляет из себя комбинацию нескольких взаимодополняющих частей:
— небольшого построителя и оценивателя выражений на основе графа;
— автоматической дифференциации в обратном режиме для того же самого графа вычислений;
— строительных блоков нейронной сети для многослойного перцептрона
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤8🔥8🤨3🤣2
—
pip install sf-hamilton
Чтобы создать граф при помощи Hamilton, ничего особенного не требуется: нужно просто писать обычные функции Python, которые указывают свои зависимости с помощью параметров.
Как раз по этим параметрам Hamilton и построит граф, по которому можно легко увидеть, как преобразуются данные и передаются из одной функции в другую
Hamilton может быть очень полезным инструментом при работе с большими конвейерами данных и в ML-системах
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16❤7🔥4
⚡️Лучший способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
C#: t.iss.one/csharp_ci
Машинное обучение: t.iss.one/ai_machinelearning_big_data
АНАЛИЗ Данных: t.iss.one/data_analysis_ml
Хакинг: t.iss.one/linuxkalii
Linux: t.iss.one/linuxacademiya
Базы данных: t.iss.one/sqlhub
C++ t.iss.one/cpluspluc
Golang: t.iss.one/Golang_google
Java: t.iss.one/javatg
React: t.iss.one/react_tg
Javascript: t.iss.one/javascriptv
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/+0WdB4uvOwCY0Mjdi
Python: t.iss.one/pythonl
Rust: t.iss.one/rust_code
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Big Data: t.iss.one/bigdatai
Devops: t.iss.one/devOPSitsec
Собеседования МЛ: t.iss.one/machinelearning_interview
Python подготовка с собесу: t.iss.one/python_job_interview
МАТЕМАТИКА: t.iss.one/data_math
💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
C++ папка: https://t.iss.one/addlist/CdBs5DLepLJmZjY6
C# папка: https://t.iss.one/addlist/u15AMycxRMowZmRi
Java папка: https://t.iss.one/addlist/ZM3J6oFNAnRlNWU6
FRONTEND папка: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
Linux папка: https://t.iss.one/addlist/w4Doot-XBG4xNzYy
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
C#: t.iss.one/csharp_ci
Машинное обучение: t.iss.one/ai_machinelearning_big_data
АНАЛИЗ Данных: t.iss.one/data_analysis_ml
Хакинг: t.iss.one/linuxkalii
Linux: t.iss.one/linuxacademiya
Базы данных: t.iss.one/sqlhub
C++ t.iss.one/cpluspluc
Golang: t.iss.one/Golang_google
Java: t.iss.one/javatg
React: t.iss.one/react_tg
Javascript: t.iss.one/javascriptv
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/+0WdB4uvOwCY0Mjdi
Python: t.iss.one/pythonl
Rust: t.iss.one/rust_code
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Big Data: t.iss.one/bigdatai
Devops: t.iss.one/devOPSitsec
Собеседования МЛ: t.iss.one/machinelearning_interview
Python подготовка с собесу: t.iss.one/python_job_interview
МАТЕМАТИКА: t.iss.one/data_math
💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
C++ папка: https://t.iss.one/addlist/CdBs5DLepLJmZjY6
C# папка: https://t.iss.one/addlist/u15AMycxRMowZmRi
Java папка: https://t.iss.one/addlist/ZM3J6oFNAnRlNWU6
FRONTEND папка: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
Linux папка: https://t.iss.one/addlist/w4Doot-XBG4xNzYy
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
👍7❤3🥰2