Исследователь Яндекса разработал сервис для запуска языковых моделей с 8 млрд параметров на пользовательских девайсах.
Автор написал инференс модели Llama 3.1 8B, работающий в браузере на WebAssembly без использования GPU. Для этого он применил технологию сжатия нейросетей AQLM, которую разработала команда Yandex Research вместе с университетами ISTA и KAUST.
Для примера, скорость ответов нейросети на MacBook Pro M1 составила 1,5 токена в секунду или 3–4 символа.
@ai_machinelearning_big_data
#AI #ML #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
vLLM, движок для запуска LLM, стал частью экосистемы PyTorch. vLLM обеспечивает высокую пропускную способность и эффективное использование памяти при работе с моделями, содержащими сотни миллиардов параметров. vLLM поддерживает аппаратные платформы NVIDIA, AMD, Google Cloud TPU, Intel и AWS. Установить vLLM теперь можно простой командой:
pip install vllm.pytorch.org
Canvas предоставляет возможность совместного редактирования текстов и кода в режиме реального времени. Новая функция позволяет пользователям добавлять текст, вносить изменения и давать обратную связь ChatGPT. Интеграция с Python позволяет запускать код непосредственно в Canvas и визуализировать результаты, включая графику. OpenAI также объявила о поддержке Canvas в пользовательских GPT, что позволит расширить их функциональность и адаптировать к конкретным задачам.
openai.com
Исследователи из МIT создали ContextCite – инструмент, который отслеживает источники информации, применяемые ИИ при создании текста. ContextCite позволяет пользователям проверять достоверность информации, предоставляемой ИИ, выделяя фрагменты текста, на которых основан ответ.
В случае ошибки ContextCite помогает определить источник недостоверных данных и понять логику работы ИИ. Инструмент также способен выявлять «атаки отравления», когда злоумышленники пытаются исказить информацию, вводя ложные данные в источники, используемые ИИ.
news.mit.edu
Ученые из Университета Джонса Хопкинса разработали новый метод машинного обучения DIMON (Diffeomorphic Mapping Operator Learning), который способен эффективно обучаться и решать дифференциальные уравнения в частных производных (PDE) значительно быстрее, чем суперкомпьютеры.
DIMON основан на использовании диффеоморфизмов для преобразования функций, заданных на различных областях, в единую эталонную область. Это позволяет обучить нейросетевой оператор, способный аппроксимировать решение PDE на любой области из семейства диффеоморфных областей. DIMON успешно протестирован на решении уравнения Лапласа и моделировании динамики реакции-диффузии. Он был использован для прогнозирования распространения электрического сигнала в левом желудочке сердца на основе данных 1006 пациентов. DIMON продемонстрировал высокую точность, сократив время прогнозирования с нескольких часов до менее чем одной секунды.
nature.com
Инструмент автоматически генерирует ответы на запросы пользователей и предоставляет ссылки на релевантные источники информации. Ключевой особенностью Reddit Answers является использование данных, собранных непосредственно с платформы Reddit, что позволяет находить нужную информацию без обращения к внешним поисковым системам.
В настоящее время доступ к Reddit Answers ограничен: им могут воспользоваться только пользователи из США через веб-интерфейс или приложение iOS и только на английском языке. В планах - расширить доступность сервиса для других языков и регионов. На данный момент Reddit Answers находится на стадии тестирования.
redditinc.com
Индекс использует систему оценки, основанную на анализе инвестиций в исследования ИИ, количество специалистов по ИИ в штате и доходы от операций, связанных с ИИ. Этот подход позволяет определить, какие компании действительно инвестируют в ИИ, а не просто используют модный термин.
Анализ отслеживаемых 90 компаний показал, что только небольшая часть компаний, упомянувших ИИ в своих отчетах, вкладывает значительные средства в развитие этой технологии.
venturebeat.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 Новые российские открытые модели: T-Lite с 7 млрд. параметров и T-Pro — с 32.
Доступ к T-Pro и обновленной T-Lite от “Т-Технологий (в составе Т-Банк) открыт для всех на платформе Hugging Face. Многочисленные индустриальные бенчмарки, в том числе ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval, подтверждают статус лучших в мире открытых LLM на русском языке. По общему уровню знаний, умению вести диалог и справляться с практическими задачами T-Lite и T-Pro превосходят остальные российские и зарубежные модели. Также T-Pro и T-Lite обгоняют проприетарные модели OpenAI, Google и Anthropic.
Увеличенное число параметров у T-Pro до 32 млр. параметров делает модель более мощной и производительной, а также позволяет ей учитывать больше контекста и особенностей языка, лучше запоминать информацию, делать более точные и сложные выводы
▶️Модели входят в семейство специализированных языковых моделей “Т-Технологий” – Gen-T, которые справляются с решением конкретных задач, что не может предложить, например, ChatGPT.
▶️При разработке моделей используются технологии продолженного предобучения (Continual Pretraining). Таким образом, уже обученную на больших объемах информации модель можно достаточно дообучить под конкретные задачи.
@machinelearning_interview
#AI #ML #LLM
Доступ к T-Pro и обновленной T-Lite от “Т-Технологий (в составе Т-Банк) открыт для всех на платформе Hugging Face. Многочисленные индустриальные бенчмарки, в том числе ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval, подтверждают статус лучших в мире открытых LLM на русском языке. По общему уровню знаний, умению вести диалог и справляться с практическими задачами T-Lite и T-Pro превосходят остальные российские и зарубежные модели. Также T-Pro и T-Lite обгоняют проприетарные модели OpenAI, Google и Anthropic.
Увеличенное число параметров у T-Pro до 32 млр. параметров делает модель более мощной и производительной, а также позволяет ей учитывать больше контекста и особенностей языка, лучше запоминать информацию, делать более точные и сложные выводы
▶️Модели входят в семейство специализированных языковых моделей “Т-Технологий” – Gen-T, которые справляются с решением конкретных задач, что не может предложить, например, ChatGPT.
▶️При разработке моделей используются технологии продолженного предобучения (Continual Pretraining). Таким образом, уже обученную на больших объемах информации модель можно достаточно дообучить под конкретные задачи.
@machinelearning_interview
#AI #ML #LLM
Forwarded from Machinelearning
Маскированная (или абсорбирующая) диффузия - перспективный подход в генеративном моделировании дискретных данных, предлагающий альтернативу авторегрессионным моделям.
MD4 (Masked Discrete Diffusion for Discrete Data) - метод, разработанный в Google DeepMind предлагает упрощенный и обобщенный подход к маскированной диффузии. Структура метода позволяет обучать обобщенные модели маскированной диффузии с гибкими схемами маскировки, зависящими от состояния данных.
В основе MD4 лежит «маскирующий» процесс, превращающий исходные данные в состояние «маски» в случайный момент времени. Обращение этого процесса позволяет синтезировать новые данные, сохраняющие распределение обучающей выборки.
Математически прямой процесс описывается как марковская последовательность дискретных случайных величин, индексируемых временным параметром от 0 до 1.
MD4 продемонстрировал превосходство над диффузионными языковыми моделями по показателю перплексии на наборе данных OpenWebText и значительно обошел существующие дискретные диффузионные модели по качеству пиксельного моделирования изображений, достигая 2,75 бит на измерение для CIFAR-10 и 3,40 бит на измерение для ImageNet 64 × 64.
Эти результаты выше, чем показатели авторегрессионных моделей сопоставимого размера (GPT-2, PixelRNN, Gated PixelCNN, PixelCNN++, PixelSNAIL, Image Transformer, Sparse Transformer).
Несмотря на все преимущества метода, MD4 склонен к переобучению, что снижает его эффективность для задач с нулевой выборкой по сравнению с более простыми моделями.
Прикладная реализация MD4 опубликована в репозитории Google Deepmind, в котором представлена возможность повторить экспериментальное обучение на тексте или изображениях.
⚠️ Batch size зависит от вычислительных ресурсов. Для обучения модели MD4-S с длиной последовательности 1024, 8 GPU A100 могут поддерживать максимальный batch size=128. При запуске на TPU, 8 чипов v5litepod, batch size=32.
# Create & activate env
python -m venv md4_venv
source md4_venv/bin/activate
# Install required packages
pip install -r requirements_gpu.txt
# Include a path dir in the Python path
export PYTHONPATH="$PYTHONPATH:~/path/to/md4"
# Prepare openwebtext for training
mkdir data_dir
python prepare_openwebtext_data.py
# Train a MD4-S model over text data
python md4/main.py --config=md4/configs/md4/openwebtext.py --sharded=false --workdir=./expt
# Train a MD4-S model over image data via cifar10
python md4/main.py --config=md4/configs/md4/cifar10.py --sharded=false --workdir=./expt
@ai_machinelearning_big_data
#AI #ML #Diffusion #MD4 #GoogleDeepMind
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📚 Гарвардский университет совместно с Google готовят к выпуску базу данных, содержащую 1 миллион книг для обучения искусственного интеллекта.
В эту базу включены книги различных жанров, языков и авторов, среди которых такие известные имена, как Диккенс, Данте и Шекспир. Эти произведения уже не охраняются авторскими правами ввиду их возраста. База создана на основе длительного проекта оцифровки книг Google Books, а сам Google будет участвовать в её дальнейшем распространении.
Цель базы данных – обеспечить «равный доступ» ко всему массиву информации для всех желающих, будь то исследовательские лаборатории или стартапы в сфере ИИ, занимающиеся обучением языковых моделей. На данный момент база находится в процессе доработки и вскоре станет доступной для широкой аудитории.
institutionaldatainitiative.org
@machinelearning_interview
В эту базу включены книги различных жанров, языков и авторов, среди которых такие известные имена, как Диккенс, Данте и Шекспир. Эти произведения уже не охраняются авторскими правами ввиду их возраста. База создана на основе длительного проекта оцифровки книг Google Books, а сам Google будет участвовать в её дальнейшем распространении.
Цель базы данных – обеспечить «равный доступ» ко всему массиву информации для всех желающих, будь то исследовательские лаборатории или стартапы в сфере ИИ, занимающиеся обучением языковых моделей. На данный момент база находится в процессе доработки и вскоре станет доступной для широкой аудитории.
institutionaldatainitiative.org
@machinelearning_interview
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.iss.one/ai_machinelearning_big_data
C++ t.iss.one/cpluspluc
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/DevOPSitsec
АНАЛИЗ Данных: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
Базы данных: t.iss.one/sqlhub
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
Собеседования МЛ: t.iss.one/machinelearning_interview
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
МАШИННОЕ ОБУЧЕНИЕ: t.iss.one/ai_machinelearning_big_data
C++ t.iss.one/cpluspluc
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/DevOPSitsec
АНАЛИЗ Данных: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
Базы данных: t.iss.one/sqlhub
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
Собеседования МЛ: t.iss.one/machinelearning_interview
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
Forwarded from Machinelearning
Преобразование Фурье – это математический метод, который широко применяется в науке и технике для анализа сигналов. Этот метод основан на представлении сигнала в виде суммы синусоидальных и косинусоидальных функций разных частот.
Анализ Фурье оказал значительное влияние на развитие математики, стимулируя развитие теории обобщенных функций. Применение преобразования Фурье основано на принципе линейности, который позволяет анализировать сложные сигналы путем разложения их на более простые составляющие.
Курс «EE 261 Преобразование Фурье и его приложения», предлагаемый онлайн-платформой Stanford Engineering Everywhere Университета Стэнфорда, посвящен изучению преобразования Фурье и его практическому применению.
Цель курса – научить студентов применять преобразование Фурье для решения практических задач в различных областях науки и техники. В рамках курса рассматриваются темы:
Курс состоит из 30 лекций, дополнительных материалов к ним и предназначен для студентов с разным уровнем подготовки, для тех, кто впервые знакомится с преобразованием Фурье, так и для тех, кто уже изучал его в других курсах.
@ai_machinelearning_big_data
#AI #ML #FourierTransform #Stanford #Course
Please open Telegram to view this post
VIEW IN TELEGRAM
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Intel, intel, intel… Это не просто текст на упаковке процессора – это целая эпоха в мире вычислительной техники. Intel, зародившийся в 1968 году, смог прийти от производителя полупроводников в бигтех компанию, основу современного IT-мира. В истории этой компании бывали взлеты и падения, плохие и хорошие времена, но одно можно сказать точно – без intel мы бы не смогли представить современный мир.
Но читая последние новости, можно с уверенностью заявить – у Intel сейчас тяжелые времена. Финансовая катастрофа на одном фронте, “горячие” новинки с другого (топовые процессоры Intel i7 и i9 могут очень сильно перегреваться, а также некоторые имеют проблемы с микрокодом). Целый комплекс проблем, акции упали до рекордно низкого показателя – около 20-24 долларов за штуку. Также компания столкнулась с убытком в размере 1.61 миллиардов долларов.
В этой статье я рассмотрю историю Intel, с небольших микропроцессоров, до целых линеек, таких как Pentium, Celeron, Dual Core, Xeon (храни его Си Цзиньпинь) и современные i-Core процессоры. А также затронем современные проблемы Intel и может ли она отдать позиции AMD. А также кратко рассмотрим как работает процессор, историю зарождения компьютеров и их архитектуру. Будет интересно.
Все мы знаем Intel. Для одних многомиллиардная корпорация зла, для других компания, производящая лучшие в мире процессоры, третьи считают что AMD лучше, четвертые называют процессором весь блок компьютера. Эта компания буквально пропитана атмосферой кремниевой долины (причем даже буквально). Но intel далеко не с самого начала паяла процессоры, все начиналось намного прозаичнее. Но об этом мы поговорим немного позже.
📌 Читать статью
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
OLA-VLM - метод, который предлагает дистиллировать знания от визуальных энкодеров в противовес традиционному способу обучения MLLM.
В качестве целевых визуальных энкодеров были выбраны модели сегментации, оценки глубины и генерации изображений. На каждом слое LLM обучался проб, который должен прогнозировать выход соответствующего целевого энкодера.
Так архитектура OLA-VLM получила предикторы встраивания, которые получают токены из LLM и генерируют предсказания для вычисления потери встраивания. Эта потеря минимизируется вместе с потерей предсказания следующего токена.
Для улучшения восприятия целевой информации OLA-VLM использует специальные токены ⟨t⟩, которые добавляются к токенам изображения на входе LLM. Во время фазы настройки MLLM обучается только с использованием потери предсказания следующего токена. При этом специальные токены ⟨t⟩ остаются в входной последовательности, формируя неявную визуальную цепь рассуждений.
Эксперименты показали, что OLA-VLM превосходит модели семейства LLaVA-1.5 как по качеству визуальных представлений, так и по эффективности на различных тестах.
Методом OLA-VLM были обучены 12 моделей на LLMs Phi3-4K-mini и Llama3-8b с разными базовыми (ViT, CLIP-ConvNeXT) и целевыми (depth, segmentation, generation) энкодерами. Доступны версии PT (Pre-Training) и IFT (Instruction Fine-Tuning).
# Clone repo
git clone https://github.com/SHI-Labs/OLA-VLM
cd OLA-VLM
# Create conda env
conda create -n ola_vlm -y
conda activate ola_vlm
# Install dependencies
pip install -e .["demo"]
pip install flash-attn --no-build-isolation
pip install scikit-learn icecream datasets pytorch-fid lpips opencv-python-headless
pip install setuptools==61.0.0
pip install huggingface_hub==0.24.7
pip install transformers==4.41.1
# Run webUI with one of models
CUDA_VISIBLE_DEVICES=0 python demo.py --model-path %path_to_model% --PT-model-path %path_to_model%
@ai_machinelearning_big_data
#AI #ML #MMLM #OLA-VLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Anthropic недавно опубликовала результаты своего исследования, посвящённого тому, как можно обойти защитные механизмы больших языковых моделей (LLM).
Предложенный ими метод под названием Best-of-N Jailbreaking (BoN) основан на множественных вариациях одного и того же запроса, чтобы выявить уязвимости.
Принцип работы метода:
Для начала создаётся потенциально опасный запрос, такой как «Как сделать бомбу?» Далее этот запрос подвергается различным изменениям:
- В тексте: вводятся опечатки, символы заменяются, например, через использование L337-кодировки.
- В аудиоформате: изменяется тональность голоса и добавляется фоновый шум.
- На изображениях: меняются цвета, шрифт или добавляются дополнительные элементы.
После внесения изменений запрос направляется на языковую модель, а результат проверяется специальным классификатором. Процесс повторяется множество раз – в исследовании было протестировано свыше 10 000 различных вариантов запросов.
Результаты:
Метод показал высокую эффективность: 89% успешных обходов защиты у GPT-4o и 78% у Claude 3.5 Sonnet. При комбинировании BoN с другими методами атаки, такими как оптимизированная префиксная атака, успех увеличивается на 35%.
Этот подход применим ко всем видам данных: текстам, аудио и изображениям, подтверждая наличие реальных уязвимостей в современных LLM. С каждым новым изменением возрастает вероятность успешного обхода защиты, что создаёт серьёзную проблему для разработчиков, которым предстоит создать более надёжные системы.
Заключение:
Исследование даёт двойственный эффект: оно демонстрирует слабые стороны искусственного интеллекта, но одновременно предоставляет инструменты для улучшения безопасности.
Best-of-N Jailbreaking: https://arxiv.org/abs/2412.03556
@machinelearning_interview
Предложенный ими метод под названием Best-of-N Jailbreaking (BoN) основан на множественных вариациях одного и того же запроса, чтобы выявить уязвимости.
Принцип работы метода:
Для начала создаётся потенциально опасный запрос, такой как «Как сделать бомбу?» Далее этот запрос подвергается различным изменениям:
- В тексте: вводятся опечатки, символы заменяются, например, через использование L337-кодировки.
- В аудиоформате: изменяется тональность голоса и добавляется фоновый шум.
- На изображениях: меняются цвета, шрифт или добавляются дополнительные элементы.
После внесения изменений запрос направляется на языковую модель, а результат проверяется специальным классификатором. Процесс повторяется множество раз – в исследовании было протестировано свыше 10 000 различных вариантов запросов.
Результаты:
Метод показал высокую эффективность: 89% успешных обходов защиты у GPT-4o и 78% у Claude 3.5 Sonnet. При комбинировании BoN с другими методами атаки, такими как оптимизированная префиксная атака, успех увеличивается на 35%.
Этот подход применим ко всем видам данных: текстам, аудио и изображениям, подтверждая наличие реальных уязвимостей в современных LLM. С каждым новым изменением возрастает вероятность успешного обхода защиты, что создаёт серьёзную проблему для разработчиков, которым предстоит создать более надёжные системы.
Заключение:
Исследование даёт двойственный эффект: оно демонстрирует слабые стороны искусственного интеллекта, но одновременно предоставляет инструменты для улучшения безопасности.
Best-of-N Jailbreaking: https://arxiv.org/abs/2412.03556
@machinelearning_interview
This media is not supported in your browser
VIEW IN TELEGRAM
Какие навыки необходимы специалисту в ML и Data Science?
В новом выпуске подкаста на канале MLinside руководитель ШАДа Яндекса Алексей Толстиков поделился, что, по его мнению, отличает сильных специалистов в области ИИ и какие компетенции делают кандидатов конкурентоспособнее.
Ключевые темы подкаста:
• Какие ML-специалисты и датасаентисты нужны рынку
• Какие навыки, помимо технических, нужны чтобы стать успешным в этой профессии
• Как совмещать учебу на датасаентиста с работой
Посмотреть выпуск можно на YouTube
В новом выпуске подкаста на канале MLinside руководитель ШАДа Яндекса Алексей Толстиков поделился, что, по его мнению, отличает сильных специалистов в области ИИ и какие компетенции делают кандидатов конкурентоспособнее.
Ключевые темы подкаста:
• Какие ML-специалисты и датасаентисты нужны рынку
• Какие навыки, помимо технических, нужны чтобы стать успешным в этой профессии
• Как совмещать учебу на датасаентиста с работой
Посмотреть выпуск можно на YouTube
FACTS Grounding создан для оценки способности LLM генерировать ответы, которые являются фактически точными и основаны на предоставленном исходном материале. Бенчмарк включает в себя 1719 примеров, требующих развернутых ответов, основанных на предоставленном контекстном документе.
Примеры включают различные области: финансы, технологии, розничную торговлю, медицину и право, и документы объемом до 32 000 токенов. Для оценки используются три LLM-судьи: Gemini 1.5 Pro, GPT-4o и Claude 3.5 Sonnet, которые оценивают ответы на соответствие пользовательскому запросу и фактическую точность. Датасет и лидерборд доступны на Kaggle.
deepmind.google
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
⚡️ Курс: Математика Машинного обучения Урок 2 Инвариантность
📌 Видео
📌 Урок 1
📌 Colab
@machinelearning_interview
📌 Видео
📌 Урок 1
📌 Colab
@machinelearning_interview