Forwarded from Анализ данных (Data analysis)
🎓 1) Andrej Karpathy
Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети.
Ссылка: https://www.youtube.com/c/AndrejKarpathy
📊 2) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
Ссылка: https://www.youtube.com/c/3blue1brown
🎙️ 3) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
Ссылка: https://www.youtube.com/c/LexFridman
🤖 4) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk
💼 5) Uproger
Множество полных кусрсов, уроков с уклоном на практику
https://www.youtube.com/@uproger
🍉 6) Serrano Academy (Luis Serrano)
Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ.
Ссылка: https://www.youtube.com/c/LuisSerrano
💻 7) Jeremy Howard
Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai.
Ссылка: https://www.youtube.com/c/Fastai
🛠️ 8) Hamel Husain
Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ.
Ссылка: https://www.youtube.com/c/HamelHusain
🚀 9) Jason Liu
Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению.
Ссылка: https://www.youtube.com/c/JasonLiu
⚙️ 10) Dave Ebbelaar
Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах.
Ссылка: https://www.youtube.com/c/DaveEbbelaar
📚 11) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Ссылка: https://www.youtube.com/c/statquest
Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя!
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍84🔥27❤12🥰2🥱1
🔥 «The State of LLM Reasoning Models» свежая статья от Себастьяна Рашка, которая посвящена современному состоянию исследований в области рассуждений (reasoning) и масштабирования выводов (inference scaling) для больших языковых моделей (LLM).
Основные моменты:
- Эволюция возможностей рассуждения:
В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ.
- Масштабирование и его эффекты:
Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение.
- Инновации в инференсе:
Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления.
- Практические выводы для исследований:
Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения.
Отличное воскресенье чтиво📕
📌 Читать
#ai #ml #reasoning #llm
Основные моменты:
- Эволюция возможностей рассуждения:
В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ.
- Масштабирование и его эффекты:
Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение.
- Инновации в инференсе:
Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления.
- Практические выводы для исследований:
Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения.
Отличное воскресенье чтиво
📌 Читать
#ai #ml #reasoning #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥53👍30❤21🤔4🤓1🎃1
Tufa Labs опубликовала пейпер фреймворка LADDER, который дает возможность языковым моделям самостоятельно улучшать навыки решения сложных задач.
Технология имитирует человеческое обучение: ИИ разбивает проблемы на простые шаги, создаёт «учебный план» из упрощённых вариантов и постепенно наращивает мастерство решения. Например, модель Llama 3.2 с 3 млрд. параметров, изначально решавшая лишь 1% интегралов студенческого уровня, после обучения по методу LADDER достигла 82% точности.
Самые интересные результаты LADDER показал на тесте MIT Integration Bee — ежегодном соревновании по интегральному исчислению. На нем модель Qwen2.5 (7B), доработанная с помощью LADDER, набрала 73%, обойдя GPT-4o (42%) и большинство студентов, а с применением TTRL — результат вырос до 90%. Это превзошло даже показатели OpenAI o1, хотя последний не использовал числовую проверку решений.
TTRL (Test-Time Reinforcement Learning) — это метод «микрообучения», который позволяет языковым моделям адаптироваться к сложным задачам прямо во время их решения.
В основе LADDER - принцип рекурсивной декомпозиции: модель разбивает непосильную задачу на цепочку постепенно усложняющихся шагов, создавая собственную «учебную программу». Столкнувшись со сложным интегралом, ИИ генерирует его упрощённые версии — снижает степень полинома, убирает дробные коэффициенты или заменяет составные функции базовыми. Каждый такой вариант становится ступенью, ведущей к решению целевой задачи.
Работа фреймворка делится на три этапа:
Первый — генерация «дерева вариантов»: модель создаёт десятки модификаций задачи, ранжируя их по сложности.
Второй — верификация: каждое решение проверяется численными методами (например, сравнение значений интеграла в ключевых точках).
Третий — обучение с подкреплением: система поощряет успешные стратегии, используя баллы за правильные ответы и штрафуя за ошибки.
Дополняющее применение TTRL позволяет проводить «экспресс-тренировки» прямо во время теста: ИИ генерирует варианты конкретной задачи и адаптируется к ней за секунды, не требуя вмешательства человека.
@ai_machinelearning_big_data
#AI #ML #RL #LADDER #Paper
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥73👍21❤12🤬3😁1
Distill-Any-Depth - метод обучения моделей монокулярной оценки глубины, который сочетает кросс-контекстную дистилляцию и мульти-учительский подход для точного определения расстояния до объектов на RGB-изображении. Он предназначен для обучения моделей (например, DPT, MiDaS или DepthAnythingv2), которые учатся на псевдо-метках, сгенерированных учительскими моделями (Genpercept, DepthAnythingv2).
Метод не просто улучшает существующие алгоритмы, но и задает новый стандарт в области определения глубины. Методика может применяться в сфере автономного транспорта и AR-решений. Она может ускорить создание точных 3D-карт для навигации и улучшить реалистичность виртуальных миров за счет детализированного анализа пространства. При этом, обучение CV-моделей с Distill-Any-Depth довольно энергоэффективно — достаточно одной NVIDIA V100.
Основа Distill-Any-Depth - кросс-контекстная дистилляция, объединяющая 2 сценария:
Shared-Context Distillation — модель-учитель и модель-ученик обучаются на одинаковых фрагментах изображения.Local-Global Distillation — модель-учитель анализирует локальные фрагменты, а модель-ученик предсказывает глубину для всего изображения, отвечая за глобальную согласованность сцены.Экспериментальная модель обучалась на 50 тыс. изображений из SA-1B с разрешением 560×560. Использовались псевдо-метки от Genpercept (диффузионная модель) и DepthAnythingv2 (DINOv2). В рамках мульти-учительского подхода на каждой итерации случайно выбирался один учитель.
На тестах DIODE и ETH3D метод сократил значение AbsRel на 9.6–20% по сравнению с базовой дистилляцией. Например, при обучении модели-ученика DPT с учителями Genpercept и DepthAnythingv2 AbsRel на ETH3D составил 0.065 против 0.096 у Genpercept.
На бенчмарках NYUv2, KITTI, ScanNet модель достигла SOTA: AbsRel 0.043 (NYUv2), 0.070 (KITTI), 0.042 (ScanNet). В сравнении с DepthAnything v2 (AbsRel: 0.045 на NYUv2) и Marigold (0.055) Distill-Any-Depth показал более высокую детализацию и точность относительной глубины.
# Create Conda env
conda create -n distill-any-depth -y python=3.10
conda activate distill-any-depth
# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/
# Install dependencies
pip install -r requirements.txt
pip install -e .
# If use hf_hub_download, you can use the following code
checkpoint_path = hf_hub_download(repo_id=f"xingyang1/Distill-Any-Depth", filename=f"large/model.safetensors", repo_type="model")
# Launch Gradio demo
python app.py
@ai_machinelearning_big_data
#AI #ML #Depth #DIstillAnyDepth
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43🔥21❤18🥰2
NVIDIA RTX 5060 Ti будет использовать чип GB206-300, иметь 4608 ядер CUDA, две конфигурации GDDR7 объемом 8 ГБ и 16 ГБ, использовать 128 бит и энергопотребление в 180 Вт.
RTX 5050 построена на чипе GB207-300 с 2560 ядрами CUDA, 8 ГБ видеопамяти GDDR6, 128-битную разрядность и энергопотреблением 130 Вт. Обе видеокарты используют конструкцию печатной платы PG152.
По слухам, RTX 5060 Ti и RTX 5050 выйдут в апреле-мае, а RTX 5050 должна составить конкуренцию Intel Battlemage Arc B580.
videocardz.com
Ученые при момощи ИИ обнаружили более простой способ формирования квантовой запутанности между субатомными частицами. Это открытие потенциально облегчит разработку квантовых коммуникационных технологий.
Исследование, опубликованное в Physical Review Letters, описывает, как разработанный ИИ-инструмент PyTheus предложил принципиально новый метод, основанный на неразличимости путей фотонов.
Это открытие упрощает процесс формирования квантовой запутанности, что в перспективе может сделать квантовые сети для безопасной передачи сообщений более осуществимыми. Хотя практическое масштабирование технологии еще предстоит оценить, исследование убедительно демонстрирует потенциал AI как инструмента для научных открытий в физике.
space.com
Февраль 2025 года стал для ChatGPT рекордным по числу посетителей – 3,905 миллиарда, но несмотря на это, месячный прирост составил скромные 1,44%, что указывает на существенное замедление динамики.
В годовом исчислении рост остается впечатляющим - 137% по сравнению с февралем 2024 года. Эти показатели позволили ChatGPT занять 5 место среди самых посещаемых десктопных веб-сайтов в мире и 7 место с учетом мобильного трафика. Даже с таким внушительным количество пользователей, ChatGPT пока не может сравниться по объемам трафика с Google.
Similarweb в X (Twitter)
Несколько ведущих университетов Китая заявили о планах по увеличению набора студентов. Данная инициатива направлена на приоритетное развитие кадров в сферах, имеющих "национальное стратегическое значение", одна из них - искусственный интеллект.
Решение последовало за запуском университетских курсов по ИИ, основанных на разработках стартапа DeepSeek, чьи успехи сравнивают со "спутником" в технологическом прорыве. Peking University добавит 150 мест в 2025 году, Renmin University - более 100, Shanghai Jiao Tong University также увеличит прием на 150 мест в специализациях по ИИ и новых технологиях. Эти меры тесно связаны со стремлением КНР стать "мощной образовательной державой".
reuters.com
Компания Sony Music отчиталась о удалении более 75 тысяч сгенерированных искусственным интеллектом материалов, в основном это подделки записей известных исполнителей. Этот объем выявленных фейков, по мнению музыкальных руководителей, является лишь вершиной айсберга.
Sony опасается, что планируемое ослабление законодательства об авторском праве в Великобритании усугубит проблему и нанесет прямой коммерческий ущерб артистам. В своем обращении к правительству Великобритании компания подчеркнула, что существующая система лицензирования интеллектуальной собственности для обучения ИИ является предпочтительной и ведет с рядом компаний переговоры.
ft.com
• По бенчмаркам AIME и MATH 500 она с лёгкостью обходит OpenAI o1, предлагая сразу возможности поиска и «глубокого размышления».
•Можно загрузить до 50 файлов, а контекстное окно на 200 тысяч токенов способно обработать огромный объём данных, выдавая подробный ответ или краткий вывод.
kimi.ai
GItHub
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍68🤣23🔥11❤7
Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.
EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи.
В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач.
Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%.
⚠️ EuroBERT можно использовать непосредственно с
transformers, начиная с версии 4.48.0⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с
Flash Attention 2from transformers import AutoTokenizer, AutoModelForMaskedLM
model_id = "EuroBERT/EuroBERT-210m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)
text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token: Paris
@ai_machinelearning_big_data
#AI #ML #Encoder #EuroBERT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61🔥26❤17🥰2🤓2😁1
OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя.
Опубликованы и тарифы: Computer Use несколько дороже обычной GPT-4o, а поиск по файлам тарифицируется за запросы ( 2.5 долл. за 1000) и объем загруженных данных
(10 центов за гигабайт)
OpenAI на Youtube
Microsoft анонсировала радикальное улучшение производительности TypeScript за счет новой нативной реализации компилятора, написанной на Go. Он сократит время сборки проектов, ускорит загрузку редакторов и снизит потребление памяти. Уже сейчас тесты показывают: проверка кода VS Code занимает не 77,8 секунд, а всего 7,5.
Выпуск TypeScript 7.0 запланирован на конец 2025 года, но тестовую версию уже можно опробовать в GitHub-репозитории. Пока команда сохранит поддержку TypeScript 6.x для проектов, зависящих от старых API.
Подробности — в AMA-сессии Discord 13 марта, где авторы ответят на вопросы о будущем экосистемы.
devblogs.microsoft.com
Agora, мировой лидер в области решений для взаимодействия в реальном времени, анонсировала запуск ConvoAI Device Kit — инструментария для разработки голосового ИИ в IoT-устройствах. Совместно с производителем чипов Beken и создателем роботов Robopoet Agora предлагает технологию, которая превращает игрушки, гаджеты и «умные» устройства в эмоционально отзывчивых собеседников.
ConvoAI Device Kit объединяет чипы Beken с платформой Agora и обеспечивает распознавание речи с минимальной задержкой, адаптивные диалоги и обработку эмоций.
Решение подходит для образовательных игрушек, «умных» домов и носимых гаджетов.
agora.io
Supermicro анонсировала линейку компактных серверов, оптимизированных для ИИ. Новые системы оснащены процессорами Intel Xeon 6 с P-ядрами (до 144 вычислительных ядер, увеличенная на 40% пропускная способность памяти и улучшенная энергоэффективность). Новая линейка позволит обрабатывать данные в реальном времени непосредственно на месте их генерации, что критично для телекома, медицины и промышленности.
Серверы поддерживают до 512 ГБ DDR5, имеют порты 100 GbE и слот PCIe 5.0 для GPU, что делает их идеальными для медиа-задач и Edge AI. Отдельного представлены системы с процессорами Intel Core Ultra 15-го поколения — они предназначены для IoT и AI-инференса на edge-периферии (до 24 ядер и NPU).
supermicro.com
Cerebras Systems, лидер в области инференса генеративного ИИ, объявила о запуске 6 новых дата-центров. Объекты в США, Канаде и Европе, оснащённые тысячами систем CS-3 на базе Wafer-Scale Engines, обеспечат обработку свыше 40 млн токенов Llama 70B в секунду, что сделает Cerebras крупнейшим поставщиком облачных решений для ИИ.
Проект увеличит совокупную мощность компании в 20 раз, удовлетворив растущий спрос клиентов — от Mistral до гигантов вроде HuggingFace. Особое внимание уделено надёжности: дата-центр в Оклахома-Сити, защищённый от торнадо и сейсмической активности, начнёт работу в июне 2025 года.
cerebras.ai
Github
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍57❤18🔥13