Знаете ли вы термины машинного обучения?
Проверяем вместе с сегодняшним опросом. В коротком описании мы заменили на Х один из ключевых терминов машинного обучения. Постарайтесь догадаться, что мы здесь зашифровали, а вечером мы расскажем не только об Х, но и о четырех других важных понятиях.
Описание:
Х — это набор данных, который используется для обучения или анализа модели. Х содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму Х — размеченной.
Примеры Х с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры Х без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
🤖 «Системный Блокъ» @sysblok
Проверяем вместе с сегодняшним опросом. В коротком описании мы заменили на Х один из ключевых терминов машинного обучения. Постарайтесь догадаться, что мы здесь зашифровали, а вечером мы расскажем не только об Х, но и о четырех других важных понятиях.
Описание:
Х — это набор данных, который используется для обучения или анализа модели. Х содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму Х — размеченной.
Примеры Х с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры Х без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
Please open Telegram to view this post
VIEW IN TELEGRAM
Какое слово мы спрятали под Х в посте выше?
Anonymous Quiz
3%
лемматизация
16%
генеральная совокупность
73%
выборка
8%
кластеризация
5 слов машинного обучения
Объясняем основные термины машинного обучения из глоссария «Системного Блока». Из первой части материала узнаете о языковых моделях, нейросетях и выборках, на которых их обучают.
Машинное обучение
Машинное обучение — это набор методов, которые позволяют компьютеру решать задачи, не используя заранее заданный человеком алгоритм решения. Например, машинное обучение позволяет обучить компьютер отличать кошек от собак на фотографиях, хотя у компьютера нет конкретных инструкций, вроде «если есть острые уши и усы, то это кошка».
Вместо инструкций и правил компьютеру «показывают» много разных примеров с ответами. В случае с классификацией животных образцом будет изображение кошки или собаки с правильным названием объекта.
Когда компьютеру показывают примеры, он обучается извлекать из них не только все необходимые закономерности, но и информацию о том, как использовать эти закономерности для решения задачи. Машинное обучение изучает методы обучения. Набор примеров образует выборку, а результатом процесса обучения является обученная модель.
Модель
Модель — это математическое описание зависимости между входными данными и выходными. В задаче классификации кошек и собак входные данные — это изображение, а выходные данные — название животного на изображении. Другой пример: входные данные — дата, выходные данные — температура воздуха в этот день.
Есть много способов описывать зависимости математически. Каждый способ имеет определённые свойства и подходит под определённый вид зависимости. Например, в экономике зачастую используют линейные модели, которые описывают пропорциональное изменение выходной величины (количество товара) при изменении входной величины (цены/спроса и т. д.).
Примеры других популярных моделей, помимо линейных: деревья решений, случайный лес, нейросети.
Выборка
Выборка — это набор данных, который используется для обучения или анализа модели. Она содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму выборку — размеченной.
Примеры выборок с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры выборок без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
Существует и более широкое определение выборки, о котором можно прочитать в другом нашем материале.
Нейросеть
Нейросеть — это один из видов моделей машинного обучения. Её отличительная черта — способность описывать самые разные зависимости, за счёт чего нейросети можно использовать в большом количестве задач.
Ещё нейросети можно дообучать на новых данных. Например, модель, которая умеет определять вид растений, можно относительно легно обучить распознавать новый вид.
Наконец, нейросети хорошо масштабируются: при правильном увеличении количества параметров и обучающих данных качество нейросети растёт.
Языковая модель
Языковая модель — модель машинного обучения, которая при данном ей контексте предсказывает для каждого слова в языке вероятность того, что оно является продолжением данного контекста. Простейший пример такой модели — это набор текста в смартфонах.
Современные языковые модели (вроде GPT) могут не только оценивать вероятность продолжений, но и следовать инструкциям пользователя, например, кратко пересказывать текст и оценивать его эмоциональную окраску. Такие способности у модели появляются за счёт дополнительного дообучения на выборке из инструкций и соответствующих ответах. Такое обучение называют инструктивным.
Благодаря выразительной способности языка и инструктивному обучению языковые модели могут выполнять широкий спектр задач. Подробнее об этом можно узнать в нашем материале.
🤖 «Системный Блокъ» @sysblok
Объясняем основные термины машинного обучения из глоссария «Системного Блока». Из первой части материала узнаете о языковых моделях, нейросетях и выборках, на которых их обучают.
Машинное обучение
Машинное обучение — это набор методов, которые позволяют компьютеру решать задачи, не используя заранее заданный человеком алгоритм решения. Например, машинное обучение позволяет обучить компьютер отличать кошек от собак на фотографиях, хотя у компьютера нет конкретных инструкций, вроде «если есть острые уши и усы, то это кошка».
Вместо инструкций и правил компьютеру «показывают» много разных примеров с ответами. В случае с классификацией животных образцом будет изображение кошки или собаки с правильным названием объекта.
Когда компьютеру показывают примеры, он обучается извлекать из них не только все необходимые закономерности, но и информацию о том, как использовать эти закономерности для решения задачи. Машинное обучение изучает методы обучения. Набор примеров образует выборку, а результатом процесса обучения является обученная модель.
Модель
Модель — это математическое описание зависимости между входными данными и выходными. В задаче классификации кошек и собак входные данные — это изображение, а выходные данные — название животного на изображении. Другой пример: входные данные — дата, выходные данные — температура воздуха в этот день.
Есть много способов описывать зависимости математически. Каждый способ имеет определённые свойства и подходит под определённый вид зависимости. Например, в экономике зачастую используют линейные модели, которые описывают пропорциональное изменение выходной величины (количество товара) при изменении входной величины (цены/спроса и т. д.).
Примеры других популярных моделей, помимо линейных: деревья решений, случайный лес, нейросети.
Выборка
Выборка — это набор данных, который используется для обучения или анализа модели. Она содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму выборку — размеченной.
Примеры выборок с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры выборок без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
Существует и более широкое определение выборки, о котором можно прочитать в другом нашем материале.
Нейросеть
Нейросеть — это один из видов моделей машинного обучения. Её отличительная черта — способность описывать самые разные зависимости, за счёт чего нейросети можно использовать в большом количестве задач.
Ещё нейросети можно дообучать на новых данных. Например, модель, которая умеет определять вид растений, можно относительно легно обучить распознавать новый вид.
Наконец, нейросети хорошо масштабируются: при правильном увеличении количества параметров и обучающих данных качество нейросети растёт.
Языковая модель
Языковая модель — модель машинного обучения, которая при данном ей контексте предсказывает для каждого слова в языке вероятность того, что оно является продолжением данного контекста. Простейший пример такой модели — это набор текста в смартфонах.
Современные языковые модели (вроде GPT) могут не только оценивать вероятность продолжений, но и следовать инструкциям пользователя, например, кратко пересказывать текст и оценивать его эмоциональную окраску. Такие способности у модели появляются за счёт дополнительного дообучения на выборке из инструкций и соответствующих ответах. Такое обучение называют инструктивным.
Благодаря выразительной способности языка и инструктивному обучению языковые модели могут выполнять широкий спектр задач. Подробнее об этом можно узнать в нашем материале.
Please open Telegram to view this post
VIEW IN TELEGRAM
Гендерное неравенство в литературе: от персонажей до писательниц
Проблема гендерного неравенства заметна во всех сферах общества — в том числе в литературе. Писательниц было традиционно меньше, чем писателей, сюжетные линии между персонажами разного пола представлены неравномерно, а гендерные стереотипы касаются и героев, и героинь произведений.
В подборке материалов «Системного Блока» мы рассказываем о роли женщин в литературном процессе и о том, почему представители обоих полов по-разному воспринимаются как авторами, так и читателями.
Толстой и Пушкин — сексисты?
В первой части корпусного исследования мы изучали, есть ли гендерное неравенство в русской классической литературе. Вы узнаете, как описывали мужчин и женщин Толстой, Достоевский и Пушкин. Например, что женщины не только чаще «устают», но и чаще «исчезают». А еще женщины и мужчины в русской лиетратуре зачастую по-разному говорят и любят: это помогли понять прилагательные и глаголы. Подробнее – здесь.
Кстати, в этом исследовании мы не рассматривали «Повести покойного Ивана Петровича Белкина» и «Капитанскую дочка», но написали про них отдельный материал.
Набоков и Булгаков — сексисты?
Это вторая часть корпусного исследования русской классики, но более поздней: в неё вошли тексты Владимира Набокова и Михаила Булгакова. Прочитав статью, вы узнаете, насколько сильно изменилось описание мужчин и женщин в русской литературе за столетие. К примеру, мужчины у Набокова стали более эмоциональными, а женщины в романах Булгакова чаще говорят и действуют. Это что, проблески равноправия?
А что в английской литературе?
В XX веке шла усиленная борьба за права женщин, и, казалось бы, за ней должны были последовать изменения и в литературном процессе: увеличение количества авторов-женщин и более достоверная репрезентация женщин в произведениях. Однако исследователи, применив методы машинного обучения на материале английской литературы, доказали обратное. О том, всегда ли были такие тенденции в книгах на английском языке, читайте в нашем материале.
Автор или авторка: влияет ли пол автора на восприятие произведения?
Важен ли пол автора для читателя? Оказывается, да! Чем отличаются произведения авторов-женщин от произведений авторов-мужчин? Как пол читателя влияет на оценку книг, написанных женщинами? Мы кратко описали эксперименты и результаты исследования Корнелии Кулен, автора (авторки?) книги Reading beyond the female: The relationship between perception of author gender and literary quality.
🤖 «Системный Блокъ» @sysblok
Проблема гендерного неравенства заметна во всех сферах общества — в том числе в литературе. Писательниц было традиционно меньше, чем писателей, сюжетные линии между персонажами разного пола представлены неравномерно, а гендерные стереотипы касаются и героев, и героинь произведений.
В подборке материалов «Системного Блока» мы рассказываем о роли женщин в литературном процессе и о том, почему представители обоих полов по-разному воспринимаются как авторами, так и читателями.
Толстой и Пушкин — сексисты?
В первой части корпусного исследования мы изучали, есть ли гендерное неравенство в русской классической литературе. Вы узнаете, как описывали мужчин и женщин Толстой, Достоевский и Пушкин. Например, что женщины не только чаще «устают», но и чаще «исчезают». А еще женщины и мужчины в русской лиетратуре зачастую по-разному говорят и любят: это помогли понять прилагательные и глаголы. Подробнее – здесь.
Кстати, в этом исследовании мы не рассматривали «Повести покойного Ивана Петровича Белкина» и «Капитанскую дочка», но написали про них отдельный материал.
Набоков и Булгаков — сексисты?
Это вторая часть корпусного исследования русской классики, но более поздней: в неё вошли тексты Владимира Набокова и Михаила Булгакова. Прочитав статью, вы узнаете, насколько сильно изменилось описание мужчин и женщин в русской литературе за столетие. К примеру, мужчины у Набокова стали более эмоциональными, а женщины в романах Булгакова чаще говорят и действуют. Это что, проблески равноправия?
А что в английской литературе?
В XX веке шла усиленная борьба за права женщин, и, казалось бы, за ней должны были последовать изменения и в литературном процессе: увеличение количества авторов-женщин и более достоверная репрезентация женщин в произведениях. Однако исследователи, применив методы машинного обучения на материале английской литературы, доказали обратное. О том, всегда ли были такие тенденции в книгах на английском языке, читайте в нашем материале.
Автор или авторка: влияет ли пол автора на восприятие произведения?
Важен ли пол автора для читателя? Оказывается, да! Чем отличаются произведения авторов-женщин от произведений авторов-мужчин? Как пол читателя влияет на оценку книг, написанных женщинами? Мы кратко описали эксперименты и результаты исследования Корнелии Кулен, автора (авторки?) книги Reading beyond the female: The relationship between perception of author gender and literary quality.
Please open Telegram to view this post
VIEW IN TELEGRAM
Тест: Угадайте произведение по частотным словам из Национального корпуса русского языка
С помощью НКРЯ можно выявить слова, которые чаще встречаются в каком-то одном произведении, чем во всём остальном корпусе. Некоторые из них могут быть совсем не примечательны (например, «улыбка» в «Войне и мире»), а некоторые сразу выдают текст (как «черномор» в «Руслане и Людмиле»). Мы постарались найти золотую середину и собрали для вас по пять слов из текстов школьной программы. Благодаря тесту вспомните (или узнаете):
🎁 где часто встречались «дар» и «друг»;
🪆 кто писал про «Русь» и «дрянь»;
🐸 какой классический текст можно определить по слову «лягушка»;
📚 и многое другое!
Пройти тест
🤖 «Системный Блокъ» @sysblok
С помощью НКРЯ можно выявить слова, которые чаще встречаются в каком-то одном произведении, чем во всём остальном корпусе. Некоторые из них могут быть совсем не примечательны (например, «улыбка» в «Войне и мире»), а некоторые сразу выдают текст (как «черномор» в «Руслане и Людмиле»). Мы постарались найти золотую середину и собрали для вас по пять слов из текстов школьной программы. Благодаря тесту вспомните (или узнаете):
🎁 где часто встречались «дар» и «друг»;
🪆 кто писал про «Русь» и «дрянь»;
🐸 какой классический текст можно определить по слову «лягушка»;
📚 и многое другое!
Пройти тест
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Тест: угадайте произведение русской классики по частотным словам из Национального корпуса русского языка
Пройдите тест «Системного Блока» на основе Национального корпуса русского языка и угадайте произведение русской классики по ключевым словам.
Проверяем знания по машинному обучению
Вновь предлагаем вам пройти небольшой тест. Как и в прошлый раз, в коротком описании мы заменили на Х один из терминов машинного обучения. Однако на этот раз задача посложнее: мы уже не используем базовые понятия, такие как «нейросеть» или «модель», а предлагаем проверить знания более глубокого уровня. Попробуйте догадаться, что скрывается под Х, а вечером мы расскажем не только об этом, но и о четырех новых терминах.
Описание:
Х — фактологические неверные ответы языковых моделей, ложность которых сложно распознать. Важная черта Х — правдоподобность.
Х может возникнуть из-за несовершенства обучающих данных, качество и достоверность которых могут значительно варьироваться.
Примеры Х: языковая модель может рассказать о несуществующем рассказе известного писателя, привести ложную статистику об обороте компании, дать неверный совет.
🤖 «Системный Блокъ» @sysblok
Вновь предлагаем вам пройти небольшой тест. Как и в прошлый раз, в коротком описании мы заменили на Х один из терминов машинного обучения. Однако на этот раз задача посложнее: мы уже не используем базовые понятия, такие как «нейросеть» или «модель», а предлагаем проверить знания более глубокого уровня. Попробуйте догадаться, что скрывается под Х, а вечером мы расскажем не только об этом, но и о четырех новых терминах.
Описание:
Х — фактологические неверные ответы языковых моделей, ложность которых сложно распознать. Важная черта Х — правдоподобность.
Х может возникнуть из-за несовершенства обучающих данных, качество и достоверность которых могут значительно варьироваться.
Примеры Х: языковая модель может рассказать о несуществующем рассказе известного писателя, привести ложную статистику об обороте компании, дать неверный совет.
Please open Telegram to view this post
VIEW IN TELEGRAM
Какое слово мы спрятали под Х в посте выше?
Anonymous Quiz
14%
эмбеддинг
8%
иллюзия
14%
заблуждение
64%
галлюцинация
Еще 5 слов машинного обучения
Объясняем еще несколько терминов машинного обучения из глоссария «Системного Блока». Из материала узнаете о недообучении, переобучении и глубинном обучении, а также о галлюцинациях и эмбеддингах.
Недообучение
Недообучение модели — обучение, которое ограничено потенциалом модели, и/или обучающей выборки, и/или самой процедурой обучения. Оно приводит к плохому качеству модели как на обучающих данных, так и на тестовых. В таких случаях говорят, что модели не хватает выразительной способности.
Недообучение случается, когда модель слишком простая, чтобы аппроксимировать зависимость. Оно также может возникнуть, если объём данных слишком велик, и у модели не хватает параметров для их обработки. Или наоборот, если данных недостаточно для качественного обучения. Недообучение также может возникнуть при неверном подборе способа настройки параметров модели или недостаточном количестве шагов обучения.
Переобучение
Переобучением модели называют обучение модели, при котором итоговая модель хорошо работает на обучающих данных, но плохо — на тестовых. В таких случаях говорят, что модель обладает низкой обобщающей способностью.
Среди причин переобучения могут быть тип модели и количество её параметров, качество и объём обучающих данных, а также неправильная настройка процедуры обучения. Например, если обучающих данных значительно меньше, чем параметров модели, существует высокая вероятность, что модель «запишет» всю обучающую выборку в свои параметры, что приведёт к нулевой ошибке на обучающих данных, но высокой на тестовых.
Чтобы избежать переобучения, применяют техники регуляризации. Например, аугментацию данных — создание новых обучающих данных на основе исходных.
Глубинное обучение
Это подобласть машинного обучения, которая занимается изучением нейросетей с большим количеством параметров. Эти нейросети представляют особый интерес, так как увеличение числа параметров значительно улучшает качество их предсказаний и усиливает их способность к обобщению.
Галлюцинации
Галлюцинации — фактологические неверные ответы языковых моделей, ложность которых сложно распознать. Их важная черта — правдоподобность. Примеры галлюцинаций — это случаи, когда языковая модель говорит о несуществующем рассказе известного писателя, приводит ложную статистику об обороте компании, дает неверный совет.
Галлюцинации возникают из-за несовершенства большого массива обучающих данных, качество и достоверность которых могут значительно варьироваться. Кроме того, модель обучается на данных, собранных до определённого момента времени, поэтому она не способна отвечать на вопросы о событиях, произошедших после этого периода.
Для уменьшения количества галлюцинаций в моделях используется, например, метод Retrieval-Augmented Generation (RAG). ОН позволяет интегрировать внешние источники данных, такие как база с документацией компании, энциклопедии или интернет, в работу языковой модели, чтобы повысить точность ответов.
Эмбеддинги
Синоним эмбеддингов — векторное представление данных, которое обычно получают с помощью моделей машинного обучения. Это компактные наборы чисел фиксированной длины. Каждое число в таком наборе отвечает за определённую характеристику данных, а весь набор в целом описывает данные. Например, эмбеддинг слова может состоять из 128 чисел, где пятое число указывает на род слова, а 100-е — на принадлежность слова к категории, описывающей животных.
В виде эмбеддинга можно представить изображения, видео, тексты, аудио, а также более специфичные данные: профиль пользователя соцсети, товар в магазине или молекулы. Такие числовые наборы легко хранить в памяти компьютера, и он может оценивать степень их сходства. Благодаря этим свойствам эмбеддинги позволяют оперировать данными на уровне их смысла.
🤖 «Системный Блокъ» @sysblok
Объясняем еще несколько терминов машинного обучения из глоссария «Системного Блока». Из материала узнаете о недообучении, переобучении и глубинном обучении, а также о галлюцинациях и эмбеддингах.
Недообучение
Недообучение модели — обучение, которое ограничено потенциалом модели, и/или обучающей выборки, и/или самой процедурой обучения. Оно приводит к плохому качеству модели как на обучающих данных, так и на тестовых. В таких случаях говорят, что модели не хватает выразительной способности.
Недообучение случается, когда модель слишком простая, чтобы аппроксимировать зависимость. Оно также может возникнуть, если объём данных слишком велик, и у модели не хватает параметров для их обработки. Или наоборот, если данных недостаточно для качественного обучения. Недообучение также может возникнуть при неверном подборе способа настройки параметров модели или недостаточном количестве шагов обучения.
Переобучение
Переобучением модели называют обучение модели, при котором итоговая модель хорошо работает на обучающих данных, но плохо — на тестовых. В таких случаях говорят, что модель обладает низкой обобщающей способностью.
Среди причин переобучения могут быть тип модели и количество её параметров, качество и объём обучающих данных, а также неправильная настройка процедуры обучения. Например, если обучающих данных значительно меньше, чем параметров модели, существует высокая вероятность, что модель «запишет» всю обучающую выборку в свои параметры, что приведёт к нулевой ошибке на обучающих данных, но высокой на тестовых.
Чтобы избежать переобучения, применяют техники регуляризации. Например, аугментацию данных — создание новых обучающих данных на основе исходных.
Глубинное обучение
Это подобласть машинного обучения, которая занимается изучением нейросетей с большим количеством параметров. Эти нейросети представляют особый интерес, так как увеличение числа параметров значительно улучшает качество их предсказаний и усиливает их способность к обобщению.
Галлюцинации
Галлюцинации — фактологические неверные ответы языковых моделей, ложность которых сложно распознать. Их важная черта — правдоподобность. Примеры галлюцинаций — это случаи, когда языковая модель говорит о несуществующем рассказе известного писателя, приводит ложную статистику об обороте компании, дает неверный совет.
Галлюцинации возникают из-за несовершенства большого массива обучающих данных, качество и достоверность которых могут значительно варьироваться. Кроме того, модель обучается на данных, собранных до определённого момента времени, поэтому она не способна отвечать на вопросы о событиях, произошедших после этого периода.
Для уменьшения количества галлюцинаций в моделях используется, например, метод Retrieval-Augmented Generation (RAG). ОН позволяет интегрировать внешние источники данных, такие как база с документацией компании, энциклопедии или интернет, в работу языковой модели, чтобы повысить точность ответов.
Эмбеддинги
Синоним эмбеддингов — векторное представление данных, которое обычно получают с помощью моделей машинного обучения. Это компактные наборы чисел фиксированной длины. Каждое число в таком наборе отвечает за определённую характеристику данных, а весь набор в целом описывает данные. Например, эмбеддинг слова может состоять из 128 чисел, где пятое число указывает на род слова, а 100-е — на принадлежность слова к категории, описывающей животных.
В виде эмбеддинга можно представить изображения, видео, тексты, аудио, а также более специфичные данные: профиль пользователя соцсети, товар в магазине или молекулы. Такие числовые наборы легко хранить в памяти компьютера, и он может оценивать степень их сходства. Благодаря этим свойствам эмбеддинги позволяют оперировать данными на уровне их смысла.
Please open Telegram to view this post
VIEW IN TELEGRAM
Нобелевские премии за нейросети, ИИ-функции в приложениях Adobe, новые модели от Mistral
Рассказываем, что произошло в мире ИИ за последнее время.
Нобелевская премия за ИИ?
Сразу две нобелевские премии получили исследователи в области машинного обучения.
Премией по физике были награждены Джон Хопфилд и Джеффри Хинтон (его также называют крёстным отцом ИИ) за «фундаментальные открытия и изобретения, которые сделали возможным машинное обучение с использованием нейронных сетей». Оба учёных использовали концепции из физики при разработке своих моделей: сетей Хопфилда и машины Больцмана.
Лауреатами премии по химии стали Дэвид Бейкер за «вычислительный дизайн белков», а также Демис Хассабис, руководитель Google DeepMind, и Джон Джампер — за «предсказание структур белков». Дэвид Бейкер одним из первых разработал вычислительные методы для дизайна новых белков. Демис Хассабис и Джон Джампер являются авторами метода AlphaFold, который способен по последовательности аминокислот, соответствующей белку, предсказывать его 3D-структуру. Ранее мы писали о выходе AlphaFold 3, а также об устройстве самого метода.
Обе награды вызвали неоднозначную реакцию в научном сообществе из-за косвенной связи работ с научными областями, в которых были номинированы учёные, — физикой и химией.
Генеративный ИИ в продуктах Adobe
На недавней презентации Adobe Max компания представила новые функции на базе нейросетей.
Photoshop получил функции Generative Fill и Generative Expand, с помощью которых пользователь может «расширить» изображения: например, дорисовать по бокам фото пейзажа. Помимо этого появилась функция Distraction Removal, позволяющая автоматически находить и убирать визуальный шум вроде проводов или прохожих.
Пользователи, работающие с видео, теперь могут сгенерировать в Premiere Pro несколько кадров в произвольном месте записи. Это может быть полезным в ситуациях, когда фрагмент резко обрывается или когда видеоряд нужно выровнять с аудиопотоком.
Новинки от Mistral
Французская компания Mistral выпустила две новые миниатюрные языковые модели Ministral с 3 и 8 млрд параметров. Модели подходят для локального запуска на мобильных устройствах. По показателям в основных тестах обе версии Ministral существенно опережают модели, сопоставимых размеров от Google и Meta*. Ministral выложен в открытый доступ для исследовательских целей, а для коммерческого использования компания предлагает платный API.
Mistral была основана выходцами из Meta*, которые работали над первой версией LLama, и стала известна после релиза Mistral 7B. Эта языковая модель превосходила по качеству LLama и при этом была доступна для коммерческого использования бесплатно, чем привлекла интерес со стороны ИИ-сообщества.
*Компания Meta признана экстремистской, а её деятельность запрещена на территории РФ
🤖 «Системный Блокъ» @sysblok
Рассказываем, что произошло в мире ИИ за последнее время.
Нобелевская премия за ИИ?
Сразу две нобелевские премии получили исследователи в области машинного обучения.
Премией по физике были награждены Джон Хопфилд и Джеффри Хинтон (его также называют крёстным отцом ИИ) за «фундаментальные открытия и изобретения, которые сделали возможным машинное обучение с использованием нейронных сетей». Оба учёных использовали концепции из физики при разработке своих моделей: сетей Хопфилда и машины Больцмана.
Лауреатами премии по химии стали Дэвид Бейкер за «вычислительный дизайн белков», а также Демис Хассабис, руководитель Google DeepMind, и Джон Джампер — за «предсказание структур белков». Дэвид Бейкер одним из первых разработал вычислительные методы для дизайна новых белков. Демис Хассабис и Джон Джампер являются авторами метода AlphaFold, который способен по последовательности аминокислот, соответствующей белку, предсказывать его 3D-структуру. Ранее мы писали о выходе AlphaFold 3, а также об устройстве самого метода.
Обе награды вызвали неоднозначную реакцию в научном сообществе из-за косвенной связи работ с научными областями, в которых были номинированы учёные, — физикой и химией.
Генеративный ИИ в продуктах Adobe
На недавней презентации Adobe Max компания представила новые функции на базе нейросетей.
Photoshop получил функции Generative Fill и Generative Expand, с помощью которых пользователь может «расширить» изображения: например, дорисовать по бокам фото пейзажа. Помимо этого появилась функция Distraction Removal, позволяющая автоматически находить и убирать визуальный шум вроде проводов или прохожих.
Пользователи, работающие с видео, теперь могут сгенерировать в Premiere Pro несколько кадров в произвольном месте записи. Это может быть полезным в ситуациях, когда фрагмент резко обрывается или когда видеоряд нужно выровнять с аудиопотоком.
Новинки от Mistral
Французская компания Mistral выпустила две новые миниатюрные языковые модели Ministral с 3 и 8 млрд параметров. Модели подходят для локального запуска на мобильных устройствах. По показателям в основных тестах обе версии Ministral существенно опережают модели, сопоставимых размеров от Google и Meta*. Ministral выложен в открытый доступ для исследовательских целей, а для коммерческого использования компания предлагает платный API.
Mistral была основана выходцами из Meta*, которые работали над первой версией LLama, и стала известна после релиза Mistral 7B. Эта языковая модель превосходила по качеству LLama и при этом была доступна для коммерческого использования бесплатно, чем привлекла интерес со стороны ИИ-сообщества.
*Компания Meta признана экстремистской, а её деятельность запрещена на территории РФ
Please open Telegram to view this post
VIEW IN TELEGRAM
«Системный Блокъ» объявляет осенний набор участников!
«Системный Блокъ» расширяется и приглашает новых авторов, редакторов, менеджеров, дата-аналитиков. Мы — волонтерское издание. Нас объединяет интерес к науке и технологиям, а также желание вдохновлять людей интересными материалами, исследованиями, новостями, тестами и т. п. Среди нас есть филологи, программисты, менеджеры, историки, журналисты и аналитики — люди из совершенно разных сфер.
Ниже вы найдете набор ролей, которые могут быть интересны вам или вашим друзьям. Если что-то из этого вам близко, добро пожаловать к нам! Если вы хотите присоединиться, но идеальной роли нет, то все равно оставляйте заявку!
В посте — неполный перечень ролей, которые сейчас открыты, а в статье — подробное описание задач и пожеланий к участникам.
1. Авторы в рубрики — ищем желающих писать для рубрик «Филология», «Общество», «Образование», «Биоинформатика», «Как это работает», «Тесты».
2. Кураторы рубрик «Археология», NLP, «Тесты»
3. Редакторы текстов
4. SMM-Lead / Менеджер отдела SMM
5. Выпускающие редакторы для соцсетей (SMM)
6. Продюсер дата-исследований
7. PR-менеджер
8. HR-менеджер
9. Менеджер студенческих практик
10. Продакт-менеджер и программист сайта
11. Дизайнер
12. Ивент-менеджер
13. Продакт/проджект-менеджер на новые проекты
14. Программист в команду «Пишу тебе»
Если вас заинтересовала одна из ролей – приглашаем заполнить форму до 7 ноября. Проект полностью волонтерский, мы не платим денег. Зато у нас человечный менеджмент, отлаженные процессы и хорошая репутация в русском научпоп-сообществе. Присоединяйтесь!
upd. Продлили набор до 7 ноября
🤖 «Системный Блокъ» @sysblok
«Системный Блокъ» расширяется и приглашает новых авторов, редакторов, менеджеров, дата-аналитиков. Мы — волонтерское издание. Нас объединяет интерес к науке и технологиям, а также желание вдохновлять людей интересными материалами, исследованиями, новостями, тестами и т. п. Среди нас есть филологи, программисты, менеджеры, историки, журналисты и аналитики — люди из совершенно разных сфер.
Ниже вы найдете набор ролей, которые могут быть интересны вам или вашим друзьям. Если что-то из этого вам близко, добро пожаловать к нам! Если вы хотите присоединиться, но идеальной роли нет, то все равно оставляйте заявку!
В посте — неполный перечень ролей, которые сейчас открыты, а в статье — подробное описание задач и пожеланий к участникам.
1. Авторы в рубрики — ищем желающих писать для рубрик «Филология», «Общество», «Образование», «Биоинформатика», «Как это работает», «Тесты».
2. Кураторы рубрик «Археология», NLP, «Тесты»
3. Редакторы текстов
4. SMM-Lead / Менеджер отдела SMM
5. Выпускающие редакторы для соцсетей (SMM)
6. Продюсер дата-исследований
7. PR-менеджер
8. HR-менеджер
9. Менеджер студенческих практик
10. Продакт-менеджер и программист сайта
11. Дизайнер
12. Ивент-менеджер
13. Продакт/проджект-менеджер на новые проекты
14. Программист в команду «Пишу тебе»
Если вас заинтересовала одна из ролей – приглашаем заполнить форму до 7 ноября. Проект полностью волонтерский, мы не платим денег. Зато у нас человечный менеджмент, отлаженные процессы и хорошая репутация в русском научпоп-сообществе. Присоединяйтесь!
upd. Продлили набор до 7 ноября
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegraph
Набор в «Системный Блокъ». Роли
📍 Авторы в тематические рубрики Авторы — основа команды «Системного Блока». Именно они создают материалы, содержательную начинку нашего издания. Мы стараемся наладить процесс работы так, чтобы авторам было комфортно писать и совершенствовать свои навыки.…
Горький урок ABBYY: как лингвисты проиграли последнюю битву за NLP
Недавно СМИ облетела новость об увольнении всех российских программистов из компании ABBYY (тоже в прошлом российской, а теперь уже совсем нет). Теперь, когда страсти вокруг обсуждения дискриминации сотрудников по паспорту улеглись, хочется поговорить о более глубокой истории. Закат ABBYY — это фиксация проигрыша последней битвы лингвистов за автоматическую обработку языка. Мир Data Science победил. Главный редактор «Системного Блока» Даниил Скоринкин, работавший ABBYY в 2013–2017, подводит итоги и пытается сформулировать уроки из этой истории.
Что за ABBYY и при чем тут лингвисты и NLP?
История ABBYY началась в 1989 году, когда студент МФТИ Давид Ян решил сделать электронный словарь для подготовки к экзамену. Так появились Lingvo, а затем — система распознавания символов FineReader. Продукты ABBYY развивались, и компания стала глобальным лидером оптического распознавания в 1990-е и 2000-е. Затем ABBYY двинулась покорять машинный перевод.
На вооружение они взяли идеи известных лингвистов — в первую очередь Модели «Смысл ⇔ Текст» (прочитать о ней можно в нашем интервью с И. А. Мельчуком). Амбиция была в том, чтобы разобрать человеческие языки как формальные структуры на базе семантической иерархии. Но естественный язык устроен противоречиво и постоянно изменяется, подход оказался негибким и немасштабируемым
Что пошло не так?
В 2006-м появилась первая версия Google Translate. Она была несовершенной, но главное, что в ней был другой — статистический — подход. И масштабируемость. Для её улучшения не нужны были сотни лингвистов, только еще больше примеров перевода. В 2010-х стало ясно, что никаких шансов тягаться с Google Translate у ABBYY не было. С перевода ABBYY переключилась на задачи информационного поиска и извлечения информации из текста, но и там столкнулась с теми же проблемами: описания языка на базе лингвистической теории оказались немасштабируемыми, а решения уступали подходам на основе чистого машинного обучения.
C новой проблемой компания столкнулась весной 2022 – им пришлось выехать из России, чтобы сохранить зарубежных клиентов. Следующим ударом стали большие языковые модели, который научились выполнять те же задачи, что и классические системы распознавания от ABBYY. Сейчас от компании осталась только вывеска, действующие продукты и небольшое количество менеджеров и специалистов по продажам.
Какие уроки мы извлекаем?
За 70 лет исследований ИИ стало ясно, что самые общие методы, опирающиеся на масштабирование вычислений, намного эффективнее всех остальных. А желание ABBYY сделать универсальную NLP-систему с опорой на лингвистическую теорию оказалось утопией.
И всё-таки ABBYY успела сделать много важного: открывала кафедры на Физтехе и в РГГУ, оцифровывала наследия Льва Толстого и архива Большого театра. А еще благодаря ей появился «Системный Блокъ», ведь сооснователи издания познакомились именно там. И именно там вы сможете прочитать полную версию поста с мемами, фотографиями и более детальным описанием цифровой «Вавилонской башни», которую пыталась строить ABBYY.
🤖 «Системный Блокъ» @sysblok
Недавно СМИ облетела новость об увольнении всех российских программистов из компании ABBYY (тоже в прошлом российской, а теперь уже совсем нет). Теперь, когда страсти вокруг обсуждения дискриминации сотрудников по паспорту улеглись, хочется поговорить о более глубокой истории. Закат ABBYY — это фиксация проигрыша последней битвы лингвистов за автоматическую обработку языка. Мир Data Science победил. Главный редактор «Системного Блока» Даниил Скоринкин, работавший ABBYY в 2013–2017, подводит итоги и пытается сформулировать уроки из этой истории.
Что за ABBYY и при чем тут лингвисты и NLP?
История ABBYY началась в 1989 году, когда студент МФТИ Давид Ян решил сделать электронный словарь для подготовки к экзамену. Так появились Lingvo, а затем — система распознавания символов FineReader. Продукты ABBYY развивались, и компания стала глобальным лидером оптического распознавания в 1990-е и 2000-е. Затем ABBYY двинулась покорять машинный перевод.
На вооружение они взяли идеи известных лингвистов — в первую очередь Модели «Смысл ⇔ Текст» (прочитать о ней можно в нашем интервью с И. А. Мельчуком). Амбиция была в том, чтобы разобрать человеческие языки как формальные структуры на базе семантической иерархии. Но естественный язык устроен противоречиво и постоянно изменяется, подход оказался негибким и немасштабируемым
Что пошло не так?
В 2006-м появилась первая версия Google Translate. Она была несовершенной, но главное, что в ней был другой — статистический — подход. И масштабируемость. Для её улучшения не нужны были сотни лингвистов, только еще больше примеров перевода. В 2010-х стало ясно, что никаких шансов тягаться с Google Translate у ABBYY не было. С перевода ABBYY переключилась на задачи информационного поиска и извлечения информации из текста, но и там столкнулась с теми же проблемами: описания языка на базе лингвистической теории оказались немасштабируемыми, а решения уступали подходам на основе чистого машинного обучения.
C новой проблемой компания столкнулась весной 2022 – им пришлось выехать из России, чтобы сохранить зарубежных клиентов. Следующим ударом стали большие языковые модели, который научились выполнять те же задачи, что и классические системы распознавания от ABBYY. Сейчас от компании осталась только вывеска, действующие продукты и небольшое количество менеджеров и специалистов по продажам.
Какие уроки мы извлекаем?
За 70 лет исследований ИИ стало ясно, что самые общие методы, опирающиеся на масштабирование вычислений, намного эффективнее всех остальных. А желание ABBYY сделать универсальную NLP-систему с опорой на лингвистическую теорию оказалось утопией.
И всё-таки ABBYY успела сделать много важного: открывала кафедры на Физтехе и в РГГУ, оцифровывала наследия Льва Толстого и архива Большого театра. А еще благодаря ей появился «Системный Блокъ», ведь сооснователи издания познакомились именно там. И именно там вы сможете прочитать полную версию поста с мемами, фотографиями и более детальным описанием цифровой «Вавилонской башни», которую пыталась строить ABBYY.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Горький урок ABBYY: как лингвисты проиграли последнюю битву за NLP - Системный Блокъ
Недавно СМИ облетела новость об увольнении всех российских программистов из компании ABBYY (тоже в прошлом российской, а теперь уже совсем нет). Теперь, когда страсти вокруг обсуждения дискриминации сотрудников по паспорту улеглись, хочется поговорить о более…
Анализ и визуализация данных: отслеживаем мировую историю
История, записанная в текстовом формате или при помощи обычных карт, может быть трудна для восприятия. «Системный Блокъ» рассказывает, как масштабный анализ архивных документов и инструменты визуализации помогают исследовать историю международных конгрессов — предшественников ключевых мировых организаций.
Кратко: о чем статья?
Международные конгрессы — движение, начавшееся еще в 1840-х, которое предшествовало ключевым международным организациям — Лиге Наций, ООН и ВТО. Вокруг съездов и конгрессов со временем сформировались контролирующие их деятельность организации, например, Союз Международных Ассоциаций (СМА). Целью проекта «Mapping a century of International Congresses» стала визуализация огромного количества информации о более чем 8000 международных конгрессах 1840-1960 годов на основе ежегодных данных и документации СМА.
Анализ документации СМА позволил составить несколько важных визуализаций. Например, гистограммы (столбчатые диаграммы) распределения конгрессов по городам позволили выделить 12 ведущих стран, в разное время принимавших конгрессы. Для более простой визуализации информации был также выбран вариант, близкий к тепловым картам, где значения документации отображаются при помощи цвета или тона. Так, «тепловая карта» позволяет оценить расположение конгрессов по городам — это, например, «космополитический треугольник» Париж, Лондон, Брюссель, где конгрессмены собирались чаще всего.
Более подробно о том, как анализ и визуализация данных помогли выяснить, почему конгрессы больше всего распространялись на европейском континенте, а также о том, как тепловые карты помогли определить «периферийные столицы», читайте в полной версии статьи.
Время чтения: 5,5 минут
🤖 «Системный Блокъ» @sysblok
История, записанная в текстовом формате или при помощи обычных карт, может быть трудна для восприятия. «Системный Блокъ» рассказывает, как масштабный анализ архивных документов и инструменты визуализации помогают исследовать историю международных конгрессов — предшественников ключевых мировых организаций.
Кратко: о чем статья?
Международные конгрессы — движение, начавшееся еще в 1840-х, которое предшествовало ключевым международным организациям — Лиге Наций, ООН и ВТО. Вокруг съездов и конгрессов со временем сформировались контролирующие их деятельность организации, например, Союз Международных Ассоциаций (СМА). Целью проекта «Mapping a century of International Congresses» стала визуализация огромного количества информации о более чем 8000 международных конгрессах 1840-1960 годов на основе ежегодных данных и документации СМА.
Анализ документации СМА позволил составить несколько важных визуализаций. Например, гистограммы (столбчатые диаграммы) распределения конгрессов по городам позволили выделить 12 ведущих стран, в разное время принимавших конгрессы. Для более простой визуализации информации был также выбран вариант, близкий к тепловым картам, где значения документации отображаются при помощи цвета или тона. Так, «тепловая карта» позволяет оценить расположение конгрессов по городам — это, например, «космополитический треугольник» Париж, Лондон, Брюссель, где конгрессмены собирались чаще всего.
Более подробно о том, как анализ и визуализация данных помогли выяснить, почему конгрессы больше всего распространялись на европейском континенте, а также о том, как тепловые карты помогли определить «периферийные столицы», читайте в полной версии статьи.
Время чтения: 5,5 минут
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
И целого мира мало. Как отследить мировую историю через анализ и визуализацию данных? - Системный Блокъ
Диаграммы, графики, интерактивные карты по истории — визуализация стала неотъемлемой частью любой науки. Посмотрим на историю международных конгрессов XIX-XX веков через призму наглядной визуализации
Две правды и одна ложь: изучаем DH-портал
Digital Humanities (Цифровые методы в гуманитарных науках) — одна из главных тем для «Системного Блока». Мы часто рассказываем о том, как цифровые инструменты помогают в изучении истории, литературы и искусства.
Чтобы вы могли узнать об этом больше и быстрее ориентироваться в гуманитарных исследованиях, в которых используются количественные методы, мы создали точку входа в DH.
Там вы найдете блоги, глоссарий, наши статьи по теме и информацию о том, где можно обучаться DH. А ещё — ответ на вопрос ниже. Впрочем, можете, конечно, попробовать не искать, а просто угадать, какое из трех утверждений в викторине — ложное.
🤖 «Системный Блокъ» @sysblok
Digital Humanities (Цифровые методы в гуманитарных науках) — одна из главных тем для «Системного Блока». Мы часто рассказываем о том, как цифровые инструменты помогают в изучении истории, литературы и искусства.
Чтобы вы могли узнать об этом больше и быстрее ориентироваться в гуманитарных исследованиях, в которых используются количественные методы, мы создали точку входа в DH.
Там вы найдете блоги, глоссарий, наши статьи по теме и информацию о том, где можно обучаться DH. А ещё — ответ на вопрос ниже. Впрочем, можете, конечно, попробовать не искать, а просто угадать, какое из трех утверждений в викторине — ложное.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Digital Humanities, или Цифровые методы в гуманитарных науках: точка входа - Системный Блокъ
Что такое DH? Digital Humanities (DH) — это направление исследований, предполагающее использование цифровых методов для приобретения новых знаний в
Forwarded from Kali Novskaya
🌸Про ABBYY и будущее лингвистики🌸
#nlp #про_nlp
По тг разошёлся текст Системного Блока про ABBYY, да и правда, после истории массовых увольнений очень хотелось подвести какую-то черту. Напишу свои 5 копеек, потому что можно сказать, что вокруг ABBYY начиналась моя карьера.
ABBYY долгое время считалась самой лучшей компанией, куда мог бы устроиться лингвист.
Когда я только поступала на ОТиПЛ, туда шли работать лучшие выпускники. При этом ходило мнение, что вот, дескать, интеллектуальная эксплуатация — забирают лучших выпускников, которые могли бы быть успешными учёными, и фуллтайм заставляют писать правила на Compreno. (Ну и правда, в 2012 году там 40-60к платили, а в академии меньше.)
Помимо прочего, ABBYY оранизовывала самую большую NLP конференцию — Диалог, а также создала интернет-корпус русского языка, спонсировала кучу NLP-соревнований и shared tasks, которые распаляли многих проверить свои гипотезы на практике.
🟣 Что же теперь делать лингвистике?
Лингвистика разберётся!
Я думаю, текущий вызов даже не самый серьёзный за историю существования кафедры. Да, последние годы приходилось работать под давлением общественного мнения, хайпом LLM...ну так он пройдёт.
Аналитическая, теоретическая лингвистика нужна самой себе и другим наукам:
— как понять и описать происхождение языка,
— как определить биологические ограничения, повлиявшие на язык
— как язык влияет на мышление и обратно,
— как смоделировать максимально общую теоретическую модель языка, описывающую процессы в языках мира,
— как проверить и описать, что находится в корпусе.
Все эти вопросы остаются нужны, и остаются ключевыми вопросами лингвистики.
А языковые модели и NLP потихоньку поглощают уже другие науки:
— OpenAI нанимает филдсевских лауреатов в т ч для составления SFT датасета по математике
— они же нанимают PhD в разных дисциплинах для разметки и валидации данных.
Так что в жернова ИИ пойдут уже выпускники других специальностей. А лингвистика будет заниматься делом.
#nlp #про_nlp
По тг разошёлся текст Системного Блока про ABBYY, да и правда, после истории массовых увольнений очень хотелось подвести какую-то черту. Напишу свои 5 копеек, потому что можно сказать, что вокруг ABBYY начиналась моя карьера.
ABBYY долгое время считалась самой лучшей компанией, куда мог бы устроиться лингвист.
Когда я только поступала на ОТиПЛ, туда шли работать лучшие выпускники. При этом ходило мнение, что вот, дескать, интеллектуальная эксплуатация — забирают лучших выпускников, которые могли бы быть успешными учёными, и фуллтайм заставляют писать правила на Compreno. (Ну и правда, в 2012 году там 40-60к платили, а в академии меньше.)
Помимо прочего, ABBYY оранизовывала самую большую NLP конференцию — Диалог, а также создала интернет-корпус русского языка, спонсировала кучу NLP-соревнований и shared tasks, которые распаляли многих проверить свои гипотезы на практике.
Лингвистика разберётся!
Я думаю, текущий вызов даже не самый серьёзный за историю существования кафедры. Да, последние годы приходилось работать под давлением общественного мнения, хайпом LLM...ну так он пройдёт.
Аналитическая, теоретическая лингвистика нужна самой себе и другим наукам:
— как понять и описать происхождение языка,
— как определить биологические ограничения, повлиявшие на язык
— как язык влияет на мышление и обратно,
— как смоделировать максимально общую теоретическую модель языка, описывающую процессы в языках мира,
— как проверить и описать, что находится в корпусе.
Все эти вопросы остаются нужны, и остаются ключевыми вопросами лингвистики.
А языковые модели и NLP потихоньку поглощают уже другие науки:
— OpenAI нанимает филдсевских лауреатов в т ч для составления SFT датасета по математике
— они же нанимают PhD в разных дисциплинах для разметки и валидации данных.
Так что в жернова ИИ пойдут уже выпускники других специальностей. А лингвистика будет заниматься делом.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Горький урок ABBYY: как лингвисты проиграли последнюю битву за NLP - Системный Блокъ
Недавно СМИ облетела новость об увольнении всех российских программистов из компании ABBYY (тоже в прошлом российской, а теперь уже совсем нет). Теперь, когда страсти вокруг обсуждения дискриминации сотрудников по паспорту улеглись, хочется поговорить о более…
Большие данные Большого террора
Сегодня день памяти жертв политических репрессий. Репрессивная система СССР опиралась на массивную бюрократию, поэтому память о жертвах репрессий хранят расстрельные списки, архивы с уголовными делами, посмертные справки о реабилитации. Теперь эта память стала цифровой — и открытой для исследований. Вспоминаем, какие базы жертв репрессий существуют.
Жертвы политического террора
Сбором и оцифровкой данных о репрессиях занимается «Международный Мемориал»*: cегодня их база содержит более 3 миллионов записей с информацией о дате и месте рождения, месте проживания и работы, дате ареста и приговоре.
Это прямо здесь
География репрессий волнует многих исследователей, поэтому на основе данных «Мемориала» созданы несколько ресурсов с геопривязкой. Самый известный — московский «Это прямо здесь». Здесь можно обнаружить места массовых расстрелов, здания тюрем, лагерей и лагпунктов, захоронения расстрелянных. Всего — свыше 830 объектов.
Не только жертвы, не только репрессий
Информация есть не только о жертвах системы, но и о тех, кто в ней работал – в отдельной базе данных собрано почти 50 тысяч имен сотрудников органов государственной безопасности СССР с 1935 по 1939 годы.
Еще одна крупная база посвящена остарбайтерам — жителям оккупированных территорий СССР, перемещенных для работы в Германию и возвратившихся после войны.
Узнать подробнее об этих базах данных и о том, какие сложности возникают при их создании и дальнейшей стандартизацией информации, можно из полной версии статьи. А если вы знаете о других проектах и базах данных, которые помогают изучать тему Большого террора — расскажите о них в комментариях.
🤖 «Системный Блокъ» @sysblok
*Международный Мемориал ликвидирован решением ВС РФ 28 февраля 2022 года
Сегодня день памяти жертв политических репрессий. Репрессивная система СССР опиралась на массивную бюрократию, поэтому память о жертвах репрессий хранят расстрельные списки, архивы с уголовными делами, посмертные справки о реабилитации. Теперь эта память стала цифровой — и открытой для исследований. Вспоминаем, какие базы жертв репрессий существуют.
Жертвы политического террора
Сбором и оцифровкой данных о репрессиях занимается «Международный Мемориал»*: cегодня их база содержит более 3 миллионов записей с информацией о дате и месте рождения, месте проживания и работы, дате ареста и приговоре.
Это прямо здесь
География репрессий волнует многих исследователей, поэтому на основе данных «Мемориала» созданы несколько ресурсов с геопривязкой. Самый известный — московский «Это прямо здесь». Здесь можно обнаружить места массовых расстрелов, здания тюрем, лагерей и лагпунктов, захоронения расстрелянных. Всего — свыше 830 объектов.
Не только жертвы, не только репрессий
Информация есть не только о жертвах системы, но и о тех, кто в ней работал – в отдельной базе данных собрано почти 50 тысяч имен сотрудников органов государственной безопасности СССР с 1935 по 1939 годы.
Еще одна крупная база посвящена остарбайтерам — жителям оккупированных территорий СССР, перемещенных для работы в Германию и возвратившихся после войны.
Узнать подробнее об этих базах данных и о том, какие сложности возникают при их создании и дальнейшей стандартизацией информации, можно из полной версии статьи. А если вы знаете о других проектах и базах данных, которые помогают изучать тему Большого террора — расскажите о них в комментариях.
*Международный Мемориал ликвидирован решением ВС РФ 28 февраля 2022 года
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Большие данные Большого террора - Системный Блокъ
Каждый год у Соловецкого камня в Москве читают имена жертв репрессий — 12 часов подряд, без остановки. Но сможем ли мы когда-нибудь перечислить всех? Рассказываем о базах данных «Международного Мемориала»
Машинное обучение и японская уличная мода: как возникают и распространяются стили
Как женский костюм отражает экономическое состояние страны? Можно ли изучить моду отдельной улицы? И как в этом помогает кластеризация? На примере японского цифрового архива моды CAT STREET рассказываем об исследованиях на стыке антропологии и машинного обучения.
👒 Зачем ученым мода?
Модные тренды интересуют не только стилистов. Собирая базы данных, ученые разрабатывают алгоритмы, которые могли бы предсказывать будущие тенденции, и изучают моду как социальное явление. При этом можно изучать не только отдельные эпохи, но и отдельные… территории. Ведь иногда в разных кварталах города группируются сообщества, которые имеют свои характерные стили.
👗 Что такое CAT STREET?
База CAT STREET (в открытом доступе её, увы, нет) работает именно с этим феноменом, концентрируясь на моде торговых улиц Токио. Сегодня в ней собрано 14 688 изображений, отражающих повседневную моду женщин с 1970 и 2017 год. Чтобы изучить её эффективнее, ученые применили модель кластеризации, которую уже проверяли на другой базе – FashionStyle14. Это помогло создать список наиболее характерных стилей.
👜 Что мы узнали благодаря базе?
Теперь CAT STREET стал удобным инструментом для изучения моды. Например, благодаря нему ученые выявили, что женщины чаще выбирают стиль консервативный стиль в одежде, когда экономика растет. А еще – что стили на знаковых торговых улицах Харадзюку и Сибуя заметно отличаются, хоть улицы и находятся поблизости. Более того, на одной из них стиль мог появиться и вскоре исчезнуть, а на другой – сохраниться.
Узнать подробнее об этих и других исследованиях моды с применением цифровых технологий, а также о стилях Gal, Fairy и Kawaii-kei можно из полной версии статьи.
Время чтения: 18 минут.
🤖 «Системный Блокъ» @sysblok
Как женский костюм отражает экономическое состояние страны? Можно ли изучить моду отдельной улицы? И как в этом помогает кластеризация? На примере японского цифрового архива моды CAT STREET рассказываем об исследованиях на стыке антропологии и машинного обучения.
👒 Зачем ученым мода?
Модные тренды интересуют не только стилистов. Собирая базы данных, ученые разрабатывают алгоритмы, которые могли бы предсказывать будущие тенденции, и изучают моду как социальное явление. При этом можно изучать не только отдельные эпохи, но и отдельные… территории. Ведь иногда в разных кварталах города группируются сообщества, которые имеют свои характерные стили.
👗 Что такое CAT STREET?
База CAT STREET (в открытом доступе её, увы, нет) работает именно с этим феноменом, концентрируясь на моде торговых улиц Токио. Сегодня в ней собрано 14 688 изображений, отражающих повседневную моду женщин с 1970 и 2017 год. Чтобы изучить её эффективнее, ученые применили модель кластеризации, которую уже проверяли на другой базе – FashionStyle14. Это помогло создать список наиболее характерных стилей.
👜 Что мы узнали благодаря базе?
Теперь CAT STREET стал удобным инструментом для изучения моды. Например, благодаря нему ученые выявили, что женщины чаще выбирают стиль консервативный стиль в одежде, когда экономика растет. А еще – что стили на знаковых торговых улицах Харадзюку и Сибуя заметно отличаются, хоть улицы и находятся поблизости. Более того, на одной из них стиль мог появиться и вскоре исчезнуть, а на другой – сохраниться.
Узнать подробнее об этих и других исследованиях моды с применением цифровых технологий, а также о стилях Gal, Fairy и Kawaii-kei можно из полной версии статьи.
Время чтения: 18 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Японская уличная мода: что расскажет CAT STREET о стилях и трендах?
«Системный Блокъ» рассказывает о цифровом архиве японской уличной моды и об исследованиях на его основе.
Михаил Гельфанд возвращается в РАН
Известного биоинформатика и борца с фальшивыми диссертациями Михаила Гельфанда, уволенного из Института проблем передачи информации РАН после прихода туда нового начальства, восстановили в должности по суду. Мы поздравляем Михаила Гельфанда и вспоминаем интервью, которое «Системный Блокъ» взял у ученого в 2023 году. Из него вы узнаете, как работают фабрики по производству диссертаций, можно ли отловить купленные научные работы и в каких научных дисциплинах больше всего фальсификаций.
🤖 «Системный Блокъ» @sysblok
Известного биоинформатика и борца с фальшивыми диссертациями Михаила Гельфанда, уволенного из Института проблем передачи информации РАН после прихода туда нового начальства, восстановили в должности по суду. Мы поздравляем Михаила Гельфанда и вспоминаем интервью, которое «Системный Блокъ» взял у ученого в 2023 году. Из него вы узнаете, как работают фабрики по производству диссертаций, можно ли отловить купленные научные работы и в каких научных дисциплинах больше всего фальсификаций.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Системный Блокъ
«Злачные области науки»: Михаил Гельфанд о плагиате, лишении степени и неэффективных чиновниках
В каких научных дисциплинах больше всего фальсификаций? Сколько депутатов лишились научных степеней из-за некорректных заимствований? Как работают фабрики по…
В каких научных дисциплинах больше всего фальсификаций? Сколько депутатов лишились научных степеней из-за некорректных заимствований? Как работают фабрики по…
Перспективы искусственного интеллекта: прогнозы ученых
Как будет развиваться ИИ в ближайшем будущем? Перспективно ли пытаться научить компьютер думать, как человек? Может ли не хватить данных для обучения искусственного интеллекта? Попробуем ответить на эти вопросы.
Невыученный урок
Недавно мы рассказывали о том, что для создания качественного машинного перевода и языковых моделей, нужен совсем не тот же подход, который лингвисты применяют к естественному языку. А как обстоят дела с мышлением? Нужно ли моделировать в компьютере человеческие представления о мире, чтобы усовершенствовать ИИ?
Короткий ответ: тоже нет
Ричард Саттон, признанный ученый в области искусственного интеллекта, ещё в 2019 году пришел к выводу, что долгосрочный прогресс в ИИ был возможен благодаря методам, которые опирались на рост вычислительных мощностей и увеличение доступных вычислительных ресурсов, не пытаясь воссоздать процесс человеческого мышления.
Примеры из прошлого
В 1997 году компьютер Deep Blue победил в шахматах чемпиона мира. Deep Blue играл с помощью brute force поиска — поиска оптимального шага путём перебора большого количества вариантов. Никакого человеческого понимания игры.
Подобная история повторилась в 2016 году с го — игрой, более сложной с точки зрения количества комбинаций. В области компьютерного зрения человеческие знания тоже проиграли статистическому подходу.
Вычисления и данные
Для повышения качества моделей важны не только вычисления, но и данные, на которых обучают модель, причем прежде всего – высокого качества. В случае языковых моделей, например, научные публикации и новости важнее форумов и блогов. Ежегодно количество данных высокого качества растет на 4–5%, а низкого – на 6–17.5%.
Что нас ждет
В случае текстовых данных высокого качества исследователи прогнозируют, что при сохранении текущих трендов их общий запас исчерпается до 2027 года. К счастью, динамика может измениться, да и появление принципиально нового источника данных, например, VR и AR устройств, не стоит исключать.
🤖 «Системный Блокъ» @sysblok
Как будет развиваться ИИ в ближайшем будущем? Перспективно ли пытаться научить компьютер думать, как человек? Может ли не хватить данных для обучения искусственного интеллекта? Попробуем ответить на эти вопросы.
Невыученный урок
Недавно мы рассказывали о том, что для создания качественного машинного перевода и языковых моделей, нужен совсем не тот же подход, который лингвисты применяют к естественному языку. А как обстоят дела с мышлением? Нужно ли моделировать в компьютере человеческие представления о мире, чтобы усовершенствовать ИИ?
Короткий ответ: тоже нет
Ричард Саттон, признанный ученый в области искусственного интеллекта, ещё в 2019 году пришел к выводу, что долгосрочный прогресс в ИИ был возможен благодаря методам, которые опирались на рост вычислительных мощностей и увеличение доступных вычислительных ресурсов, не пытаясь воссоздать процесс человеческого мышления.
Примеры из прошлого
В 1997 году компьютер Deep Blue победил в шахматах чемпиона мира. Deep Blue играл с помощью brute force поиска — поиска оптимального шага путём перебора большого количества вариантов. Никакого человеческого понимания игры.
Подобная история повторилась в 2016 году с го — игрой, более сложной с точки зрения количества комбинаций. В области компьютерного зрения человеческие знания тоже проиграли статистическому подходу.
Вычисления и данные
Для повышения качества моделей важны не только вычисления, но и данные, на которых обучают модель, причем прежде всего – высокого качества. В случае языковых моделей, например, научные публикации и новости важнее форумов и блогов. Ежегодно количество данных высокого качества растет на 4–5%, а низкого – на 6–17.5%.
Что нас ждет
В случае текстовых данных высокого качества исследователи прогнозируют, что при сохранении текущих трендов их общий запас исчерпается до 2027 года. К счастью, динамика может измениться, да и появление принципиально нового источника данных, например, VR и AR устройств, не стоит исключать.
Please open Telegram to view this post
VIEW IN TELEGRAM
Поисковики с ChatGPT и Gemini, новые релизы от Anthropic, открытые модели для генерации видео
Рассказываем, что произошло в мире ИИ за последние две недели.
Новинки от Anthropic
Компания Anthropic, главный конкурент OpenAI, представила новые версии своей средней и малой моделей — Claude Sonnet и Haiku. Новый Claude Sonnet 3.5 в основных тестах показывает себя лучше своего предшественника. Особенно сильно улучшилась генерация кода — в ней модель стала новым лидером на рынке.
Миниатюрная Haiku 3.5 также показала заметный прогресс относительно прошлой версии и сравнима с GPT-4o mini, однако уступает недавно обновлённой Gemini Flash от Google.
Компания также показала новый сценарий использования своих языковых моделей — Computer use. В этом режиме пользователь ставит перед моделью задачу и предоставляет ей доступ к компьютеру. Модель поэтапно выполняет задание, ориентируясь по скриншотам и взаимодействуя с интерфейсом, как человек: кликая по элементам, вводя текст и так далее.
Computer use можно применять для автоматизации рутинных операций на компьютере, например, заполнения простых отчётов или тестирования программ на наличие ошибок. Подобное использование LLM исследовалось ранее, однако Anthropic стала первой компанией, которая представила готовое коммерческое решение.
Генерация видео для всех
Стали доступны две нейросети, способные генерировать видео по текстовым описаниям: Mochi 1 от компании Genmo и Allegro от Rhymes AI. Обе модели могут быть использованы как для исследовательских целей, так и для коммерческого использования.
Сегодня Mochi 1 — самая большая открытая моделью для генерации видео. Всего в ней 10 млрд параметров, она способна генерировать видео с качеством 480p длиной до 5,4 секунд, 30 кадров в секунду.
Allegro более компактная — более чем в три раза меньше Mochi 1. Модель может генерировать видео с качеством 720p длиной до шести секунд, 15 кадров в секунду.
Бум развития моделей для генерации видео произошёл после релиза модели Sora, представленной OpenAI ещё в марте. О том, как работает Sora, вы можете узнать в нашем материале. После выхода модели от OpenAI уже несколько компаний успели представить свои решения.
LLM + поиск = ?
OpenAI выпустила ChatGPT Search — поисковую систему, интегрированную с ChatGPT. ChatGPT Search ищет необходимую информацию в интернете и использует её, чтобы ответить на вопрос пользователя. Например, можно спросить у модели, где поужинать сегодня вечером, или попросить сделать сводку по определённой теме. Система не лишена недостатков обычного ChatGPT — она подвержена галлюцинациям.
Google также предоставила доступ к своей языковой модели Gemini, способной искать информацию в Google. Это позволит пользователям получать более актуальные и релевантные ответы на свои запросы.
Идея комбинации поисковых систем и языковых моделей не нова: Google уже пыталась встроить ИИ в поиск. Про галлюцинации и механизм генерации, дополненной поиском, мы рассказывали в нашей статье про RAG (Retrieval Augmented Generation).
🤖 «Системный Блокъ» @sysblok
Рассказываем, что произошло в мире ИИ за последние две недели.
Новинки от Anthropic
Компания Anthropic, главный конкурент OpenAI, представила новые версии своей средней и малой моделей — Claude Sonnet и Haiku. Новый Claude Sonnet 3.5 в основных тестах показывает себя лучше своего предшественника. Особенно сильно улучшилась генерация кода — в ней модель стала новым лидером на рынке.
Миниатюрная Haiku 3.5 также показала заметный прогресс относительно прошлой версии и сравнима с GPT-4o mini, однако уступает недавно обновлённой Gemini Flash от Google.
Компания также показала новый сценарий использования своих языковых моделей — Computer use. В этом режиме пользователь ставит перед моделью задачу и предоставляет ей доступ к компьютеру. Модель поэтапно выполняет задание, ориентируясь по скриншотам и взаимодействуя с интерфейсом, как человек: кликая по элементам, вводя текст и так далее.
Computer use можно применять для автоматизации рутинных операций на компьютере, например, заполнения простых отчётов или тестирования программ на наличие ошибок. Подобное использование LLM исследовалось ранее, однако Anthropic стала первой компанией, которая представила готовое коммерческое решение.
Генерация видео для всех
Стали доступны две нейросети, способные генерировать видео по текстовым описаниям: Mochi 1 от компании Genmo и Allegro от Rhymes AI. Обе модели могут быть использованы как для исследовательских целей, так и для коммерческого использования.
Сегодня Mochi 1 — самая большая открытая моделью для генерации видео. Всего в ней 10 млрд параметров, она способна генерировать видео с качеством 480p длиной до 5,4 секунд, 30 кадров в секунду.
Allegro более компактная — более чем в три раза меньше Mochi 1. Модель может генерировать видео с качеством 720p длиной до шести секунд, 15 кадров в секунду.
Бум развития моделей для генерации видео произошёл после релиза модели Sora, представленной OpenAI ещё в марте. О том, как работает Sora, вы можете узнать в нашем материале. После выхода модели от OpenAI уже несколько компаний успели представить свои решения.
LLM + поиск = ?
OpenAI выпустила ChatGPT Search — поисковую систему, интегрированную с ChatGPT. ChatGPT Search ищет необходимую информацию в интернете и использует её, чтобы ответить на вопрос пользователя. Например, можно спросить у модели, где поужинать сегодня вечером, или попросить сделать сводку по определённой теме. Система не лишена недостатков обычного ChatGPT — она подвержена галлюцинациям.
Google также предоставила доступ к своей языковой модели Gemini, способной искать информацию в Google. Это позволит пользователям получать более актуальные и релевантные ответы на свои запросы.
Идея комбинации поисковых систем и языковых моделей не нова: Google уже пыталась встроить ИИ в поиск. Про галлюцинации и механизм генерации, дополненной поиском, мы рассказывали в нашей статье про RAG (Retrieval Augmented Generation).
Please open Telegram to view this post
VIEW IN TELEGRAM
Подборка каналов об искусственном интеллекте и машинном обучении от издания «Системный Блокъ»
Data Science, машинное обучение, искусственный интеллект — cегодня о них пишет каждый. Но как найти тех, кто действительно разбирается? «Системный Блокъ» собрал каналы экспертов в сфере ИИ, DS и ML
— @ai_newz — эйай ньюз
Модели для будущих робо-гуманоидов от Nvidia, знакомство с основателями стартапа Mistral, трюки в промптинге языковых моделей и списки книг для изучения машинного обучения — в канале найдете новости из сферы ИИ и советы по входу в неё. Автор канала Артём получил PhD в лаборатории университета Гейдельберга, где сделали Stable Diffusion, работает Staff Research Scientist в команде LLaMA в одной из крупнейших IT-компаний мира и пишет о своем опыте
— @seeallochnaya — Сиолошная
Понятные разборы исследований по нейросетям, охватывающие темы от воздействия на образование до разборов внутренностей LLM. Обзоры новостей, которые влияют на будущее индустрии ИИ: от экономических аспектов до ядерной энергетики для подпитки датацентров. Канал ведёт Игорь Котенков — руководитель ИИ-отдела в международной компании; в прошлом занимался машинным обучением в AliBaba, Яндексе и X5 Retail; автор множества популярных статей-разборов и лекций, подходящих любой аудитории
— @gonzo_ML — gonzo-обзоры ML статей
Интересны обзоры специализированных статей об искусственном интеллекте и машинном обучении, анонсы и анализ больших языковых моделей? Этот проект — для вас! Среди последних публикаций: отражение малых языков в больших языковых моделях и системах машинного перевода, лекции о проблемах сознания и тезисы отчета о состоянии сферы ИИ. Канал ведут CTO Intento Григорий Сапунов, ex-руководитель разработки Яндекс-Новостей, и Алексей Тихонов, ex-аналитик в Яндексе, автор Яндекс-автопоэта и Нейронной обороны
— @rybolos_channel — Kali Novskaya
Применение языковых моделей в науке, история GPT в стиле Хармса, подборки курсов по NLP, а также анализ угроз открытым данным, на которых обучаются языковые модели. Канал ведет Татьяна Шаврина — лингвист, менеджер исследовательской команды в LLAMA, большая сторонница опенсорса и открытых данных. Она рассказывает о современных LLM и NLP-исследованиях, важности открытых технологий, этике искусственного интеллекта и сложных вопросах интеллектуальной собственности
— @boris_again — Борис опять
Здесь вы найдете материалы об IT и программировании, поиске работы в Machine Learning’е, обзоры исследований в области ИИ. Автор работает в eBay, преподает машинное обучение, делится профессиональным и личным, шутит и философствует. Например, рассказывает, как развивать самоконтроль, берет интервью у коллег о карьере в технологическом секторе и делает подборки русскоязычных LLM
— @tech_priestess — Техножрица
Канал для тех, кому интересны математика, разработка и исследования машинного обучения. Создательница проекта работает старшим академическим консультантом в Huawei и рассказывает об исследованиях, в которых участвует (например, о границе между текстами, написанными человеком и ИИ), пишет о трансформерах, NLP, анализе данных и глубоком обучении
— @dealerAI — DealerAI
Как связать дообучение на основе фидбэка от людей с дообучением на ИИ-фидбэке? Чем можно улучшить RAG? Какие маленькие модели выигрывают у больших аналогов? Автор канала Александр Абрамов — создатель языковых моделей, победитель соревнований в Kaggle и хакатонов по Data Science, а также тимлид нескольких ML-команд, которые решают задачи обработки естественного языка и интегрируют LLM в прикладные проекты. В канале есть посты обо всем, что связано с DS, NLP и машинным обучением: например, о новых LLM и галлюцинациях нейросетей
— @sysblok — Системный Блокъ
Как ИИ помогает читать древние тексты? Почему лингвисты проиграли последнюю битву за NLP? Как связаны машинное обучение и японская уличная мода? «Системный Блокъ», основанный выходцами из RND отдела ABBYY, рассказывает о том, как трансформируется культура в век больших данных — что происходит на стыке IT, гуманитарных наук и Data Science или как ML применяют в естественных и гуманитарных науках
Data Science, машинное обучение, искусственный интеллект — cегодня о них пишет каждый. Но как найти тех, кто действительно разбирается? «Системный Блокъ» собрал каналы экспертов в сфере ИИ, DS и ML
— @ai_newz — эйай ньюз
Модели для будущих робо-гуманоидов от Nvidia, знакомство с основателями стартапа Mistral, трюки в промптинге языковых моделей и списки книг для изучения машинного обучения — в канале найдете новости из сферы ИИ и советы по входу в неё. Автор канала Артём получил PhD в лаборатории университета Гейдельберга, где сделали Stable Diffusion, работает Staff Research Scientist в команде LLaMA в одной из крупнейших IT-компаний мира и пишет о своем опыте
— @seeallochnaya — Сиолошная
Понятные разборы исследований по нейросетям, охватывающие темы от воздействия на образование до разборов внутренностей LLM. Обзоры новостей, которые влияют на будущее индустрии ИИ: от экономических аспектов до ядерной энергетики для подпитки датацентров. Канал ведёт Игорь Котенков — руководитель ИИ-отдела в международной компании; в прошлом занимался машинным обучением в AliBaba, Яндексе и X5 Retail; автор множества популярных статей-разборов и лекций, подходящих любой аудитории
— @gonzo_ML — gonzo-обзоры ML статей
Интересны обзоры специализированных статей об искусственном интеллекте и машинном обучении, анонсы и анализ больших языковых моделей? Этот проект — для вас! Среди последних публикаций: отражение малых языков в больших языковых моделях и системах машинного перевода, лекции о проблемах сознания и тезисы отчета о состоянии сферы ИИ. Канал ведут CTO Intento Григорий Сапунов, ex-руководитель разработки Яндекс-Новостей, и Алексей Тихонов, ex-аналитик в Яндексе, автор Яндекс-автопоэта и Нейронной обороны
— @rybolos_channel — Kali Novskaya
Применение языковых моделей в науке, история GPT в стиле Хармса, подборки курсов по NLP, а также анализ угроз открытым данным, на которых обучаются языковые модели. Канал ведет Татьяна Шаврина — лингвист, менеджер исследовательской команды в LLAMA, большая сторонница опенсорса и открытых данных. Она рассказывает о современных LLM и NLP-исследованиях, важности открытых технологий, этике искусственного интеллекта и сложных вопросах интеллектуальной собственности
— @boris_again — Борис опять
Здесь вы найдете материалы об IT и программировании, поиске работы в Machine Learning’е, обзоры исследований в области ИИ. Автор работает в eBay, преподает машинное обучение, делится профессиональным и личным, шутит и философствует. Например, рассказывает, как развивать самоконтроль, берет интервью у коллег о карьере в технологическом секторе и делает подборки русскоязычных LLM
— @tech_priestess — Техножрица
Канал для тех, кому интересны математика, разработка и исследования машинного обучения. Создательница проекта работает старшим академическим консультантом в Huawei и рассказывает об исследованиях, в которых участвует (например, о границе между текстами, написанными человеком и ИИ), пишет о трансформерах, NLP, анализе данных и глубоком обучении
— @dealerAI — DealerAI
Как связать дообучение на основе фидбэка от людей с дообучением на ИИ-фидбэке? Чем можно улучшить RAG? Какие маленькие модели выигрывают у больших аналогов? Автор канала Александр Абрамов — создатель языковых моделей, победитель соревнований в Kaggle и хакатонов по Data Science, а также тимлид нескольких ML-команд, которые решают задачи обработки естественного языка и интегрируют LLM в прикладные проекты. В канале есть посты обо всем, что связано с DS, NLP и машинным обучением: например, о новых LLM и галлюцинациях нейросетей
— @sysblok — Системный Блокъ
Как ИИ помогает читать древние тексты? Почему лингвисты проиграли последнюю битву за NLP? Как связаны машинное обучение и японская уличная мода? «Системный Блокъ», основанный выходцами из RND отдела ABBYY, рассказывает о том, как трансформируется культура в век больших данных — что происходит на стыке IT, гуманитарных наук и Data Science или как ML применяют в естественных и гуманитарных науках