Летняя школа в цифрах от участников мастерской «Системного Блока»
В августе «Системный Блокъ» провел мастерскую по дата-журналистике на Летней школе (это волонтёрский образовательный проект, который ежегодно проходит в лесу на берегу Волги недалеко от Дубны). Делимся с вами инфографиками, которые сделали наши студенты про саму Летнюю школу. Участники мастерской выяснили, откуда приехали люди на ЛШ (нашлись участники из Глазго и Владивостока), сколько им лет, сколько среди них кандидатов наук, а также какой гарнир они предпочитают в летнешкольной столовой и как коррелируют возраст и любовь к чечевице. А ещё сделали красивый дата-арт про страдания летнешкольных «сов» 🦉
🤖 «Системный Блокъ» @sysblok
В августе «Системный Блокъ» провел мастерскую по дата-журналистике на Летней школе (это волонтёрский образовательный проект, который ежегодно проходит в лесу на берегу Волги недалеко от Дубны). Делимся с вами инфографиками, которые сделали наши студенты про саму Летнюю школу. Участники мастерской выяснили, откуда приехали люди на ЛШ (нашлись участники из Глазго и Владивостока), сколько им лет, сколько среди них кандидатов наук, а также какой гарнир они предпочитают в летнешкольной столовой и как коррелируют возраст и любовь к чечевице. А ещё сделали красивый дата-арт про страдания летнешкольных «сов» 🦉
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Геймификация образования: мотивирует ли учиться виртуальная валюта?
Замотивировать детей или взрослых учиться – насущная проблема учителей и создателей курсов. Один из новых способов — использование игровых денег. «Системный Блокъ» рассказывает, об эффективности этого метода.
Кратко: о чем статья?
Геймификация — использование игровых механик в неигровой сфере. Ощущение прогресса и награды стимулируют учащихся, а также обеспечивают интерактивность и возможность полного погружения в курс. Для геймификации можно составить лидерскую таблицу, использовать аватары и виртуальную валюту. Последний метод работает так: сотрудники получают возможность зарабатывать токены или коины, а после обменивать их на мерч или другие подарки. Например, во ВКонтакте можно конвертировать школьные оценки в умникоины и тратить их на внутреннем маркетплейсе.
Исследователи НИУ ВШЭ совместно с платформой Skyeng провели эксперимент, чтобы оценить влияние виртуальной валюты на успехи учеников. В ходе исследования выяснилось, что внедрение игровых денег увеличило долю выполненных домашних заданий и в некоторых случаях повысило средний балл учащихся. Важный вывод, к которому пришли исследователи, — эффект от использования игровой валюты зависит от того, на что её можно потратить. Например, новые онлайн-курсы за виртуальные деньги ученики покупали очень активно, а вот трехмесячные подписки на сторонние сервисы и стикеры в телеграме их почти не интересовали.
Более подробно о рисках такого подхода и других исследованиях об игровых деньгах в образовании читайте в полной версии статьи.
Время чтения: 11,5 минут.
🤖 «Системный Блокъ» @sysblok
Замотивировать детей или взрослых учиться – насущная проблема учителей и создателей курсов. Один из новых способов — использование игровых денег. «Системный Блокъ» рассказывает, об эффективности этого метода.
Кратко: о чем статья?
Геймификация — использование игровых механик в неигровой сфере. Ощущение прогресса и награды стимулируют учащихся, а также обеспечивают интерактивность и возможность полного погружения в курс. Для геймификации можно составить лидерскую таблицу, использовать аватары и виртуальную валюту. Последний метод работает так: сотрудники получают возможность зарабатывать токены или коины, а после обменивать их на мерч или другие подарки. Например, во ВКонтакте можно конвертировать школьные оценки в умникоины и тратить их на внутреннем маркетплейсе.
Исследователи НИУ ВШЭ совместно с платформой Skyeng провели эксперимент, чтобы оценить влияние виртуальной валюты на успехи учеников. В ходе исследования выяснилось, что внедрение игровых денег увеличило долю выполненных домашних заданий и в некоторых случаях повысило средний балл учащихся. Важный вывод, к которому пришли исследователи, — эффект от использования игровой валюты зависит от того, на что её можно потратить. Например, новые онлайн-курсы за виртуальные деньги ученики покупали очень активно, а вот трехмесячные подписки на сторонние сервисы и стикеры в телеграме их почти не интересовали.
Более подробно о рисках такого подхода и других исследованиях об игровых деньгах в образовании читайте в полной версии статьи.
Время чтения: 11,5 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Геймификация и игровая валюта в образовании
«Системный Блокъ» рассказывает, какое влияние виртуальная валюта оказывает на мотивацию учащихся, какие риски несёт геймификация и как же всё-таки заставить учеников делать домашние задания.
Толстой или Достоевский? Викторина по векторной литературе
Сможете ли вы отличить «Мастера и Маргариту» от «12 стульев»? Скорее всего, не ошибетесь. А если заменить некоторые слова из оригинальных произведений на близкие по значению?
Векторная модель word2vec умеет работать со значениями слов — находить для них ближайшие синонимы, складывать и вычитать вектора значений (бык - самец + самка = корова). Технология распознает смысл слова исходя из контекста. На основе анализа больших массивов текстов модель учится понимать, например, что слова «лампа» и «светильник» похожи (так как часто употребляются в схожих контекстах), а «лампа» и «лама» — нет. С помощью таких векторных моделей можно сравнить два одинаковых текста на разных языках, проанализировать смысловую связь значений слов или даже создать «альтернативные» версии великих произведений русской литературы.
Подробнее о word2vec можно узнать из нашего поста или каталога нейросетей «Системного Блока». А пока предлагаем вам отгадать, цитату из какого произведения преобразовала модель.
P. S. Ещё больше альтернативных цитат от модели найдете в тесте!
🤖 «Системный Блокъ» @sysblok
Сможете ли вы отличить «Мастера и Маргариту» от «12 стульев»? Скорее всего, не ошибетесь. А если заменить некоторые слова из оригинальных произведений на близкие по значению?
Векторная модель word2vec умеет работать со значениями слов — находить для них ближайшие синонимы, складывать и вычитать вектора значений (бык - самец + самка = корова). Технология распознает смысл слова исходя из контекста. На основе анализа больших массивов текстов модель учится понимать, например, что слова «лампа» и «светильник» похожи (так как часто употребляются в схожих контекстах), а «лампа» и «лама» — нет. С помощью таких векторных моделей можно сравнить два одинаковых текста на разных языках, проанализировать смысловую связь значений слов или даже создать «альтернативные» версии великих произведений русской литературы.
Подробнее о word2vec можно узнать из нашего поста или каталога нейросетей «Системного Блока». А пока предлагаем вам отгадать, цитату из какого произведения преобразовала модель.
P. S. Ещё больше альтернативных цитат от модели найдете в тесте!
Please open Telegram to view this post
VIEW IN TELEGRAM
«Старообрядцев, первокурсник, был у вас всего-то тому день» – цитату из какого произведения преобразовала Word2vec?
Anonymous Quiz
19%
Толстой, «Детство»
27%
Тургенев, «Отцы и дети»
54%
Достоевский, «Преступление и наказание»
Зачем нужны гуманитарии?
Какова цель науки? С физиками и химиками понятно: они создают фундамент для разработки технологий. А зачем нужны гуманитарии? Не пора ли их отменить за ненадобностью? Филолог Борис Орехов предлагает ответ в своем блоге.
Две функции
Иногда (в особенно тяжелые периоды для общества) гуманитарии исчезают с карты социальных явлений и существований, но почему-то всегда возвращаются. Вероятно, потому, что обеспечивают две важные для человеческого сообщества функции: память и диалог.
Причем диалог не только друг с другом, но и с Платоном, а также с Эпикуром, Вергилием и Горацием. Зачем нужен такой диалог, точно неясно, но что он нужен людям и в 2024 году, был нужен и в 1024 году, и в 24-м, и будет нужен в 3024 году, несомненный эмпирически осязаемый факт.
Память и диалог
Диалог — это то, что филолог и культуролог Аверинцев назвал службой понимания. Понимание в бытовом смысле часто требуется ближнему, современнику, а для гуманитариев понимание тесно сплетено с памятью, которая всегда направлена в прошлое. Понимание предков, их текстов, их культуры и духовной жизни. Память была ключевым понятием для Ю. М. Лотмана: «Культура есть память. Поэтому она всегда связана с историей, всегда подразумевает непрерывность нравственной, интеллектуальной, духовной жизни человека, общества и человечества».
Движение к человеку
В последнее время историки двинулись от изучения масштабных событий и личностей в сторону обычного человека, носителя памяти. Возникла oral history, взлетела семейная история, стали так ценны частные воспоминания незнаменитых людей. В своем тексте о нужности гуманитариев Борис Орехов тоже привлек в качестве опоры собственную семейную историю.
Об оцифрованных для «Пишу тебе» открытках дедушки Бориса Орехова с фронта и связи книги о скотоводстве с Digital Humanities читайте в полной версии поста.
🤖 «Системный Блокъ» @sysblok
Какова цель науки? С физиками и химиками понятно: они создают фундамент для разработки технологий. А зачем нужны гуманитарии? Не пора ли их отменить за ненадобностью? Филолог Борис Орехов предлагает ответ в своем блоге.
Две функции
Иногда (в особенно тяжелые периоды для общества) гуманитарии исчезают с карты социальных явлений и существований, но почему-то всегда возвращаются. Вероятно, потому, что обеспечивают две важные для человеческого сообщества функции: память и диалог.
Причем диалог не только друг с другом, но и с Платоном, а также с Эпикуром, Вергилием и Горацием. Зачем нужен такой диалог, точно неясно, но что он нужен людям и в 2024 году, был нужен и в 1024 году, и в 24-м, и будет нужен в 3024 году, несомненный эмпирически осязаемый факт.
Память и диалог
Диалог — это то, что филолог и культуролог Аверинцев назвал службой понимания. Понимание в бытовом смысле часто требуется ближнему, современнику, а для гуманитариев понимание тесно сплетено с памятью, которая всегда направлена в прошлое. Понимание предков, их текстов, их культуры и духовной жизни. Память была ключевым понятием для Ю. М. Лотмана: «Культура есть память. Поэтому она всегда связана с историей, всегда подразумевает непрерывность нравственной, интеллектуальной, духовной жизни человека, общества и человечества».
Движение к человеку
В последнее время историки двинулись от изучения масштабных событий и личностей в сторону обычного человека, носителя памяти. Возникла oral history, взлетела семейная история, стали так ценны частные воспоминания незнаменитых людей. В своем тексте о нужности гуманитариев Борис Орехов тоже привлек в качестве опоры собственную семейную историю.
Об оцифрованных для «Пишу тебе» открытках дедушки Бориса Орехова с фронта и связи книги о скотоводстве с Digital Humanities читайте в полной версии поста.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Зачем нужны гуманитарии? - Системный Блокъ
Какова цель науки? С физиками и химиками понятно: они создают фундамент для разработки технологий. А зачем нужны гуманитарии? Не пора ли их отменить за ненадобностью? Филолог Борис Орехов предлагает ответ, опираясь при этом на историю собственной семьи.
«Предсказание революций и землетрясений мало чем отличаются»: интервью с Андреем Коротаевым о смертности в 90-е, клиодинамике и прогнозировании социальных взрывов
Можно ли моделировать исторические процессы при помощи баз данных и математических инструментов? Почему после распада СССР смертность в России и Эстонии была гораздо выше, чем в Грузии, Армении или Узбекистане? Какие факторы позволяют предсказать социальный взрыв и почему повышение качества жизни может привести к революции? Об этом в интервью «Системному Блоку» рассказал доктор исторических наук Андрей Коротаев.
Количественные методы до компьютеров
Андрей Коротаев стал интересоваться использованием количественных методов уже давно. Таблицы, карточки и калькулятор позволили ему убедиться, что главный экономический фактор появления государства и стратифицированного общества — это не производительность труда, а производительность земли. А ещё с их помощью удалось изучить и выявить закономерности в древнейеменских надписях.
Клиодинамика
Клиодинамика — это междисциплинарная область исследований, стремящаяся применить естественнонаучные методы к анализу исторических событий и преобразовывать существующие гипотезы исторического процесса в математические модели.
Хотя исторические процессы моделируются очень сложно, выяснилась общая закономерность: чем глобальнее процесс, чем больше народу и чем крупнее временной отрезок он охватывает, тем легче он моделируется.
Алкогольная смертность и 90-e
Резкий рост смертности в 90-е многие объясняли экономическим спадом на фоне развала страны, обнищанием населения. С помощью клиодинамических моделей Коротаеву и его коллеге Дарье Халтуриной удалось привести убедительные аргументы в пользу другой гипотезы – алкогольной.
Они показали, что в России и Эстонии в этот период демографический спад был, а в Грузии, Армении и Узбекистане — не было. При этом в Грузии прошла гражданская война, и экономика обвалилась больше, чем вполовину. Ереван был зимой занесён снегом, который никто не убирал, не было электричества. Однако на смертности это сказалось не так сильно, как в РФ.
По версии историков, причина в том, что Россия и Эстония — страны «водочной», а не «винной» культуры. В 90-е в них хлынул доступный алкоголь, произошел колоссальный рост его потребления и такой же колоссальный рост смертности.
Подробнее об этом исследовании, а также о предсказании революций с помощью метрик и эффекте мальтузианской ловушки читайте в полной версии интервью.
🤖 «Системный Блокъ» @sysblok
Можно ли моделировать исторические процессы при помощи баз данных и математических инструментов? Почему после распада СССР смертность в России и Эстонии была гораздо выше, чем в Грузии, Армении или Узбекистане? Какие факторы позволяют предсказать социальный взрыв и почему повышение качества жизни может привести к революции? Об этом в интервью «Системному Блоку» рассказал доктор исторических наук Андрей Коротаев.
Количественные методы до компьютеров
Андрей Коротаев стал интересоваться использованием количественных методов уже давно. Таблицы, карточки и калькулятор позволили ему убедиться, что главный экономический фактор появления государства и стратифицированного общества — это не производительность труда, а производительность земли. А ещё с их помощью удалось изучить и выявить закономерности в древнейеменских надписях.
Клиодинамика
Клиодинамика — это междисциплинарная область исследований, стремящаяся применить естественнонаучные методы к анализу исторических событий и преобразовывать существующие гипотезы исторического процесса в математические модели.
Хотя исторические процессы моделируются очень сложно, выяснилась общая закономерность: чем глобальнее процесс, чем больше народу и чем крупнее временной отрезок он охватывает, тем легче он моделируется.
Алкогольная смертность и 90-e
Резкий рост смертности в 90-е многие объясняли экономическим спадом на фоне развала страны, обнищанием населения. С помощью клиодинамических моделей Коротаеву и его коллеге Дарье Халтуриной удалось привести убедительные аргументы в пользу другой гипотезы – алкогольной.
Они показали, что в России и Эстонии в этот период демографический спад был, а в Грузии, Армении и Узбекистане — не было. При этом в Грузии прошла гражданская война, и экономика обвалилась больше, чем вполовину. Ереван был зимой занесён снегом, который никто не убирал, не было электричества. Однако на смертности это сказалось не так сильно, как в РФ.
По версии историков, причина в том, что Россия и Эстония — страны «водочной», а не «винной» культуры. В 90-е в них хлынул доступный алкоголь, произошел колоссальный рост его потребления и такой же колоссальный рост смертности.
Подробнее об этом исследовании, а также о предсказании революций с помощью метрик и эффекте мальтузианской ловушки читайте в полной версии интервью.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
«Предсказание революций и землетрясений мало чем отличаются»: интервью с Андреем Коротаевым о смертности в 90-е, клиодинамике и…
Можно ли моделировать исторические процессы при помощи баз данных и математических инструментов? Что даёт такое моделирование и каковы его границы? Почему после распада СССР смертность в России и Эстонии была гораздо выше, чем в Грузии, Армении или Узбекистане?…
Перфолента: от телеграфа до компьютера
Переходим от перфокарт к перфолентам. Историк и сотрудник Центра непрерывного образования НИУ ВШЭ Антон Басов рассказывает о всемирной истории перфорированных лент: они улучшили телеграф и компьютерные интерфейсы.
Кратко: о чем статья?
Перфолента — носитель информации в виде ленты из гибкого материала (часто бумаги), на котором данные записаны при помощи отверстий, пробитых в определенных местах. Как и перфокарты, она была представлена в 1851 году на Всемирной выставке в Лондоне, а появилась даже раньше них — в 1725 году. Просто нашла применение лишь спустя сто лет. В 1846 году Александр Бейн создал телеграф, использующий перфорированную ленту и работающий с большой для того времени скоростью: он мог передавать 20 000 слов в час. Передатчик Бейна работал так: в бумажной ленте пробивались отверстия, соответствующие по длине точкам и тире телеграфной азбуки. В передатчике лента проходила между двух электродов, замыкая цепь на более или менее короткие промежутки времени. В приемнике эти сигналы разной длительности записывались как точки и тире.
В 1905 году новозеландец Дональд Мюррей создал телеграф, использующий пятибитный код. Эта система, кстати, больше всего применялась в России. Начиная с 1905 года, его аппараты работали на линиях, соединявших Санкт-Петербург с Омском, Москвой и даже Берлином.
Следующим крупным событием в истории автоматических передатчиков стало создание телетайпа — телеграфного аппарата, действующего по принципу пишущей машинки и не требующего от оператора специальных знаний. Долгое время именно телетайп с перфолентой предлагал наиболее практичный интерфейс, обогнав перфокарты.
Какое наследие оставила после себя перфолента? Сегодня, когда вы читаете или пишете текст с применением Unicode, то есть любой текст на цифровом носителе, вы используете технологию кодирования, восходящую к автоматическому телеграфу Александра Бэйна 1846 года.
Более подробную историю перфолент найдете в полной версии материала.
Время чтения: 12,5 минут.
🤖 «Системный Блокъ» @sysblok
Переходим от перфокарт к перфолентам. Историк и сотрудник Центра непрерывного образования НИУ ВШЭ Антон Басов рассказывает о всемирной истории перфорированных лент: они улучшили телеграф и компьютерные интерфейсы.
Кратко: о чем статья?
Перфолента — носитель информации в виде ленты из гибкого материала (часто бумаги), на котором данные записаны при помощи отверстий, пробитых в определенных местах. Как и перфокарты, она была представлена в 1851 году на Всемирной выставке в Лондоне, а появилась даже раньше них — в 1725 году. Просто нашла применение лишь спустя сто лет. В 1846 году Александр Бейн создал телеграф, использующий перфорированную ленту и работающий с большой для того времени скоростью: он мог передавать 20 000 слов в час. Передатчик Бейна работал так: в бумажной ленте пробивались отверстия, соответствующие по длине точкам и тире телеграфной азбуки. В передатчике лента проходила между двух электродов, замыкая цепь на более или менее короткие промежутки времени. В приемнике эти сигналы разной длительности записывались как точки и тире.
В 1905 году новозеландец Дональд Мюррей создал телеграф, использующий пятибитный код. Эта система, кстати, больше всего применялась в России. Начиная с 1905 года, его аппараты работали на линиях, соединявших Санкт-Петербург с Омском, Москвой и даже Берлином.
Следующим крупным событием в истории автоматических передатчиков стало создание телетайпа — телеграфного аппарата, действующего по принципу пишущей машинки и не требующего от оператора специальных знаний. Долгое время именно телетайп с перфолентой предлагал наиболее практичный интерфейс, обогнав перфокарты.
Какое наследие оставила после себя перфолента? Сегодня, когда вы читаете или пишете текст с применением Unicode, то есть любой текст на цифровом носителе, вы используете технологию кодирования, восходящую к автоматическому телеграфу Александра Бэйна 1846 года.
Более подробную историю перфолент найдете в полной версии материала.
Время чтения: 12,5 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Как телеграф стал телетайпом? История развития телеграфа
Хотя перфолента появилась раньше перфокарт, применение ей нашлось не сразу. Рассказываем о том, как с помощью перфолент постепенно удалось улучшить телеграф, а затем и компьютерные интерфейсы 1960-х годов.
Новые модели от OpenAI, Mistral делает ИИ доступнее и запаздывающий Apple Intelligence
Рассказываем, что произошло за последнее время в мире ИИ.
o1 — новая модель для рассуждений от OpenAI
Компания OpenAI представила новую модель o1. В отличие от моделей линейки GPT, o1 «думает» перед ответом. Подобные техники улучшения ответов посредством промежуточных рассуждений известны давно, подробнее мы рассказывали об этом в нашем материале про Chain of Thought.
OpenAI усовершенствовала подход и специально обучила модель на цепочках рассуждений, которые ведут к правильным ответам c использованием обучения с подкреплением. По словам компании, о1 подходит для задач, в которых требуется большое количество промежуточных рассуждений, например, в задачах по математике или по программированию. Именно в них модель опережает практически всех конкурентов. OpenAI рекомендует использовать GPT и o1 в связке.
Цены за использование o1 и o1-mini (уменьшенная версия) в разы выше, чем за GPT-4o и GPT-4o mini, поскольку приходится платить за дополнительные выходные токены (токен — «единица» текста, за которую взимается плата). При этом пользователю показывается только упрощённая цепочка рассуждений, а не оригинальная, чтобы конкуренты не использовали эту информацию для улучшения своих моделей.
Выход o1 демонстрирует относительно новую парадигму развития языковых моделей. При традиционном подходе исследователи увеличивают сами модели и количество обучающих данных, то есть тратят всё больше и больше вычислений во время обучения. В случае o1 количество вычислений увеличивается во время использования обученной модели. Этот метод легче и дешевле масштабируется и обладает большей гибкостью. Например, можно генерировать сразу несколько цепочек рассуждений и в конце выбирать наиболее частотный ответ.
Это направление активно исследуется и другими крупными компаниями.
Доступный ИИ от Mistral
Французский стартап Mistral (мы уже рассказывали о нем ранее) представил бесплатный тариф с ограничениями на свои модели, а также существенно снизил цены в платных тарифах. Снижение составило от 30% до 80% в зависимости от модели.
Также стартап представил обновление своей компактной языковой модели Mistral Small и новую мультимодальную модель Pixtral, способную работать с изображения. По качеству в основных тестах обе новинки сопоставимы или опережают конкурентов.
Mistral, основанная бывшими сотрудниками Meta, завоевала известность благодаря разработке языковых моделей, сопоставимых по качеству с лидерами рынка. Отличительная особенность Mistral — предоставление большинства своих моделей бесплатно для некоммерческого использования.
Apple Intelligence задерживается
Летом 2024 года Apple анонсировала систему Apple Intelligence для своих устройств, которая включает в себя усовершенствованную версию голосового ассистента Siri, генерацию и редактирование текстов посредством ИИ, генерацию изображений и многие другие функции на базе машинного обучения.
На недавней презентации iPhone 16 компания Apple объявила о поэтапном запуске этих нововведений, изначально планировавшихся для iOS 18. Американские пользователи получат доступ к обновлениям в октябре, жители других стран — в декабре, а некоторые — только в 2025 году. Причиной задержки стали различия в требованиях государственных регуляторов к системам, использующим ИИ и персональные данные.
Это отставание ставит Apple в невыгодное положение по сравнению с конкурентами на рынке мобильных устройств, уже внедрившими функции на базе AI от Google.
🤖 «Системный Блокъ» @sysblok
Рассказываем, что произошло за последнее время в мире ИИ.
o1 — новая модель для рассуждений от OpenAI
Компания OpenAI представила новую модель o1. В отличие от моделей линейки GPT, o1 «думает» перед ответом. Подобные техники улучшения ответов посредством промежуточных рассуждений известны давно, подробнее мы рассказывали об этом в нашем материале про Chain of Thought.
OpenAI усовершенствовала подход и специально обучила модель на цепочках рассуждений, которые ведут к правильным ответам c использованием обучения с подкреплением. По словам компании, о1 подходит для задач, в которых требуется большое количество промежуточных рассуждений, например, в задачах по математике или по программированию. Именно в них модель опережает практически всех конкурентов. OpenAI рекомендует использовать GPT и o1 в связке.
Цены за использование o1 и o1-mini (уменьшенная версия) в разы выше, чем за GPT-4o и GPT-4o mini, поскольку приходится платить за дополнительные выходные токены (токен — «единица» текста, за которую взимается плата). При этом пользователю показывается только упрощённая цепочка рассуждений, а не оригинальная, чтобы конкуренты не использовали эту информацию для улучшения своих моделей.
Выход o1 демонстрирует относительно новую парадигму развития языковых моделей. При традиционном подходе исследователи увеличивают сами модели и количество обучающих данных, то есть тратят всё больше и больше вычислений во время обучения. В случае o1 количество вычислений увеличивается во время использования обученной модели. Этот метод легче и дешевле масштабируется и обладает большей гибкостью. Например, можно генерировать сразу несколько цепочек рассуждений и в конце выбирать наиболее частотный ответ.
Это направление активно исследуется и другими крупными компаниями.
Доступный ИИ от Mistral
Французский стартап Mistral (мы уже рассказывали о нем ранее) представил бесплатный тариф с ограничениями на свои модели, а также существенно снизил цены в платных тарифах. Снижение составило от 30% до 80% в зависимости от модели.
Также стартап представил обновление своей компактной языковой модели Mistral Small и новую мультимодальную модель Pixtral, способную работать с изображения. По качеству в основных тестах обе новинки сопоставимы или опережают конкурентов.
Mistral, основанная бывшими сотрудниками Meta, завоевала известность благодаря разработке языковых моделей, сопоставимых по качеству с лидерами рынка. Отличительная особенность Mistral — предоставление большинства своих моделей бесплатно для некоммерческого использования.
Apple Intelligence задерживается
Летом 2024 года Apple анонсировала систему Apple Intelligence для своих устройств, которая включает в себя усовершенствованную версию голосового ассистента Siri, генерацию и редактирование текстов посредством ИИ, генерацию изображений и многие другие функции на базе машинного обучения.
На недавней презентации iPhone 16 компания Apple объявила о поэтапном запуске этих нововведений, изначально планировавшихся для iOS 18. Американские пользователи получат доступ к обновлениям в октябре, жители других стран — в декабре, а некоторые — только в 2025 году. Причиной задержки стали различия в требованиях государственных регуляторов к системам, использующим ИИ и персональные данные.
Это отставание ставит Apple в невыгодное положение по сравнению с конкурентами на рынке мобильных устройств, уже внедрившими функции на базе AI от Google.
Please open Telegram to view this post
VIEW IN TELEGRAM
Тест: как найти свой восточный язык?
Иногда сложно понять, какой язык нам ближе и нужнее. Хочется и аниме, и корейские дорамы смотреть в оригинале без субтитров, а то и отправиться в Китай или подняться на верхний этаж небоскрёба в ОАЭ.
Если вы вдруг решили изучать восточную культуру и начать с языка, но никак не можете определиться, то этот тест для вас!
📜 Поймёте, готовы ли вы к множеству иероглифов и диалектов китайского и японского.
🌳 Узнаете, в каком языке, чтобы получилось слово «лес», надо просто трижды написать «дерево» (спойлер:в японском ).
🍜 Наконец, выберете, что вам ближе – корейский «тосирак», что значит «обед из дома», или гостеприимство, выраженное арабским словом «дыйафа».
🤖 «Системный Блокъ» @sysblok
Иногда сложно понять, какой язык нам ближе и нужнее. Хочется и аниме, и корейские дорамы смотреть в оригинале без субтитров, а то и отправиться в Китай или подняться на верхний этаж небоскрёба в ОАЭ.
Если вы вдруг решили изучать восточную культуру и начать с языка, но никак не можете определиться, то этот тест для вас!
📜 Поймёте, готовы ли вы к множеству иероглифов и диалектов китайского и японского.
🌳 Узнаете, в каком языке, чтобы получилось слово «лес», надо просто трижды написать «дерево» (спойлер:
🍜 Наконец, выберете, что вам ближе – корейский «тосирак», что значит «обед из дома», или гостеприимство, выраженное арабским словом «дыйафа».
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Тест: как найти свой восточный язык? - Системный Блокъ
Иногда сложно понять, какой язык нам ближе и нужнее. Хочется и аниме, и корейские дорамы смотреть в оригинале без субтитров, а то и отправиться в Китай или подняться на верхний этаж небоскрёба в ОАЭ. Если вы вдруг решили изучать восточную культуру и начать…
Запрограммированная сюита: взлёт и падение механического пианино на перфоленте
Продолжаем рассказывать о перфолентах. Обычно они ассоциируются с телеграммами, однако применялись и в автоматических музыкальных инструментах. Историк и сотрудник Центра непрерывного образования НИУ ВШЭ Антон Басов изучил, как появилось механическое фортепиано и при чем тут перфолента
Кратко: о чем статья?
Попытки создать автоматический музыкальный инструмент были еще в IX веке. Тогда главным компонентом таких устройств был валик с выступами, и хотя они позволяли слушать музыку без музыканта, длительность произведений была ограничена, а механизм — дорог. Перфолента позволяла решить обе эти проблемы: она могла быть достаточно длинной, а ее производство было дешевым.
Идея автоматического музыкального инструмента с перфолентой стала развиваться в середине XIX века, а первое механическое фортепиано с перфолентой под названием Pianista было изобретено в 1863 году во Франции. Однако первый настоящий успех приобрели устройства американских изобретателей Мактаммани и Галли. Основанный на их наработках аппарат органетта был переходным этапом от музыкальных шкатулок XVIII века к более совершенным устройствам. Хотя и с ограниченным нотным диапазоном, органетты могли проигрывать довольно длинные музыкальные произведения и пользовались популярностью по всему миру.
Следующим важным этапом в истории автоматических музыкальных инструментов стало появление усовершенствованной механической фисгармонии.. В это же время ученые активно работали над созданием автоматического фортепиано. Эта идея была реализована в виде пианолы — приставки к любому пианино. Однако инструмент не был полностью автоматическим и нуждался в операторе, который, как утверждалось, должен был обучаться примерно три года.
К началу XX века приставки к фортепиано стали заменяться встроенными в корпус механизмами, а новый формат перфоленты наконец стал охватывать весь нотный диапазон — 88 клавиш. В этот период изобретатели старались создать инструмент, способный не просто играть мелодию, но и воспроизводить манеру игры музыканта. Таким устройством стало Welte-Mignon. Благодаря нему сегодня мы можем послушать, как играли Григ, Дебюсси, Скрябин и многие другие.
Какие еще музыкальные инструменты были автоматизированы? Почему быстрый взлет механической музыки сменился столь же быстрым падением? Какой современный инструмент способен записывать манеру исполнения? Более подробно обо всем этом и еще одном применении перфолент, читайте в полной версии статьи.
Время чтения: 15 минут.
🤖 «Системный Блокъ» @sysblok
Продолжаем рассказывать о перфолентах. Обычно они ассоциируются с телеграммами, однако применялись и в автоматических музыкальных инструментах. Историк и сотрудник Центра непрерывного образования НИУ ВШЭ Антон Басов изучил, как появилось механическое фортепиано и при чем тут перфолента
Кратко: о чем статья?
Попытки создать автоматический музыкальный инструмент были еще в IX веке. Тогда главным компонентом таких устройств был валик с выступами, и хотя они позволяли слушать музыку без музыканта, длительность произведений была ограничена, а механизм — дорог. Перфолента позволяла решить обе эти проблемы: она могла быть достаточно длинной, а ее производство было дешевым.
Идея автоматического музыкального инструмента с перфолентой стала развиваться в середине XIX века, а первое механическое фортепиано с перфолентой под названием Pianista было изобретено в 1863 году во Франции. Однако первый настоящий успех приобрели устройства американских изобретателей Мактаммани и Галли. Основанный на их наработках аппарат органетта был переходным этапом от музыкальных шкатулок XVIII века к более совершенным устройствам. Хотя и с ограниченным нотным диапазоном, органетты могли проигрывать довольно длинные музыкальные произведения и пользовались популярностью по всему миру.
Следующим важным этапом в истории автоматических музыкальных инструментов стало появление усовершенствованной механической фисгармонии.. В это же время ученые активно работали над созданием автоматического фортепиано. Эта идея была реализована в виде пианолы — приставки к любому пианино. Однако инструмент не был полностью автоматическим и нуждался в операторе, который, как утверждалось, должен был обучаться примерно три года.
К началу XX века приставки к фортепиано стали заменяться встроенными в корпус механизмами, а новый формат перфоленты наконец стал охватывать весь нотный диапазон — 88 клавиш. В этот период изобретатели старались создать инструмент, способный не просто играть мелодию, но и воспроизводить манеру игры музыканта. Таким устройством стало Welte-Mignon. Благодаря нему сегодня мы можем послушать, как играли Григ, Дебюсси, Скрябин и многие другие.
Какие еще музыкальные инструменты были автоматизированы? Почему быстрый взлет механической музыки сменился столь же быстрым падением? Какой современный инструмент способен записывать манеру исполнения? Более подробно обо всем этом и еще одном применении перфолент, читайте в полной версии статьи.
Время чтения: 15 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Запрограммированная сюита: взлёт и падение механического пианино на перфоленте
Где использовались перфоленты? Про телеграф и компьютеры знают все, а как насчёт музыки? Рассказываем, как появилось механическое фортепиано и зачем в нём перфолента.
Тест: Паскуда, олух, шваль… что можно узнать о ругательствах в НКРЯ
В 2024 году Национальному корпусу русского языка исполнилось 20 лет. Им пользуются исследователи, педагоги, школьники и все те, кому интересен русский язык в самых разных видах и проявлениях. Например, благодаря НКРЯ можно посмотреть, где появляется слово: в газетах, в русской классике, в устной речи и т. д. А ещё — проследить, как менялись его значение и частота употребления от года к году.
Из нашего нового теста узнаете:
🤪 когда «конченый» стало употребляться как ругательство;
🥸 кто из русских писателей – рекордсмен по использованию слова «паскуда»;
🤡 как часто в детской литературе встречаются «дураки» (спойлер:в одном из сегментов – целых 168 раз на 11 текстов ).
Пройти тест
🤖 «Системный Блокъ» @sysblok
В 2024 году Национальному корпусу русского языка исполнилось 20 лет. Им пользуются исследователи, педагоги, школьники и все те, кому интересен русский язык в самых разных видах и проявлениях. Например, благодаря НКРЯ можно посмотреть, где появляется слово: в газетах, в русской классике, в устной речи и т. д. А ещё — проследить, как менялись его значение и частота употребления от года к году.
Из нашего нового теста узнаете:
🤪 когда «конченый» стало употребляться как ругательство;
🥸 кто из русских писателей – рекордсмен по использованию слова «паскуда»;
🤡 как часто в детской литературе встречаются «дураки» (спойлер:
Пройти тест
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Тест: что можно узнать о ругательствах с помощью Национального корпуса русского языка?
Кто из русских писателей больше ругался? Какое имя теперь раньше было обычным, а теперь стало обидным? Можно ли обнаружить, в какой момент нейтральное слово становится бранным? Пройдите тест «Системного Блока» и узнайте, как можно изучать ругательства с помощью…
Горизонтальный перенос генов: ловим бактерию на плагиате
Живые организмы «списывают» друг у друга прямо из генетического кода — этот процесс улучшает их шансы на выживание и адаптацию. «Системный Блокъ» рассказывает о горизонтальном переносе генов и его роли в эволюции, а также о том, какие компьютерные алгоритмы используют биологи для поиска заимствованных фрагментов ДНК.
Кратко: о чем статья?
Обычно закодированный в ДНК план организма, геном, наследуется «по вертикали» — от предков. Однако можно получить и гены неродственных, иногда очень непохожих организмов. Такой процесс называется horizontal gene transfer (горизонтальный перенос генов, HGT) и это еще один двигатель эволюции: так распространяются полезные умения и возникают новые адаптации. Например, бактерии в стрессовых условиях могут целенаправленно захватывать чужую ДНК, чтобы найти там что-то спасительное. Растения когда-то переняли у почвенных бактерий и грибов гены для синтеза лигнина — полимера, который придает растениям прочность и формирует проводящую систему. Без него на суше не вырасти выше мха.
Биоинформатики исследуют HGT, чтобы изучить происхождение древних генов или современную эволюцию патогенов. Чтобы проанализировать горизонтальный перенос и найти плагиат, ученые используют два типа методов. Филогенетические методы сравнивают эволюционные истории разных генов, а параметрические — ищут гены, которые отличаются от остального генома частотами нуклеотидов («букв», из которых состоят ДНК и РНК) или их сочетаний.
Самый простой филогенетический метод можно реализовать с помощью инструмента BLAST: он находит в базе все похожие фрагменты и для каждой находки указывает, насколько совпадение близкое и насколько оно статистически значимо. С помощью таких подходов исследователи обнаружили, например, что бактерии в кишечнике японцев позаимствовали у морских бактерий гены для переваривания водорослей нори.
Подробнее о том, чем полезен и опасен горизонтальный перенос генов, а также о методах его изучения и их схожести с NLP, читайте в полной версии статьи.
Время чтения: 16 минут.
🤖 «Системный Блокъ» @sysblok
Живые организмы «списывают» друг у друга прямо из генетического кода — этот процесс улучшает их шансы на выживание и адаптацию. «Системный Блокъ» рассказывает о горизонтальном переносе генов и его роли в эволюции, а также о том, какие компьютерные алгоритмы используют биологи для поиска заимствованных фрагментов ДНК.
Кратко: о чем статья?
Обычно закодированный в ДНК план организма, геном, наследуется «по вертикали» — от предков. Однако можно получить и гены неродственных, иногда очень непохожих организмов. Такой процесс называется horizontal gene transfer (горизонтальный перенос генов, HGT) и это еще один двигатель эволюции: так распространяются полезные умения и возникают новые адаптации. Например, бактерии в стрессовых условиях могут целенаправленно захватывать чужую ДНК, чтобы найти там что-то спасительное. Растения когда-то переняли у почвенных бактерий и грибов гены для синтеза лигнина — полимера, который придает растениям прочность и формирует проводящую систему. Без него на суше не вырасти выше мха.
Биоинформатики исследуют HGT, чтобы изучить происхождение древних генов или современную эволюцию патогенов. Чтобы проанализировать горизонтальный перенос и найти плагиат, ученые используют два типа методов. Филогенетические методы сравнивают эволюционные истории разных генов, а параметрические — ищут гены, которые отличаются от остального генома частотами нуклеотидов («букв», из которых состоят ДНК и РНК) или их сочетаний.
Самый простой филогенетический метод можно реализовать с помощью инструмента BLAST: он находит в базе все похожие фрагменты и для каждой находки указывает, насколько совпадение близкое и насколько оно статистически значимо. С помощью таких подходов исследователи обнаружили, например, что бактерии в кишечнике японцев позаимствовали у морских бактерий гены для переваривания водорослей нори.
Подробнее о том, чем полезен и опасен горизонтальный перенос генов, а также о методах его изучения и их схожести с NLP, читайте в полной версии статьи.
Время чтения: 16 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Горизонтальный перенос генов и его роль в эволюции
В статье рассматривается, как живые организмы — от микробов до растений и насекомых — заимствуют генетический материал из внешних источников для улучшения своих шансов на выживание и адаптацию. Этот процесс не только ускоряет эволюцию, но и предлагает новые…
Подборка материалов «Системного Блока» ко Дню учителя
5 октября в России и других странах отмечают профессиональный праздник — День учителя (World Teachers' Day). Ко Дню учителя «Системный Блокъ» сделал подборку статей, которые будут полезны преподавателям. В этих материалах мы рассказываем о тенденциях в современном образовании и конкретных профессиональных инструментах.
Гендерный дисбаланс в школьном образовании
По данным Министерства просвещения РФ, больше всего мужчин среди учителей ОБЖ, а самые «женские» дисциплины — русский язык и литература. Если не считать педагогов начальной школы: там учителей-мужчин всего 0,7%. О том, как эта ситуация различается в частных и государственных школах и в каких регионах преподавателей-мужчин аномально много, узнаете из нашего поста.
Цифровые технологии помогают преодолеть образовательное неравенство
По данным ООН, закрытие школ во время пандемии, сокращение и автоматизация рабочих мест негативно повлияли на равноправие женщин и мужчин. В статье мы рассказываем о том, как онлайн-образование сокращает этот разрыв. Например, цифровые технологии помогают вовлекать девочек в STEM (новый подход, в котором естественные науки, техника, инженерия и математика объединены в одну систему). А работа в EdTech (от англ. Education Technology — технологии в образовании) становится одним из самых открытых для женщин карьерных направлений в IT.
Мотивирует ли учеников виртуальная валюта?
Геймификация — одна из тенденций современного образования. Школы и преподаватели заимствуют у игровой индустрии разные способы мотивации учащихся. Среди них — внедрение виртуальной валюты, которую ученики получают за выполнение заданий. О том, как она влияет на образовательные результаты, узнаете из нашего поста.
Цифровые технологии делают образование более доступным
Каждый человек имеет право на образование, но не всем легко его получить. Несмотря на то, что в России, как и в Европе, инклюзивное образование начало развиваться с 1960-х годов, до сих пор полностью решить проблему доступности обучения для людей с физическими или ментальными особенностями здоровья пока не удалось. Цифровые технологии позволяют ещё на один шаг приблизиться к этой цели.
В нашем материале вы найдёте примеры успешного применения инклюзивных технологий в школах и университетах России и других стран. А ещё узнаете об адаптивных технологиях, которые подстраиваются к уровню знаний и способностей ученика.
Как использовать дипфейки в образовании?
Ещё один инструмент для увеличения вовлечённости на занятиях — дипфейки. Это технология создания реалистичных аудио, фото и видео на основе искусственного интеллекта. При помощи дипфейков можно, например, «оживить» персонажа обсуждаемой книги или создать обучающий курс с меньшими затратами со стороны учителя. Способами применения дипфейков в образовании делимся здесь.
🤖 «Системный Блокъ» @sysblok
5 октября в России и других странах отмечают профессиональный праздник — День учителя (World Teachers' Day). Ко Дню учителя «Системный Блокъ» сделал подборку статей, которые будут полезны преподавателям. В этих материалах мы рассказываем о тенденциях в современном образовании и конкретных профессиональных инструментах.
Гендерный дисбаланс в школьном образовании
По данным Министерства просвещения РФ, больше всего мужчин среди учителей ОБЖ, а самые «женские» дисциплины — русский язык и литература. Если не считать педагогов начальной школы: там учителей-мужчин всего 0,7%. О том, как эта ситуация различается в частных и государственных школах и в каких регионах преподавателей-мужчин аномально много, узнаете из нашего поста.
Цифровые технологии помогают преодолеть образовательное неравенство
По данным ООН, закрытие школ во время пандемии, сокращение и автоматизация рабочих мест негативно повлияли на равноправие женщин и мужчин. В статье мы рассказываем о том, как онлайн-образование сокращает этот разрыв. Например, цифровые технологии помогают вовлекать девочек в STEM (новый подход, в котором естественные науки, техника, инженерия и математика объединены в одну систему). А работа в EdTech (от англ. Education Technology — технологии в образовании) становится одним из самых открытых для женщин карьерных направлений в IT.
Мотивирует ли учеников виртуальная валюта?
Геймификация — одна из тенденций современного образования. Школы и преподаватели заимствуют у игровой индустрии разные способы мотивации учащихся. Среди них — внедрение виртуальной валюты, которую ученики получают за выполнение заданий. О том, как она влияет на образовательные результаты, узнаете из нашего поста.
Цифровые технологии делают образование более доступным
Каждый человек имеет право на образование, но не всем легко его получить. Несмотря на то, что в России, как и в Европе, инклюзивное образование начало развиваться с 1960-х годов, до сих пор полностью решить проблему доступности обучения для людей с физическими или ментальными особенностями здоровья пока не удалось. Цифровые технологии позволяют ещё на один шаг приблизиться к этой цели.
В нашем материале вы найдёте примеры успешного применения инклюзивных технологий в школах и университетах России и других стран. А ещё узнаете об адаптивных технологиях, которые подстраиваются к уровню знаний и способностей ученика.
Как использовать дипфейки в образовании?
Ещё один инструмент для увеличения вовлечённости на занятиях — дипфейки. Это технология создания реалистичных аудио, фото и видео на основе искусственного интеллекта. При помощи дипфейков можно, например, «оживить» персонажа обсуждаемой книги или создать обучающий курс с меньшими затратами со стороны учителя. Способами применения дипфейков в образовании делимся здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
Большие изменения в OpenAI, долгожданное обновление голосового режима GPT, новые LLama
Рассказываем, что произошло за последнее время в мире ИИ.
Исход людей из OpenAI продолжается
25 сентября Мира Мурати, техническая директриса OpenAI, сообщила о своём увольнении. Этот пост Мира занимала шесть с половиной лет, а уход объяснила стремлением разобраться в собственных желаниях и целях.
1 октября один из сооснователей OpenAI Дёрк Кингма рассказал, что присоединился к Anthropic, главному конкуренту OpenAI. Ранее мы также писали об уходе ключевых сотрудников из компании. Таким образом, из четырёх главных лиц компании в штате остался только генеральный директор — Сэм Альтман.
Новый голосовой режим GPT и другие обновления от OpenAI
На недавней презентации для разработчиков компания объявила о запуске обновления голосового режима, благодаря которому GPT может проявлять эмоции, смеяться и петь во время беседы. Релиз обновления состоялся ещё в мае, однако из-за сложностей с правами на голос Скарлетт Йоханссон и мер безопасности обновление стало доступно только сейчас в США и Великобритании. Пользователи из Европейского союза не смогут протестировать нововведения из-за законов, регулирующих ИИ.
Также на презентации OpenAI рассказала о нескольких новых сервисах: Realtime API, который позволит генерировать аудиоответы GPT на текстовые/голосовые вопросы пользователей в реальном времени; возможность дообучать GPT на изображениях (раньше можно было только на текстах), а также дообучать их модели, используя другие (например, обучать маленькую GPT на ответах большой версии).
Новые LLama
Компания Meta* пополнила семейство моделей LLama. Теперь пользователям доступны две компактные LLM: с 1 и 3 млрд параметров. Обе модели были обучены для работы с текстами на разных языках и по качеству несущественно уступают большим версиям LLama. Благодаря своим компактным размерам модели можно использовать на мобильных устройствах.
Помимо этого были представлены две LLM, способные работать не только с текстами, но и с изображениями, в размерах 11 и 90 млрд параметров. По показателям в основных тестах модели сопоставимы с конкурентами.
Все модели доступны для скачивания и коммерческого использования, однако официально модели недоступны на территории Европейского союза.
Google обновила свои LLM
Компания Google обновила свою флагманскую LLM Gemini Pro и компактную модель Gemini Flash. Обе языковые модели теперь могут работать с более длинными текстами: Gemini Pro поддерживает 2 миллиона входных токенов против миллиона у предыдущей версии (токен — единица измерения текста), а Gemini Flash — 32 тысячи против восьми тысяч предшественника. Обновлённые модели существенно лучше в понимании текстов и изображений, а Flash стала ещё быстрее.
*Компания Meta признана экстремистской, а её деятельность запрещена на территории РФ
🤖 «Системный Блокъ» @sysblok
Рассказываем, что произошло за последнее время в мире ИИ.
Исход людей из OpenAI продолжается
25 сентября Мира Мурати, техническая директриса OpenAI, сообщила о своём увольнении. Этот пост Мира занимала шесть с половиной лет, а уход объяснила стремлением разобраться в собственных желаниях и целях.
1 октября один из сооснователей OpenAI Дёрк Кингма рассказал, что присоединился к Anthropic, главному конкуренту OpenAI. Ранее мы также писали об уходе ключевых сотрудников из компании. Таким образом, из четырёх главных лиц компании в штате остался только генеральный директор — Сэм Альтман.
Новый голосовой режим GPT и другие обновления от OpenAI
На недавней презентации для разработчиков компания объявила о запуске обновления голосового режима, благодаря которому GPT может проявлять эмоции, смеяться и петь во время беседы. Релиз обновления состоялся ещё в мае, однако из-за сложностей с правами на голос Скарлетт Йоханссон и мер безопасности обновление стало доступно только сейчас в США и Великобритании. Пользователи из Европейского союза не смогут протестировать нововведения из-за законов, регулирующих ИИ.
Также на презентации OpenAI рассказала о нескольких новых сервисах: Realtime API, который позволит генерировать аудиоответы GPT на текстовые/голосовые вопросы пользователей в реальном времени; возможность дообучать GPT на изображениях (раньше можно было только на текстах), а также дообучать их модели, используя другие (например, обучать маленькую GPT на ответах большой версии).
Новые LLama
Компания Meta* пополнила семейство моделей LLama. Теперь пользователям доступны две компактные LLM: с 1 и 3 млрд параметров. Обе модели были обучены для работы с текстами на разных языках и по качеству несущественно уступают большим версиям LLama. Благодаря своим компактным размерам модели можно использовать на мобильных устройствах.
Помимо этого были представлены две LLM, способные работать не только с текстами, но и с изображениями, в размерах 11 и 90 млрд параметров. По показателям в основных тестах модели сопоставимы с конкурентами.
Все модели доступны для скачивания и коммерческого использования, однако официально модели недоступны на территории Европейского союза.
Google обновила свои LLM
Компания Google обновила свою флагманскую LLM Gemini Pro и компактную модель Gemini Flash. Обе языковые модели теперь могут работать с более длинными текстами: Gemini Pro поддерживает 2 миллиона входных токенов против миллиона у предыдущей версии (токен — единица измерения текста), а Gemini Flash — 32 тысячи против восьми тысяч предшественника. Обновлённые модели существенно лучше в понимании текстов и изображений, а Flash стала ещё быстрее.
*Компания Meta признана экстремистской, а её деятельность запрещена на территории РФ
Please open Telegram to view this post
VIEW IN TELEGRAM
Пионеры нейросетей и глубинного обучения получили Нобелевскую премию по физике
Нобелевский комитет в Стокгольме объявил лауреатов Нобелевской премии 2024 года по физике. Ими стали «крестный отец диплернинга» Джеффри Хинтон и Джон Хопфилд, создатель нейронных «сетей Хопфилда». Оба исследователя занимались нейронными сетями с 1980-х годов. При этом нейросетевые алгоритмы десятилетиями оставались маргинальной областью машинного обучения, многие считали их тупиковым и бесперспективным направлением. Благодаря деятельности таких ученых, как Хинтон и Хопфилд, исследования нейросетей продолжались и привели к расцвету LLM в наши дни.
Хотя заслуги обоих исследователей в области искусственного интеллекта и компьютерных наук не вызывают сомнений, в научном сообществе уже идут горячие споры о том, уместно ли вручать за эти заслуги Нобелевскую премию по физике. Вероятно, решение комитета продиктовано тем, что исторически Нобелевская премия не имеет математической номинации, и физика была единственной номинацией, с которой получилось связать работу Хинтона и Хопфилда. В любом случае, мы как энтузиасты развития машинного обучения и искусственного интеллекта поздравляем всю эту область с таким признанием.
А если вам интересно, за что вообще дают “нобелевки”, где нужно родиться, в каком университете работать и до скольких лет ждать, чтобы получить признание Нобелевского комитета, то можете перечитать наше прошлогоднее дата-исследование:
https://sysblok.ru/visual/recept-nobelevskoj-premii-issleduem-otkrytye-dannye-o-laureatah/
🤖 «Системный Блокъ» @sysblok
Нобелевский комитет в Стокгольме объявил лауреатов Нобелевской премии 2024 года по физике. Ими стали «крестный отец диплернинга» Джеффри Хинтон и Джон Хопфилд, создатель нейронных «сетей Хопфилда». Оба исследователя занимались нейронными сетями с 1980-х годов. При этом нейросетевые алгоритмы десятилетиями оставались маргинальной областью машинного обучения, многие считали их тупиковым и бесперспективным направлением. Благодаря деятельности таких ученых, как Хинтон и Хопфилд, исследования нейросетей продолжались и привели к расцвету LLM в наши дни.
Хотя заслуги обоих исследователей в области искусственного интеллекта и компьютерных наук не вызывают сомнений, в научном сообществе уже идут горячие споры о том, уместно ли вручать за эти заслуги Нобелевскую премию по физике. Вероятно, решение комитета продиктовано тем, что исторически Нобелевская премия не имеет математической номинации, и физика была единственной номинацией, с которой получилось связать работу Хинтона и Хопфилда. В любом случае, мы как энтузиасты развития машинного обучения и искусственного интеллекта поздравляем всю эту область с таким признанием.
А если вам интересно, за что вообще дают “нобелевки”, где нужно родиться, в каком университете работать и до скольких лет ждать, чтобы получить признание Нобелевского комитета, то можете перечитать наше прошлогоднее дата-исследование:
https://sysblok.ru/visual/recept-nobelevskoj-premii-issleduem-otkrytye-dannye-o-laureatah/
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Рецепт Нобелевской премии: анализ открытых данных о лауреатах
«Системный Блокъ» изучил сведения о том, кому вручали премию в течение всей её истории, с 1901 года. Теперь мы знаем, где нужно родиться, в каком университете работать и до скольких лет ждать, чтобы получить признание комитета.
Все художественные тексты похожи друг на друга: как сюжетные тенденции выражаются на уровне слов
Герой покидает дом в поисках чего-то ценного. Герой находит большую любовь в конце истории или, наоборот, трагически погибает. Таинственный незнакомец приносит вести, становящиеся фундаментом для завязки сюжета. Вы наверняка встречали такие ходы во множестве сюжетов. А как выглядит «усреднённая» история? Существуют ли слова, которые наиболее характерны для завязки или финала книги? Попробуем разобраться, используя методы цифровой гуманитаристики!
Кратко: о чем статья?
Вы наверняка слышали о формуле волшебной сказки от Владимира Проппа, четырех типах сюжетов Хорхе Борхеса или 36-ти драматических ситуациях Жоржа Польти. Все они изучали сходства сюжетов художественных произведений.
Современные исследователи, Бен Шмидт и Дэвид Макклюр, задавались похожими вопросами, но применяли методы цифровой гуманитаристики. Мы решили последовать их примеру и изучить корпус русскоязычной художественной литературы, собранный в рамках проекта СОЦИОЛИТ, в котором можно найти тексты от Карамзина до Солженицына.
Оказалось, что русскоязычные и англоязычные тексты очень во многом похожи: и те, и другие произведения чаще всего начинаются с описания «характеристик» героев, семейных обстоятельств и места жительства. Зато вероятность найти любовь или погибнуть заметно возрастает к концу текста. Удивительно, но даже на месте очень частотного русскоязычного «гостя» возникает англоязычный stranger. Это выглядит так, что в европейском лингвокультурном коде есть единое понимание того, что может являться завязкой сюжета и наиболее интересно читателю, а что тяготеет к драматичному финалу или развязке произведения.
Проследить за ходом исследования и посмотреть, в какой части текста чаще встречается «лошадь», а в какой – «Россия», можно благодаря полной версии материала.
Время чтения: 10 минут.
🤖 «Системный Блокъ» @sysblok
Герой покидает дом в поисках чего-то ценного. Герой находит большую любовь в конце истории или, наоборот, трагически погибает. Таинственный незнакомец приносит вести, становящиеся фундаментом для завязки сюжета. Вы наверняка встречали такие ходы во множестве сюжетов. А как выглядит «усреднённая» история? Существуют ли слова, которые наиболее характерны для завязки или финала книги? Попробуем разобраться, используя методы цифровой гуманитаристики!
Кратко: о чем статья?
Вы наверняка слышали о формуле волшебной сказки от Владимира Проппа, четырех типах сюжетов Хорхе Борхеса или 36-ти драматических ситуациях Жоржа Польти. Все они изучали сходства сюжетов художественных произведений.
Современные исследователи, Бен Шмидт и Дэвид Макклюр, задавались похожими вопросами, но применяли методы цифровой гуманитаристики. Мы решили последовать их примеру и изучить корпус русскоязычной художественной литературы, собранный в рамках проекта СОЦИОЛИТ, в котором можно найти тексты от Карамзина до Солженицына.
Оказалось, что русскоязычные и англоязычные тексты очень во многом похожи: и те, и другие произведения чаще всего начинаются с описания «характеристик» героев, семейных обстоятельств и места жительства. Зато вероятность найти любовь или погибнуть заметно возрастает к концу текста. Удивительно, но даже на месте очень частотного русскоязычного «гостя» возникает англоязычный stranger. Это выглядит так, что в европейском лингвокультурном коде есть единое понимание того, что может являться завязкой сюжета и наиболее интересно читателю, а что тяготеет к драматичному финалу или развязке произведения.
Проследить за ходом исследования и посмотреть, в какой части текста чаще встречается «лошадь», а в какой – «Россия», можно благодаря полной версии материала.
Время чтения: 10 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Распределение слов в литературе: что объединяет все истории?
«Системный Блокъ» выясняет, какие тенденции характерны для художественных произведений. Что обычно описывается в начале текстов, а что в конце? Разбираемся вместе, используя методы Digital Humanities.
Как делать большую науку в бесконечном бегстве: Роман Якобсон vs XX век
Сегодня день рождения Романа Якобсона — человека невероятной судьбы, одного из главных русских лингвистов XX века и настоящего гражданина мира. Постоянная вынужденная миграция не помешала Якобсону развивать фонологию, исследовать русский авангард, заниматься сербо-хорватским эпосом, изучать нейрофизиологические нарушения речи и создавать работы, которые окажут влияние на Леви-Стросса. Вспоминаем его биографию в нашей статье.
Кратко: о чем статья?
Якобсон родился в 1896 году и уже в 19 лет стал сооснователем Московского лингвистического кружка. В нём обсуждали проблемы теории и истории литературы, теории и истории языка, следили за всеми достижениями западноевропейской лингвистики.
В 1920-х годах Якобсон эмигрировал в Прагу и продолжил заниматься наукой там. В конце 1930-х, когда город был оккупирован нацистами, Якобсон пытался получить документы на выезд в Данию и писал, что хотел бы использовать месяцы в Копенгагене, чтобы закончить свою книгу о структуре и классификации фонем. В 1941 добрался до Нью-Йорка, где стал соучредителем… Нью-Йоркского лингвистического кружка. А затем преподавал в Гарвардском университете и Массачусетском технологическом институте.
Якобсон продолжал работать над исследованиями независимо от своего местоположения и проблем, которые ему преподносила история XX века. Подробнее о его работе и её обстоятельствах узнаете из полного текста материала.
Время чтения: 13 минут.
🤖 «Системный Блокъ» @sysblok
Сегодня день рождения Романа Якобсона — человека невероятной судьбы, одного из главных русских лингвистов XX века и настоящего гражданина мира. Постоянная вынужденная миграция не помешала Якобсону развивать фонологию, исследовать русский авангард, заниматься сербо-хорватским эпосом, изучать нейрофизиологические нарушения речи и создавать работы, которые окажут влияние на Леви-Стросса. Вспоминаем его биографию в нашей статье.
Кратко: о чем статья?
Якобсон родился в 1896 году и уже в 19 лет стал сооснователем Московского лингвистического кружка. В нём обсуждали проблемы теории и истории литературы, теории и истории языка, следили за всеми достижениями западноевропейской лингвистики.
В 1920-х годах Якобсон эмигрировал в Прагу и продолжил заниматься наукой там. В конце 1930-х, когда город был оккупирован нацистами, Якобсон пытался получить документы на выезд в Данию и писал, что хотел бы использовать месяцы в Копенгагене, чтобы закончить свою книгу о структуре и классификации фонем. В 1941 добрался до Нью-Йорка, где стал соучредителем… Нью-Йоркского лингвистического кружка. А затем преподавал в Гарвардском университете и Массачусетском технологическом институте.
Якобсон продолжал работать над исследованиями независимо от своего местоположения и проблем, которые ему преподносила история XX века. Подробнее о его работе и её обстоятельствах узнаете из полного текста материала.
Время чтения: 13 минут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Системный Блокъ
Роман Якобсон: жизнь и научные труды учёного-лингвиста
Роман Якобсон — лингвист и приверженец структурализма, занимался фонологией, исследовал русский авангард. И даже был номинирован на Нобелевскую премию! Он жил и работал вопреки трудностям, которые ему подкинул XX век.
Что изучают антропологи в интернете? Подборка материалов «Системного Блока»
Развитие интернета и цифровых технологий открыло новое поле исследований для антропологов. Учёные осознали, что в онлайн-среде формируются уникальные сообщества, культуры и практики, которые можно и нужно изучать.
Публикуем подборку наших материалов о цифровой антропологии. Из неё вы узнаете, какие методы можно применить к исследованию интернет-пространства, как за последние 40 лет изменились интернет-интерфейсы и зачем собирать слухи в соцсетях?
Этнография в цифровую эпоху: от полей к потокам, от описаний к воздействию
Для начала погрузимся в общие проблемы цифровой антропологии и этнографии и почитаем статью профессора информационных наук Аннет Маркхам. Она специализируется на изучении цифровых пространств и предлагает исследователям новые понятия и методы для работы с онлайн-средой. Несмотря на доступность больших данных и популярность количественных исследований, она подчеркивает важность качественных методов и объясняет, как важно сохранить чувствительность к человеческим голосам и культурам в условиях цифровизации. Мы наблюдаем новые перспективы в цифровой этнографии, где традиционные подходы переплетаются с инновационными методами исследования, пишет Маркхам.
Интернет как способ существования и Big Data как угроза
Во второй части статьи профессор Аннет Маркхам углубляется в опасности, которые несет «датафикация» человеческого опыта. Хотя большие данные и полезны для анализа сложных социальных процессов, важно помнить о культурных и локализованных смыслах, которые могут ускользнуть при чрезмерном увлечении цифрами. Маркхам призывает учёных к социальной ответственности, особенно в тех случаях, когда исследователи консультируют индустрию IT. Ведь технологии могут не только улучшать, но и ограничивать нашу жизнь.
«Цифровой антрополог отличается от Data Scientist’а вниманием к деталям»
В интервью «Системному Блоку» заместитель руководителя Центра городской антропологии КБ «Стрелка» Дарья Радченко рассказывает, как пандемия COVID-19 изменила повседневные практики людей и оставила свои следы в цифровом пространстве. Используя данные из соцсетей, она показывает, как люди заново открыли для себя свои спальные районы во время самоизоляции, и размышляет над ограничениями Data Science в социальных исследованиях.
Зачем фольклористы и социальные антропологи собирают слухи и считают репосты
В завершение подборки — интервью Александры Архиповой (признана иноагентом в РФ), в котором она раскрывает ещё одну грань цифровой антропологии — сбор слухов и исследование конспирологических теорий. Архипова объясняет, как цифровые базы данных помогают в исследовании фольклора и почему важно учитывать как количественные, так и качественные методы. Она приводит примеры из повседневной жизни: лозунги митингующих, народные рецепты лечения COVID-19 — и подчеркивает, насколько многослойными могут быть цифровые и социальные феномены. Этот материал позволяет взглянуть на антропологию через призму современной культуры и социальных изменений.
🤖 «Системный Блокъ» @sysblok
Развитие интернета и цифровых технологий открыло новое поле исследований для антропологов. Учёные осознали, что в онлайн-среде формируются уникальные сообщества, культуры и практики, которые можно и нужно изучать.
Публикуем подборку наших материалов о цифровой антропологии. Из неё вы узнаете, какие методы можно применить к исследованию интернет-пространства, как за последние 40 лет изменились интернет-интерфейсы и зачем собирать слухи в соцсетях?
Этнография в цифровую эпоху: от полей к потокам, от описаний к воздействию
Для начала погрузимся в общие проблемы цифровой антропологии и этнографии и почитаем статью профессора информационных наук Аннет Маркхам. Она специализируется на изучении цифровых пространств и предлагает исследователям новые понятия и методы для работы с онлайн-средой. Несмотря на доступность больших данных и популярность количественных исследований, она подчеркивает важность качественных методов и объясняет, как важно сохранить чувствительность к человеческим голосам и культурам в условиях цифровизации. Мы наблюдаем новые перспективы в цифровой этнографии, где традиционные подходы переплетаются с инновационными методами исследования, пишет Маркхам.
Интернет как способ существования и Big Data как угроза
Во второй части статьи профессор Аннет Маркхам углубляется в опасности, которые несет «датафикация» человеческого опыта. Хотя большие данные и полезны для анализа сложных социальных процессов, важно помнить о культурных и локализованных смыслах, которые могут ускользнуть при чрезмерном увлечении цифрами. Маркхам призывает учёных к социальной ответственности, особенно в тех случаях, когда исследователи консультируют индустрию IT. Ведь технологии могут не только улучшать, но и ограничивать нашу жизнь.
«Цифровой антрополог отличается от Data Scientist’а вниманием к деталям»
В интервью «Системному Блоку» заместитель руководителя Центра городской антропологии КБ «Стрелка» Дарья Радченко рассказывает, как пандемия COVID-19 изменила повседневные практики людей и оставила свои следы в цифровом пространстве. Используя данные из соцсетей, она показывает, как люди заново открыли для себя свои спальные районы во время самоизоляции, и размышляет над ограничениями Data Science в социальных исследованиях.
Зачем фольклористы и социальные антропологи собирают слухи и считают репосты
В завершение подборки — интервью Александры Архиповой (признана иноагентом в РФ), в котором она раскрывает ещё одну грань цифровой антропологии — сбор слухов и исследование конспирологических теорий. Архипова объясняет, как цифровые базы данных помогают в исследовании фольклора и почему важно учитывать как количественные, так и качественные методы. Она приводит примеры из повседневной жизни: лозунги митингующих, народные рецепты лечения COVID-19 — и подчеркивает, насколько многослойными могут быть цифровые и социальные феномены. Этот материал позволяет взглянуть на антропологию через призму современной культуры и социальных изменений.
Please open Telegram to view this post
VIEW IN TELEGRAM
Знаете ли вы термины машинного обучения?
Проверяем вместе с сегодняшним опросом. В коротком описании мы заменили на Х один из ключевых терминов машинного обучения. Постарайтесь догадаться, что мы здесь зашифровали, а вечером мы расскажем не только об Х, но и о четырех других важных понятиях.
Описание:
Х — это набор данных, который используется для обучения или анализа модели. Х содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму Х — размеченной.
Примеры Х с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры Х без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
🤖 «Системный Блокъ» @sysblok
Проверяем вместе с сегодняшним опросом. В коротком описании мы заменили на Х один из ключевых терминов машинного обучения. Постарайтесь догадаться, что мы здесь зашифровали, а вечером мы расскажем не только об Х, но и о четырех других важных понятиях.
Описание:
Х — это набор данных, который используется для обучения или анализа модели. Х содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму Х — размеченной.
Примеры Х с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры Х без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
Please open Telegram to view this post
VIEW IN TELEGRAM
Какое слово мы спрятали под Х в посте выше?
Anonymous Quiz
3%
лемматизация
16%
генеральная совокупность
73%
выборка
8%
кластеризация
5 слов машинного обучения
Объясняем основные термины машинного обучения из глоссария «Системного Блока». Из первой части материала узнаете о языковых моделях, нейросетях и выборках, на которых их обучают.
Машинное обучение
Машинное обучение — это набор методов, которые позволяют компьютеру решать задачи, не используя заранее заданный человеком алгоритм решения. Например, машинное обучение позволяет обучить компьютер отличать кошек от собак на фотографиях, хотя у компьютера нет конкретных инструкций, вроде «если есть острые уши и усы, то это кошка».
Вместо инструкций и правил компьютеру «показывают» много разных примеров с ответами. В случае с классификацией животных образцом будет изображение кошки или собаки с правильным названием объекта.
Когда компьютеру показывают примеры, он обучается извлекать из них не только все необходимые закономерности, но и информацию о том, как использовать эти закономерности для решения задачи. Машинное обучение изучает методы обучения. Набор примеров образует выборку, а результатом процесса обучения является обученная модель.
Модель
Модель — это математическое описание зависимости между входными данными и выходными. В задаче классификации кошек и собак входные данные — это изображение, а выходные данные — название животного на изображении. Другой пример: входные данные — дата, выходные данные — температура воздуха в этот день.
Есть много способов описывать зависимости математически. Каждый способ имеет определённые свойства и подходит под определённый вид зависимости. Например, в экономике зачастую используют линейные модели, которые описывают пропорциональное изменение выходной величины (количество товара) при изменении входной величины (цены/спроса и т. д.).
Примеры других популярных моделей, помимо линейных: деревья решений, случайный лес, нейросети.
Выборка
Выборка — это набор данных, который используется для обучения или анализа модели. Она содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму выборку — размеченной.
Примеры выборок с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры выборок без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
Существует и более широкое определение выборки, о котором можно прочитать в другом нашем материале.
Нейросеть
Нейросеть — это один из видов моделей машинного обучения. Её отличительная черта — способность описывать самые разные зависимости, за счёт чего нейросети можно использовать в большом количестве задач.
Ещё нейросети можно дообучать на новых данных. Например, модель, которая умеет определять вид растений, можно относительно легно обучить распознавать новый вид.
Наконец, нейросети хорошо масштабируются: при правильном увеличении количества параметров и обучающих данных качество нейросети растёт.
Языковая модель
Языковая модель — модель машинного обучения, которая при данном ей контексте предсказывает для каждого слова в языке вероятность того, что оно является продолжением данного контекста. Простейший пример такой модели — это набор текста в смартфонах.
Современные языковые модели (вроде GPT) могут не только оценивать вероятность продолжений, но и следовать инструкциям пользователя, например, кратко пересказывать текст и оценивать его эмоциональную окраску. Такие способности у модели появляются за счёт дополнительного дообучения на выборке из инструкций и соответствующих ответах. Такое обучение называют инструктивным.
Благодаря выразительной способности языка и инструктивному обучению языковые модели могут выполнять широкий спектр задач. Подробнее об этом можно узнать в нашем материале.
🤖 «Системный Блокъ» @sysblok
Объясняем основные термины машинного обучения из глоссария «Системного Блока». Из первой части материала узнаете о языковых моделях, нейросетях и выборках, на которых их обучают.
Машинное обучение
Машинное обучение — это набор методов, которые позволяют компьютеру решать задачи, не используя заранее заданный человеком алгоритм решения. Например, машинное обучение позволяет обучить компьютер отличать кошек от собак на фотографиях, хотя у компьютера нет конкретных инструкций, вроде «если есть острые уши и усы, то это кошка».
Вместо инструкций и правил компьютеру «показывают» много разных примеров с ответами. В случае с классификацией животных образцом будет изображение кошки или собаки с правильным названием объекта.
Когда компьютеру показывают примеры, он обучается извлекать из них не только все необходимые закономерности, но и информацию о том, как использовать эти закономерности для решения задачи. Машинное обучение изучает методы обучения. Набор примеров образует выборку, а результатом процесса обучения является обученная модель.
Модель
Модель — это математическое описание зависимости между входными данными и выходными. В задаче классификации кошек и собак входные данные — это изображение, а выходные данные — название животного на изображении. Другой пример: входные данные — дата, выходные данные — температура воздуха в этот день.
Есть много способов описывать зависимости математически. Каждый способ имеет определённые свойства и подходит под определённый вид зависимости. Например, в экономике зачастую используют линейные модели, которые описывают пропорциональное изменение выходной величины (количество товара) при изменении входной величины (цены/спроса и т. д.).
Примеры других популярных моделей, помимо линейных: деревья решений, случайный лес, нейросети.
Выборка
Выборка — это набор данных, который используется для обучения или анализа модели. Она содержит входные данные и — опционально — выходные данные, которые модель должна предсказать. В случае, когда выходные данные присутствуют, их называют разметкой, а саму выборку — размеченной.
Примеры выборок с разметкой: изображения цветов и их названия, песни и их жанры, аудиодорожки и их расшифровки.
Примеры выборок без разметки: списки просмотренных видео пользователей YouTube, набор текстов одного писателя.
Существует и более широкое определение выборки, о котором можно прочитать в другом нашем материале.
Нейросеть
Нейросеть — это один из видов моделей машинного обучения. Её отличительная черта — способность описывать самые разные зависимости, за счёт чего нейросети можно использовать в большом количестве задач.
Ещё нейросети можно дообучать на новых данных. Например, модель, которая умеет определять вид растений, можно относительно легно обучить распознавать новый вид.
Наконец, нейросети хорошо масштабируются: при правильном увеличении количества параметров и обучающих данных качество нейросети растёт.
Языковая модель
Языковая модель — модель машинного обучения, которая при данном ей контексте предсказывает для каждого слова в языке вероятность того, что оно является продолжением данного контекста. Простейший пример такой модели — это набор текста в смартфонах.
Современные языковые модели (вроде GPT) могут не только оценивать вероятность продолжений, но и следовать инструкциям пользователя, например, кратко пересказывать текст и оценивать его эмоциональную окраску. Такие способности у модели появляются за счёт дополнительного дообучения на выборке из инструкций и соответствующих ответах. Такое обучение называют инструктивным.
Благодаря выразительной способности языка и инструктивному обучению языковые модели могут выполнять широкий спектр задач. Подробнее об этом можно узнать в нашем материале.
Please open Telegram to view this post
VIEW IN TELEGRAM