Нейросети и данные: почему локальный контекст имеет значение?

Как известно, нейросети нужно обучать на огромных массивах разнообразных данных — от текстов и изображений до видео и аудио. Развитие у моделей способности обрабатывать и интегрировать контент из различных источников приближает нас к “человеческому” способу обработки данных, что дает множество дополнительных сценариев использования ИИ. Но одна из ключевых задач — чтобы нейросеть понимала локальный контекст и работала на языке пользователя.

Однако у русскоязычных разработчиков есть сложность, на которую обратили внимание в свежей статье в «Коммерсанте»: всего 4% контента в интернете создано на русском языке, тогда около половины всех данных — англоязычные. Это ставит отечественные проекты в неравные условия по сравнению с международными компаниями, у которых в разы больше данных для обучения.

Создание сильного искусственного интеллекта — одна из национальных целей, отмеченных на высшем уровне. Чтобы конкурировать с глобальными игроками, необходимо давать разработчикам доступ к качественным русскоязычным материалам, а также заниматься переводом и оцифровкой иностранных данных. Без этих шагов пользователи могут в итоге отдать предпочтение зарубежным моделям, оставляя российские технологии за бортом.

🦉🇨🇳В Duolingo всплеск желающих говорить на китайском

Число пользователей Duolingo, решивших изучать китайский язык, в январе выросло на 216% по сравнению с тем же месяцем в 2024 году. Сервис уже поднялся с 40-го на 19-е место в рейтинге App Store США.

Всплеск интереса совпал с возможным запретом TikTok в США. В результате, более 500 тысяч американских пользователей TikTok уже перешли на китайское приложение Rednote, которое не переведено на английский язык. Кроме того, по негласным правилам, весь контент внутри сети выходит с китайскими субтитрами.

Так неожиданно блокировка TikTok, которая обосновывалась уменьшением китайского влияния, неожиданно его увеличила.

Есть в этом что-то поучительное.

Разработчики ИИ-модели SeamlessM4T компании Meta опубликовали интересную статью в научном журнале Nature о её работе — сейчас модель способна синхронно переводить «речь в речь» на 101 язык мира.

Уникальность её в том, что она переводит слова сразу же, как только они «слетают с уст» говорящего. Обычно модели перевода речи используют многоэтапный подход. Сначала они переводят исходную речь в текст. Затем они переводят этот текст в текст на другом языке. Наконец, переведенный текст превращается в речь на новом языке. В результате получается «сломанный телефон» — на каждом этапе модели теряют не только в скорости, но и в точности перевода. SeamlessM4T переводит речь без «костыля» в виде текста.

Это возможно благодаря «параллельному интеллектуальному анализу данных». Модель обучена на данных звучания одних и тех же речевых высказываний на разных языках. «Субитры» в наборе данных тоже были, но SeamlessM4T научилась связывать звуки на одном языке с соответствующим речевым воспроизведением такого же текста на другом и делает перевод без этапа расшифровки / озвучания.

Исследователи Meta протестировали точность модели при помощи алгоритма для оценки качества перевода BLEU (Bilingual Evaluation Understudy). По результатам исследований модель Seamless получила оценки по разным показателям на 8-23% выше, чем конкурирующие с ней модели перевода. По оценкам разработчиков, в среднем Seamless примерно на 50% более устойчива к фоновому шуму, чем другие современные системы.

И хотя AudioPaLM от Google технически «знает» больше языков — 113 против 101 у Seamless — она может переводить их только на английский. SeamlessM4T не только понимает, но и сама говорит на 36 других языках. Уже само количество освоенных моделью языков является большим достижением.

Что в момент запуска модели в августе 2023 года, что сейчас Meta использует в качестве референса вавилонскую рыбку из фантастических книг Дугласа Адамса «Автостопом по галактике». Эту рыбку герои вставляли себе в ухо — а та им переводила звуки инопланетных существ на человеческий в режиме real-time. И за 1,5 года модель Seamless, кажется, стала ближе к своей цели.

А почитать публикацию в Nature можно по ссылке.

* Meta признана экстремистской в РФ

QR-коды в России: защита конкуренции или монополизация?

Комитет Госдумы по защите конкуренции выразил опасения относительно законопроекта, наделяющего оператора НСПК исключительными правами на предоставление универсального платежного кода. По мнению комитета, это может привести к монополизации сегмента. Мы уже писали о рисках этого подхода, и теперь обсуждение темы только нарастает. Депутаты рекомендуют законопроект к принятию только в случае внесения в него изменений, которые защитят конкуренцию на рынке.

Напомним, что крупные банки в прошлом году объединили усилия для создания единого QR-кода на основе технологии MultiQR. В то же время НСПК развивает собственное решение, обязательное использование которого Центробанк предлагает узаконить.

Эксперты считают, что развитие альтернативных технологий оплаты играет ключевую роль не только в поддержании конкуренции, но и в обеспечении доступа к новым финансовым инструментам для пользователей. А независимый эксперт, экономист Андрей Бархота назвал позицию регулятора «рыночным ультиматумом».

Ситуация остаётся сложной и неоднозначной. Обсуждение продолжается, и от его итогов во многом будет зависеть будущее всей экосистемы платежей в России. Будем следить за развитием событий.

Шалости юных гениев

Однажды Стива Джобса познакомили с легендой школы, его тезкой — Стивом Возняком. Тот был на 5 лет старше, настоящий ботан, погруженный в компьютеры, не тусовщик — в общем, человек другого склада. Но две вещи их объединяют: компьютеры, с которых начинается знакомство и, что важнее, музыка.

Когда друг Джобса приводит его к Возняку, тот что-то паяет и привинчивает, но Джобс в этом мало понимает: его интересует результат, а не процесс. Зато о музыке в день знакомства они,  просидев на асфальте около дома, проговорили до пяти утра. Это знакомство стало судьбоносным.

Вскоре Джобс (ему 16) и Возняк впервые заработали на гаджетах — Джобса впечатлила статья о взломе телефонных кодов через тоновый набор, и он предложил Возняку сделать такое устройство.

Возняк придумал схему, себестоимостью $40, а продавать пиратский прибор Джобс ухитрялся за $150. «Бизнес» грозил новаторам тюрьмой, но друзья успели «соскочить». Зато появилась идея объединить силы — Возняка, как инженера, и Джобса, как визионера и продавца.

Следующий их проект был связан с Atari, где в вялотекущем режиме работает Джобс (то срываясь на поиски «духовного учителя», то отвлекаясь на психоделики). Atari объявляет премию за каждый исключенный из схемы чип. Джобс ничего не понимает в схемах и чипах, но подключает Возняка, и тот,  между делом, играючи решает задачку.

Два Стива решают поделить прибыль пополам, Джобс выписывает Возняку чек на $350. Позже, когда оба уже будут миллиардерами, выяснится, что Джобс не всё рассказал Возняку о размере премии, которая составила $5000.

Возняк завлекает Джобса в «клуб самодельных компьютеров», которым он увлечен. Компьютера в 1975 году ещё не существует, есть огромное количество микросхем, которые, попав в умелые руки, могут быть собраны в нечто общее. Возняк догадался собрать микросхемы в один блок, Джобс увидел в этом потенциал. Он убедил Возняка отказаться от мысли бесплатно распространять идею, как требовали правила клуба, а продавать готовые платы.

Но нужны деньги: изготовление платы стоило $20, а продавать их Джобс был намерен вдвое дороже. Проект окупался при 50 продажах, и Возняк потенциала не видел, но Джобс убедил его — мол, это будет, как минимум, прекрасным приключением. Возняк потом вспоминал: «Я подумал, что это будет здорово. Два лучших друга организуют свою компанию. Класс. Я понял, что очень этого хочу. Как я мог отказаться?»

Так начался путь двух Стивов в бизнес. Вот только начало разочаровало: доклад Возняка в клубе «самоделкиных» не собрал искомых 50 заказов — их не оказалось вовсе. Правда, позже один из слушателей, владелец магазина, сделал заказ на 50 штук.

Денег на производство не хватало, Джобс продает свой микроавтобус, а Возняк расстается с программируемым калькулятором.

Работа кипит днем и ночью в доме Джобсов, все друзья привлечены к сборке, даже Джобс пробует что-то паять, хотя ему лучше удается вышибать скидки за опт на комплектующие, и именно это повышает доходность их кустарного производства вдвое.

Продаж оказывается гораздо больше, чем мечтали два Стива на старте этого безумного проекта — несколько сотен штук.

Их было бы еще больше, если бы Джобс не встречал покупателей в нижнем белье и с самокруткой в зубах — этот хиппи больше походил на дилера, чем на компьютерного гения, и это многих отпугнуло.

Дела идут, но в 1976-м уже полно и магазинов компьютеров, и производителей. У многих ребят из гаражей выходит подобное тому компьютеру, который назван Apple I и выглядит как картонная коробка — не хуже любого из представленных на первой компьютерной выставке, но и не лучше — та же убогость хендмейда (которую тогда никто не воспринимал как «ламповое тепло»).

И у Джобса родилась идея продавать компьютер не как элементы конструктора на радость «самоделкиным», а как законченный продукт, пользователем которого может стать любой, даже не владеющий паяльником и отверткой, человек.

Так появится легендарный Apple II, который сделает друзей обладателями сотен миллионов и откроет для компании Apple дорогу в «высшую лигу» мирового бизнеса. 

#техноистории от Саши Иванова

В Калифорнии горит хранилище литиевых аккумуляторов под названием Moss Landing. По данным компании-владельца хранилища Vistra, оно является крупнейшим в мире.

Хранилища позволяют запасать выработанную энергию от природных возобновляемых источников — солнца и ветра — на литиевых батареях, чтобы обеспечивать непрерывность подачи и создавать запасы. В 2023 году Vistra завершила масштабный проект по расширению своего хранилища, добавив более 110 тысяч аккумуляторных модулей и доведя его общую мощность до 750 МВт, а ёмкость — до 3000 МВт·ч.

Вспыхнувший пожар не имеет ничего общего с пожарами в Лос-Анджелесе — Moss Landing находится в другой части штата Калифорния. Пожары на объекте были и ранее, в 2021 и 2022 годах — правда, несравнимые по масштабу с текущим. Они были вызваны неисправностью системы пожаротушения, что привело к перегреву оборудования.

Что стало причиной пожара на этот раз, неясно, но взрывы сотни тысяч литиевых батарей потушить крайне сложно. Пожар бушует с вечера четверга и вышел за пределы бетонного здания хранилища. Из района в связи с пожаром эвакуированы 1500 жителей.