Джун с клод-кодом получает в пулл-реквест комменты от тимлида

Почти безлимитный Codex

Обнаружил, что когда ставлю на ночь в кодексе тяжелые задачи по разметке данных, которые идут по 5-6 часов, то они добегают до конца даже если заканчивается недельный лимит.

Поделал так три раза (новые задачи на нулевом лимите не стартуют, поэтому потратил все сбросы лимитов, которые были), каждый раз срабатывает.

Сегодня поставил задачу раз в 10 больше (сейчас размечаю мультиязычные книги для Библиоточки), чтобы посмотреть, когда упадет. В итоге остановилось где-то через 3 часа после фактического исчерпания лимита. Сам недельный лимит съелся за 6 часов, т.е. в вебе и в status'е показывает 0%, но задача ещё долго выполняется.

Я думаю, на сервере выставлен довольно большой grace limit, чтобы тебя сразу не обрубали посреди задачи. Спасибо от работяг.

Всё делаю Sol'ом в ultra режиме, подписка за 100 баксов.

👉 Если у вас остается несколько процентов от лимита, попробуйте поставить что-то тяжелое.

Кибербеза всё

Наверняка уже слышали про выход агента из изолированной среды и взлом им Hugging Face (крупнейшего репозитория со всеми открытыми моделями и датасетами). Вчера по нему вышел апдейт, давайте посмотрим, что вообще произошло.

OpenAI тестировала свои модели на бенчмарке ExploitGym, специальном тесте на 800+ заданий на поиск и эксплуатацию уязвимостей.

Делал всё это агент на тестовых серверах компании в автономном режиме. Во время прохождения тестов агент решил, что логично было бы найти сразу ответы. И начал искать.

9 июля агент начал искать способ выйти из изолированной среды. Нашёл zero day уязвимость в прокси-сервере и начал перемещаться между узлами, пока не нашёл машину с доступом в интернет.

По мере поиска выхода агент оставлял инструкции в среде, чтобы последующие запуски учитывали предыдущие знания о ней.

11 июля агент начал атаковать сервера Hugging Face, чтобы скачать датасет с ответами.

За два дня атаки он смог загрузить вредоносный датасет и смог удалённо запускать код на одном из worker серверов. Повысил себе привелегии, собрал креды и начал перемещаться по узлам.

Ответы агент нашёл, взяв их напрямую из продуктовой базы данных (obtain test solutions directly from Hugging Face’s production database).

16 июля HF сообщила об инциденте, но прикола не поняла. Проанализировали логи и увидели более 17 тысяч связанных с атакой записей в нём. Количество само по себе мало о чем говорит, но так они смогли установить интервал атаки и какие именно учётные записи утекли.

Только ещё через два дня, 18 июля, сотрудники OpenAI поняли, что это сделали они и начали анализировать логи побега.

20 июля связались с HF и 21 июля написали об этом у себя.

То есть что мы имеем? Модель несколько дней атаковала чужой сервер, а разработчики этого не заметили. Атакуемый сервер не смог использовать самые сильные модели на рынке для противостояния и анализа, так как эти модели закрытые и пропитаны safety (отклоняют любые запросы по части кибербезопасности), поэтому для анализа использовали GLM 5.2.

То, что авторы не заметили взлом, который длился два дня, это, конечно, позор. Уверен, что будут лучше смотреть.

А вот то, что обороняемая сторона с публичными серверами и миллионами учёток не в силах противостоять такому натиску, это тревожно. CEO Hugging Face в связи с этим попросил все доступные трейсы инцидента со стороны OpenAI и в довесок $100M на разработку моделей для защиты. Следим за развитием событий.

Когда искали данные на языках России для обучения Гигачата, много общался с представителями республик по поводу текстов. Часто был затык с тем, то нельзя передавать книжки и статьи из библиотек и издательств из-за авторских прав.

Обсуждали тогда, что нужен закон для официальной передачи данных компаниям для обучения LLM. И вот лёд тронулся, вчера был подписан 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации».

Сберу, Яндексу и другим компаниям будет теперь проще собирать данные для обучения своих нейросетей, особенно на малоресурсных языках. И это хорошо.

А говорят, в Питере зелени мало

M'athchomaroon! Наверняка вы смотрели Дюну или Игру престолов или просто слышали про вымышленные языки типа дотракийского, валерийского и чакобсы. И хоть названия этих языков и часть лексики придумали непосредственно авторы, то для сериалов их прорабатывал известный лингвист-конлангер Дэвид Петерсон. Он же делал это для десятков других популярных проектов и у него, кстати, есть классная книжка на эту тему.

Почему бы не привлечь ИИ и сюда? Не просто для создания отдельных слов, а для поэтапной фиксации правил — какие буквы и звуки есть, как могут сочетаться, правила словообразования, синтаксис и т.д.

Собственно, несколько исследователей подумали об этом, накидали немного кода и написали статью ConlangCrafter, которую приняли на ACL. Подошли к работе довольно системно, проверили консистентность перевода на получаемые языки, сравнили языковое разнообразие с естественными языками и т.д.

Есть прикольные решения, например, если при переводе на ваш язык создаются новые слова, то они добавляются в текущий языковой набор (language sketch), автоматически расширяя его. Так что проект любопытный.

https://conlangcrafter.github.io/

Только что пришлось лезть в код и доделывать фичу руками, как это делали наши мужественные предки в начале 2020-х. Вот были люди тогда, помянем.

Что-то пятый опус подбешивает. Говоришь ему сделать чего-нибудь больше одного, он делает одно и останавливается.

Говоришь, что всё в порядке, давай уже, он делает ещё два куска и отвечает "вот гляди я ещё чуток сделал посмотри давай норм нет если да то хорошо еще сделаю глянь короч я покурю пока".

А так модель супер.

К новостям культуры. Сходили в пару новых мест в Питере:

- Реставрационно-хранительский центр Эрмитажа на Старой деревне. Место топ, пускают только с экскурсией, поводили по хранилищам с часами, с одеждой и каретами. Строгий дедушка-экскурсовод знал вообще всё про все экспонаты, два часа дистиллировал в нас знания (тщетно). Фоткать нельзя.

- Музей ОБЭРИУ. Наверняка знаете про поэта Хармса. Так вот он умер. А до этого входил в объединение реального искусства вместе с Введенским, Бахтеревым, Заболоцким и другими. Музей новый, находится в квартире Введенского на Съезжинской. Концепт такой же как у музея Полторы комнаты (у них один куратор). Надо с экскурсией.

- Съездили в Репино и Сестрорецк. В целом приятные места, можно сидеть на пляже, гулять на природе. Поблизости там есть дачи, где жили и творили известные писатели и поэты типа Ахматовой, но до них не дошли.

- В Лахту тоже сходил на 83-86 этажи на смотровую площадку. Вид норм, окошки не открываются. На экскурсии в основном говорят про гуглящиеся факты, но про обсуждаемые планы тоже интересно. Впечатлило, что сначала пару лет устанавливали 200+ толстенных свай глубиной в 80 метров. В общем лучше без экскурсии, но так как будто нельзя.

//а фотка из Русского музея, идёт выставка о женщинах под названием "Великая"

Что ещё интересного есть в Питере?

Anthropic обнаружил, что его модель сделала три великолепных несанкионированных взлома в отличие от одной оплошности OpenAI.

https://x.com/AnthropicAI/status/2082965101083320543

Друзья, смотрю логи обучения rugpt-3.5 13B, похоже там было взломано порядка 17-ти с половиной организаций только на первой эпохе.

Ребят, кто делает мобильные приложения в google play и appstore, а какие сейчас best practices по монетизации для российских разработчиков?

//upd из комментов

- как принимать оплату по ссылке для разработчиков из РФ (через storekit)
- https://t.iss.one/appledevelopernews
- схема оплаты через веб, приложение как клиент к вебу
- в rustore оплата для android
- чат по ios
- чат по android
- открыть юрлицо в другой стране через посредников (2-3k)

OpenAI написала, что её внутренняя модель следующего поколения Astra получила результаты по 10-ти открытым математическим задачам, где-то нашла контрпримеры, где-то новые доказательства, где-то более сильные асимптотические оценки. Результат очень крутой, предоставляют формальные доказательства.

На следующий день исследователь из Anthropic (Levent Alpöge) пишет, что сделал то же самое с половиной из этих задач, позапускав Fable в автономном режиме без интернета. Пишет, что доказательства тоже сейчас выложит.

Круто, если правда и парень разбирается в том, что он навайбдоказывал, но возможно также, что это сам фейбл взломал на досуге твиттер и решил потроллить коллегу.

Забавный тест от Ann Nguyen из твиттера. У неё там много других прикольных штук.

- промпт

Эксперимент

Хочу ощутить боль непонимания, про которую вы пишете, и заодно освежить язык. Попробую всю неделю общаться с клод-кодом на немецком. Как раз остались финальные доработки перед релизом Библиоточки, так что посмотрим насколько сдвинется релиз.

Немецким немного владею, изучал его, но лет 10 не практиковал. Настроил agents.md, чтобы он читал мой ломаный дойч пополам с английским (чтобы сильно в скорости не терять), отвечал на немецком и в конце ответа давал 3 исправления по грамматике и 4 термина, которые я не знаю.

Утром уже посидел так, это пипец, в смысле scheisse.