Радиофизик легко решил все задачи в чат рулетке 🤓

🔵 Эпсилон

👾 Есть ли emergent properties у LLM?

Emergent properties или возникающиие свойства — новые способности нейросети к решению новых задач, возникающие без заведомо заложенных данных во время обучения. У языковых моделей emergent properties обычно связываются с промпт инжинирингом и способностью легко подстраиваться под новые сложные задачи, например, машинный перевод или игру в шахматы, после модели на большом корпусе. Впервые свойства были замечены в статье GPT-2, где описаны способности моделей решать совершенно новые задачи при наличии нескольких примеров в затравке (few-shot learning, in-context learning).

🟣Но существуют ли emergent properties вообще?
Вполне возможно, что нет. Может быть, в огромных веб-корпусах уже были все возможные форматы задач, и этого совершенно достаточно, чтобы никаких обобщений навыков от нейросети не требовалось вообще? С какого процента качества на задаче, размера нейросети и объема данных вообще проводить границу и считать, что новое свойство "возникло"?

🟣Аргументы против
— Разговоры во многом напоминают 17 век, когда считалось, мухи на мясе "самозарождались". Эмерджентностью в нейронауках и эволюционной психологии иногда объясняют возникновение языка и даже сознания, но фальсифицировать это, конечно, затруднительно. Чего не скажешь о нейросетях! Многое можно смоделировать и проверить.
— Работа "Searching for Needles in a Haystack" на примере задаич машинного перевода и PaLM наглядно показала, что если тщательно профильтровать корпус и удалить все примеры параллельного переовода из данных, а затем повторить обучение модели, то способность к машинному переводу значительно ухудшается.
— Насколько сильное влияние на конечный результат оказывают few-shot (примеры в затравках) и instruction tuning базовых моделей? Эксперименты с их исключением показывают, что именно few-shot примеры и in-context learning вносят основной вклад в итоговое качество на новых задачах. Instruction tuning не оказывает такого существенного влияния, а только улучшает уже имевшиеся ранее у моделей способности.
— Работа "Data Distributional Properties Drive Emergent In-Context Learning in Transformers" показывает, что обобщение у языковых моделей хорошо работает на уровне токенов, не увиденных при обучении, но способность не подтверждается для новых последовательностей, т.е. новых формулировок задач.
— Многие заявленные примеры из работы "Sparks of Artificial General Intelligence" сообществу не удалось воспрозвести от слова совсем.

🟣Аргументы за
— С момента выхода первых крупных языковых моделей было заявлено 137 emergent properties для разных архитектур: GPT-3, PaLM, Chinchilla, бенчмарк BigBench... от игры в шахматы до пословиц на суахили — языковые модели показывали способности к обобщению на новых тематиках, областях знаний, языках, задачах.
— Многие заявленные emergent properties завязаны не только на работу с затравками: это и способности к факт-чекингу (Gopher 7B), и ризонинг (PaLM, LaMDa), и построение индекса информации (T5) — чего нельзя объяснить запоминанием примеров изобучения.
— Нестабильность качества объясняется воспроизведением распределения самих людей — кто-то отвечает лучше, кто-то хуже, в зависимости от подготовки и мотивации.
#nlp #про_nlp #nlp_papers #ai_alignment #ИИ #AI #машинное_обучение #искусственный_интеллект

🔵 Эпсилон

🔐 Slow Motion Inside Perspective of Lock Getting Bumped Open. 🔨
( Замедленная съемка с точки зрения открывания замка изнутри ударным методом )

Бампинг (англ. bump «удар, толчок, столкновение») — метод вскрытия замков, основанный на передаче кинетической энергии штифтам вследствие ударов по специально выточенному ключу. Штифты хаотически подбрасываются, и, повернув бамп-ключ в нужный момент, можно открыть замок. Такой метод взлома не оставляет видимых следов и работает на тумблерно-штифтовых системах и замках с вертикальной фрезеровкой секрета.

Антибампинг — технология защиты замка от вскрытия методом бампинга. Высокую степень защиты от взлома обеспечивает наличие в цилиндре замка телескопических пинов, секретность которых составляет 2-2,5 миллиона комбинаций. Ключ для такого цилиндра имеет дополнительные бороздки. Принцип действия антибампинга следующий: штифты подходят к ключу в двух плоскостях. Два параллельно расположенных ряда пинов снизу и один сверху считывают ключ с двух сторон. Внутри цилиндра находятся дополнительные пружины. В случае попытки открывания бамп-ключом они не дают штифтам встать в положение «открыто». Поймать нужную комбинацию очень сложно. Корпус цилиндра и штифты могут быть сделаны из термозакалённого материала, свойства которого превосходят латунь. Его прочность даёт высокую степень защиты от высверливания и воздействия различных отмычек.

В сумме система антибампинга делает несанкционированное вскрытие замка методом бампинга практически невозможным. Некоторые современные антибампинговые системы могут быть перекодированы в случае, если ключ был утерян.

🔵 Эпсилон

📄 Наверное видели такой прикол в интернете — загрузочный лист Windows 95

Недавно набрёл на интересную программку, она переносит двоичное содержимое файлов в растровую графику для распечатки на принтере, и наоборот (распознаёт со сканера картинку в бинарник). Этакий бумажный носитель для бэкапа данных. Понятно, что таким способом большие объёмы не сохранишь, но вот например для критически важных элементов этот способ годится. Пример: микросхема БИОС современного ПК. Там гигабайтов не нужно. Бумага проживёт дольше оптических дисков, если её не мочить, не мять и защитить от огня.

👩‍💻 Вопрос такой: Кто-нибудь занимался этой идеей серьёзно?

Мне кажется что сейчас в мире нету ни одного надёжного носителя информации, кроме каменной глыбы. Но на глыбу много не запишешь. А на лист бумаги можно закодирвать много интересного. Было бы классно создать автономный "сканнер-принтер-компьютер", который может преобразовывать информацию между носителями разных типов: бумажными листами А4, оптическими дисками CD/DVD, в миросхему DRAM или эмуляцию ПЗУ распространённых форматов. Меня всегда интересовали вопросы совместимости различных приборов во времени, так сказать, совместимость старья и новых вещей. К сожалению, в нашем мире на совместимость все "плюют". Может быть когда-нибудь на материнской плате компа будет специальный удобный разъём, к которому можно подсоединить сканнер бумажных листов и загрузиться с "загрузочного листа Виндоус 95"

// Программа называется "PaperBack"

🔵 Эпсилон