• https://github.com/weirdmachine64/GhidraGPT
• https://github.com/aress31/burpgpt
Источник : https://t.iss.one/mlsecfeed
• https://github.com/aress31/burpgpt
Источник : https://t.iss.one/mlsecfeed
GitHub
GitHub - weirdmachine64/GhidraGPT: Integrate LLM models directly into Ghidra for automated code rewrite and analysis.
Integrate LLM models directly into Ghidra for automated code rewrite and analysis. - weirdmachine64/GhidraGPT
Forwarded from Анализ данных (Data analysis)
👨🎓 Harvard выложил в открытый доступ учебник по ML-системам и это редкий случай, когда материал действительно полезный.
В учебнике показан полный цикл: от понимания основ до построения продакшн-систем, которые можно запускать в реальном мире.
Что в книге и почему она стоит внимания:
- вы самостоятельно собираете autograd, оптимизаторы, attention и мини-PyTorch — чтобы увидеть, как устроены фреймворки изнутри
- разбираетесь в базах: батчи, архитектуры, процесс обучения
- учитесь оптимизировать производительность: работать с ускорителями, бенчмарками и настраивать модели
📚 То есть это не вводная книжка, а полноценный roadmap от теории к продакшну.
📌Репозиторий: https://github.com/harvard-edge/cs249r_book
📌PDF: https://mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf
В учебнике показан полный цикл: от понимания основ до построения продакшн-систем, которые можно запускать в реальном мире.
Что в книге и почему она стоит внимания:
- вы самостоятельно собираете autograd, оптимизаторы, attention и мини-PyTorch — чтобы увидеть, как устроены фреймворки изнутри
- разбираетесь в базах: батчи, архитектуры, процесс обучения
- учитесь оптимизировать производительность: работать с ускорителями, бенчмарками и настраивать модели
📚 То есть это не вводная книжка, а полноценный roadmap от теории к продакшну.
📌Репозиторий: https://github.com/harvard-edge/cs249r_book
📌PDF: https://mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf
🔥2
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Sakana AI выпустили DroPE - метод, который позволяет увеличить контекст у уже предобученных LLM без привычных адских затрат на long-context fine-tuning.
Идея звучит как ересь, но результаты говорят об обратном .
💡 Главный инсайт :
Позиционные эмбеддинги (например RoPE) жизненно важны, чтобы модель нормально обучилась и сошлась.Но после обучения они же становятся главным ограничителем, из-за которого модель плохо переносит контекст длиннее, чем видела на трейне.
То есть:
- для обучения - нужны
- для генерализации на очень длинные последовательности - мешают
Авторы предлагают относиться к позиционным эмбеддингам как к временным “строительным лесам”:
- в pretraining они дают стабильность
- после обучения их можно сбросить (drop)
- и получить zero-shot length extrapolation (модель начинает заметно лучше работать на длинах, которых не видела)
Большие контексты нужны пользователям :
- огромные code diff и монорепы
- юридические контракты на сотни страниц
- аналитика логов и документов без разбиения на чанки
Именно тут многие стандартные модели начинают “ломаться” просто потому что контекст слишком длинный.
Результаты:
DroPE проверили на разных open-source моделях:
- калибровка занимает <1% бюджета от исходного pretraining
- а качество на long-context задачах заметно лучше популярных подходов
- сильные результаты на LongBench и RULER
Позиционка нужна, чтобы обучить модель, но может быть лишней, чтобы мыслить длинно
Возможно RoPE - не “обязательная часть архитектуры”, а просто инструмент для стабильного обучения.
📄 Paper: arxiv.org/abs/2512.12167
🔧 Code: github.com/SakanaAI/DroPE
@ai_machinelearning_big_data
#sakana #ai #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Forwarded from AISec [x\x feed]🍓🍌🍆 (Artyom Semenov)
(Михалыч брезгливо отряхивает лацкан пиджака)
— Промпт-атаки... Серёжа, ну ты меня расстраиваешь! Ты бы еще SQL-инъекцию вспомнил или пароль «12345». Это же уровень ларька с шаурмой!
(Делает распальцовку, объясняя «на пальцах»)
— Слушай сюда. Настоящая тема сейчас — это Data Poisoning. Отрава! Понимаешь? Мы не взламываем замок, мы им... фундамент подмываем.
Вот они обучают свою модель, терабайты данных качают. А мы туда — раз! — и пару процентов «левых» тензоров подмешали. Тихонько, аккуратно, как цианид в компот. И всё! Теперь их супер-интеллект уверен, что красный сигнал светофора — это рекомендация «газуй, братан», а перевод денег на наш оффшор — это благотворительность во имя спасения китов. И никакой фикс это не вылечит, модель-то уже с гнильцой выросла!
(Опирается рукой на крышу «Мерседеса»)
— Или вот, Supply Chain Attack. Ты думаешь, они сами модели пишут? Щас! Они ж качают готовые веса с хабов. А мы туда свой «спящий» нейрон вшили. Бэкдорчик!
Пока всё тихо — она работает как часы. Стихи пишет, код проверяет. Но стоит ей увидеть специальный триггер... Ну, скажем, фразу «Карачун тебе, Церетели» — всё! У неё переключатель в голове щелкает, и она сливает нам всю базу клиентов. Элегантно! Без шума и пыли!
(Смеется, похлопывая собеседника по плечу)
— А Adversarial Examples? Ты наклеил на лоб стикер с шумом — и для их системы распознавания лиц ты теперь не бандит с большой дороги, а тостер фирмы Bosch. Или, прости господи, фикус в кадке.
Вот это — AI Security. А промпты писать... это пусть студенты развлекаются. Мы работаем с весами, Серёжа. С самой душой машины! Поехали, нам еще надо нейросеть конкурентов дообучить на текстах песен Шуры, чтоб у неё контекстное окно схлопнулось
— Промпт-атаки... Серёжа, ну ты меня расстраиваешь! Ты бы еще SQL-инъекцию вспомнил или пароль «12345». Это же уровень ларька с шаурмой!
(Делает распальцовку, объясняя «на пальцах»)
— Слушай сюда. Настоящая тема сейчас — это Data Poisoning. Отрава! Понимаешь? Мы не взламываем замок, мы им... фундамент подмываем.
Вот они обучают свою модель, терабайты данных качают. А мы туда — раз! — и пару процентов «левых» тензоров подмешали. Тихонько, аккуратно, как цианид в компот. И всё! Теперь их супер-интеллект уверен, что красный сигнал светофора — это рекомендация «газуй, братан», а перевод денег на наш оффшор — это благотворительность во имя спасения китов. И никакой фикс это не вылечит, модель-то уже с гнильцой выросла!
(Опирается рукой на крышу «Мерседеса»)
— Или вот, Supply Chain Attack. Ты думаешь, они сами модели пишут? Щас! Они ж качают готовые веса с хабов. А мы туда свой «спящий» нейрон вшили. Бэкдорчик!
Пока всё тихо — она работает как часы. Стихи пишет, код проверяет. Но стоит ей увидеть специальный триггер... Ну, скажем, фразу «Карачун тебе, Церетели» — всё! У неё переключатель в голове щелкает, и она сливает нам всю базу клиентов. Элегантно! Без шума и пыли!
(Смеется, похлопывая собеседника по плечу)
— А Adversarial Examples? Ты наклеил на лоб стикер с шумом — и для их системы распознавания лиц ты теперь не бандит с большой дороги, а тостер фирмы Bosch. Или, прости господи, фикус в кадке.
Вот это — AI Security. А промпты писать... это пусть студенты развлекаются. Мы работаем с весами, Серёжа. С самой душой машины! Поехали, нам еще надо нейросеть конкурентов дообучить на текстах песен Шуры, чтоб у неё контекстное окно схлопнулось
🤣3
Forwarded from Slava Meriton
Сегодня в 21:00 по МСК будет первая встреча группы чтения книги Юдковского и Соареса "If Anyone Builds It, Everyone Dies".
(Ну, вот эта книжка про идеи MIRI, которая стала бестселлером и поэтому все ее уже читали и все это).
Структура встреч:
- краткий пересказ главы недели
- обсуждаем наши вопросы, мысли, возражения и идеи по прочитанному.
- афтерпати: необязательная к посещению часть, где свободное общение (зачастую на темы прикладной рациональности и обмена идеями и лайфхаками)
ЗЫ: да, у нас можно прийти "просто послушать", но вообще мы сильно рады, когда участники задают вопросы и высказывают идеи (если им это комфортно).
Встречи будут по понедельникам в Google meet.
Чат группы и ссылка на созвон тут: https://t.iss.one/minireading
Приглашаются все заинтересованные.
Репост этого сообщения приветствуется.
(Ну, вот эта книжка про идеи MIRI, которая стала бестселлером и поэтому все ее уже читали и все это).
Структура встреч:
- краткий пересказ главы недели
- обсуждаем наши вопросы, мысли, возражения и идеи по прочитанному.
- афтерпати: необязательная к посещению часть, где свободное общение (зачастую на темы прикладной рациональности и обмена идеями и лайфхаками)
ЗЫ: да, у нас можно прийти "просто послушать", но вообще мы сильно рады, когда участники задают вопросы и высказывают идеи (если им это комфортно).
Встречи будут по понедельникам в Google meet.
Чат группы и ссылка на созвон тут: https://t.iss.one/minireading
Приглашаются все заинтересованные.
Репост этого сообщения приветствуется.
Forwarded from PWN AI (Artyom Semenov)
Привет.
Мы с известными вам авторами каналов по AI Security решили провести стрим по AI Security.
Кто будет:
Евгений Кокуйкин - @kokuykin
Борис Захир - @borismlsec
Владислав Тушканов - @llmsecurity
И вы.
Запись будет, но лучше конечно же в лайфе.
Хотели бы поболтать, пообщаться, поотвечать на ваши интересные вопросы по теме и кое-что рассказать(не будем спойлерить, Борис)
Когда: 19:00, в эту субботу. В зуме (ссылка будет во время стрима в этом посте).
Кстати вопросы можете задавать сейчас в комментариях.
Мы с известными вам авторами каналов по AI Security решили провести стрим по AI Security.
Кто будет:
Евгений Кокуйкин - @kokuykin
Борис Захир - @borismlsec
Владислав Тушканов - @llmsecurity
И вы.
Запись будет, но лучше конечно же в лайфе.
Хотели бы поболтать, пообщаться, поотвечать на ваши интересные вопросы по теме и кое-что рассказать(не будем спойлерить, Борис)
Когда: 19:00, в эту субботу. В зуме (ссылка будет во время стрима в этом посте).
Кстати вопросы можете задавать сейчас в комментариях.
👍1
GolDBUG
LetsDefend 💙💚 Hack The Box Integration.pdf
Теперь можно делать общий игровой аккаунт для Let'sDefend и HackTheBox, 🪲