Пум-пум-пум. Там Opena AI выкатили значительную фичу - тепeрь можно файнтюнить GPT 3.5 Turbo.

По сути это LoRa-as-a-service. Готовите json файл со своими диалогами, загружаете на сервер OpenAI (если хотите без этого - то вам к LLaMa и сородичам, кек) через API и через апишку же и запускаете трейнинг.

Цена вопроса:
- Во время тренировки: $0.008 / 1K токенов
- Стоимость ввода во время инференса вашей кастомной модели: $0.012 / 1K токенов
- Стоимость генерации: $0.016 / 1K Tokens.

В общем, для babbage-002 кастомная модель обойдется в 4 раза дороже,
а для davinci-002 в 6 раз дороже чем базовая. Оно, конечно, понятно - нужно же отдельную ноду поднять и зарезервировать GPU под вашу индивидуальную модель.

Гайд по файн-тюнингу GPT 3.5

@ai_newz

Довольно интересна и свежая серия статей, в частности по AD и чуть-чуть туннелям

1. https://blog.bitsadmin.com/living-off-the-foreign-land-windows-as-offensive-platform

2. https://blog.bitsadmin.com/living-off-the-foreign-land-windows-as-offensive-platform-part-2

3. https://blog.bitsadmin.com/living-off-the-foreign-land-windows-as-offensive-platform-part-3

#ad #pentest #redteam #lofl

Создание telegram-ботов с интерактивным меню

Я знаю, что среди мои читателей есть те, кто сталкивается с разработкой телеграм ботов.

Я выложил на Habr статью, где рассматриваю несколько проблем организации UI с помощью inline-меню и способы их решения.

> https://habr.com/ru/articles/757236/

Так же там упоминается мой проект aiogram-dialog, реализующий указанные в статье подходы, у которого на днях вышла версия 2.0.

Дополнительные материалы:
* https://dev.to/marwan8/getting-started-with-the-viper-architecture-pattern-for-ios-application-development-2oee
* https://freecontent.manning.com/http-session-management/
* https://en.wikipedia.org/wiki/Graphical_widget
* https://developer.android.com/guide/components/activities/tasks-and-back-stack
* https://aiogram-dialog.readthedocs.io/

Интересная идея - использовать llm для визуализации бесед в разных группах и каналов

https://www.youtube.com/watch?v=qoeOdrQ5bZ0

Довольно редкое явление, когда RCE уязвимость присутствует и в веб-браузерах на основе Chrome/Chromium (включая Edge), и в веб-браузерах на основе Firefox. Уязвимость CVE-2023-4863 нашли в libwebp, библиотеке для работы с растровыми изображениями в формате WebP (замена PNG и JPEG). Поэтому любой софт, который умеет открывать изображения в WebP, вполне вероятно использует libwebp и поэтому будет уязвим. Google пишут, что эксплоит есть в паблике.

И это не только про веб-браузеры. Пишут, что libwebp также используется в Electron framework, Signal, Honeyview, Affinity, Gimp, Inkscape, LibreOffice, Telegram, Thunderbird (есть патч), ffmpeg и других.

А как насчёт Safari? Про него пока молчат, но некоторые СМИ делают предположения, что недавние эксплуатируемые RCE в продуктах Apple, CVE-2023-41061 и CVE-2023-41064, "обработка вредоносного изображения может привести к выполнению произвольного кода" #BLASTPASS это про то же.

И что, как с log4j будет? Вряд ли, но видимо зацепит много кого.

@avleonovrus #libwebp

Партнёрство Cloudflare и Hugging Face

Cloudflare объявило о начале партнёрства с Hugging Face с целью сделать модели ИИ более доступными для разработчиков.


Что обещают? 👀

-В Hugging Face появятся безсерверные модели GPU без инфраструктурных "костылей" и оплат за неиспользуемые мощности. Просто выберите свою модель и работайте.

-Модели Hugging Face появятся в каталоге моделей Cloudflare

-Интеграционные инструменты Cloudflare станут частью Hugging Face Inference


Разработчики, использующие платформу Cloudflare, вскоре смогут развертывать модели Hugging Face прямо с панели управления Cloudflare, а те, кто использует Hugging Face, смогут развертывать модели непосредственно в Workers AI.

🤗 Блог

https://github.blog/2023-10-09-coordinated-disclosure-1-click-rce-on-gnome-cve-2023-43641/

CVE-2023-43641
PoC

RCE по клику в библиотеке libcue, которую использует один из компонентов Gnome. Переполнение, как и в Looney Tunables

JetBrains выпустили результата Python Developers Survey 2022. Вот несколько моментов, которые показались мне любопытными:

- Python 2 до сих пор используют около 7% опрошенных
- Flask и Django занимаю 1 и 2 место по популярности, FastAPI на 3-м месте
- Из фреймворков для тестирования самый популярный pytest, который используют более 50% опрошенных
- На 5% больше, чем в прошлом году стали использовать облачные платформы
- Самая популярная платформа для разработки - Linux, Windows на втором месте
- Github Actions стали самым популярным CI-решением
- Из инструментов автоматизации работы с зависимостями Poetry на первом месте, 2 и 3 по популярности ним pipenv и pip-tools
- 34% опрошенных участвовали в разработке библиотек

Ссылка на отчет https://lp.jetbrains.com/python-developers-survey-2022/

Удобный сервис для визуализации команд в ffmpeg-е, с понятными описания. Так же есть пресеты, которые покрывают 90% работы с ffmpeg

https://alfg.dev/ffmpeg-commander/

Оконные функции в SQL

https://notes.kiriha.ru/db/rdb/window_functions/

На случай китайского фаервола

https://habr.com/ru/companies/amnezia/articles/769992

про зарплаты в европейском it и что нужно сделать чтобы найти работу, чтобы получать выше рынка

https://blog.pragmaticengineer.com/software-engineering-salaries-in-the-netherlands-and-europe/amp/

кстати ради эксперимента раскатил себе AmneziaVPN

из приятного - очень простая настройка сервера, клиент сам может поднять AmneziaWG, WireGaurd, OpenVPN+(over the Cloak), ShadowSocks и IPsec, а затем удалить если будет нужно. Так же просто переносится управление или доступ к vpn.
Так же интересен протокол, по которому работает AmneziaWG(wg с обходом DPI): модификация и обфускация wg, с целью усложнения обнаружения vpn трафика - https://amnezia.org/en/instructions/31_amneziawg
Тот amneziawg можно собрать и поднять как бинарь, если хочется внедрить его в какие-то процессы/сети

Новая модель:
— контекст длиннее. 128K токенов (365 страниц обычной книги)
— модель более аккуратна при работе с длинным текстом, не теряет то, что было в серединке
— фича для разрабов: можно заставить модель писать ответы в JSON-формате
— можно вызывать несколько функций за раз
— можно указать seed генерации, чтобы получать воспроизводимость
— скоро добавят logprobs в API
— Retrieval прямо из коробки, можно загружать документы на платформу и они будут подтягиватсья (F стартапам chatWithPDF)
— Теперь модель знает события не до сентября 2021го, а апреля 2023го
— Эта новая модель принимает картинки на вход через API

— DALLE-3 + text-to-speech (6 голосов) сегодня появятся в API
— Для GPT-4 появится файнтюнинг сегодня (но на узкую выборку пользователей)
— Custom Models: программа плотной работыт инженеров OpenAI с вашей компанией, чтобы помочь адаптировать тренировку под ваши проблемы

ЦЕНА НА GPT-4-TURBO (Sam говорит, что эта модель ещё и умнее GPT-4) уменьшена в 3 раза для промпта и в 2 раза для генерации!

Обещают скоро ещё больше ускорить GPT-4 Turbo