Forwarded from Machinelearning
Unsloth конвертировали обе GPT-OSS (20B и 120B) и исправили ошибки, чтобы повысить качество инференса.
Минимальных требований для запуска моделей нет, запуститься можно даже если у вас всего 6 ГБ и только CPU, но инференс будет медленнее.
GPU не требуется , особенно для модели 20B, но его наличие значительно увеличивает скорость вывода (~80 токенов/с). С чем-то вроде H100 можно получить пропускную способность 140 токенов/с, и это значительно быстрее, чем у OpenAI в ChatGPT.
Модели можно запустить через llama.cpp, LM Studio или Open WebUI. Если модель 120B слишком медленная, попробуйте версию 20B - она очень быстрая и работает не хуже o3-mini.
Помимо моделей формата GGUF c полной точностью, Unsloth сделали версии с 4-bit и 16-bit точностью. 4-бинтый квант, кстати, можно файнтюнить на 24 ГБ VRAM.
@ai_machinelearning_big_data
#AI #ML #GPTOSS #GGUF #Unsloth
Please open Telegram to view this post
VIEW IN TELEGRAM
🚨 NVIDIA и AMD заплатят США 15% от выручки с чипов для Китая, чтобы получить экспортные лицензии
По условиям нового соглашения, компании смогут снова поставлять в Китай ускорители Nvidia H20 и AMD MI308, но обязаны перечислять 15% дохода от их продаж в Китае на специальный счёт правительства США.
📌 Ключевые детали:
- Мера распространяется только на H20 и MI308, продаваемые в Китае — другие чипы и страны не затронуты.
- Формально это не налог, а условие экспортной лицензии.
- При отказе или нарушении условий — лицензии могут быть отозваны, а компании оштрафованы.
- Операционно: компания получает оплату от китайского клиента → перечисляет 15% США → в отчётности это отражается как расход, уменьшая прибыль.
- Возможна корректировка цен, чтобы переложить часть затрат на покупателей.
💡 Для NVIDIA и AMD это возвращает им рынок и защищает долю от китайских конкурентов, но вызывает споры: часть американских политиков считает, что H20 всё ещё может применяться в военных целях.
Источник: ft.com/content/cd1a0729-a8ab-41e1-a4d2-8907f4c01cac
По условиям нового соглашения, компании смогут снова поставлять в Китай ускорители Nvidia H20 и AMD MI308, но обязаны перечислять 15% дохода от их продаж в Китае на специальный счёт правительства США.
📌 Ключевые детали:
- Мера распространяется только на H20 и MI308, продаваемые в Китае — другие чипы и страны не затронуты.
- Формально это не налог, а условие экспортной лицензии.
- При отказе или нарушении условий — лицензии могут быть отозваны, а компании оштрафованы.
- Операционно: компания получает оплату от китайского клиента → перечисляет 15% США → в отчётности это отражается как расход, уменьшая прибыль.
- Возможна корректировка цен, чтобы переложить часть затрат на покупателей.
💡 Для NVIDIA и AMD это возвращает им рынок и защищает долю от китайских конкурентов, но вызывает споры: часть американских политиков считает, что H20 всё ещё может применяться в военных целях.
Источник: ft.com/content/cd1a0729-a8ab-41e1-a4d2-8907f4c01cac
Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно.
Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов.
Готовый вы можете сразу попробовать в @Chatgpturbobot
Please open Telegram to view this post
VIEW IN TELEGRAM