TensorDock: развертывание GPU-серверов для ИИ в пару кликов

TensorDock предлагает облачные GPU-сервера для требовательных задач машинного обучения, рендеринга и распределенных вычислений.
Широкий выбор GPU (GeForce 3060, A100 и др.), десятки локаций по миру, гибкая почасовая оплата.
Можно выбрать ОС и предустановленные тулзы (Jupyter, TensorFlow, PyTorch, CUDA).
Есть опции для совместного доступа и даже монетизации своих серверов.
Техподдержка и помощь в настройке.

H100 за 3 бакса в час с посекундной тарификацией !!!
Аттракцион невиданной щедрости.
Такого вообще нигде больше нет.

#TensorDock #GPU #cloud
-------
@tsingular

Эволюция RLHF: CLoud - модель для самокритики

Новая модель Critique-out-Loud (CLoud) улучшает технологию Reinforcement Learning from Human Feedback (RLHF).

CLoud генерирует детальную критику ответов ИИ-ассистента перед выставлением оценки.

Обучение происходит на наборах данных с запросами, ответами и экспертной критикой.
Применяется многовыборочный вывод и самосогласованность для повышения точности.
CLoud-модели значительно превзошли классические аналоги в тестах и на бенчмарке ArenaHard.
Технология объединяет генерацию языка с моделированием предпочтений, открывая новые горизонты.

Настоящая ценность от технологии появляется, когда можешь позволить себе избыточное использование.
Одно из них - самооценка и самокритика.
Нужно больше GPU.

#RLHF #CLoud #MachineLearning
-------
@tsingular

Вот почему я не люблю вешать ИИ приложения на облачные сервисы :)

Одна ошибка, - и ты ошибся.

Разработчица, при среднем счёте в $50 в месяц, однажды утром увидела счёт за сутки на $70К и теперь Гугл грозит ей коллекторами.

Недавно у меня бот за ночь так на $100 накрутил тоже из-за ошибки.

Так что все эти guardrails - не шутки. Окружайте среду вызовов проверками и промежуточными лимитами по вызовам.

#cloud #fails
———
@tsingular

Регулярная рубрика, - инструкции от AWS.

На этот раз интересный материал по мульти-интерфейсным AI-ассистентам. Разберем технические детали! 🤓

1. RAG:
- Amazon Kendra как векторная база данных (вместо популярных Pinecone/Weaviate)
- Amazon S3 для хранения документации
- CloudFront для раздачи ссылок на источники
- AWS Lambda для подгрузки данных из Slack

2. Интересно, что используют CloudFront вместо прямых Slack-ссылок. Это решает проблему доступа к источникам для пользователей без доступа к Slack. Умно! 🎯

3. Интеграция построена через два основных интерфейса:
- Amazon Q Business (нативное решение AWS)
- Slack (через API интеграцию)

4. Технический лайфхак: они используют метаданные в Kendra для каждого файла-источника, что позволяет обоим интерфейсам корректно привязывать первоисточники документов.

5. Мониторинг реализован через:
- Встроенную аналитику Amazon Q
- Кастомный CloudWatch дашборд для Slack-метрик
- Автоматические дейли-репорты в Slack

Автоматическое обновление данных через EventBridge - система сама подтягивает новые данные из Slack каждый день.

Kendra под вектор, - ещё не слышал. 🤔

Ну AWS/не AWS тут не так важно, интересна архитектура и подходы.

У AWS и архитекторы, - огонь и методология и практика описания этих архитектур очень круто отлажена.

Изучаем.

#AWS #RAG #Cloud #обучение
———
@tsingular

Cloud.ru запускает бесплатного ИИ помощника

#Cloud.ru
———
@tsingular

Cloud.ru запускает пространство для разработки и запуска ИИ моделей.

Evolution AI Factory

Задача - упростить порог входа.

Дополнительно будет Partner API - решения партнёров будут встроены в систему Cloud.ru.
Похоже на Azure Marketplace

Evolution stack - 394 компонента
+ 729 решений в Marketplace

#cloud.ru
———
@tsingular

Alibaba Cloud представила новые ИИ-решения для европейского рынка

На саммите в Париже Alibaba Cloud показал обновлённые ИИ-инструменты для европейского бизнеса.

Ключевые анонсы:
• Улучшенная платформа PAI во Франкфурте для масштабного машинного обучения
• AI Guardrails — система безопасности для ИИ-контента
• Партнёрство с Accenture для работы над гиперпесонализацией для luxury-брендов
• Логистическое решение с Cainiao даёт 25% рост эффективности и 22% экономию

Расширяются партнёрства с BMW (интеграция Qwen в авто), LVMH и SAP. Также запущена образовательная программа с французской бизнес-школой для подготовки ИИ-специалистов.

Китай закрепляется в Европе

#Alibaba #Cloud #Китай
------
@tsingular

OpenAI подписал контракт с Oracle на $30 млрд в год

OpenAI заключил соглашение с Oracle на сумму $30 млрд ежегодно 💰
Контракт предусматривает сдачу в аренду мощностей датацентров Оракла в эквиваленте 4.5 ГВт под задачи OpenAI.

Это один из крупнейших облачных договоров в истории индустрии.
Инфраструктура будет распределена между несколькими площадками Oracle Cloud.

Что-то какие-то доткомовские флэшбэки мучают, когда 2 ИИ игрока начинают друг другу в аренду мощности сдавать и модели хостить.
Какая-то деривативная рекурсия возникает, не находите?

#OpenAI #Oracle #Cloud
———
@tsingular

Blaxel привлек $7,3 млн на создание «AWS для ИИ-агентов»

Стартап из Сан-Франциско строит облачную инфраструктуру специально для ИИ-агентов. Команда из шести основателей уже обрабатывает миллионы запросов агентов ежедневно в 16 регионах мира.

Основная идея: традиционные облачные провайдеры создавались для эпохи SaaS, но ИИ-агенты требуют совершенно другого подхода. Агенты могут подключаться к языковым моделям в одном регионе, API в другом облаке, а базы знаний где-то еще.

Blaxel предлагает виртуальные машины, которые загружаются за 25 миллисекунд, автоматическое масштабирование и API, созданные для потребления ИИ-системами, а не разработчиками.

Компания планирует повторить путь AWS — начать со стартапов и перейти к корпоративным клиентам.

blaxel.ai

Выглядит достаточно перспективно.
При том у них еще и интересная подборка opensource рядом.
Не знаю уж выложат ли саму платформу, но тулы для MCP могут быть полезны.

#Blaxel #Agents #Cloud
------
@tsingular