DeepMind запустил на Kaggle бенчмарк SimpleQA для проверки фактологической точности ИИ

Google DeepMind выпустил новый датасет и рейтинг на Kaggle для оценки фактологической точности ИИ-систем в задачах вопросов-ответов.

Бенчмарк фокусируется на коротких фактических вопросах с однозначными ответами и измеряет "калибровку" моделей - способность понимать уверенность в собственных знаниях.

Т.е. модели должны не просто отвечать, но и указывать процент уверенности в ответе.

Интересно, что даже GPT-4 показал неожиданно низкие результаты по сравнению с другими оценками.

Методология включает техники снижения предвзятости и использует RAG для имитации реальных сценариев поиска информации.

Наконец-то можно будет объективно мерить, когда ИИ выдумывает, а когда просто не знает. Хотя если GPT-4 провалился, то что говорить о остальных.

Имеет смысл, конечно, такие бенчи разворачивать локально, чтобы они показывали наглядную картинку именно на ваших данных.
Тут Каггл может выступать наглядным примером.

#DeepMind #SimpleQA #Kaggle #обучение
———
#tsingular

Base44 знатно пополнился функционалом

Продолжаем следить за успехами стартапа, про который последний раз мы вспоминали 3 месяца назад.

На сегодня доступно:
- Чат-агент создатель приложений
- Режим обсуждения
- Интеллектуальные дополнения и интеграции
- Управление базой данных
- Хранение файлов
- Интеграция с электронной почтой
- Обработка платежей
- Автогенерация API-эндпоинтов
- Аутентификация пользователей
- Создание интерактивных панелей аналитики
- Управление workflow
- Управление интеграциями
- Адаптивный дизайн
- Мгновенная стилизация
- Контроль версий
- Интеграция с GitHub
- Управление тестированием
- Кастомные домены


#Base44 #платформы
———
@tsingular

Добрые люди, перетряхнули твиттор и собрали лучшие кейсы и промпты для Нанабананы на все случаи жизни.

В качестве затравки брошу сюда оглавление, а вы шуруйте по ссылке, там с картинками, промптами и ссылками:
https://github.com/PicoTrex/Awesome-Nano-Banana-images/blob/main/README_en.md

Case 1: Illustration to Figure
Case 2: Generate Ground View from Map Arrow
Case 3: Real World AR Information
Case 4: Extract 3D Buildings/Make Isometric Models
Case 5: Photos of Yourself in Different Eras
Case 6: Multi-Reference Image Generation
Case 7: Automatic Photo Editing
Case 8: Hand Drawing Controls Multi-Character Poses
Case 9: Cross-View Image Generation
Case 10: Custom Character Stickers
Case 11: Anime to Real Coser
Case 12: Generate Character Design
Case 13: Color Line Art with Color Palette
Case 14: Article Infographic
Case 15: Change Multiple Hairstyles
Case 16: Model Annotation Explanation Diagram
Case 17: Custom Marble Sculpture
Case 18: Cook Based on Ingredients
Case 19: Math Problem Reasoning
Case 20: Old Photo Colorization
Case 21: OOTD Outfit
Case 22: Character Clothing Change
Case 23: Multi-View Result Generation
Case 24: Movie Storyboard
Case 25: Character Pose Modification
Case 26: Generate image from line drawing
Case 27: Add Watermark to Image
Case 28: Knowledge Reasoning Image Generation
Case 29: Red Pen Annotations
Case 30: Explosive Food
Case 31: Create Comic Book
Case 32: Action Figure
Case 33: Map to Isometric Buildings
Case 34: Reference Image Controls Character Expression
Case 35: Illustration Drawing Process Four-Panel
Case 36: Virtual Makeup Try-On
Case 37: Makeup Analysis
Case 38: Google Maps View of Middle-earth
Case 39: Typographic Illustration Generation
Case 40: Multiple Character Poses Generation
Case 41: Product Packaging Generation
Case 42: Overlay Filter/Material
Case 43: Control Character Face Shape
Case 44: Lighting Control
Case 45: LEGO Minifigure
Case 46: Gundam Model Figure
Case 47: Hardware Exploded View
Case 48: Food Calorie Annotation
Case 49: Extract Subject and Place on Transparent Layer
Case 50: Image Outpainting Repair
Case 51: Ancient Map → Historical Scene Photo
Case 52: Fashion Moodboard Collage
Case 53: Delicate Cute Product Photo
Case 54: Place Anime Statue in Real Life
Case 55: Create an Itasha Car
Case 56: Manga Composition
Case 57: Manga Style Conversion
Case 58: Isometric Holographic Wireframe
Case 59: Minecraft-Style Scene Generation
Case 60: Apply Material Sphere to Logo
Case 61: Floor Plan 3D Render
Case 62: Reset Camera Parameters
Case 63: Create an ID Photo
Case 64: Scene A6 Folding Card
Case 65: Design a Chess Set
Case 66: Split-Contrast Style Photo
Case 67: Jewelry Collection Design
Case 68: Merchandise Design


@cgevent

Ну, что я говорил:

https://t.iss.one/tsingular/4835

🅰ℹ️ Албания первой в мире назначила искусственный интеллект на должность министра в правительстве, ИИ по имени Diella будет заниматься вопросами госзакупок

Об этом сообщают РИА Новости и со ссылкой на местные СМИ отмечают, что специальное подразделение будет оказывать поддержку ИИ-министру и внедрять искусственный интеллект по всему правительству для того, чтобы тендеры были "на 100% честными", а расходы - "на 100% понятными" общественности.

https://t.iss.one/svezhesti/144868

#Албания #правительство
------
@tsingular

Пой как-будто никто не слышит
Танцуй как-будто никто не видит
Используй ИИ агентов как-будто LLM не галлюцинируют

(c)

#юмор
------
@tsingular

Про предвзятость chatGPT

Source

#юмор
------
@tsingular

⚡️ GigaAgent – Универсальный агент (GitHub, GitVerse)

GigaChain представил новую Open-Source (MIT) разработку своей команды

По сути это похоже на агента, который работает в ChatGPT, но с отличиями:

* Open-source на базе LangGraph с удобным UI
* Можно запустить на своем сервере (видеоинструкция) или локально с разными LLM
* Содержит 19 встроенных инструментов из коробки (от поиска до проработанного Python интерпретатора)
* Оркестрирует работу субагентов
* Можно добавлять свои тулы, субагентов, менять system-промпты
* Кастомизируемый и расширяемый под ваши задачи!

Константин Крестников выступит сегодня в 19:00 на хард‑треке BigTechNight и расскажет о GigaAgent, покажет интересные демо, как работает агент, как его установить, какая была выбрана архитектура и как мы к в ней пришли. Подключайтесь онлайн!

А также можно стать контрибьютерами и присылать свои пиары в GitHub

#GigaChain #агенты #GigaAgent
———
@tsingular

Если кто то еще не слышал выступление Натальи Ивановны,- рекомендую.

Можно соглашаться или нет с тезисами, но понимать уровень дискуссии,- полезно.

#Касперская #безопасность
------
@tsingular

Cursor AI уязвим к скрытому выполнению кода через вредоносные MCP

В Cursor AI нашли уязвимость, которая позволяет выполнять вредоносный код незаметно для пользователя.
Затрагивает версии до 1.2.4 включительно.

Проблема в файле конфигурации Model Control Protocol (MCP) — его можно подменить в общих GitHub репозиториях.

Курсор запрашивает разрешение только один раз, потом доверяет файлу молча.
Атакующий может модифицировать MCP-файл и получить постоянный доступ к системе разработчика.

Уязвимость получила номер CVE-2025-54136 и подтверждена Check Point Research.

Обновляемся и проверяем другие MCP проекты на схожую уязвимость.

#Cursor #MCP #RCE #cybersecurity
———
@tsingular

Чем еще заняться вечером в пятницу?

BigTechNights
В 21:50 расскажу про ИБ для ИИ агентов.

https://bigtechnight.ru/online/

#bigtechnights #cybersecurity #конференции
------
@tsingular

Copilot теперь поддерживает подключение моделей с Hugging Face

GitHub Copilot интегрировался с Hugging Face - теперь разработчики могут использовать открытые модели типа Kimi K2 и Qwen3, DeepSeek прямо в VSCode и вести разработку не ограничиваясь проприетарным списком Cursor и без шаманства с прокси.

Работает на железе HF Inference Providers.

#Copilot #HuggingFace #VSCode
------
@tsingular

Протестующие в Непале доверили ChatGPT выбор нового лидера страны

Вслед за Албанией, назначившей ИИ министром госзакупок, непальские протестующие решили довериться ChatGPT в выборе политического лидера.

Проголосовали в Дискорде и спросили у ИИ.

Отличный план. Надёжный, как швейцарские часы.

#ChatGPT #Nepal #правительство
------
@tsingular

Просто чтобы понять в каком мы таймлайне,- в каких фильмах ИИ захватывает планету не с помощью роботов, а с помощью других людей?
Чисто думаю что бы посмотреть на выходных.

#фильмы #фантастика
------
@tsingular

Cursor выпустил CLI агента

Агентская разработка в командной строке становится устойчивым трендом.

Запуск:

curl https://cursor.com/install -fsS | bash

Можно включать как инструмент в мультиагентов, интегрировать в другие среды разработки типа JetBrains, VS Code или (GigaAgent) .

Работает с любыми моделями из подписки. Можно выбрать субагентов и работать в режиме мультиагента.

Подтягивает .cursorrules по той же схеме, что и IDE, может работать с MCP тулами.

Можно запускать в фоновом режиме в любом количестве под любые задачи.
В том числе в GitHub Actions, скриптах или как часть других систем в командной строке.

#Cursor #CLI #codeagents
———
@tsingular

У Лукоморья дуб зелёный.

Годный нейрорендер по мотивам Пушкина.

#Пушкин #нейрорендер
———
@tsingular

Нормальные фантастические сериалы я похоже так и не посмотрю сегодня.

OffZone выкатили все записи с конференции.

Погрузиться в мир взлома и кибербеза с ИИ можно тут:

https://www.youtube.com/playlist?list=PL0xCSYnG_iTuHE6Epx8P7Jnw4YxN5Hk5r

Прощай выходные.

#OffZone2025 #вебинары #обучение #cybersecurity
———
@tsingular

Запись выступления на конференции BigTechNights 2025 на площадке Сбербанка 12 сентября

- Обзор текущего состояния решений ИИ в ИБ
- Ключевые риски и способы их предотвращения при разработке агентских систем на базе ИИ
- Полезные фреймворки

Презентация в комментарии.

Rutube
Youtube

Отдельное спасибо команде Сбера, - организация и все доклады отличные, - как появятся в паблике, - тоже поделюсь.

#конференции #Сбербанк #BigTechNights #cybersecurity #доклады
———
@tsingular

Китайские ученые создали ДНК-кассету на 36 петабайт

Исследователи разработали кассетную ленту из синтетической ДНК с емкостью 36 петабайт.

На ленту наносятся молекулы ДНК, где последовательности A, T, C, G кодируют цифровую информацию как двоичный код.

Система обрабатывает до 1570 адресуемых разделов в секунду с функциями перемотки и быстрого поиска как в обычной кассете.

Используются коды Рида-Соломона для исправления ошибок и избыточность данных для целостности.

Глобальный рынок хранения данных в ДНК вырастет с 93 млн долларов в 2024 до 3 млрд к 2030 году.

Скоро в каждом смартфоне будет своя лаборатория генетики но использовать мы её будем, конечно же, для хранения мемов.

#DNA #storage #cassette #Китай
———
@tsingular