Технозаметки Малышева
9.65K subscribers
4.05K photos
1.48K videos
41 files
4.17K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
Forwarded from эйай ньюз
Карпатый готовит большой курс по LLM – LLM101n: Let's build a Storyteller

Андрей будет учить с нуля и буквально всему - архитектуре, подготовке датасетов, тюнингу, оптимизации, фреймворкам (PyTorch+Jax), CUDA. На выходе у студентов получится что-то похожее на ChatGPT, только написанное абсолютно с нуля.

Такое ему не впервой, он вместе со своим профом Ли Фей-Фей создал и вёл легендарный курс CS231 по глубокому обучению в Стенфорде (имхо этот курс – база, всем советую), да и обучающие видео у него выходят отличные.

В публичном доступе есть репа с содержанием курса, но самих лекций пока нету

Список туториалов Карпатого про LLM:
- Строим GPT с нуля, с разбором кода в ноутбуке (2ч)
- Как тренировали ChatGPT (large scale)
- Интро в большие языковые модели (LLM), тоже от Карпатого. (1ч)
- Токенизация в GPT и как ее закодить (2ч)
- Как воспроизвести и натренировать GPT-2 (124M) с нуля (4ч)

#ликбез
@ai_newz
3
Google Gemini интегрируется в Workspace

Боковая панель ИИ-ассистента появится в Gmail, Docs, Sheets, Slides и Drive.
Функционал позволит кратко излагать содержание писем, составлять черновики, предлагать проактивные подсказки.
Используется модель Gemini 1.5 Pro.

Новые возможности: контекстные умные ответы, Q&A в Gmail, автоматизация рабочих процессов.

Доступно платным пользователям Google One AI Premium и Workspace с дополнением Gemini.

Интересно, какой % пользователей работает с письмами через web. Наверное удобнее было бы такую панель в офисных продуктах иметь, как плагин-проброс к моделькам. ( Идеи для стартапов бесплатно на @tsingular :) )

#Google #Gemini #Workspace
-------
@tsingular
Уязвимость в Ollama: необходимо срочное обновление

В Ollama выявлена критическая уязвимость (CVE-2024-37032), допускающая удаленное выполнение кода.
Проблема вызвана недостаточной проверкой в REST API сервера.
Эксплуатация осуществляется через специальный HTTP-запрос.
Особо опасна для Docker-установок с root-правами.
Свыше 1000 уязвимых серверов все еще доступны из интернета.
Рекомендации: обновиться до версии 0.1.34+, использовать аутентификацию, прокси и брандмауэры.
Аналогичные уязвимости обнаружены в TorchServe и Ray Anyscale.

Текущая версия 0.1.45, но если кто-то застрял на 1.34- - обновляемся.

#Ollama #cybersecurity #vulnerabilities
-------
@tsingular
NuExtract: компактная модель для структурированного извлечения данных

NuExtract - специализированная модель для извлечения информации из текста в JSON-формате.
Обучена на 50 000 аннотированных примерах, созданных с помощью LLM.
Работает в режимах zero-shot и pseudo few-shot.
Версии модели: tiny (0.5B), стандартная (3.8B) и large (7B).
Практически близка по качеству к 4o OpenAI.
Применима для анализа технических, медицинских и юридических документов.
Легко адаптируется к конкретным задачам через дообучение.
Выпущена под лицензией MIT.

Может быть очень полезна не только для документов но и для локальной обработки входящих запросов на предмет "а что хотел узнать пользователь" и создания langchain потоков.

#NuExtract #StructuredExtraction #NLP
-------
@tsingular
🔥2❤‍🔥1
🧬 Пишут, что в США подростки массово подсаживаются на CharacterAI — сервис, где можно общаться с нейросетевыми аналогами персонажей и реальных людей.

Там 250 млн посещений в месяц, 20 млн постоянных пользователей, 2 млрд запросов в день. Когда у сервиса падают сервера, на реддите у людей сразу истерика.

К слову, это чуть ли не второй по популярности ИИ-сервис после ChatGPT.

🧩 #AINews
3🐳1🗿1
Forwarded from Не баг, а фича
Пушка: теперь Gemini с 3.25 млрд параметров доступна локально на компе  во вкладке Chrome! Нейронка стала полноценной заменой поисковику и даёт ответы с задержкой меньше 100 мс!

Для этой версии Gemini не нужен интернет, она бесплатна, приватна и использует меньше 2 ГБ ОЗУ, что даже меньше прожорливых вкладок. Важно: чтобы включить Gemini, достаточно всего двух строчек кода, как в третьем видео!

Почему так? Всё просто — Google тайно встроила Gemini в версию Chrome для разрабов, а твиттерские нашли, где мы можем её включить.

Больше для собственной локальной нейронки не нужны суперкомпьютеры! Юзаем.

🙂 Не баг, а фича
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1😍1👀1
Alibaba Cloud запускает англоязычный хаб AI-моделей

Китайский гигант Alibaba Cloud представил английскую версию ModelScope - платформы открытых AI-моделей.

Сервис реализует концепцию "Model-as-a-Service", предоставляя доступ к 5000+ передовым моделям и 1500 датасетам.
ModelScope позволяет настраивать, обучать и оценивать модели с минимальным объёмом кода.

Анонс состоялся на CVPR 2024 в Сиэтле, где компания представила 30+ научных работ.
Посетители могли оценить возможности модели Qwen по генерации изображений и видео.

Запуск англоязычной версии - важный шаг в глобальной экспансии AI-сервисов Alibaba Cloud.

Огонь!
https://www.modelscope.cn/home
Полный аналог HuggingFace.

#Alibaba #ModelScope #Qwen
-------
@tsingular
Forwarded from e/acc
Только что анонсировали новый ASIC для LLM: он умеет генерировать 500,000 токенов в секунду!

Эта штука может писать по одному тому "Войны и Мира" каждую секунду. Локально и без доступа к интернету. Это в десятки раз быстрее, чем кластер из 8 профессиональных карт NVIDIA H100.

Подходит для любых приложений на основе трансформеров: Llama, Stable Diffusion, Sora, Claude, GPT и так далее.
😐1
OpenAI поглощает платформу удалённой работы

OpenAI приобрёл стартап Multi (ранее Remotion), специализирующийся на инструментах для совместной работы.
Сделка носит характер найма команды - около 5 специалистов вольются в ряды OpenAI. (поглотити стартап, получается)
Это приобретение укрепляет позиции компании в сегменте корпоративных решений.

Напомним, что ChatGPT Enterprise уже используют 600 000 пользователей, включая 93% компаний из Fortune 500.
OpenAI также запустила программу кастомизации AI-моделей и консалтинга для бизнеса.
Ожидаемый доход компании в этом году - свыше $3,4 млрд.

Это выходит метят в конкуренты Google Workspace.

#OpenAI #Multi #RemoteWork
-------
@tsingular
Amazon готовит ответный удар по ChatGPT

Гигант е-коммерции тайно (:) но вам только по секрету) разрабатывает AI-чатбот Metis, который должен составить конкуренцию ChatGPT.
Проект основан на собственной модели - Olympus и курируется CEO Энди Джасси.
Функционал в разработке - текстовые и графические ответы, генерация изображений и возможности AI-агента.

Запуск планируется на сентябрь, во время мероприятия Alexa.

Metis использует RAG для актуализации данных (куда же без неё).

Разработка ведётся под улучшенную версию Alexa.

Сири умнеет, Алиса, Гигачат, теперь вот Алекса.
OpenAI добавляет голос в чатГПТ.
Выходит скоро у нас будут сверхразумные голосовые ассистенты от ведущих корпораций.
Рой терминаторов :)

#Amazon #Metis #Olympus
-------
@tsingular
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Языковые модели уже куда только не встраивали, а как насчет встроить в файл ШРИФТА? ☕️

Чел собрал llama.ttf — полноценный файл шрифта, который одновременно является большой языковой моделью и движком для её выполнения. Этот файл позволяет запускать языковую модель прямо в текстовых редакторах и других приложениях, поддерживающих технологию обработки шрифтов *HarfBuzz.
То есть, вы можете использовать шрифт для генерации текста из любого софта, БЕЗ необходимости ждать, пока кто-то внедрит поддержку AI в Corel Draw (спойлер: никто), плюс — все работает локально.

Если вы технически подкованный, то:
1) Скачайте файл, и установите его как обычный шрифт
2) Выберете шрифт LlamaSans в приложении
3) Проставьте кучу «!!!» знаков, чтобы активировать режим генерации, после чего «!» отправленный после текста закончит предложение (в видео пример)

Сайт проекта:
https://fuglede.github.io/llama.ttf/

*HarfBuzz использует WebAssembly (Wasm) для выполнения произвольного кода при обработке шрифтов, что делает возможным включение в файл шрифта целого движка языковой модели
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👻1
Забавный коммент на Ютубе.

Комментатора заминусили в -2 за предположение, что через несколько лет ИИ сможет генерить фотореалистичное видео.
И накидали +14 тому, кто его опроверг и сказал, что может быть только наши внуки увидят подобное.
:)
В подборку к слайдам о предсказаниях трендов.

#trend #forecast
———
@tsingular
🔥4😁1
ИИ модели без умножения матриц значительно снижают энергопотребление

Учёные разработали метод создания крупных языковых моделей без умножения матриц на основе предыдущей работы BitNet.
Новый подход снижает энергопотребление и повышает эффективность ИИ-систем.
Модель с 2,7 млрд параметров показывает производительность, сравнимую с обычными LLM.
Демонстрация: 1,3 млрд параметров на скорости 23,8 токенов/сек на GPU и FPGA-чипе.

При этом энергопотребление FPGA-чипа - всего 13 Вт!!!

Технология делает LLM доступнее для устройств с ограниченными ресурсами.

Суть инновации заключается в использование только тернарных значений (-1, 0, 1) вместо чисел с плавающей запятой и замену механизма внимания на более простую и эффективную единицу MLGRU.

#MatrixMultiplication #EnergyEfficiency #LanguageModels
-------
@tsingular
Amazon Bedrock: ИИ-агенты для инвестиционных исследований

Amazon, как всегда, представляет прекрасные детальные руководства по созданию ИИ решений.

Сегодня рассмотрим урок по созданию ИИ-агентов для проведения финансовой аналитики на базе Agents for Amazon Bedrock.

Система анализирует разнородные данные (текст, аудио, БД, финансовые рынки) и автоматизирует рутинные задачи аналитиков.

Мультимодальные агенты обрабатывают запросы на естественном языке, генерируя инсайты на базе данных из различных источников.

В примере описан RAG подход для контекстуализации LLM и безопасное подключение к корпоративным данным, извлечение финансовых показателей из отчетов и анализ настроений в транскриптах конференц-звонков.

Амазон выходит за рамки обычных технических руководств, по сути выкладывая полное изложение технической начинки финтех стартапа.

#AmazonBedrock #FinancialAnalysis #InvestmentResearch
-------
@tsingular
This media is not supported in your browser
VIEW IN TELEGRAM
Интересный сценарий использования Artifacts в Claude 3.5 Sonnet.

Модель прочитала документ.
В данном случае - Attention is all you need - известная фундаментальная работа.
https://arxiv.org/pdf/1706.03762

И создала интерактивный урок с проверочным тестом в итоге.

Есть вопросы по качеству обучающего материала, конечно.
Но факт, что можно теперь сложный технический документ быстро (буквально за секунды) превратить в черновик урока, - прекрасен.

источник: X

#Claude #Education
———
@tsingualr
Использование ИИ для рассекречивания документов

Исследование, проведённое в Мэриленде по заказу Минобороны США показало успешное применение ИИ для рассекречивания документов.
Ключевой момент - сопоставление процессных правил с моделями контекстуального понимания.
Алгоритмы способны различать контекст терминов в разных сферах (например, «килотонна» в сельском хозяйстве и обороне).
Планируется создание руководства по использованию ИИ для поддержки решений о рассекречивании в госструктурах.
Технология применима к различным типам проверки информации, включая FOIA и проверку безопасности.

В данном конкретном случае это больше про сортировку документов, чтобы лишнее не опубликовать, но в целом интересна методика подхода по снижению неопределённостей.

#Pentagon #declassification #machinelearning
-------
@tsingular
Forwarded from GigaChat
GigaConf 2024 начинается уже сегодня! Рассказываем о главной технологической конференции от Сбера 😎

Открываем GigaConf пленарным докладом от Сбера, SberDevices, Минцифры, MindSpore и Авито.

Продолжим десятками выступлений от разработчиков, менеджеров, руководителей команд и айтишников. Они поделятся опытом и разберут разные кейсы.

Вот только малая часть из 30+ тем:

⭕️ Настоящее и будущее GigaChat
⭕️ Большие языковые модели: на границе исследований и бизнеса
⭕️ Нужен ли эксперту AI, а AI — эксперт?
⭕️ Безопасность LLM
⭕️ AI: конкурент или помощник?

Мы в большом предвкушении сегодняшнего дня!

Выбирайте нужный блок и смотрите прямую трансляцию 🖥


🙌 — иду смотреть трансляции и записывать все умные мысли спикеров
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ омолаживает звезд Голливуда в новом фильме - Here

Роберт Земекис в картине "Here" применяет передовую ИИ-технологию для омоложения Тома Хэнкса и Робин Райт.

Инструмент Metaphysic Live в реальном времени возвращает актерам облик 90-х.

Фильм охватывает разные эпохи с одной точки обзора.

Эксперимент Земекиса вызывает споры в киноиндустрии.
Многие творческие работники против использования ИИ в кинопроизводстве.

Актёры из 90х продолжат карьеру после своей смерти.
Первыми получат цифровое бессмертие, получается.

#Zemeckis #Metaphysic #DeAging
———
@tsingular