Технозаметки Малышева
10.4K subscribers
4.21K photos
1.53K videos
41 files
4.31K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
А в города он умеет лучше, чем в шахматы. :)
Память не бесконечная.
Forwarded from 4PDA Community
👀 Исторический момент: ChatGPT обрёл «суперсилу Wolfram»

Четвёртая версия ChatGPT одних заставила пищать от восторга, а других повергла в уныние. Кто-то уже нашёл этой системе множество творческих применений, а кто-то пророчит, что эта нейросеть лишит работы кучу людей. Теперь возможности ChatGPT стали ещё шире: систему объединили с Wolfram | Alpha, легендарным движком для вычисления ответов в самых разных областях знания.

Читать статью на сайте

4PDA Community | #AI
👍1
Microsoft_AI_powered_cybersecurity.pdf
481.9 KB
Карта использования ИИ от Майкрософт в кибербезопасности :
- Обзор эволюции ИИ с использованием таких технологий, как машинное обучение, глубокое обучение, генеративный ИИ и общий искусственный интеллект (AGI).
- Демонстрация значительных возможностей безопасности Microsoft, использующих ИИ, с указанием вариантов их использования и связей с различными технологиями ИИ.
- Краткий обзор областей исследований, которые исследует Microsoft.
- Недавно анонсированный «Microsoft Security Copilot», использующий генеративный ИИ и GPT-4.
Forwarded from 4PDA Community
⚙️ Запуск аналогов ChatGPT на домашнем ПК в пару кликов и с интерфейсом

В течении последнего месяца в сфере текстовых нейронок всё кипит - после слитой в сеть модели Llama, aka "ChatGPT у себя на пекарне" люди ощутили, что никакой зацензуренный OpenAI по сути им и не нужен, а хорошие по мощности нейронки можно запускать локально, имея минимум 16ГБ обычной ОЗУ и хороший процессор.

Читать статью на сайте

4PDA Community | #AI
👍1
Forwarded from ml4se
AI / ML / LLM / Transformer Models Timeline

This is a collection of important papers in the area of LLMs and Transformer models.
PDF file.
Stability AI just released initial set of StableLM-alpha models, with 3B and 7B parameters. 15B and 30B models are on the way.

Base models are released under CC BY-SA-4.0.

StableLM-Alpha models are trained on the new dataset that build on The Pile, which contains 1.5 trillion tokens, roughly 3x the size of The Pile. These models will be trained on up to 1.5 trillion tokens. The context length for these models is 4096 tokens.

As a proof-of-concept, we also fine-tuned the model with Stanford Alpaca's procedure using a combination of five recent datasets for conversational agents: Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, and Anthropic's HH. We will be releasing these models as StableLM-Tuned-Alpha.

https://github.com/Stability-AI/StableLM
немного изменений в фоне запроса и ответы стали гораздо интересней.
Forwarded from Chat GPT
Microsoft readies its own AI chip to reduce Nvidia reliance. ChatGPT currently costs $700k+ per day(!) to run, so securing cost savings and AI compute capacity is critical in the AI arms race.

Article
Forwarded from Chat GPT
ChatGPT Reaches 100 Million Users
Forwarded from e/acc
Фееристика. Только в прошлом месяце мы прыгали от восторга из-за 32К токенов контекста в GPT-4. Сегодняшний пейпер предлагает как увеличить окно контекста до 2 млн токенов.

Это, например, полностью прочитать серию книг о Гарри Поттере и написать следующую. Или одновременно держать в памяти весь документооборот за год среднего размера бизнеса. Или базу кода почти любого приложения в мире.
https://github.com/THUDM/ChatGLM-6B

Китайская модель. 750тыс скачиваний !!!

Просто для оценки масштабов вовлеченности мирового сообщества
ChatGPT использует модель глубокого обучения, которая обучена на большом количестве текстов на английском языке. Поэтому, когда пользователь вводит запрос на русском языке, он автоматически переводится на английский язык с помощью машинного перевода. Затем модель ChatGPT обрабатывает этот переведенный текст и генерирует ответ на английском языке.

Таким образом, ChatGPT не использует базу данных на русском языке, а работает с переводом запросов на английский язык. Однако, поскольку машинный перевод не всегда точен, возможны неточности в ответах ChatGPT на запросы на русском языке.
На подходе новая сетка на 1.2 триллиона параметров
https://www.together.xyz/blog/redpajama

Полный набор данных RedPajama на 1,2 триллиона токенов и меньшую, но более удобную случайную выборку можно загрузить через Hugging Face. Полный набор данных составляет ~5 ТБ в разархивированном виде на диске и ~3 ТБ в сжатом виде для скачивания.

RedPajama-Data-1T состоит из семи срезов данных:

CommonCrawl: пять дампов CommonCrawl, обработанных с использованием конвейера CCNet и отфильтрованных с помощью нескольких фильтров качества, включая линейный классификатор, который выбирает страницы, подобные Википедии.

C4: стандартный набор данных C4

GitHub: данные GitHub, отфильтрованные по лицензиям и качеству.

arXiv: удаление шаблонов из научных статей

Книги: корпус открытых книг, дедуплицированный по сходству содержания.

Википедия: подмножество страниц Википедии, удаление шаблонного кода.

StackExchange: Подмножество популярных веб-сайтов в StackExchange, удаление шаблонного кода.
Forwarded from e/acc
Media is too big
VIEW IN TELEGRAM
У меня сегодня день рождения, поэтому я делюсь с вами подарком.

Гигабрейн — это виртуальный университет, в котором можно

— изучать любую тему с персонализированным тьютором
— задавать вопросы, просить уточнения терминов
— обсуждать с историческими персонажами (спроси Сатоши про биткоин, а Фейнмана про природу науки)
— исследовать области знаний с мудрым наставником
— тестировать себя через тесты и лабораторные работы
на любом языке, в любой области знаний, абсолютно бесплатно

Если вы educator или edtech и хотите себе такую же штуку в образовательный процесс — пишите. Сделал проект в одиночку за неделю, но буду еще улучшать.

В качестве подарка можно шарить пост по любым каналам.