Технозаметки Малышева
9.32K subscribers
4.02K photos
1.47K videos
41 files
4.16K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
https://www.youtube.com/watch?v=xXCBz_8hM9w

рекомендую найти 50 минут и послушать интервью Сэма Альтмана.
Если не знаете английский - субтитры помогут.
Очень интересные детали про то, как GPT зародился, развивался, как вопреки тому, что академики им говорили, -"не взлетит потому, что..", стартап все-таки добился результатов.
Где мы сейчас и куда и с какой скоростью движемся в плане ИИ.
Ну и если Сэм говорит, что AGI нас ждёт в 2025, значит он у них уже в предрелизном состоянии, это не просто прогноз.
А дальше до ASI около 1000 дней.
Просто вдумайтесь. Даже не важно это будет 1000 дней или 1500, - в пределах 4х-5 лет. ASI.
Это ИИ уровня самостоятельных организаций.
Представьте, например, Майкрософт, полностью состоящий из 100 000 GPU и 1 президента компании.
И это обсуждается всерьёз, это уже не просто прогноз, а план.

#futurology #Altman #OpenAI
———
@tsingular
🤔19👍18🤨5😐21
Gemini теперь работает через с библиотеку OpenAI

Главная модель Google Gemini стала доступнее для разработчиков через OpenAI библиотеки.

Интеграция поддерживает Chat Completions API и Embeddings API.
Работает через REST API, а так же через библиотеки OpenAI под JS и Python.

Вот это зачёт. Гугл давно критиковали за сложность API. 🤝
Yandex и Сбер когда ? :)
Надо как-то дружелюбнее быть к разработчикам.

#Gemini #Google #API #OpenAI #dev
-------
@tsingular
👍81🫡1
Forwarded from TechSparks
Обнаружена очевидная и наглядная жертва ИИ.
Всего 4 месяца назад свеженазначенный CEO Chegg заявлял:
Over the last 16 years, Chegg has become one of the largest, most accessible, and impactful online education services for students around the world — и еще он рассказывал, как сервис будет внедрять ИИ.
Сервис действительно был знаменит в мире EdTech’а — в лучшие времена стоил около 15 млрд. долларов. Занимался поначалу сдачей напрокат дорогих учебников, но быстро стал a platform with pre-written answers to common homework questions за $20 в месяц. В сущности, ГДЗ — только для студентов скорее чем школьников.
Прикольно, что против него особо оне возражали преподаватели 🙂 Есть разные теории, почему.
Но с приходом ChatGPT и прочих стало странным платить $20 за то, что у чатов получается быстрее и лучше, за меньшие деньги или вовсе бесплатно. Бизнес-модель сдулась, а ее пересмотр с использованием ИИ уже запоздал. Сотрудники просили об этом еще в 2022, но начальство спохватилось только сейчас. Очень наглядная иллюстрация я цены промедления:))
https://gizmodo.com/chegg-is-on-its-last-legs-after-chatgpt-sent-its-stock-down-99-2000522585
(Для справки и для истории — восторги и оптимизм 4-месячной давности — https://gulfbusiness.com/chegg-ceo-nathan-shultz-on-ais-role-in-education/ Очень полезное чтение с учетом быстро наступившего будущего :))
🔥21👍1
Forwarded from Denis Sexy IT 🤖
Полезная новость для программистов:

Если вы куда-то поедете, и вам нужна хорошая LLM-моделька которая бы работала оффлайн, пару дней назад Qwen Coder случайно обновили (это модели от китайского гиганта Алибаба) и в сеть утекла классная новая 7B моделька:

По тестам новый Qwen2.5.1 Coder 7B теперь всего на пару процентов ниже, чем старенькая gpt-4-1106-preview — для модели такого размера, это невероятно клевые результаты; GGUF файлы качаем тут, в месте, где утечка случилась — уже все откатили обратно.

Вторая полезная новость, это то что у llama.cpp появился нормальный веб-сервер, которым даже можно пользоваться.

Инструкция как устанавливать на Mac M-процессоры (на Windows я только играю, сорри):

1) Открываем терминал, и делаем `git clone https://github.com/ggerganov/llama.cpp.git`в нужную папку;

2) Заходим в папку и делаем `LLAMA_METAL=1 make -j`

3) Ждем

4) Запускаем веб сервер этой командой `./llama-server -m «./models/Qwen2.5.1-Coder-7B-Instruct-Q5_K_M.gguf» -t 8 —mlock -v —alias totally-not-an-AGI -fa —temp 0.4 —repeat-penalty 1.10 —repeat-last-n −1 —top-k 40 —top-p 0.90 —min-p 0.10 -c 16000`, что означает каждый параметр можно почитать тут

5) Открываем в браузере https://127.0.0.1:8080/

6) Поздравлю, вы папина гордость и нейронный хакер!


На видео, как раз пример, как модель пишет код в "у нас есть чатгпт дома"

P.S. Да – все вкладки мне нужны и совсем нет лишних ☕️
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7
Доброе утро :)
🔥8
Появилось больше деталей по ASIC-чипу для трансформеров от Etched

Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)

Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.

Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.

Первый анонс был летом, - https://t.iss.one/tsingular/2002

акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔

#Etched #ASIC #Sohu
-------
@tsingular
👍8
наткнулся на еще один каталог ИИ решний, - Future Tools

1300 решений в каталоге. Есть поиск и выбор по категориям.

#FutureTools #AITools #каталог
-------
@tsingular
👍6👌1
Media is too big
VIEW IN TELEGRAM
Перевёл для вас шикарный ролик Writing Doom (я бы перевёл как сценаристы Судьбы) с помощью ElevenLabs.

Исходник:
https://www.youtube.com/watch?v=xfMQ7hzyFW4

Мини-фильм обсуждение об ASI.
В команду сценаристов приходит специалист по машинному обучению и пытается объяснить риски и реалии ИИ.

Перевод слегка криповат, но в целом приемлемо. Лучше, конечно, смотреть в оригинале. Но нужен хороший английский, субтитры на русском отвлекают, так что такой перевод может кому-то и пригодится.

Мне лично понравился пример про бизнесмена и 5ти летнего ребёнка.
И тезис, - если мы хотим получить настоящий значимый эффект от внедрения ИИ, нам нужно отдать ему контроль. Но отдав контроль мы не можем быть уверены, что он не использует его во вред незаметным для нас образом. Способом вне нашего понимания, как в примере про бизнесмена.

#ASI #WritingDoom
———
@tsungular
👍84👾1
Forwarded from Machinelearning
⚡️ Релиз Qwen2.5-Coder.

Qwen2.5-Coder - это семейство из 6 LLM : 0,5, 1,5, 3, 7, 14, 32 млрд. параметров, ориентированное на понимание и написание кода на 40 языках программирования.

По сравнению с предыдущим поколением моделей CodeQwen1.5, в Qwen2.5-Coder значительно улучшена генерация, обоснование и исправление кода. При этом сохранились сильные навыки в математике и общих компетенциях.

Семейство основано на Qwen 2.5, количество обучающих лексем было увеличено до 5,5 трлн, в корпус данных вошли исходный код, текстовые кодовые основания, синтетические данные и т. д.

Способности в области программирования старшей модели, Qwen2.5-Coder-32B соответствуют уровню GPT-4o.

Модели 0.5В, 1.5B и получили контекст в 32 тыс. токенов, а , 14В и 32B - 128 тыс. токенов.

В открытый доступ на HuggingFace опубликованы 36 моделей семейства: базовые модели, instruct-версии и GGUF, AWQ, GPTQ-Int8, GPTQ-Int4 форматы инструктивных версий.


⚠️ В ближайшее время (сроки не указаны), разработчики Qwen-Coder планируют запустить сервис real-time кода на сайте Tongyi . Сервис будет поддерживать генерацию веб-сайтов, создание мини-игр и диаграмм данных одним щелчком мыши.


📌Лицензирование:

🟢Модели 0.5В, 1.5В, 7В, 14В и 32В - Apache 2.0 License.
🟠Модель 3B - Qwen-Research license.


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Документация
🟡Arxiv
🟡Demo
🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #QwenCoder
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
TinyTroupe, - фреймворк Microsoft для симуляции социальных взаимодействий

Microsoft выпустила приложение для создания виртуальных личностей с уникальными характеристиками.

Фреймворк использует GPT-4 (но можно перенастроить на все, что работает по OpenAI API) и состоит из двух ключевых абстракций: TinyPersons (виртуальные агенты) и TinyWorld (симулированное окружение).
Уже включены:
TinyPersonFactory: создание виртуальных персонажей.
TinyTool: виртуальные инструменты, которыми могут пользоваться персонажи Матрицы :).
TinyStory: инструмент для создания историй для персонажей. Описание событий.
TinyPersonValidator: контроль действий персонажиков.
ResultsExtractor и ResultsReducer - сведение и аналитика поведенческих результатов

Позволяет тестировать сценарии взаимодействия, анализировать поведение потребителей и получать бизнес-инсайты в контролируемой среде.

Социологические опросы можно не проводить. Цифровой двойник общества готов. 🤖🛒

#Microsoft #TinyTroupe
-------
@tsingular
3👍1🤔1👾1
Cisco прокачивает Wi-Fi 7 с помощью AI

Анонсирована новая серия точек доступа, оснащённых ИИ с функциями автоматической настройки.

Устройства получили встроенную систему безопасности с профилированием клиентов и Ultra-Wideband для точного позиционирования.

Поддерживается гибридное управление через облако или локально с возможностью быстрого переключения режимов.

Технология оптимизирована для AR/VR, потокового вещания и высоконагруженных бизнес-сред.

Старт продаж запланирован на декабрь 2024 года.

Теперь офисный Wi-Fi каждого посчитает и запишет в отдельный блокнотик ваши координаты и траектории перемещения по офису. 🤖📡

#Cisco #WiFi7 #UltraWideband
-------
@tsingular
2
LLMflation: цены на LLM-инференс стремительно падают

Стоимость обработки текста в языковых моделях демонстрирует беспрецедентное снижение - в 10 раз ежегодно.
За последние три года цена упала с $60 до $0.06 за миллион токенов, что в 1000 раз дешевле.
Ключевые факторы: улучшенная архитектура, оптимизация ПО, квантизация и специализированное оборудование.
Практические примеры: обработка 10-часового разговора уже стоит $2, анализ всего ядра Linux - менее $1.
Провайдеры LLM-сервисов фокусируются на премиум-сегменте, уступая нижний новым игрокам.

Похоже, скоро AI-помощник будет дешевле чашки кофе ☕️

#LLMflation #inference #optimization
-------
@tsingular
4🔥1
Google обновляет курс ML для разработчиков с фокусом на практику

Google Developers представили обновленный ML курс, фокусирующийся на практических аспектах машинного обучения.
Программа охватывает построение регрессионных/классификационных моделей, методы обработки данных и внедрения систем.
Для старта достаточно базовых знаний Python, математики и браузера Chrome/Firefox.
Платформа Colaboratory предоставляет интерактивную среду без установки ПО.
Особое внимание уделяется ответственному инжинирингу и промышленной эксплуатации моделей.

Еще один очень классный бесплатный курс по ML. Записываем в план обучения! 💻

https://developers.google.com/machine-learning/crash-course/llm?hl=ru

#GoogleDevelopers #Colaboratory #MLCourse #обучение
-------
@tsingular
👍3
Gartner прогнозирует энергетический кризис из-за дата-центров для ИИ

Аналитики Gartner предупреждают об угрозе масштабного энергодефицита к 2027 году.
Потребление электричества ЦОДами увеличится в 2,6 раза до 500 ТВтч ежегодно.
40% серверных комплексов столкнутся с проблемами энергоснабжения.
Создание новых мощностей займет годы, что приведет к росту стоимости услуг.

ИИ скоро будет потреблять больше энергии, чем майнинг крипты 🔋😅
А с учётом роста курса биткоина будет грызня за электричество между майнерами и ИИшниками.
Все культурно и в рамках саморегулирования рынка, само-собой. :)

#Gartner #DataCenter #Energy
-------
@tsingular
👀3🕊1