Cделал очень приятное обновление для бота FLUX+re-prompting на базе llama3.1

Теперь вам доступен ваш улучшеный промпт!

Можете забирать его что бы вставить в любой другой генератор изображений!

@DaisyImagebot

Вы уже сгенерировали 1000 картинок продолжайте в том же духе!


Закидывайте в комментариях ваши предложения по улучшению

Сверхзвуковые LLM

Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости побили в более чем два раза для 8B. В будущем обещают добавить больше моделей, начиная с Llama 3.1 405B

Сделал это стартап Cerebras. Он производит железо для нейронок, известен самым большим чипом в мире (в 57 раз больше по размеру H100!). Предыдущий рекорд по скорости поставил тоже стартап со своим железом - Groq.

Хороший пример того что специализированные только под нейронки чипы вроде могут в разы превосходить видеокарты по скорости инференса, а ведь скоро ещё будут чипы которые заточены под конкретные модели, например Sohu. Кстати, давно хотел разобрать разные стартапы по производству железа и разницу их подходов. Интересно?

Попробовать можно тут.

@ai_newz

Разработка на Defold часто начинается с чувством, что сталкиваешься с постоянными ограничениями. То, что в других движках можно реализовать за пару часов, в Defold требует написания низкоуровневых решений и интеграции их в пайплайн рендера, а также архитектуру проекта, жестко диктуемую движком. Изоляция работы с GUI, миром и рендер-скриптами тоже накладывает свои ограничения. Но знаете что? Это здорово! 👍 У меня гораздо меньше шансов упороться в спагетти код, мне движок это просто не позволит. Эти сложности способствуют созданию более оптимизированного и чистого кода. Благодаря таким особенностям Defold игры на этом движке часто отличаются высокой производительностью. Любые затраченные усилия обязательно окупаются, и я восхищаюсь результатами, которых удается достичь с его помощью.

Что касается того, что я успел реализовать: наконец, я реализовал тени от точечного источника освещения — давно хотел это сделать! Даже эффект туманности до сих пор меня впечатляет, а добавление теней стало приятным дополнением. В последнее время разработчики Defold сделали большой шаг вперед в работе с шейдерами, и благодаря этому реализовать свои задумки стало гораздо проще. Надеюсь, вскоре появятся новые структуры данных, такие как массив сэмплеров или возможность динамически создавать кубические карты и рендерить в них. Ну а пока работаем с тем, что есть, и наслаждаемся процессом!

Транскрбация ваших встреч и голосовых!

Совместно с @mixaill76 улучшил показания метрик WER до 6% на русском языке!
https://t.iss.one/daisytranscribe_bot

Теперь там тюненая модель под русский язык
Из новостей
Для больших аудио отдельный бекенд!
Очереди, ваш файл не потеряется!
Каждая запись закрепляется в чате ботом для удобного поиска.

И вишенка на торте саммари можно получить через gpt-4o-mini
И бот работает в группах!

Привет всем!

И вот, наконец, мы нашли время с моим LLM инженером и собрали для вас материалы. Далее, в течение следующей недели, я поделюсь информацией с теми, кто записался на курс. Их оказалось больше 30 человек, поэтому мы разделили их на две группы:

1) Те, кто хотел проверить свои силы в создании RAG агента через фронтенд.
2) Те, кто хотел создать RAG агента через код, используя наше АПИ.

Тайминг следующий:

1) В течение этой недели мы разделем вас на две группы и пришлем всем уведомление в ЛС.
2) Через 2 недели проведем вводный стрим в zoom, где я расскажу вводную информацию про RAG и что это такое, также отвечу на вопросы (1 час).
3) Максимально быстро вы получите материалы и доступы для самостоятельного изучения.
4) Через пару дней проведем еще один стрим с лайв кодингом, где я покажу, как создать агента через вэб и через код (2 часа).

Далее вы сможете задавать вопросы мне в лс либо под постами со стримами!

Все будет записываться и выкладываться сюда в канал.

Распорядок дня

Пример решения довольно нетривиальной задачки, с которой текущие модели не справляются

Отлично пойду задавать вопросы про стулья =)

Пока что единственная модель которая смогла в задачу по ТРИЗ про Марсоход

Условие:

Во время научной экспедиции на Марс, космический корабль произвёл посадку в долине. Астронавты снарядили марсоход для лучшего изучения планеты, но как только покинули корабль, столкнулись с проблемой. Дело в том, что по поверхности было сложно передвигаться - этому мешали многочисленные холмы, ямы, большие камни. На первом же склоне колёсный вездеход с надувными шинами перевернулся на бок. С этой проблемой астронавты справились - они прицепили снизу груз, что усилило устойчивость машины, но стало причиной новой проблемы
- груз задевал неровности, что усложняло движение. Итак, что нужно сделать, чтобы повысить проходимость марсохода? При этом у космонавтов нет возможности изменять его конструкцию.

Решение:

Техническое противоречие сформулировано в условии задачи. Идеальный конечный результат - достичь абсолютной проходимости. При этом космонавты действуют в условиях Марса, у них нет возможности изменять конструкцию марсохода. Исходя из этого, ресурсом выступает груз. Не стоит также забывать и о законах развития технических систем, и следить за тем, чтобы изменение одной части не влияло на функционирование других элементов. Памятуя об этом, становится очевидным, что поднять груз в кабину или на крышу невозможно, так как произойдёт смещение центра тяжести и проблему решить не удастся. Спустить воздух из шин также нельзя - устойчивость немного повысится, но пострадает проходимость, усилится тряска.
Чтобы понять, как поступить с грузом, и получить сильное решение, нужно вспомнить, как мы обычно поступаем в условиях нехватки места? Стараемся разместить всё максимально компактно: объединить, сложить одно в другое. В ТРИЗ такой приём получил название «матрёшка». С её помощью задача про марсоход легко решаема: груз (металлические шарики, тяжёлая жидкость) нужно поместить внутрь шин. Этот способ имеет применение на практике, его предложил использовать японский изобретатель П. Шохо, для повышения устойчивости и проходимости кранов и погрузчиков.

СoT:

Изучаю проблему

Астронавты сталкиваются с трудностью передвижения по Марсу из-за неровного рельефа. Марсоход с надувными шинами не справляется, поэтому они устанавливают груз для повышения устойчивости, что приводит к новым трудностям.

Изучаю трудности

Астронавты сталкиваются с неровной почвой. Прицеп наталкивается на препятствия. Это подсказывает, что стабильность и проходимость важны.

Предлагаю улучшить пассажиропроходимость робота, решив проблему с гравитацией.

Преодолевая препятствия

Я размышляю о том, как улучшить проходимость ровера без изменения его конструкции. Перевести груз на другое место, которое бы понизило центр тяжести и не мешало движению по неровной местности.

Ищу решения

Пытаюсь перераспределить нагрузку, использовать тросы или кабели для стабилизации роувера.

Ищу оптимальные решения

Рассматриваю возможность планирования маршрута для повышения проходимости роувера, привлечения дополнительной стабильности и уменьшения веса.

Перемещение груза

Я думаю о том, что может быть целесообразным перемещать груз на нижние стороны автомобиля, чтобы снизить центр тяжести, избегая при этом контакта с землей.

Перераспределяю груз

Астронавты могут улучшить проходимость марсохода, перераспределяя вес, чтобы снизить центр тяжести, не меняя его конструкцию.

Ищу новые подходы

Пожалуй, рассматриваю снижение центра тяжести автомобиля, спуская шины или заполняя их жидкостью.

Заполняю шины песком

Астронавты заполняют надувные шины марсохода песком или реголитом. Это помогает снизить центр тяжести, увеличить стабильность и избежать прикасания груза к неровной поверхности.

На данный момент это единственная модель, которая смогла справиться с задачей по ТРИЗ. Самое крутое — это видимость цепочки Chain of Thought (CoT) рассуждений

Ну и на фоне этого OpenAI ведет переговоры о привлечении от инвесторов $6,5 млрд при оценке более чем в $150 млрд.

Компания TikTok: она оценивалась в $268 млрд. На втором месте — SpaceX, которая в декабре 2023 года оценивалась в $180 млрд.

Нашел окно провести kick off встречу по RAG интенсиву на следующей неделе
17 Сентября вторник в 11:30
все кто записался получат приглашение
Запись для тех кто не сможет подключится пришлем отдельно

Так же нарезки выложу отдельно в канал

#intensive

Утечка дорожной карты по достижению AGI от OpenAI

OpenAI представила пятиуровневую систему достижения AGI. Вот как выглядит этот путь:

1. Уровень 1: Чат-боты — ИИ с разговорным языком.
2. Уровень 2: Рассуждения — Решение проблем на уровне человека.
3. Уровень 3: Агенты — Системы, способные выполнять действия.
4. Уровень 4: Инноваторы — ИИ, помогающий в изобретениях.
5. Уровень 5: Организации — ИИ, выполняющий работу целой компании.

С релизом o1 мы находимся на пороге Уровня 2.

Следующий большой шаг может означать ИИ, умнее вашего самого гениального друга.

Последние 10 лет стоим на пороге открытия AGI 😂

Посвящается моим друзьям которые занимаются CV

Уже завтра стартует первый онлайн звонок по Self RAG

Все кто успел записаться в августе в первый поток получили приглашения на почту жду вас там проведем вводную встречу!

#RAG #intensive

RAG что это?

Не кидайте тапками, я пробую такой формат первый раз!

Как и обещал, присылаю полную запись сегодняшнего интро по Self RAG. Мы начали с самого простого: что такое RAG и как он работает!

На следующем занятии мы рассмотрим, как создать такой RAG на базе нашей платформы в режиме онлайн. В будущем я планирую сделать полноценный интеснив по созданию RAG с нуля – от аренды виртуальной машины до запуска Lama-3.1 под vllm.

Как сказал один из участников сегодняшнего интенсива:

"Вы первый, кто не льет воду про RAG и реально рассказываете, как оно работает."

И действительно, я просмотрел множество курсов про RAG и LLM агентов, и у меня возникло легкое раздражение.

Информацию берут либо текст от ChatGPT или из статей Azure, либо, на худой конец, попробовали "Ассистентов от ChatGPT" и считают что это можно упаковывать и распространять в массы.

Мой опыт подтверждается реализованными кейсами, разработанной платформой и огромным количеством проведенных экспериментов.

На вопросы из из файла текста чата вы найдете ответы в конце видео!

Дисклеймер
Все, что вы увидите и услышите в данном видео, является моим личным мнением, основанным на опыте работы с проектами, клиентами и реализации платформы. Мои советы и рекомендации могут не подойти для всех ситуаций и не претендуют на абсолютную истину. Перед тем как принять какое-либо решение, настоятельно рекомендуется провести собственное исследование и проконсультироваться с профессионалами в вашей области.


P.S
Вам я предоставил очень сумбурный, но очень подробный технический ввод про то, что такое RAG!

А всем, кто заинтересовался, пишите в комментариях – интенсив абсолютно бесплатный. Записывайтесь на следующую волну.

#intensive

Привет! Тут свежие новости: Runway и Luma AI запустили API для создания видео. Теперь у всех есть доступ к API Luma AI, которая позволяет делать видео из текста или картинок. Это стоит всего ~0.4$ за пятисекундное видео 720p.

И главное: скоро вы сможете пользоваться этим в @fastpixel_bot! Нахожусь в процессе подсчёта экономики для LumaAI

Ranway пока только по запросу выдает доступ =(

Подробнее читайте здесь: https://the-decoder.com/runway-and-luma-ai-release-apis-for-ai-video-generation/

LumaAI API

Жесткая экономика от Luma AI: за 4 видео, одно из которых не удалось, с меня сняли 700 рублей за API. Да, я генерировал видео в формате Full HD продолжительностью 5 секунд.

В интерфейсе можно купить подписку за 30 долларов и получить 120 генераций, что в пересчете составляет примерно 25 рублей за видео. API кусается по цене чуть сильнее

API опробовано. Начинаю встраивать в бота платежи и генерацию видео из изображений!

Automatic для меня теперь в прошлом
Теперь я все собираю на СomfyUI
Тут кстати эксперименты с IP adapter + FLUX

workflow и ссылка на модели в комментариях