Langflow и FlowiseAI

Всем любителям ноу-кодинга и пользователям Comfy посвящается. Нет, это не про картинки, а про ЛЛМ и LangChain (который я всей душой не люблю). С одной стороны для быстрых тестов подходящий фреймворк, но как только прикидываешь время на правки шаблонов промптов и кучи всего прочего, то понимаешь, что это сравнимо с тем, если бы все писал сам с нуля.

Энивей, многие пользуются. Этих многих могло бы быть больше, если бы они знали, что есть возможность собирать эти чейны нодами без единой строчки кода. Быстро и удобно (ведь весь ваш пайплайн потом можно экспортировать в виде кода, если вдруг решите встроить в свой сервис). Речь идет о Langflow и FlowiseAI. На отдельные посты делить их не хочется ибо они мало чем друг от друга отличаются, поэтому предлагаю попробовать оба и выбрать тот, который покажется интересным больше.

#useful

Instructor

Ждать от ГПТшки структурированного ответа не самое приятное дело. Поэтому ОпенАИ и выкатили поддержку вызова функций. Заполнил ДжейСОН-Схему и получил структурированный ответ. Новая проблема возникает тогда, когда нам нужно писать более 3 таких схем (а так же функций для них) и наш код разрастается до каких-то страшных объемов, которые еще и сложно читать. В таком случае возникает потребность в поиске иной структуры извлечения данных. И тут на помощь к нам приходит Instructor (обертка над Pydantic). Гораздо более удобный формат взаимодействия с функциями, имхо, который имеет множество фич, таких как, например, валидация ответа. Код сокращается незначительно, но обслуживать его становится сплошным удовольствием. Дополнительно можно потестировать Kor (выглядит аналогично впечатляюще).

#useful

Sora

Анонс модели для генерации видео от OpenAI.

+ Универсальность: возможность генерировать видео разных разрешений, соотношений сторон и длительности.
+ Понимание: короткий промпт, написанный на разных языках, будет дополнен деталями, точно описывающими сцену (как это было в Далли3).
+ Редактирование: можно создавать зацикленные видео, продлевать их, менять окружение и объекты, делать плавный переход между двумя видео, а так же анимировать статичные изображения (которыми уже никого не удивишь).
+ Когерентность: невероятная согласованность кадров, от чего объекты сохраняют свою позицию в пространстве. Это особенно чувствуется, когда камера вращается вокруг какого-нибудь места или объекта.
+ Взаимодействие: модель способна симулировать действия, которые влияют на состояние мира в сцене. Например, художник наносит мазки на холст. С появлением новых мазков старый сохраняются.
- Из минусов выделяют просадки с точным моделированием физики основных взаимодействий и поддержанием согласованности в длительных сценах

По мере развития Sora обещает стать еще более мощным симулятором физического и цифрового миров.

Дополнительно почитать и посмотреть можно тут: https://openai.com/research/video-generation-models-as-world-simulators

#news