Новый фреймворк файнтюнинга ЛЛМ

Higgsfield AI выпустил бета версию фулл-стек легковесного фреймворка для тренировки больших моделей. Пользователи загружают датасет через веб интерфейс и получают модель, которая тренируется на их серверах. Доступны любые модели llama/mistral. Метод оплаты не требуется. Лучше всего работает с десктопным Chrome.

Попробовать запустить новую видео диффузию: https://higgsfield.ai/stable-diffusion

Зафайнтюнить ЛЛМ: https://higgsfield.ai/profile/submit

Github фреймворк который позволяет оркестрировать несколько ГПУ нод без необходимости менеджить Slurm/Kubernetes: https://github.com/higgsfield-ai/higgsfield

ai_machinelearning_big_data

Профессия AI-тренера, гонка нейросетей: о чем еще говорили на YaC 2023?

YaC 2023 — это сериал из 4 серий — про город, дом, интернет и людей. Главные герои — не только сервисы, но и команды, которые их разрабатывают.

✨ Нейросерия — одна из самых интересных. Яндекс рассказал:

- как генеративные нейросети меняют подход к поиску информации и работе с ней
- как pretrain модель влияет на качество ответов нейросети
- как компания разрабатывала языковые модели и нейросети, встраивала технологии в свои продукты и ввела новую профессию AI-тренера — специалиста, который работает над тем, чтобы нейронка выдавала качественные, этичные и безопасные ответы.

Посмотреть сериал полностью можно на Кинопоиске и Ютубе

@ai_machinelearning_big_data

🦜🦴Skeleton-of-Thought (новый шаблон LangChain!)

⭐️Большие Языковые модели могут работать параллельно и быстро⭐️.

В недавней работе Университета Цингуа и Microsoft Research показано, как можно значительно уменьшить время генерации LLM.

Данная техника сначала направляет LLM на генерацию скелета answer☠️, а затем выполняет параллельные вызовы API для параллельного заполнения содержимого каждой точки скелета🚤.

▪Шаблон LangChain здесь: https://github.com/langchain-ai/langchain/tree/master/templates/skeleton-of-thought.
▪Посмотрите видео на YouTube о его создании: https://youtube.com/watch?v=wLRHwKuKvOE
▪Прочитать статью здесь: https://arxiv.org/abs/2307.15337

@ai_machinelearning_big_data

👨‍💻 Нейросети, помогающие в написании и редактировании кода

Здесь собраны ИИ, которые пишут качественный код и по-настоящему помогут исправить баги в вашем проекте.В кажом проекте есть инструкция по установке и использованию.

1️⃣ Codeium - Поддерживаемые языки: более 70, но наиболее развиты C#, C, Python, CSS, Go, Groovy, Kotlin. В отличие от Copilot, Codeium позиционируется как помощник, который допишет код сам или найдет необходимые программисту инструменты в собственном хранилище. Пользователь пишет запрос на английском языке, а ИИ ищет и предлагает варианты.

2️⃣ Autogen - новейшее разработка от Microsoft вызвала фурор на GitHub: компания представила Autogen. Этот фреймворк позволяет ИИ-агентам общаться между собой для выполнения ваших задач.

Настройка Autogen проста — например, для устранения ошибок, написания кода, создания веб-дизайнов и выполнения различных проектов. Нейронные сети выдают себя за команду IT-специалистов, ведут диалог в чате и выполняют различные задачи по вашему запросу.

3️⃣ Code GPT — расширение для Visual Studio Code от OpenAI, которое помогает писать код по текстовым промптами. Он поддерживает множество популярных языков программирования и упрощает разработку, автоматически предлагая код на основе введенного вами текста.

4️⃣ CodePal — инструмент для написания и оптимизации кода, который также помогает находить ошибки и проводить код-ревью, делая разработку проще для программистов всех уровней.

5️⃣ Codesnippets — это сервис, который создает код по текстовым запросам. Он предлагает функции отладки, рефакторинга и возможность сохранения кода для командной работы. Существует как платная, так и бесплатная версия этого сервиса, что делает его доступным для широкого круга разработчиков.

6️⃣ BlackBox.AI - ИИ способный использовать поиск в интернете, но с добавлением агентов, который ориентирован на работу с кодом и чтение документации.

7️⃣ Tabnine - нейросеть, которая поддерживает различные популярные языки программирования. Этот сервис может дополнять строки кода и даже целые ветки кода.

8️⃣ Adrenaline - помогает анализировать и исправлять код, обнаруживая и предлагая варианты исправлений ошибок. Особенностью этого сервиса является возможность видеть свой код и предложенные изменения от Adrenaline на одном экране.

@ai_machinelearning_big_data

🔥Building and Evaluating Advanced RAG Applications

Вышел новый бесплатный курс от deeplearning.ai по сложным техникам RAG (Retrieval Augmented Generation).🦾

В этом курсе преподаются продвинутые техники работы с LLM, которые помогут вам генерировать хорошие и релевантные ответы и.

deeplearning.ai/short-courses/building-evaluating-advanced-rag/

@ai_machinelearning_big_data