Аналитик данных
6.06K subscribers
215 photos
27 videos
2 files
199 links
Аналитика данных, Дата Сеанс

@workakkk - по всем вопросам
Download Telegram
🖥 Sqlelf

Инструмент, использующий функциональность виртуальной таблиц Sqlite, позволяющий исследовать объекты Linux ELF с помощью SQL.

ELF (англ. Executable and Linking Format — это формат исполнимых и компонуемых файлов) — формат исполняемых двоичных файлов, используемый во многих современных UNIX-подобных операционных системах, таких как FreeBSD, Linux, Solaris и др.

Традиционно изучение файлов ELF ограничивалось такими инструментами, как objdump или readelf. Несмотря на то, что эти инструменты обладают широкими возможностями синтаксического анализа, формат вывода и возможность задавать исследовательские функции инструментов довольно ограничены.

Github

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍21
🌟 Развертывание ML-модели на AWS Lambda

Держите годный контент, поможет понять, какие инструменты используются в реальном ML

Здесь рассматривается, как развернуть модель машинного обучения (ML) на AWS Lambda с помощью Serverless Framework и выполнить ее с помощью Boto3.
Параллельно обсуждается создание CI/CD-конвейера с помощью GitHub Actions для автоматизации процесса развертывания и запуска сквозных тестов.

📎 Статья

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥1
▶️Генератор изображений Kandinsky стал быстрее, умнее и удобнее

Разработчики Сбера презентовали обновление модели генерации изображений Kandinsky до версии 3.1. В сравнении с предшественницей она стала значительно быстрее, проще в использовании за счёт сокращения вводимого запроса, а также появилась возможность работы с уже имеющимися изображениями.

В сравнении с Kandinsky 3.0 новую модель удалось ускорить почти в 20 раз — генерация происходит всего за четыре прохода через U-Net вместо 50 шагов ранее. На скорость повлиял тот факт, что нейросеть из диффузионной модели превратилась в GAN, обученную с хорошей начальной инициализацией весов после претрейна. Впрочем, ценой этого ускорения стало качество понимания текста.

Чтобы уменьшить необходимость вводить слишком подробные текстовые запросы для получения детализированного изображения, разработчики встроили функцию бьютификации — способ улучшения и добавления деталей к запросу пользователя с помощью большой языковой модели (LLM). Фактически к описанию пользователя автоматически добавляется инструкция с просьбой улучшить запрос.

Ещё одним улучшением стала возможность генерации изображения не только по текстовому запросу, но и/или с помощью визуальной подсказки в виде загружаемого изображения. Таким образом, можно редактировать и изменять уже имеющуюся картинку.

Было также улучшено восстановление изображения по исходному описанию, что позволяет заменять один объект на другой. Кроме того, появилась возможность получать изображения в разрешении 4K, для чего была обучена диффузионная модель повышения разрешения KandiSuperRes.

📎 Подробнее

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53
🤖 Machine Learning Tutorials Repository
Добро пожаловать в репозиторий учебников по машинному обучению. Примеры кода и поянения по:

1.🖥 Python
2.
👁‍🗨 Computer Vision: Techniques, algorithms
3.
🖋 NLP
4.
📊 Matplotlib
5.
🔢 NumPy
6.
🐼 Pandas
7.
🎇 MLOps
8.
🧠 LLMs
9.
🔥 PyTorch/TensorFlow

git clone https://github.com/patchy631/machine-learning

Github

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73🔥2
🌟 Сервис TaxGPT

Разработчик показал сервис TaxGPT, который призван помочь гражданам Канады разобраться с налогами. Приложение построено на базе языковой модели, которая ищет ответы на сайте правительства Канады и представляет их в удобном для понимания виде. Нейросеть снабжает ответы ссылками на нормативные акты.

Автор рассказал о своём проекте на сабреддите SideProject. На нём пользователи делятся своими пет-проектами.

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍72👏1
⚡️ Создаём предметно-ориентированного чат-бота с помощью LangChain и Yandex GPT

Большие языковые модели могут прекрасно поддерживать разговор на общие темы, но как же быть, если необходимо добавить такому чат-боту предметных знаний? Посмотрим, как использовать подход Retrieval-Augmented Generation для создания такого предметного чат-бота на основе фреймворка LangChain и генеративной модели Yandex GPT

Рассмотрим создание чат-бота с помощью с использованием фреймворка LangChain и языковой модели Yandex GPT. В качестве исходного материала для создания чат-бота мы используем набор видео-файлов - это позволит нам также продемонстрировать асинхронное распознавание речи на основе Yandex SpeechKit для преобразования звуковой дорожки видео в текстовый корпус.

📎 Пошаговая инструкция
🖥 GitHub проекта

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53🔥2🥰1
🔥 Анализ навыков в области обработки данных в вакансиях на HH.ru

Один из пользователей «Хабра» проанализировал вакансии на HeadHunter по трем основным специализациям:
- BI/Data аналитик;
- Data Science;
- Продуктовый аналитик.

Он также разработал дашборд, который позволяет просматривать необходимые навыки для каждой специализации, среднюю зарплату и количество вакансий по всей России.

💻 Ссылка

Аналитика данных
👍11🔥74
📌Что такое дрифт ML-моделей и как его мониторить?

Даже при наличии качественных входных данных качество предсказаний ML-модели со временем ухудшается.
В этой статье рассмотрим, как можно вовремя обнаруживать дрифт моделей и пробежимся по open source библиотекам для определения дрифта.

🟡План статьи:
├╼ Почему важен мониторинг дрифта
├╼ Задачи мониторинга
├╼ Методы определения дрифта ML-моделей
├╼ Open source-библиотеки для определения дрифта
╰╼ Архитектура решений

📎 Статья

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥41👍1
🌟 Нейросеть Kandinsky 3.1 стала доступна для всех пользователей

🟡«Сбер» объявил о доступности для всех пользователей без ограничений улучшенной модели генеративной нейросети Kandinsky 3.1, представленной ранее в этом месяце. ИИ-сервис позволяет создавать изображения по текстовому описанию на русском и английском языках. Сообщается, что обновлённая версия была дообучена на датасете эстетичных изображений, что позволило повысить качество генерации картинок.

🟡Кроме того, благодаря новому подходу к обучению и использованию качественного датасета значительно улучшилась функция Inpainting для редактирования отдельных фрагментов изображения.

🟡Как сообщает «Сбер», у пользователей также появилась возможность воспользоваться в Telegram-боте в том числе быстрой моделью Kandinsky 3.1 Flash. Время генерации изображений с её помощью уменьшилось по сравнению с базовой версией более чем в 10 раз.

🟡По словам разработчика, в ближайшее время будут добавлены инструменты создания изображений в формате 4K, функции создания вариаций изображения, смешивания нескольких графических файлов, смешивания картинок и текстов, генерации стикерпаков, а также возможность внесения локальных правок изображения без изменения всей композиции сцены (ControlNet). Кроме того, вскоре все пользователи смогут протестировать обновлённую версию модели генерации видео по тексту Kandinsky Video 1.1.

▶️ Пользуйтесь

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍51
🌟 Яндекс обновил диффузионную нейросеть YandexART до версии 1.3

🟡Совсем недавно обновили диффузионную нейросеть YandexART до версии 1.3.
Главное изменение в том, что нейросеть перешла на технологию латентной диффузии. Кроме того, датасет, на котором обучалась модель, был увеличен в 2,5 раза. Благодаря этому новая версия YandexART лучше понимает текстовые запросы и создаёт ещё более реалистичные изображения.

🟡YandexART 1.3 уже применяется в Шедевруме, пробуйте)
В нём у пользователей появилась возможность создавать изображения в разных форматах, таких как 16:9, 4:3 или 3:4.
Позднее обновлённая нейросеть начнёт применяться и в других сервисах Яндекса.

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🥰1
📌Как можно применить AI? Неочевидные примеры

AI меняет мир на наших глазах, и у генеративных нейросетей и смежных технологий есть много довольно важных точек приложения.
Держите полезное видео, здесь в ходе круглого стола спикеры обсуждают разнообразные случаи – например, такие:
— рентгенология и медицина в целом;
— кредитный скоринг;
— распознавание животных;
— распознавание ошибок в документах;
— распознавание эмоционального состояния.

📎 YouTube

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍1🥰1
📌Решающие деревья и случайные леса

🟡Цель этого ноутбука — знакомство с решающими деревьями, с их параметрами и свойствами.
В ноутбуке рассмотрены примеры применения решающих деревьев для решения задач классификации и регрессии.
Уверен, будет полезно)

▶️ Jupyter Notebook

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82