🚀 Машинное обучение. Обнаружение аномалий с использованием модифицированного zscore

Читать

@data_analysis_ml

Как импортировать наборы данных Kaggle в Google Colab?

Kaggle используется практически всеми, кто занимается наукой о данных. Эта платформа содержит датасеты для всех областей знаний. Вы можете получить набор данных практически для любого случая использования, включая развлечения, медицину, электронную коммерцию и даже астрономию. Пользователи Kaggle могут попрактиковаться на различных наборах, чтобы проверить свои компетенции в науке о данных и машинном обучении.

В этой статье будет показано, как импортировать наборы данных из Kaggle непосредственно в блокноты Google Colab.

Читать дальше

@data_analysis_ml

⚖️ Как в PyTorch случайным образом мутировать веса.

https://uproger.com/kak-v-pytorch-sluchajnym-obrazom-mutirovat-vesa/

@data_analysis_ml

Нейросеть DALL-E 2 позволяет генерировать изображение под абзац абсолютно любой книги

Пройдите тест, который покажет можете ли вы угадать, какая картинка создана человеком, а какая Dalle 2.

https://thisimagedoesnotexist.com/

@data_analysis_ml

В ветке реддита сгенерировали персонажей атаки титанов с помощью
этой сетки.

потс: https://www.reddit.com/r/titanfolk/comments/uve0wq/attack_on_titan_but_its_liveaction_i_made_this/

@data_analysis_ml

Характеристики качетсва требований к ПО:

Что делает требование к ПО хорошим? Для этого есть характеристики качества требоаваний к ПО, которые можно использовать, как чек-лист при написании или тестировании требований.

Характеристики качества требований по-разному определены различными источниками. Однако, следующие характеристики являются общепризнанными:

✅ Единичность - требование относится только к одному свойству, т.е. должна существовать только одна трактовка требования

✅ Завершенность - требование является полным и законченным с точки зрения представления в нём всей необходимой информации, ничего не пропущено по соображениям «это и так всем понятно». Также требование должно быть описано целиком в одном месте, а не разбросано по документу

✅ Последовательность - Требование не противоречит другим требованиям и полностью соответствует внешней документации

✅ Атомарность - требование является атомарным, если его нельзя разбить на отдельные требования без потери завершенности, и оно описывает одну и только одну ситуацию/функцию

✅ Отслеживаемость - возможность отследить связь между требованием и другими артефактами проекта, каждое требование имеет уникальный идентификатор, по которому оно легко прослеживается

✅ Актуальность - требование не должно быть устаревшим с течением времени

✅ Выполнимость - Требование должно быть технологически выполнимым, реализуемым в рамках бюджета и сроков разработки проект

✅ Недвусмысленность - требование кратко определено без обращения к техническому жаргону, акронимам и другим скрытым формулировкам

✅ Проверяемость - выполнение требования можно проверить. Реализованность требования может быть определена через один из четырёх возможных методов: осмотр, демонстрация, тест или анализ.

✅Обязательность - Без выполнения этого требования пользователь не сможет в полной мере использовать систему. Если требование не является обязательным к реализации, оно должно быть просто исключено из набора требований

✅ Полнота - требование должно быть определено для всех возможных ситуаций

@ba_and_sa

Открытый курс OpenDataScience и Mail.ru Group по машинному обучению

#посмотреть #джун #мидл

10 лекций по машинному обучению — более 20 часов видео. Обязательно к просмотру всем, кто начинает изучать ML.

Лекция #1. Pandas
Лекция #2. Визуализация
Лекция #3. Классификация, деревья решений
Лекция #4. Логистическая регрессия
Лекция #5. Случайный лес
Лекция #6. Регрессия, регуляризация
Лекция #7. Обучение без учителя
Лекция #8. Обучение на больших выборках, Vowpal Wabbit
Лекция #9. Временные ряды
Лекция #10. Градиентный бустинг

SQL-программирование: наиболее полный видеокурс
#видеоуроки

Содержание:
1. Введение
2. О SQL
3. Установка MySQL
4. Базовые команды
5. Применение команды SELECT
6. Оперирование записями
7. Нормализация. Первая форма
8. Изменение полей таблиц
9. Строковые функции
10. Применение CASE и ORDER BY
11. Функции для работы с числами
12. Прочие полезности общего применения
13. Многотабличное хранение
14. Объединения
15. Подзапросы и крупные выборки
16. Еще раз о нормализации
17. Представления
18. Workbench

Перейти

@ba_and_sa

Для чего и зачем нужен Бизнес/системный аналитик при создании IT-систем?

Бизнес/системный аналитик собирает требования к продукту, описывает бизнес-процессы, проектирует прототипы и составляет техническое задание (ТЗ). Также аналитик помогает заказчику снизить риски и сократить сроки разработки либо оптимизации программного обеспечения.

Давайте разберемся в чем же польза аналитика при разработке продукта:

1. Выявление истинных проблем и предложение решения для их устранения. Ведь это как раз аналитик разбирается в чем настоящая пробелам. Проблемой может быть устаревшее приложение или бизнес-процессы, которые стали неудобными для клиентов. Поэтому аналитик должен разобраться какие процессы компании требуют изменений и предложить механизмы исправления ситуации.

2. Определение направления развития и разработка решения для реализации изменений. Аналитик изучает текущую ситуацию, оценивает цели, к которым стремится компания и помогает найти возможности для их реализации, тем самым аналитик находит точки роста бизнеса.

3. Покрытие метриками всех событий в продукте: аналитик помогает оценить как бизнес-влияние, так и вообще работоспособность фичей. Правильно подобранный сет метрик, точная аналитика и своевременные меры по оптимизации помогают удерживать бизнес на плаву. Аналитик проводить анализ по всему продукту и по отдельной фиче в продукте и даёт свою оценку по их реализации и оптимизации.

4. Сокращение рисков. Аналитик проводить оценку рисков, которая включает в себя их анализ и управление ими, начиная от выявления факторов, до определения степени их негативного влияния и разработки рекомендаций.

5. Реализация или разработка продукта в целом. Аналитик является связующим звеном между бизнесом и разработкой. Грубо говоря, он переводит бизнесовый язык в язык для разработки продукта - технический. Для кросс-доменных проектов, связанных с интеграциями, это особенно важно. Также аналитик сокращает время и затраты продакта при описании задач и команды при погружении в задачу и вопросы.

6. Курирование системного рефакторинга тоже на системной аналитике: улучшение RPS, RT и других инфраструктурных метрик тоже на аналитике. Всегда есть как улучшить на 1-10%.

Это лишь часть причин, по которым Бизнес/системный аналитик будет полезен бизнесу для создания IT-систем.

Источник: @ba_and_sa

Чтобы погрузиться в тему немного глубже предлагаю прочесть статьи:

📌 Какова роль аналитика и его задачи при разработке мобильных приложений

📌Что такое бизнес-анализ и зачем проводить его на старте проекта

📌Кто такой бизнес-аналитик и какова его роль в IT-команде

Все уже видели убийцу DALL-E 2 от Google Brain? ☠

Imagen: новая модель для офигенного text-to-image generation. Авторы утверждают, что при оценке качества генерируемых картинок людям больше нравятся картинки от Imagen, а не DALL-E 2!

Imagen — это диффузионная модель, как и DALL-E 2. Главное ее отличие в том, как она получает эмбеддинг текста для подачи на вход диффузии. Авторы Imagen используют для этого предобученную языковую модель T5 (см. 2 картинку). Эмбеддинг из T5 подается как condition на вход диффузионной модели, которая генерирует картинку размера 64х64. Далее эта картинка проходит через еще две диффузионные модели для super resolution, которые увеличивают разрешение до 256х256 и далее до 1024х1024.

То есть главное открытие Imagen — это что огромная предобученная языковая модель выдает очень хорошие эмбеддинги текста, по которым диффузионная модель может научиться генерировать очень крутые картинки.

Больше примеров картинок и деталей устройства в блоге Google и в статье на arxiv.