3️⃣ случая, когда линейная модель может ошибаться

В этой статье я покажу три случая, когда линейные модели могут привести к неверным результатам. Основное внимание будет уделено сравнению линейных моделей с моделируемыми данными и проверке соответствия итоговых значений исходным данным.

Код для воспроизведения полученных в статье результатов можно найти на GitHub.

Читать дальше

@machinelearning_ru

🧔 Deepfake-Offensive-Toolkit

Мощный инструмент, что создает управляемые дипфейки высокого качества в режиме реального времени

Может применяться для обхода системы проверки личности и биометрической идентификации

↪️ Ссылка на проект
↪️ Colab

#Interesting #Video #Deepfake

DevOps Engineer

Вакансия: В PREDICTO открыта вакансия

О компании:
Predicto с 2018 г. занимается анализом и сегментацией данных для крупных российских и иностранных клиентов. В этом году мы поставили себе амбициозную задачу разработки CDP и рекомендательной системы.
В нашей команде уже 13 сильных и классных ребят, но задач столько, что очень хотим еще!
📍Senior+ (важно)
📍в классном офисе в Москве/гибрид;
📍250-400+ руб., белая ЗП или ИП;
📍большой датасет, интересные задачи, возможность влиять на продукт.

✅Что нужно делать:
- Участие в построение платформы данных Predicto на всех этапах, включая проектирование, разработку и эксплуатацию;
- Ведущая роль в выстраивании экспертизы в области DevOps и SRE внутри компании и создании сильной команды;
- Автоматизация процессов сборки, тестирования и доставки компонентов платформы;
- Выстраивание DataOps и MLOps практик для обеспечения высокого качества данных и эксплуатации ML моделей в production’е.

✅Требования:
- Опыт работы и эксплуатации решений с одним из крупных публичных облаков (Яндекс Облако, AWS, GCP, Azure, Alibaba);
- Опыт работы с технологиями big data стека (в первую очередь Apache Spark) и экосистемой Python’а для data science;
- Понимание принципов контейнеризации, опыт эксплуатации решений с Docker’ом и кластерами Kubernetes;
- Опыт построения CI/CD пайплайнов;
- Понимание IaC подхода к управлению инфраструктурой, опыт работы с Terraform’ом;
- Понимание и использование принципов безопасности для облачных окружений.

✅Будет плюсом:
- Опыт работы с Яндекс.Облаком;
- Опыт развития команды и выстраивания DevOps и SRE практик;
- Опыт работы с реляционными и нереляционными базами данных, знание SQL;
- Опыт разработки и поддержки высоконагруженных сервисов;
- Знание инструментов и методов MLOps, опыт эксплуатации ML-intensive приложений в production.


Присылайте CV в telegram: @fedosovaAS

@datascienceml_jobs

Real-Time-Voice-Cloning – Инструмент для клонирования голоса в режиме реального времени

Этот репозиторий представляет собой реализацию Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis (SV2TTS) с вокодером, который работает в режиме реального времени.

SV2TTS - это трехступенчатая структура глубокого обучения, которая позволяет создавать численное представление голоса из нескольких секунд аудио и использовать его для подготовки модели преобразования текста в речь, обученной на воспроизведение голоса.

#GitHub | #Python #Voice

@machinelearning_ru

📊 Путеводитель по Big Data для начинающих: методы и техники анализа больших данных

Методы и техники анализа Big Data: Machine Learning, Data mining, краудсорсинг, нейросети, предиктивный и статистический анализ, визуализация, смешение и интеграция данных, имитационные модели. Как разобраться во множестве названий и аббревиатур? Читайте наш путеводитель.

читать дальше

@machinelearning_ru

​DeepFaceDrawing — нейросеть, которая позволяет создавать реалистичные изображения лиц из набросков от руки

Метод отрисовки по существу использует входные эскизы в качестве «мягких» ограничений и, таким образом, способен создавать высококачественные изображения лиц даже из грубых и/или неполных эскизов. Данный инструмент прост в использовании даже для тех кто не рисует, сохраняя при этом тонкое управление деталями формы

#GitHub | #Python #Interesting

@machinelearning_ru

🔥 100 Data Science вопросов мидлу! Парень c Физтеха проходит собеседование

На этот раз мы встретились уже с опытным кандидатом в Data Science.
Будем интенсивно задавать разноплановые вопросы!

https://www.youtube.com/watch?v=BI-yjkRKymg

@machinelearning_ru

​CARLA – симулятор с открытым исходным кодом для исследования автономного вождения

CARLA была разработана с нуля для поддержки разработки, обучения и проверки систем автономного вождения. В дополнение к открытому коду и протоколам, CARLA предоставляет открытые цифровые активы (планы городов, здания, транспортные средства), которые были созданы для этой цели и могут свободно использоваться

⤷ Ссылка на проект

@machinelearning_ru | #Interesting #Simulator #AI

🔥 Practical Deep Learning

🚀Бесплатный курс от fast.ai поможет вам научиться применять глубокое и машинное обучение для решения практических задач.

Курс
Git

@machinelearning_ru

Исследования: как мозг строит гипотезы об окружающем мире и подгоняет ощущения под гипотезы

Некоторые нейробиологи объясняют восприятие человека теорией «контролируемых галлюцинаций». Эта теория предполагает, что восприятие, память, контроль движений и другие функции мозга зависят не от сенсорной информации, а скорее от сравнения текущего реального опыта и смоделированных ожиданий мозга.

Вместо того, чтобы ждать сенсорной информации о реальном мире, мозг всегда активно строит гипотезы о том, как устроен мир и предполагает какую информацию получит. А потом использует гипотезы для объяснения реального опыта и заполнения недостающих данных. Другими словами — мозг галлюцинирует, потому что создает информацию, которой нет в реальности.

Читать дальше

@machinelearning_ru

🧩 Продолжаем осваивать PySpark. Предобработка текста для машинного обучения

Для задач NLP, как мы знаем, недостаточно положить в модель голый текст. Датасет возьмем с кеггла (https://www.kaggle.com/rishisankineni/text-similarity) — оставим тренировочную часть и попробуем предобработать данные для наших моделей. Надеюсь, это моя не последняя статья и далее мы разберем уже конкретные модели, но сегодня остановимся на предобработке.

Читать дальше

@machinelearning_ru

Zero-shot classification

Стоит отдать должное NLI (Natural Language Inference), развитие которого позволило моделям пытаться искать логическую взаимосвязь между двумя высказываниями.

У меня есть некоторое выражение (например – «Сократ сказал, что никто не будет жить вечно») и гипотеза (например – «Сократ никогда не умрет»). Модели необходимо определить какое заключение получится:

Логическое следствие – из высказывания следует гипотеза;
Логическая нейтральность – гипотеза и высказывание не связаны;
Логическое противоречие – из высказывания не следует гипотеза.
В данном случае, при применении модели, на выходе получается, что наибольшая вероятность у метки логического противоречия, так как действительно гипотеза является полным противоречием высказыванию.

Читать дальше

@machinelearning_ru

👀 Компьютерное зрение в поиске атмосферных осадков

При дожде или снегопаде капли дождя или снежинки оставляют на видеокадрах треки — протяженные линии. Особенно ярко этот эффект проявляется в темное время суток при активации инфракрасной подсветки видеокамер.

Читать дальше

@machinelearning_ru

💻 Аугментация Dataseta c помощью Tensorflow

В данный момент можно найти много подготовленных наборов данных для машинного обучения. Но что делать, если нужного под именно ваши задачи нет? Здесь приходится собирать данные вручную. Я столкнулся с такой ситуацией. Мне нужно обучить нейронную сеть распознавать сигналы светофора, а для этого соответственно мне нужны сами фотографии этих светофоров. Как бы странно это не казалось, но в интернете я не смог найти датасет с фотографиями светофоров. Максимум, который я откопал, на сайте Kaggle был датасет с пешеходными светофорами, в котором как побочный пример были представлены искомые изображения светофоров. Но этого все равно явно недостаточно, потому что на класс приходится примерно по 100 фотографий. Добавил еще несколько собственных фоток, но принципиально ничего не изменилось. Смешно, учитывая, что обычно нейросети обучаются на тысячах фотографий.

Читать дальше

@machinelearning_ru

☑️ Подбор параметров для построения модели для различных видов переменных

Подбор признаков (Feature selection) — это процесс уменьшения количества входных параметров, используемых при построении моделей. Используя различные статистические подходы, можно определить взаимоотношение между признаками и целевой переменной, для определения тех переменных, которые имеют наиболее сильную связь. Однако, выбор статистических методов зависит как от создаваемой модели, так и от типов сравниваемых данных, а потому может представлять определённые трудности для разработчика.

➡️ Читать

@machinelearning_ru

🚀 DeepSpeed ​​— это библиотека оптимизации глубокого обучения, которая делает распределенное обучение и логические выводы простыми, эффективными и действенными.

➡️ Github
🎯 Docs

@machinelearning_ru