Шесть шагов для создания более качественных моделей Computer Vision
Компьютерное зрение (computer vision, CV) — подраздел искусственного интеллекта, использующий алгоритмы машинного обучения и глубокого обучения для распознавания и интерпретации объектов на изображениях и видео. CV сосредоточено на воссоздании аспектов сложности зрительной системы человека, позволяя компьютерам определять и анализировать предметы на фотографиях и видео точно так же, как это делают люди.
За последние годы в области компьютерного зрения произошёл существенный прогресс, благодаря прорывам в искусственном интеллекте и инновациям в глубоком обучении и нейронных сетях компьютеры превзошли людей в различных задачах, связанных с распознаванием объектов. Одним из движущих факторов эволюции компьютерного зрения является объём генерируемых сегодня данных, которые применяются для обучения и совершенствования CV.
В этой статье мы сначала рассмотрим способы применения моделей компьютерного зрения в реальном мире, чтобы понять, почему нам нужно создавать более качественные модели. Затем мы перечислим шесть способов совершенствования моделей компьютерного зрения при помощи улучшения обработки данных. Но для начала давайте вкратце обсудим различия между моделями компьютерного зрения и машинного обучения.
Читать: https://habr.com/ru/post/705008/
Компьютерное зрение (computer vision, CV) — подраздел искусственного интеллекта, использующий алгоритмы машинного обучения и глубокого обучения для распознавания и интерпретации объектов на изображениях и видео. CV сосредоточено на воссоздании аспектов сложности зрительной системы человека, позволяя компьютерам определять и анализировать предметы на фотографиях и видео точно так же, как это делают люди.
За последние годы в области компьютерного зрения произошёл существенный прогресс, благодаря прорывам в искусственном интеллекте и инновациям в глубоком обучении и нейронных сетях компьютеры превзошли людей в различных задачах, связанных с распознаванием объектов. Одним из движущих факторов эволюции компьютерного зрения является объём генерируемых сегодня данных, которые применяются для обучения и совершенствования CV.
В этой статье мы сначала рассмотрим способы применения моделей компьютерного зрения в реальном мире, чтобы понять, почему нам нужно создавать более качественные модели. Затем мы перечислим шесть способов совершенствования моделей компьютерного зрения при помощи улучшения обработки данных. Но для начала давайте вкратце обсудим различия между моделями компьютерного зрения и машинного обучения.
Читать: https://habr.com/ru/post/705008/
Data Engineering Weekly in Year 2022
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-in-year-2022
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-in-year-2022
Глубокое погружение в данные
В этой статье мы поговорим об особенностях машинного обучения, и о том, как можно соединить Deep Learning и Master Data Management. Разберем достаточно подробный пример использования глубокого обучения для управления данными.
Читать статью
Читать: https://habr.com/ru/post/707340/
В этой статье мы поговорим об особенностях машинного обучения, и о том, как можно соединить Deep Learning и Master Data Management. Разберем достаточно подробный пример использования глубокого обучения для управления данными.
Читать статью
Читать: https://habr.com/ru/post/707340/
👍1
Лучшие новые библиотеки Python за 2022 год
В пост включены библиотеки, которые были запущены или приобрели популярность в этом году, хорошо поддерживаются, а также просто классные и достойные внимания. Подборка в значительной степени ориентирована на библиотеки по ИИ и науке о данных, но сюда так же включен ряд библиотек, которые могут быть полезны для целей, не связанных с наукой о данных.
Читать: https://habr.com/ru/post/707916/
В пост включены библиотеки, которые были запущены или приобрели популярность в этом году, хорошо поддерживаются, а также просто классные и достойные внимания. Подборка в значительной степени ориентирована на библиотеки по ИИ и науке о данных, но сюда так же включен ряд библиотек, которые могут быть полезны для целей, не связанных с наукой о данных.
Читать: https://habr.com/ru/post/707916/
🤔2🔥1
Как внедрить Data Driven подход в систему управления поставками
В уходящем году для многих компаний остро встал вопрос своевременного пополнения запасов комплектующих и запасных частей. В этой статье хотим рассказать о том, как с помощью современных инструментов по анализу больших данных оптимизировать управление цепью поставок и принимать взвешенные управленческие решения, основанные на реальных данных.
Читать: https://habr.com/ru/post/708004/
В уходящем году для многих компаний остро встал вопрос своевременного пополнения запасов комплектующих и запасных частей. В этой статье хотим рассказать о том, как с помощью современных инструментов по анализу больших данных оптимизировать управление цепью поставок и принимать взвешенные управленческие решения, основанные на реальных данных.
Читать: https://habr.com/ru/post/708004/
👍2
Текст-майнинг с пандами, облаками и яблоками
Привет, Хабр!
Меня зовут Пётр Мананников я Data Scientist и являюсь участником профессионального сообщества NTA. Представьте ситуацию: вас назначили спикером на мероприятии, и вы даже знаете, о чем хотите рассказать аудитории. Но будет ли публикой воспринят ваш доклад так, как вы себе это представляли? Давайте посмотрим, что может пойти не так, и как это исправить.
Читать: https://habr.com/ru/post/708100/
Привет, Хабр!
Меня зовут Пётр Мананников я Data Scientist и являюсь участником профессионального сообщества NTA. Представьте ситуацию: вас назначили спикером на мероприятии, и вы даже знаете, о чем хотите рассказать аудитории. Но будет ли публикой воспринят ваш доклад так, как вы себе это представляли? Давайте посмотрим, что может пойти не так, и как это исправить.
Читать: https://habr.com/ru/post/708100/
👍1
Введение в архитектуру Greenplum
В этой статье поговорим о Greenplum — СУБД, основанной на PostgreSQL. Разберём её общую архитектуру, способы хранения данных, а также перечислим проблемы, с которыми можно столкнуться в ходе эксплуатации.
Читать: https://habr.com/ru/post/708124/
В этой статье поговорим о Greenplum — СУБД, основанной на PostgreSQL. Разберём её общую архитектуру, способы хранения данных, а также перечислим проблемы, с которыми можно столкнуться в ходе эксплуатации.
Читать: https://habr.com/ru/post/708124/
Миф или реальность? Типовые заблуждения про low-code инструменты анализа данных
Вокруг технологий всегда появляются мифы: фотоаппараты, похищающие душу, подавляющий свободную волю 5G, искусственный интеллект, который захватывает планету и отправляет киборга в прошлое… Всё это - примеры, основанные на страхе неизвестного, который, в свою очередь, является неотъемлемым свойством человеческого мышления.
Анализ данных и машинное обучение, упоминаемые под термином «искусственный интеллект», за последние годы постепенно становятся обыденностью. Использование инструментов продвинутой аналитики для многих организаций стало столь же привычным делом, как автоматизация бухгалтерского учёта или внедрение электронного документооборота.
В этой статье отобраны шесть наиболее популярных мифов вокруг low-code инструментов анализа данных. Насколько они близки к действительности - давайте обсудим.
Поехали!
Читать: https://habr.com/ru/post/707336/
Вокруг технологий всегда появляются мифы: фотоаппараты, похищающие душу, подавляющий свободную волю 5G, искусственный интеллект, который захватывает планету и отправляет киборга в прошлое… Всё это - примеры, основанные на страхе неизвестного, который, в свою очередь, является неотъемлемым свойством человеческого мышления.
Анализ данных и машинное обучение, упоминаемые под термином «искусственный интеллект», за последние годы постепенно становятся обыденностью. Использование инструментов продвинутой аналитики для многих организаций стало столь же привычным делом, как автоматизация бухгалтерского учёта или внедрение электронного документооборота.
В этой статье отобраны шесть наиболее популярных мифов вокруг low-code инструментов анализа данных. Насколько они близки к действительности - давайте обсудим.
Поехали!
Читать: https://habr.com/ru/post/707336/
Как стать дата-сайентистом в МТС и не только
Можно ли научиться Data Science на корпоративных курсах, кому и зачем они полезны, и как устроиться на работу в Big Data МТС.
Читать: «Как стать дата-сайентистом в МТС и не только»
Можно ли научиться Data Science на корпоративных курсах, кому и зачем они полезны, и как устроиться на работу в Big Data МТС.
Читать: «Как стать дата-сайентистом в МТС и не только»
Как стать дата-сайентистом в МТС и не только
Можно ли научиться Data Science на корпоративных курсах, кому и зачем они полезны, и как устроиться на работу в Big Data МТС.
Читать: «Как стать дата-сайентистом в МТС и не только»
Можно ли научиться Data Science на корпоративных курсах, кому и зачем они полезны, и как устроиться на работу в Big Data МТС.
Читать: «Как стать дата-сайентистом в МТС и не только»
Pyspark. Анализ больших данных, когда Pandas не достаточно
Pandas - одна из наиболее используемых библиотек Python с открытым исходным кодом для работы со структурированными табличными данными для анализа. Однако он не поддерживает распределенную обработку, поэтому вам всегда придется увеличивать ресурсы, когда вам понадобится дополнительная мощность для поддержки растущих данных. И всегда наступит момент, когда ресурсов станет недостаточно. В данной статье мы рассмотрим, как PySpark выручает в условиях нехватки мощностей для обработки данных.
Ну что же, приступим...
Читать: https://habr.com/ru/post/708468/
Pandas - одна из наиболее используемых библиотек Python с открытым исходным кодом для работы со структурированными табличными данными для анализа. Однако он не поддерживает распределенную обработку, поэтому вам всегда придется увеличивать ресурсы, когда вам понадобится дополнительная мощность для поддержки растущих данных. И всегда наступит момент, когда ресурсов станет недостаточно. В данной статье мы рассмотрим, как PySpark выручает в условиях нехватки мощностей для обработки данных.
Ну что же, приступим...
Читать: https://habr.com/ru/post/708468/
Делаем фронт на React, а ChatGPT будет нашим Redux редьюсером
Приложение React/Redux представляет собой односторонний цикл потока данных. Пользователь взаимодействует с пользовательским интерфейсом, который производит действия Redux, которые отправляются в функции reducer, которые обновляют объект состояния приложения, который передается обратно в React для повторного отображения пользовательского интерфейса.
Разговор с ChatGPT также представляет собой односторонний цикл. Человек посылает запрос (действие), который передается языковой модели (редуктор), которая обновляет разговор (состояние) своим ответом.
Можем ли мы использовать последнюю модель ChatGPT для этих целей? Спойлер: да, можем!
Читать: https://habr.com/ru/post/708360/
Приложение React/Redux представляет собой односторонний цикл потока данных. Пользователь взаимодействует с пользовательским интерфейсом, который производит действия Redux, которые отправляются в функции reducer, которые обновляют объект состояния приложения, который передается обратно в React для повторного отображения пользовательского интерфейса.
Разговор с ChatGPT также представляет собой односторонний цикл. Человек посылает запрос (действие), который передается языковой модели (редуктор), которая обновляет разговор (состояние) своим ответом.
Можем ли мы использовать последнюю модель ChatGPT для этих целей? Спойлер: да, можем!
Читать: https://habr.com/ru/post/708360/
Data Catalog - A Broken Promise
Read: https://www.dataengineeringweekly.com/p/data-catalog-a-broken-promise
Read: https://www.dataengineeringweekly.com/p/data-catalog-a-broken-promise
👍1
Используем Computer Vision для получения €6,147,455 за ночь во внутриигровой валюте
Последние 10 лет я играл в такие игры, как TownsMen 6, Clash of the Clans, SimCity и мою любимую OpenTTD (с открытым исходным кодом!).
Попробовав City Island 5, я был раздражен от того, что предметы не накапливались, пока я находился вне игры. У меня может быть самый лучший бизнес, стратегия и т.д., но я должен быть в игре, чтобы обеспечить сбор денег/ключей/золота с течением времени. Например, если моя пекарня зарабатывает 100 евро в минуту, я заработаю 100 евро только после того, как выйду из игры и вернусь через 24 часа.
Это стало особенно утомительным, когда я пытался накопить €5 000 000, необходимых для покупки острова, показанного ниже. Это займет у меня примерно две недели игры, если я не буду тратить деньги - оно того не стоит!
Читать: https://habr.com/ru/post/708618/
Последние 10 лет я играл в такие игры, как TownsMen 6, Clash of the Clans, SimCity и мою любимую OpenTTD (с открытым исходным кодом!).
Попробовав City Island 5, я был раздражен от того, что предметы не накапливались, пока я находился вне игры. У меня может быть самый лучший бизнес, стратегия и т.д., но я должен быть в игре, чтобы обеспечить сбор денег/ключей/золота с течением времени. Например, если моя пекарня зарабатывает 100 евро в минуту, я заработаю 100 евро только после того, как выйду из игры и вернусь через 24 часа.
Это стало особенно утомительным, когда я пытался накопить €5 000 000, необходимых для покупки острова, показанного ниже. Это займет у меня примерно две недели игры, если я не буду тратить деньги - оно того не стоит!
Читать: https://habr.com/ru/post/708618/
Разделяй и властвуй, или Зачем управлять данными
Хабр, привет! Сегодня, в предпраздничный день, публикую статью Кирилла Евдокимова, директора практики Data Governance GlowByte. В области данных и аналитики он работает уже около 20 лет, последние 7 лет основной фокус – это Data Governance. Как говорит Кирилл, история с управлением данными всё еще остаётся terra incognita. В статье под катом он разбирает наиболее частые ошибки, проблемы, с которыми приходится сталкиваться компаниям, вступающим на тернистый путь управления данными.
Читать статью Кирилла
Читать: https://habr.com/ru/post/708626/
Хабр, привет! Сегодня, в предпраздничный день, публикую статью Кирилла Евдокимова, директора практики Data Governance GlowByte. В области данных и аналитики он работает уже около 20 лет, последние 7 лет основной фокус – это Data Governance. Как говорит Кирилл, история с управлением данными всё еще остаётся terra incognita. В статье под катом он разбирает наиболее частые ошибки, проблемы, с которыми приходится сталкиваться компаниям, вступающим на тернистый путь управления данными.
Читать статью Кирилла
Читать: https://habr.com/ru/post/708626/
👍4
Математика для Data Science и машинного обучения за 8 месяцев. Подробный план обучения
Беспилотные автомобили, продвинутые голосовые ассистенты, рекомендательные системы – это только малая часть тех классных продуктов, которые создаются с помощью инженеров по машинному обучению и, думаю, не для кого не секрет, что за кулисами сего чуда стоит математика. Именно от ее знания зависит понимание алгоритмов машинного и глубокого обучения.
Машинное обучение держится на трех основных столпах:
Читать: https://habr.com/ru/post/708752/
Беспилотные автомобили, продвинутые голосовые ассистенты, рекомендательные системы – это только малая часть тех классных продуктов, которые создаются с помощью инженеров по машинному обучению и, думаю, не для кого не секрет, что за кулисами сего чуда стоит математика. Именно от ее знания зависит понимание алгоритмов машинного и глубокого обучения.
Машинное обучение держится на трех основных столпах:
Читать: https://habr.com/ru/post/708752/
👍3
Data Pipeline Design Patterns - #1. Data flow patterns
Read: https://www.startdataengineering.com/post/design-patterns/
Read: https://www.startdataengineering.com/post/design-patterns/
👍1
Воссоздаем старую компьютерную графику с помощью генеративных моделей
Могут ли современные алгоритмы создавать улучшенные версии старой графики видеоигр с более высоким разрешением?
Последние несколько дней я использовал ИИ-генерацию изображений для воспроизведения одного из кошмаров моего детства. Я использовал Stable Diffusion, Dall-E и Midjourney, чтобы посмотреть, как эти инструменты генерации изображений могут помочь улучшить старую визуальную историю - вступительный фильм к старой видеоигре (Nemesis 2 на MSX). В этом посте описывается процесс и мой опыт использования этих моделей для улучшения графики.
Читать: https://habr.com/ru/post/708906/
Могут ли современные алгоритмы создавать улучшенные версии старой графики видеоигр с более высоким разрешением?
Последние несколько дней я использовал ИИ-генерацию изображений для воспроизведения одного из кошмаров моего детства. Я использовал Stable Diffusion, Dall-E и Midjourney, чтобы посмотреть, как эти инструменты генерации изображений могут помочь улучшить старую визуальную историю - вступительный фильм к старой видеоигре (Nemesis 2 на MSX). В этом посте описывается процесс и мой опыт использования этих моделей для улучшения графики.
Читать: https://habr.com/ru/post/708906/
Initially Accessing Private Oracle Fusion Analytics Warehouse
This article describes how to access Private Oracle Fusion Analytics after it has been provisioned. It describes architectures, components and deployments with links to reference material
Read: https://blogs.oracle.com/analytics/post/initially-accessing-faw-with-private-endpoints
This article describes how to access Private Oracle Fusion Analytics after it has been provisioned. It describes architectures, components and deployments with links to reference material
Read: https://blogs.oracle.com/analytics/post/initially-accessing-faw-with-private-endpoints
Oracle
Initially Accessing Private Fusion Analytics
Initially Accessing Private Fusion Analytics: Architecture, Components and Links to Reference Material