Forwarded from Нейроканал
Любители комиксов и Data Science на месте?
Нашли уникальный в своём роде ресурс с обучающими материалами на тему Data Science от Allison Horst.
На сайте представлена комиксы о статистике, линейной регрессии, библиотекам и прочим прелестям, которые сопровождаются крутой графикой.
Вот если бы статьи с arXiv выглядели бы также
#позалипать
Нашли уникальный в своём роде ресурс с обучающими материалами на тему Data Science от Allison Horst.
На сайте представлена комиксы о статистике, линейной регрессии, библиотекам и прочим прелестям, которые сопровождаются крутой графикой.
Вот если бы статьи с arXiv выглядели бы также
#позалипать
❤2
Победитель А: СТАРТ: groql — бизнес-аналитика на основе ИИ
Сегодня такие компании, как Microsoft и Tableau прекратили поддержку своих продуктов в России. Это привело к резкому уменьшению числа приложений для бизнес-аналитики данных. Ситуацию решила изменить команда стартапа groql из Новосибирска, победитель осенней сессии А:СТАРТ 2023 года.
Приложение groql позволяет пользователю общаться с базами данных на естественном (русском) языке без опыта в области программирования и получать визуализации в виде графиков, диаграмм и графов. Граф — это абстрактное представление множества объектов и связей между ними. Примером может служить схема авиалиний, где вершины — это аэропорты, а ребра — это маршруты.
Главное преимущество этого стартапа — в визуальном представлении данных. После обработки запроса пользователь увидит графическое представление данных, которое поможет лучше понять связи между различными данными. Работодателю это поможет сократить издержки — за счет сокращения времени и упрощения работы с данными. Так компания в среднем тратит на 50% меньше на мидл-аналитиков.
Пользователь может спросить: «Каков был общий объем продаж в прошлом квартале по регионам?». ИИ-система интерпретирует этот запрос, преобразует в SQL-запрос и извлекает необходимые данные из базы. Решение актуально для ритейла, финансового сектора, недвижимости и ГИС.
Игорь Учанов, руководитель продукта, попытался доходчиво объяснить суть решения и его достоинства:
«Groql — это про понятную бизнес-аналитику на основе ИИ.
У основного сегмента нашей ЦА (банки, ритейл, недвижимость и ГИС) существует ряд проблем: аналитики не разбираются в языках программирования. Все изучают их с нуля, при этом нет какого-то стандартного набора инструментов. А каждый запрос в базу данных занимает много времени.
Читать: https://habr.com/ru/articles/791358/
Сегодня такие компании, как Microsoft и Tableau прекратили поддержку своих продуктов в России. Это привело к резкому уменьшению числа приложений для бизнес-аналитики данных. Ситуацию решила изменить команда стартапа groql из Новосибирска, победитель осенней сессии А:СТАРТ 2023 года.
Приложение groql позволяет пользователю общаться с базами данных на естественном (русском) языке без опыта в области программирования и получать визуализации в виде графиков, диаграмм и графов. Граф — это абстрактное представление множества объектов и связей между ними. Примером может служить схема авиалиний, где вершины — это аэропорты, а ребра — это маршруты.
Главное преимущество этого стартапа — в визуальном представлении данных. После обработки запроса пользователь увидит графическое представление данных, которое поможет лучше понять связи между различными данными. Работодателю это поможет сократить издержки — за счет сокращения времени и упрощения работы с данными. Так компания в среднем тратит на 50% меньше на мидл-аналитиков.
Пользователь может спросить: «Каков был общий объем продаж в прошлом квартале по регионам?». ИИ-система интерпретирует этот запрос, преобразует в SQL-запрос и извлекает необходимые данные из базы. Решение актуально для ритейла, финансового сектора, недвижимости и ГИС.
Игорь Учанов, руководитель продукта, попытался доходчиво объяснить суть решения и его достоинства:
«Groql — это про понятную бизнес-аналитику на основе ИИ.
У основного сегмента нашей ЦА (банки, ритейл, недвижимость и ГИС) существует ряд проблем: аналитики не разбираются в языках программирования. Все изучают их с нуля, при этом нет какого-то стандартного набора инструментов. А каждый запрос в базу данных занимает много времени.
Читать: https://habr.com/ru/articles/791358/
❤1
Два сапога — пара, а три — уже community: как алгоритмы на графах помогают собирать группы товаров
Привет, Хабр! Меня зовут Иван Антипов, я занимаюсь ML в команде матчинга Ozon. Наша команда разрабатывает алгоритмы поиска одинаковых товаров на сайте. Это позволяет покупателям находить более выгодные предложения, экономя время и деньги.
В этой статье мы обсудим кластеризацию на графах, задачу выделения сообществ, распад карате-клуба, self-supervised и unsupervised задачи — и как всё это связано с матчингом.
Читать: https://habr.com/ru/companies/ozontech/articles/791684/
Привет, Хабр! Меня зовут Иван Антипов, я занимаюсь ML в команде матчинга Ozon. Наша команда разрабатывает алгоритмы поиска одинаковых товаров на сайте. Это позволяет покупателям находить более выгодные предложения, экономя время и деньги.
В этой статье мы обсудим кластеризацию на графах, задачу выделения сообществ, распад карате-клуба, self-supervised и unsupervised задачи — и как всё это связано с матчингом.
Читать: https://habr.com/ru/companies/ozontech/articles/791684/
⚡2
Иерархия ИИ-потребностей
Как это часто бывает с быстро развивающимися технологиями, ИИ породил массовые проявления синдрома упущенных возможностей, страха, неуверенности, сомнений и междоусобиц. Некоторые из них имеют под собой основания, некоторые — нет, но всё это бросается в глаза. Все от мала до велика, от незаметных стартапов до финтех-гигантов и государственных учреждений, сформировали команды специалистов, которые лихорадочно разрабатывают ИИ-стратегии.
Команда VK Cloud перевела статью о том, как использовать ИИ и машинное обучение, чтобы лучше справляться с тем, что мы делаем.
Читать: https://habr.com/ru/companies/vk/articles/790362/
Как это часто бывает с быстро развивающимися технологиями, ИИ породил массовые проявления синдрома упущенных возможностей, страха, неуверенности, сомнений и междоусобиц. Некоторые из них имеют под собой основания, некоторые — нет, но всё это бросается в глаза. Все от мала до велика, от незаметных стартапов до финтех-гигантов и государственных учреждений, сформировали команды специалистов, которые лихорадочно разрабатывают ИИ-стратегии.
Команда VK Cloud перевела статью о том, как использовать ИИ и машинное обучение, чтобы лучше справляться с тем, что мы делаем.
Читать: https://habr.com/ru/companies/vk/articles/790362/
☃2
Как мы поменяли методику исследования «BI-круг Громова», чтобы результаты стали еще точнее
«Круги Громова» занимается сравнительными исследованиями ИТ-решений. Начинали мы с исследований именно BI-систем (системы бизнес-аналитики, business intelligence) и разбираемся в них, как считаем, весьма хорошо. По задумке наши исследования (кстати, ежегодные) должны быть чем-то вроде карты для ИТ-отделов и руководителей, чтобы помочь им разобраться в дебрях множества современных BI-решений. Одним из основных параметров, влияющих на объективность исследования, является его методика. Поэтому мы постоянно думаем над тем, как сделать нашу методику еще более точной, учитывающей еще больше факторов и позволяющей раскрыть максимум информации о решениях, которые попали к нам под микроскоп.
Читать: https://habr.com/ru/articles/792292/
«Круги Громова» занимается сравнительными исследованиями ИТ-решений. Начинали мы с исследований именно BI-систем (системы бизнес-аналитики, business intelligence) и разбираемся в них, как считаем, весьма хорошо. По задумке наши исследования (кстати, ежегодные) должны быть чем-то вроде карты для ИТ-отделов и руководителей, чтобы помочь им разобраться в дебрях множества современных BI-решений. Одним из основных параметров, влияющих на объективность исследования, является его методика. Поэтому мы постоянно думаем над тем, как сделать нашу методику еще более точной, учитывающей еще больше факторов и позволяющей раскрыть максимум информации о решениях, которые попали к нам под микроскоп.
Читать: https://habr.com/ru/articles/792292/
👍1
Детекция объектов. YOLO. Часть 2
Кто такой YOLO?
Когда пытаешься разобраться в работе YOLO по статьям в интернете, постоянно натыкаешься на примерно такое объяснение: «Алгоритм делит изображение сеткой SxS, где каждому элементу этой сетки соответствует N ббоксов с координатами, предсказаниями классов и тд...». Но лично мне становилось только непонятнее от такого высокоуровнего описания.. Ведь в исследованиях часто всё происходит примерно так: перебирают гипотезы, пока не получат приемлемый результат, а потом уже придумывают красивое описание. Поэтому для ясности хочется в данной статье рассказать, как вообще приходили к идеям, которые ложились в основу YOLOv1 и последующих версий.
Читать: https://habr.com/ru/articles/792926/
Кто такой YOLO?
Когда пытаешься разобраться в работе YOLO по статьям в интернете, постоянно натыкаешься на примерно такое объяснение: «Алгоритм делит изображение сеткой SxS, где каждому элементу этой сетки соответствует N ббоксов с координатами, предсказаниями классов и тд...». Но лично мне становилось только непонятнее от такого высокоуровнего описания.. Ведь в исследованиях часто всё происходит примерно так: перебирают гипотезы, пока не получат приемлемый результат, а потом уже придумывают красивое описание. Поэтому для ясности хочется в данной статье рассказать, как вообще приходили к идеям, которые ложились в основу YOLOv1 и последующих версий.
Читать: https://habr.com/ru/articles/792926/
Forwarded from Нейроканал
YOLO-World: распознавание объектов с высокой точностью за считаные секунды
Представляем вашему вниманию новую open source модельку семейства YOLO. Однако, в отличие от своих предшественников, она способна распознавать объекты в режиме реального времени и это всё без предварительного обучения! Для обнаружения необходимо всего лишь составить промпт, по которому будут отбираться объекты.
Касаемо бенчмарков YOLO-World также не стала скромничать и показала прирост в производительности в 20 раз в сравнении с прошлыми моделями.
Hugging Face | Github | Статья | Блогпост
#yolo #cv
Представляем вашему вниманию новую open source модельку семейства YOLO. Однако, в отличие от своих предшественников, она способна распознавать объекты в режиме реального времени и это всё без предварительного обучения! Для обнаружения необходимо всего лишь составить промпт, по которому будут отбираться объекты.
Касаемо бенчмарков YOLO-World также не стала скромничать и показала прирост в производительности в 20 раз в сравнении с прошлыми моделями.
Hugging Face | Github | Статья | Блогпост
#yolo #cv
👍1
Дайджест новостей из мира искусственного интеллекта, машинного обучения, будущего и роботов за январь
Отфильтровав для Вас большое количество источников, представляю все наиболее значимые новости из мира будущего, машинного обучения, роботов и искусственного интеллекта.
Итак, а теперь сам дайджест:
Читать дайджест
Читать: https://habr.com/ru/articles/793544/
Отфильтровав для Вас большое количество источников, представляю все наиболее значимые новости из мира будущего, машинного обучения, роботов и искусственного интеллекта.
Итак, а теперь сам дайджест:
Читать дайджест
Читать: https://habr.com/ru/articles/793544/
Особенности разработки информационной системы для сети автомобильных электрозаправочных станций
Аннотация. В статье анализируются технические требования, предъявляемые к электрозаправочным станциям с точки зрения определения возможности и особенностей проектирования информационной системы по их обслуживанию. Показаны основные особенности работы электрозаправочных станций, согласно стандартам, принятым в Европе, США и Китае. Рассмотрены их функциональные характеристики и специфика работы для удаленного управления с помощью информационной системы.
Сформулированы требования к информационной системе, которая может быть создана на основе микросервисной архитектуры. Показано, что для обеспечения взаимодействия между отдельными частями информационной системы должна быть обеспечена стабильность ее работы в режиме 24/7.
В ходе исследования определено, что:
– взаимодействие клиента с сервером может быть реализовано посредством некоторого приложения или web-интерфейса и должно быть стабильным и устойчивым;
– эта система будет включать в себя платежный модуль, электрическую балансировку, а обработка поступающих данных на сервер будет представлять собой распределенную систему обработки информации, имеющей в своей основе очередь с приоритетами;
– сама информационная система должна быть спроектирована на основе архитектуры, реализующей клиент-серверный принцип работы;
– специальная система мониторинга должна быть распределенной, что позволит своевременно обрабатывать поступающие запросы, видеть проблемы и своевременно решать их...
Читать: https://habr.com/ru/articles/793664/
Аннотация. В статье анализируются технические требования, предъявляемые к электрозаправочным станциям с точки зрения определения возможности и особенностей проектирования информационной системы по их обслуживанию. Показаны основные особенности работы электрозаправочных станций, согласно стандартам, принятым в Европе, США и Китае. Рассмотрены их функциональные характеристики и специфика работы для удаленного управления с помощью информационной системы.
Сформулированы требования к информационной системе, которая может быть создана на основе микросервисной архитектуры. Показано, что для обеспечения взаимодействия между отдельными частями информационной системы должна быть обеспечена стабильность ее работы в режиме 24/7.
В ходе исследования определено, что:
– взаимодействие клиента с сервером может быть реализовано посредством некоторого приложения или web-интерфейса и должно быть стабильным и устойчивым;
– эта система будет включать в себя платежный модуль, электрическую балансировку, а обработка поступающих данных на сервер будет представлять собой распределенную систему обработки информации, имеющей в своей основе очередь с приоритетами;
– сама информационная система должна быть спроектирована на основе архитектуры, реализующей клиент-серверный принцип работы;
– специальная система мониторинга должна быть распределенной, что позволит своевременно обрабатывать поступающие запросы, видеть проблемы и своевременно решать их...
Читать: https://habr.com/ru/articles/793664/
Forwarded from Нейроканал
Признавайтесь, у кого тут 4 гига, 4 ядра?
На той неделе Google представила решение для разработчиков, столкнувшихся с проблемой нехватки GPU для обучения языковых моделей. Компания выпустила открытый набор инструментов localllm, позволяющий запускать квантованные языковые модели локально на процессоре и в Workstations — полностью управляемой среде разработки Google Cloud.
Если у вас возник вопрос, а что за сущность вообще эти квантованные языковые модели, то вот вам ответ — это оптимизированные модели искусственного интеллекта, предназначенные для работы на устройствах с ограниченными вычислительными ресурсами.
Подробная документация, примеры кода и инструкции по настройке ищите в этом репозитории.
#localllm #llm #инструмент
На той неделе Google представила решение для разработчиков, столкнувшихся с проблемой нехватки GPU для обучения языковых моделей. Компания выпустила открытый набор инструментов localllm, позволяющий запускать квантованные языковые модели локально на процессоре и в Workstations — полностью управляемой среде разработки Google Cloud.
Если у вас возник вопрос, а что за сущность вообще эти квантованные языковые модели, то вот вам ответ — это оптимизированные модели искусственного интеллекта, предназначенные для работы на устройствах с ограниченными вычислительными ресурсами.
Подробная документация, примеры кода и инструкции по настройке ищите в этом репозитории.
#localllm #llm #инструмент
❤1
Deploy Network Components for Oracle Fusion Analytics Service Endpoints Internet Access
Deploy in minutes the initial network components necessary for Internet access to Oracle Fusion Analytics service endpoints using Oracle Cloud Shell and the Terraform OCI provider.
Read: https://blogs.oracle.com/analytics/post/deploy-network-components-for-internet-access-to-oracle-fusion-analytics-service-endpoints
Deploy in minutes the initial network components necessary for Internet access to Oracle Fusion Analytics service endpoints using Oracle Cloud Shell and the Terraform OCI provider.
Read: https://blogs.oracle.com/analytics/post/deploy-network-components-for-internet-access-to-oracle-fusion-analytics-service-endpoints
Oracle
Deploy Network Components for Oracle Fusion Analytics Service Endpoints Internet Access
This post guides you through deploying initial network components for Oracle Fusion Analytics service endpoints.
Troubleshooting Connectivity Issues Between Oracle Analytics Cloud and On-Premises Data Sources: Unraveling PMTUD Challenges
Troubleshoot Connectivity Issues Between Oracle Analytics Cloud and On-Premises Data Sources
Read: https://blogs.oracle.com/analytics/post/troubleshooting-oracle-analytics-cloud-to-onpremises-data-source-connectivity-unraveling-pmtud-challenges
Troubleshoot Connectivity Issues Between Oracle Analytics Cloud and On-Premises Data Sources
Read: https://blogs.oracle.com/analytics/post/troubleshooting-oracle-analytics-cloud-to-onpremises-data-source-connectivity-unraveling-pmtud-challenges
Oracle
Troubleshooting Oracle Analytics Cloud to On-Premises Data Source Connectivity: Unraveling PMTUD Challenges
Troubleshooting Oracle Analytics Cloud to On-Premises Data Source Connectivity Issues
Unlocking the power of consumer experience in Oracle Analytics Cloud
The Present workspace in Oracle Analytics Cloud empowers authors to create curated data narratives for end users with customized fine-grained interaction controls
Read: https://blogs.oracle.com/analytics/post/unlocking-the-power-of-consumer-experience-in-oracle-analytics
The Present workspace in Oracle Analytics Cloud empowers authors to create curated data narratives for end users with customized fine-grained interaction controls
Read: https://blogs.oracle.com/analytics/post/unlocking-the-power-of-consumer-experience-in-oracle-analytics
Oracle
Unlocking the power of consumer experience in Oracle Analytics
Oracle Analytics Present workspace empowers authors to create curated data narratives for your end users with customized fine grain interaction controls for your end users
Best Practices For Implementing Row-Level Security In Oracle Analytics
Learn how to create high performing row-level security filters.
Read: https://blogs.oracle.com/analytics/post/best-practices-for-implementing-rowlevel-security-in-oracle-analytics-1
Learn how to create high performing row-level security filters.
Read: https://blogs.oracle.com/analytics/post/best-practices-for-implementing-rowlevel-security-in-oracle-analytics-1
Oracle
Best Practices For Implementing Row-Level Security In Oracle Analytics
x
7 направлений оптимизации ClickHouse, которые помогают в BI
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/articles/794456/
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/articles/794456/
7 направлений оптимизации ClickHouse, которые помогают в BI
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/companies/visiology/articles/794456/
Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?
Читать: https://habr.com/ru/companies/visiology/articles/794456/
Побеждаем рутину в Data Science: как перестать быть недопрограммистами и недоисследователями
Профессия Data Scientist сейчас стала особенно привлекательна, вовлекая еще больше энтузиастов и даже евангелистов, благодаря последним достижениям в области генерации текстов и изображений. Внешний фон наводит на мысли, что будни дата сайентиста заполнены исключительно творческой самореализацией, и рутина в процессы его работы никогда не сможет просочиться. Увы, но большую часть DS команд рутина уже поглотила.
Читать: https://habr.com/ru/companies/alfa/articles/788290/
Профессия Data Scientist сейчас стала особенно привлекательна, вовлекая еще больше энтузиастов и даже евангелистов, благодаря последним достижениям в области генерации текстов и изображений. Внешний фон наводит на мысли, что будни дата сайентиста заполнены исключительно творческой самореализацией, и рутина в процессы его работы никогда не сможет просочиться. Увы, но большую часть DS команд рутина уже поглотила.
Читать: https://habr.com/ru/companies/alfa/articles/788290/