Как сделать из Python-скрипта исполняемый файл
Вы изучаете данные и хотите поделиться своим кодом Python с другими, не раскрывая исходный код и не требуя от них установки Python и других компонентов? Если да, то вас может быть интересна конвертация вашего скрипта Python в исполняемый файл.
Читать: https://habr.com/ru/companies/southbridge/articles/746622/
Вы изучаете данные и хотите поделиться своим кодом Python с другими, не раскрывая исходный код и не требуя от них установки Python и других компонентов? Если да, то вас может быть интересна конвертация вашего скрипта Python в исполняемый файл.
Читать: https://habr.com/ru/companies/southbridge/articles/746622/
Data Consistency: как быть уверенным, что с данными всё ок
Я довольно долгое время работала аналитиком в Яндекс.Метрике - системе web аналитики. Такие системы помогают сайтам собирать и анализировать поведение пользователей на их сайтах.
Естественно, в таких продуктах как аналитические системы, данные - это главная ценность. Поэтому одна из моих задач как аналитика был мониторинг того, что с данными всё ок.
В этой статье я хочу поделиться своим опытом по решению этой комплексной задачи и бонусом покажу примеры использования array функций в ClickHouse, которые могут помочь вам посчитать действительно сложные метрики.
Поехали
Читать: https://habr.com/ru/articles/743794/
Я довольно долгое время работала аналитиком в Яндекс.Метрике - системе web аналитики. Такие системы помогают сайтам собирать и анализировать поведение пользователей на их сайтах.
Естественно, в таких продуктах как аналитические системы, данные - это главная ценность. Поэтому одна из моих задач как аналитика был мониторинг того, что с данными всё ок.
В этой статье я хочу поделиться своим опытом по решению этой комплексной задачи и бонусом покажу примеры использования array функций в ClickHouse, которые могут помочь вам посчитать действительно сложные метрики.
Поехали
Читать: https://habr.com/ru/articles/743794/
👍2
BI по-русски: что умеют BI-решения, доступные отечественному бизнесу
Мы в beeline cloud постоянно изучаем тренды рынка BI: как он меняется с развитием ИИ и ростом спроса на отечественный софт. А сегодня хотим рассказать о том, кто и зачем использует системы бизнес-аналитики, а также посмотреть на возможности ключевых игроков, представленных в России.
Читать: https://habr.com/ru/companies/beeline_cloud/articles/746720/
Мы в beeline cloud постоянно изучаем тренды рынка BI: как он меняется с развитием ИИ и ростом спроса на отечественный софт. А сегодня хотим рассказать о том, кто и зачем использует системы бизнес-аналитики, а также посмотреть на возможности ключевых игроков, представленных в России.
Читать: https://habr.com/ru/companies/beeline_cloud/articles/746720/
💩1
Вредные советы по подготовке датасета
Всем привет! В этой статье разбираю отдельные моменты, связанные с подготовкой к сбору датасета. Технических деталей не будет, оставлю их на вторую статью, а сейчас опишу только "базу", с которой знакомим новых сотрудников.
Статья - лонгрид, поэтому в начале сделал резюме.
Вперед к резюме и советам!
Читать: https://habr.com/ru/articles/746802/
Всем привет! В этой статье разбираю отдельные моменты, связанные с подготовкой к сбору датасета. Технических деталей не будет, оставлю их на вторую статью, а сейчас опишу только "базу", с которой знакомим новых сотрудников.
Статья - лонгрид, поэтому в начале сделал резюме.
Вперед к резюме и советам!
Читать: https://habr.com/ru/articles/746802/
Цифровые продукты в цементной промышленности: выбор и источники пользы
Всем привет! Мы в блоге не так часто поднимаем темы IIoT, но компания плодотворно занимается технологическими решениями и этого направления. В прошлом году команда практики промышленной аналитики и интернета вещей GlowByte реализовала интересный проект для «Петербургцемента» – внедрила цифрового помощника оператора цементной мельницы. Руководитель практики написал для журнала “Цемент и его применение” статью, которой и хотим поделиться с вами. Автора порассуждал и о концепции Индустрии 4.0, и о цифровых продуктах, и получении выгоды от внедрения высокотехнологических решений на непрерывном производстве, ну и, конечно же, рассказал о внедрении цифрового помощника оператора цементной мельницы на предприятии.
Читать: https://habr.com/ru/companies/glowbyte/articles/747056/
Всем привет! Мы в блоге не так часто поднимаем темы IIoT, но компания плодотворно занимается технологическими решениями и этого направления. В прошлом году команда практики промышленной аналитики и интернета вещей GlowByte реализовала интересный проект для «Петербургцемента» – внедрила цифрового помощника оператора цементной мельницы. Руководитель практики написал для журнала “Цемент и его применение” статью, которой и хотим поделиться с вами. Автора порассуждал и о концепции Индустрии 4.0, и о цифровых продуктах, и получении выгоды от внедрения высокотехнологических решений на непрерывном производстве, ну и, конечно же, рассказал о внедрении цифрового помощника оператора цементной мельницы на предприятии.
Читать: https://habr.com/ru/companies/glowbyte/articles/747056/
👍1
5 признаков, что вам пора в Data Science
Хотите в Data Science, но не знаете, какое направление выбрать? Собрали признаки, которые помогут определиться и выбрать профессию.
Читать: «5 признаков, что вам пора в Data Science»
Хотите в Data Science, но не знаете, какое направление выбрать? Собрали признаки, которые помогут определиться и выбрать профессию.
Читать: «5 признаков, что вам пора в Data Science»
Tproger
Направления Data Science, которые вам подойдут
Хотите в Data Science, но не знаете, какое направление выбрать? Собрали признаки, которые помогут определиться и выбрать профессию.
Пугающее противостояние: утечка данных в машинном обучении
В общем контексте под утечкой данных часто имеют в виду ситуацию, когда без разрешения или без соблюдения должных мер безопасности кому-то постороннему передают конфиденциальную информацию. В результате нарушается безопасность и конфиденциальность данных. В машинном обучении речь идёт о другой проблеме, когда информация из тестового датасета ошибочно попадает в обучающий.
Читать: https://habr.com/ru/companies/vk/articles/746360/
В общем контексте под утечкой данных часто имеют в виду ситуацию, когда без разрешения или без соблюдения должных мер безопасности кому-то постороннему передают конфиденциальную информацию. В результате нарушается безопасность и конфиденциальность данных. В машинном обучении речь идёт о другой проблеме, когда информация из тестового датасета ошибочно попадает в обучающий.
Читать: https://habr.com/ru/companies/vk/articles/746360/
CDC (Сбор измененных данных): раскрытие и примеры возможностей интеграции данных в режиме реального времени
CDC (Сбор измененных данных): раскрытие и примеры возможностей интеграции данных в режиме реального времени.
В статье кратко раскрывается понятие CDC и примеры использования данного подхода.
Читать: https://habr.com/ru/articles/747560/
CDC (Сбор измененных данных): раскрытие и примеры возможностей интеграции данных в режиме реального времени.
В статье кратко раскрывается понятие CDC и примеры использования данного подхода.
Читать: https://habr.com/ru/articles/747560/
Прибытие тензорного поезда. Как достижения мультилинейной алгебры помогают преодолеть проклятие размерности
Привет! Меня зовут Глеб Рыжаков, я научный сотрудник Сколтеха. Я занимаюсь математикой, а точнее, линейной алгеброй, и её приложениями к практическим задачам. Сегодня я расскажу вам о нашем исследовании, которое может помочь справиться с проблемой проклятия размерности, которая возникает во множестве статистических задач, включая машинное обучение.
Понятие «проклятие размерности» появилось в середине прошлого века в пионерской работе Ричарда Беллмана, посвященной методам решения сложных задач путём разбиения их на более простые подзадачи. Сегодня оно понимается в более общем смысле, а именно как экспоненциальный — O(nd) — рост количества необходимых данных и, как следствие, количества памяти, необходимой для их хранения, с ростом размерности пространства d. Когда задачу можно свести к работе с многомерными массивами в общем случае комплексных чисел, удобно говорить о d-мерных тензорах и использовать достижения мультилинейной алгебры. Хорошая новость заключается в том, что там существует такая процедура, как тензорное разложение, которое в ряде случаев может помочь преодолеть проклятие размерности.
Читать: https://habr.com/ru/companies/airi/articles/747626/
Привет! Меня зовут Глеб Рыжаков, я научный сотрудник Сколтеха. Я занимаюсь математикой, а точнее, линейной алгеброй, и её приложениями к практическим задачам. Сегодня я расскажу вам о нашем исследовании, которое может помочь справиться с проблемой проклятия размерности, которая возникает во множестве статистических задач, включая машинное обучение.
Понятие «проклятие размерности» появилось в середине прошлого века в пионерской работе Ричарда Беллмана, посвященной методам решения сложных задач путём разбиения их на более простые подзадачи. Сегодня оно понимается в более общем смысле, а именно как экспоненциальный — O(nd) — рост количества необходимых данных и, как следствие, количества памяти, необходимой для их хранения, с ростом размерности пространства d. Когда задачу можно свести к работе с многомерными массивами в общем случае комплексных чисел, удобно говорить о d-мерных тензорах и использовать достижения мультилинейной алгебры. Хорошая новость заключается в том, что там существует такая процедура, как тензорное разложение, которое в ряде случаев может помочь преодолеть проклятие размерности.
Читать: https://habr.com/ru/companies/airi/articles/747626/
What's the Difference Between AI, Machine Learning, and Deep Learning?
AI, machine learning, and deep learning - these terms overlap and are easily confused, so let’s explore them through fun examples and explanations.
Read: https://blogs.oracle.com//post/whatx27s-the-difference-between-ai-machine-learning-and-deep-learning
AI, machine learning, and deep learning - these terms overlap and are easily confused, so let’s explore them through fun examples and explanations.
Read: https://blogs.oracle.com//post/whatx27s-the-difference-between-ai-machine-learning-and-deep-learning
Аннотирование повреждений автомобилей для обучения искусственного интеллекта
Благодаря доступности систем компьютерного зрения на основе ИИ, способных автоматизировать большую часть процессов, в последние годы активно развивается сфера визуального контроля, связанного с технологиями страхования. При помощи мобильных приложений или веб-сайтов пользователи могут выполнять удалённую оценку повреждений и мгновенно получать расчёт цены, что упрощает процесс и сильно снижает стресс пользователей. Эта сфера уже охватила не только оценку повреждений транспорта, но и другие виды собственности, например, недвижимость.
Однако обучение систем визуального контроля при помощи ИИ имеет свои сложности, поскольку требует постоянного наполнения высококачественными и разнообразными данными. Из-за расширения области действия таких сервисов на разные регионы стало необходимым получение из каждого региона данных, аннотированных в точности согласно таксономии каждой страховой компании.
Читать: https://habr.com/ru/articles/744688/
Благодаря доступности систем компьютерного зрения на основе ИИ, способных автоматизировать большую часть процессов, в последние годы активно развивается сфера визуального контроля, связанного с технологиями страхования. При помощи мобильных приложений или веб-сайтов пользователи могут выполнять удалённую оценку повреждений и мгновенно получать расчёт цены, что упрощает процесс и сильно снижает стресс пользователей. Эта сфера уже охватила не только оценку повреждений транспорта, но и другие виды собственности, например, недвижимость.
Однако обучение систем визуального контроля при помощи ИИ имеет свои сложности, поскольку требует постоянного наполнения высококачественными и разнообразными данными. Из-за расширения области действия таких сервисов на разные регионы стало необходимым получение из каждого региона данных, аннотированных в точности согласно таксономии каждой страховой компании.
Читать: https://habr.com/ru/articles/744688/
Градиентный бустинг: как подобрать гиперпараметры модели в 5 раз быстрее, чем обычно?
В этой статье я расскажу, как, используя недокументированные возможности фреймворка Apache Spark, качественно подобрать гиперпараметры для модели градиентного бустинга всего за один человеко-день вместо обычных пяти.
Читать: https://habr.com/ru/companies/rosbank/articles/747816/
В этой статье я расскажу, как, используя недокументированные возможности фреймворка Apache Spark, качественно подобрать гиперпараметры для модели градиентного бустинга всего за один человеко-день вместо обычных пяти.
Читать: https://habr.com/ru/companies/rosbank/articles/747816/
Oracle Fusion Analytics - Get notified when your data refresh completes using event notifications
FAW Event Producer Service is an effective automated solution for creating consolidated events and notification workflows, which can streamline your business operations in Oracle Fusion Analytics. This feature is available in Preview. By subscribing to data load completion and estimated load completion in Fusion Analytics, you can monitor and manage your workflows more effectively.
Read: https://blogs.oracle.com/analytics/post/oracle-fusion-analytics-warehouseget-notified-when-your-data-load-completes-using-event-notifications
FAW Event Producer Service is an effective automated solution for creating consolidated events and notification workflows, which can streamline your business operations in Oracle Fusion Analytics. This feature is available in Preview. By subscribing to data load completion and estimated load completion in Fusion Analytics, you can monitor and manage your workflows more effectively.
Read: https://blogs.oracle.com/analytics/post/oracle-fusion-analytics-warehouseget-notified-when-your-data-load-completes-using-event-notifications
Oracle
Oracle Fusion Analytics Warehouse:Get notified when your Data Load completes using Event Notifications
FAW Event Producer Service is an effective automated solution for creating consolidated events and notification workflows, which can streamline your business operations in Fusion Analytics. This feature will now be available as a self-service preview feature.…
Как оптимизировать процесс привлечения клиентов B2B с помощью методов Продвинутой Аналитики
Мы, как Банк, привлекаем новых корпоративных клиентов по всей сети отделений Альфа-Банка в регионах/городах РФ. И чтобы это делать эффективно, требуются инструменты, которые позволят оценивать результат тех или иных управленческих действий в разрезе конкретных регионов нашего присутствия. У каждого региона есть определенная специфика: географическая, экономическая, рыночная. И нам необходимо понимать: сколько наших продуктов мы можем потенциально продать в этом регионе и получить новых клиентов, и какой ресурс для этого требуется.
Иначе говоря — бизнесу необходим инструмент эффективного управления численностью менеджеров с точки зрения того, сколько клиентов может привести каждый менеджер, и как это изменит рыночные показатели Альфы в динамике в среднесрочном и долгосрочном периоде. Например, оправдано ли стратегически решение об экспансии в регион на горизонте 3 лет? Удастся ли компенсировать понесённые затраты за счет роста доли рынка и количества активной клиентской базы? Эту задачу можно решить с помощью методов продвинутой аналитики.
В статье мы поделимся примером первого практического применения Продвинутой Аналитики в процессах стратегического бизнес-планирования численности ресурсов Сети для привлечения клиентов Юридических Лиц.
Читать: https://habr.com/ru/companies/alfa/articles/747742/
Мы, как Банк, привлекаем новых корпоративных клиентов по всей сети отделений Альфа-Банка в регионах/городах РФ. И чтобы это делать эффективно, требуются инструменты, которые позволят оценивать результат тех или иных управленческих действий в разрезе конкретных регионов нашего присутствия. У каждого региона есть определенная специфика: географическая, экономическая, рыночная. И нам необходимо понимать: сколько наших продуктов мы можем потенциально продать в этом регионе и получить новых клиентов, и какой ресурс для этого требуется.
Иначе говоря — бизнесу необходим инструмент эффективного управления численностью менеджеров с точки зрения того, сколько клиентов может привести каждый менеджер, и как это изменит рыночные показатели Альфы в динамике в среднесрочном и долгосрочном периоде. Например, оправдано ли стратегически решение об экспансии в регион на горизонте 3 лет? Удастся ли компенсировать понесённые затраты за счет роста доли рынка и количества активной клиентской базы? Эту задачу можно решить с помощью методов продвинутой аналитики.
В статье мы поделимся примером первого практического применения Продвинутой Аналитики в процессах стратегического бизнес-планирования численности ресурсов Сети для привлечения клиентов Юридических Лиц.
Читать: https://habr.com/ru/companies/alfa/articles/747742/
Pass filter values to parameters for dynamic data manipulation
Bind a parameter to a List filter to dynamically pass the filter selected values to the parameter.
Read: https://blogs.oracle.com/analytics/post/passing-filter-values-to-parameters-for-dynamic-data-manipulation
Bind a parameter to a List filter to dynamically pass the filter selected values to the parameter.
Read: https://blogs.oracle.com/analytics/post/passing-filter-values-to-parameters-for-dynamic-data-manipulation
Oracle
Passing Filter values to parameters for dynamic data manipulation
Bind a parameter to a List filter to dynamically pass the filter selected values to the parameter.
Дайджест Python #13: инструменты для Data Science и исполняемые файлы из скрипта
Собрали лучшие материалы по Python с 1 по 14 июля. Узнайте, как сделать из скрипта исполняемый файл и как настроить автопостинг в ВК.
Читать: «Дайджест Python #13: инструменты для Data Science и исполняемые файлы из скрипта»
Собрали лучшие материалы по Python с 1 по 14 июля. Узнайте, как сделать из скрипта исполняемый файл и как настроить автопостинг в ВК.
Читать: «Дайджест Python #13: инструменты для Data Science и исполняемые файлы из скрипта»
Tproger
Новости Python: инструменты Data Science и автопостинг в ВК
Собрали лучшие материалы по Python с 1 по 14 июля. Узнайте, как сделать из скрипта исполняемый файл и как настроить автопостинг в ВК.
Дайджест Python #13: инструменты для Data Science и исполняемые файлы из скрипта
Собрали лучшие материалы по Python с 1 по 14 июля. Узнайте, как сделать из скрипта исполняемый файл и как настроить автопостинг в ВК.
Читать: «Дайджест Python #13: инструменты для Data Science и исполняемые файлы из скрипта»
Собрали лучшие материалы по Python с 1 по 14 июля. Узнайте, как сделать из скрипта исполняемый файл и как настроить автопостинг в ВК.
Читать: «Дайджест Python #13: инструменты для Data Science и исполняемые файлы из скрипта»
Tproger
Новости Python: инструменты Data Science и автопостинг в ВК
Собрали лучшие материалы по Python с 1 по 14 июля. Узнайте, как сделать из скрипта исполняемый файл и как настроить автопостинг в ВК.
Beware of the hidden influences
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/07/beware-of-the-hidden-influences.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/07/beware-of-the-hidden-influences.html
Нейронные сети врываются в медицину
Доброго времени суток habr, на связи Николай Иванов, студент-магистр 1 курса Сколтеха факультета Data Science. С почином, так как это моя первая, и, надеюсь, не последняя статья на habr. С того момента как я познакомился с областью Deep Learning прошло уже около двух лет. С самого начала мне была интересна область обработки естественного языка (Natural Laguage Processing, NLP), о некоторых задачах которой и результатах я попробую рассказать в этой статье. В мае 2023 года начался мой путь в Sber AI Lab в замечательном центре медицины. Мой рассказ будет в какой-то степени сравнением того что было сделано до меня и того, какие идеи мы развили, что получилось, а что не получилось. Хочу сослаться на замечательную статью Даниила (https://habr.com/ru/articles/711700/), который использовал модель RuBioBERTa для задач из MedBench. Я же буду использовать другое решение, посмотрим, чем оно лучше, чем хуже и вообще насколько подходит для NLP-задач в медицине.
Немного оффтопа
Я очень рад, что каждый месяц появляются новые, более сложные и интересные архитектуры, реализующие смелые идеи, которые двигают вперёд области Deep Learning, NLP и Computer Vision (CV), но сколько из них реально используются в прикладных задачах? Вот оценка внедрения AI решений по странам (на основании отчёта IBM Global AI Adoption Index 2022):
Читать: https://habr.com/ru/articles/748200/
Доброго времени суток habr, на связи Николай Иванов, студент-магистр 1 курса Сколтеха факультета Data Science. С почином, так как это моя первая, и, надеюсь, не последняя статья на habr. С того момента как я познакомился с областью Deep Learning прошло уже около двух лет. С самого начала мне была интересна область обработки естественного языка (Natural Laguage Processing, NLP), о некоторых задачах которой и результатах я попробую рассказать в этой статье. В мае 2023 года начался мой путь в Sber AI Lab в замечательном центре медицины. Мой рассказ будет в какой-то степени сравнением того что было сделано до меня и того, какие идеи мы развили, что получилось, а что не получилось. Хочу сослаться на замечательную статью Даниила (https://habr.com/ru/articles/711700/), который использовал модель RuBioBERTa для задач из MedBench. Я же буду использовать другое решение, посмотрим, чем оно лучше, чем хуже и вообще насколько подходит для NLP-задач в медицине.
Немного оффтопа
Я очень рад, что каждый месяц появляются новые, более сложные и интересные архитектуры, реализующие смелые идеи, которые двигают вперёд области Deep Learning, NLP и Computer Vision (CV), но сколько из них реально используются в прикладных задачах? Вот оценка внедрения AI решений по странам (на основании отчёта IBM Global AI Adoption Index 2022):
Читать: https://habr.com/ru/articles/748200/
Большие данные и огромные сомнения
Беллетристические размышления не-айтишника о том, бывает ли много данных, когда решил научиться чему-то новому, как побороть сомнения в своих способностях, с благодарностью вспомнить былое и крутануть в очередной раз шестерёнку.
Читать: https://habr.com/ru/articles/748238/
Беллетристические размышления не-айтишника о том, бывает ли много данных, когда решил научиться чему-то новому, как побороть сомнения в своих способностях, с благодарностью вспомнить былое и крутануть в очередной раз шестерёнку.
Читать: https://habr.com/ru/articles/748238/
Применение эффективного асинхронного web-парсинга при работе с Big Data (библиотека Scrapy)
Привет, Хабр! Сегодня с вами Марина Коробова, участница профессионального сообщества NTA.
Многие компании и организации занимаются сбором большого объёма внешних данных для анализа и принятия эффективных решений. Конечно, всё это можно делать вручную, но это долгий, монотонный и нецелесообразный процесс, в котором можно допустить ошибки. В этой статье мы сравним два инструмента для автоматизации сбора данных из внешних источников Scrapy и BeautifulSoup4.
Читать: https://habr.com/ru/companies/sberbank/articles/748406/
Привет, Хабр! Сегодня с вами Марина Коробова, участница профессионального сообщества NTA.
Многие компании и организации занимаются сбором большого объёма внешних данных для анализа и принятия эффективных решений. Конечно, всё это можно делать вручную, но это долгий, монотонный и нецелесообразный процесс, в котором можно допустить ошибки. В этой статье мы сравним два инструмента для автоматизации сбора данных из внешних источников Scrapy и BeautifulSoup4.
Читать: https://habr.com/ru/companies/sberbank/articles/748406/
❤1