zenplan: как я сделал себе карманного помощника для целей и задач
Привет, Хабр! 👋
Меня зовут Денис, я продуктовый аналитик, и как многие из нас, я постоянно разрываюсь между проектами, встречами, идеями и личными задачами. Список дел разрастается быстрее, чем успеваешь их выполнять, а заметки и цели теряются между Google Docs, Notion и стикерами на рабочем столе.
В какой-то момент я понял, что трачу больше времени на организацию задач, чем на сами задачи. И решил написать себе карманного помощника, который соберёт всё в одном месте. Так появился мой бот zen_plan_bot.
Читать: https://habr.com/ru/articles/945412/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! 👋
Меня зовут Денис, я продуктовый аналитик, и как многие из нас, я постоянно разрываюсь между проектами, встречами, идеями и личными задачами. Список дел разрастается быстрее, чем успеваешь их выполнять, а заметки и цели теряются между Google Docs, Notion и стикерами на рабочем столе.
В какой-то момент я понял, что трачу больше времени на организацию задач, чем на сами задачи. И решил написать себе карманного помощника, который соберёт всё в одном месте. Так появился мой бот zen_plan_bot.
Читать: https://habr.com/ru/articles/945412/
#ru
@big_data_analysis | Другие наши каналы
DataHub: Как интеллектуальный хаб данных меняет правила игры на рынке кредитования и займов
Финансовый рынок цифровизируется с невероятной скоростью: клиенты ждут персональных предложений за пару кликов, банки и МФО ищут качественных заемщиков, а партнеры — удобные и технологичные инструменты для монетизации трафика. На стыке этих интересов возникает потребность в принципиально новых решениях. Старые методы лидогенерации и скоринга уже не справляются: они либо не дают нужной глубины анализа.
Именно этот разрыв между потребностями рынка и существующими возможностями закрывает платформа DataHub. Это не просто очередной сервис, а целая экосистема, которая действует в интересах всех сторон: кредитора, партнера и, что самое важное, конечного клиента. Рассказываем, как мы создаем продукт, который подойдет для всех.
Читать: https://habr.com/ru/articles/945748/
#ru
@big_data_analysis | Другие наши каналы
Финансовый рынок цифровизируется с невероятной скоростью: клиенты ждут персональных предложений за пару кликов, банки и МФО ищут качественных заемщиков, а партнеры — удобные и технологичные инструменты для монетизации трафика. На стыке этих интересов возникает потребность в принципиально новых решениях. Старые методы лидогенерации и скоринга уже не справляются: они либо не дают нужной глубины анализа.
Именно этот разрыв между потребностями рынка и существующими возможностями закрывает платформа DataHub. Это не просто очередной сервис, а целая экосистема, которая действует в интересах всех сторон: кредитора, партнера и, что самое важное, конечного клиента. Рассказываем, как мы создаем продукт, который подойдет для всех.
Читать: https://habr.com/ru/articles/945748/
#ru
@big_data_analysis | Другие наши каналы
👍1
Автоматизируем подготовку промтов для GPT: Python-функция для детального описания DataFrame
Привет, меня зовут Виталий. Автор телеграмм канала "Детектив данных" про смену профессии и мой вкат в "аналитику" после 30 лет. И да, я уже наверное года полтора использую помощь нейросети при написании кода на Питоне.
Следствие установило, что для получения качественного ответа часто приходится потратить довольно много времени на описание таблицы, где какой тип данных, примеры, формат, количество nan значений, диапазон дат и прочие нюансы.
Будто при допросе вместо описания преступника, следователь внимательно изучает все родинки у допрашиваемого лица. И у адвоката.
В качестве жертвы у нас рабочее время, которое можно потратить на описание задачи.
В какой то момент я подумал, а почему бы не сделать универсальную функцию которая будет собирать эту информацию за меня, и сразу писать какой нибудь универсальный промт, потому что, до кучи мне и его лень писать.
В общем вашему вниманию предлагаю эту функцию. Всё что нужно, это вставить код в ячейку, и в следующей команде указать ваш датафрейм. Принт выведет вам готовый промт с описанием вашей таблицы, расскажет тип данных каждого столбца, покажет примеры значений, диапазоны и количество пропусков, а заодно проверит датафрейм на дубликаты.
Смотрим функцию, сохраняем
Читать: https://habr.com/ru/articles/945786/
#ru
@big_data_analysis | Другие наши каналы
Привет, меня зовут Виталий. Автор телеграмм канала "Детектив данных" про смену профессии и мой вкат в "аналитику" после 30 лет. И да, я уже наверное года полтора использую помощь нейросети при написании кода на Питоне.
Следствие установило, что для получения качественного ответа часто приходится потратить довольно много времени на описание таблицы, где какой тип данных, примеры, формат, количество nan значений, диапазон дат и прочие нюансы.
Будто при допросе вместо описания преступника, следователь внимательно изучает все родинки у допрашиваемого лица. И у адвоката.
В качестве жертвы у нас рабочее время, которое можно потратить на описание задачи.
В какой то момент я подумал, а почему бы не сделать универсальную функцию которая будет собирать эту информацию за меня, и сразу писать какой нибудь универсальный промт, потому что, до кучи мне и его лень писать.
В общем вашему вниманию предлагаю эту функцию. Всё что нужно, это вставить код в ячейку, и в следующей команде указать ваш датафрейм. Принт выведет вам готовый промт с описанием вашей таблицы, расскажет тип данных каждого столбца, покажет примеры значений, диапазоны и количество пропусков, а заодно проверит датафрейм на дубликаты.
Смотрим функцию, сохраняем
Читать: https://habr.com/ru/articles/945786/
#ru
@big_data_analysis | Другие наши каналы
Альфа-Банк приглашает IT-специалистов на турнир по спортивному хакингу AlfaCTF — он пройдёт 13-14 сентября
Разработчики, тестировщики и аналитики будут решать таски: взламывать, находить уязвимости, собирать флаги и бороться за звание лучшего хакера.
🤓 🤓 🤓 🤓 🤓 🤓 🤓 🤓
🤓 🤓 🤓 🤓 🤓 🤓 🤓 🤓
🤓 🤓 🤓 🤓 🤓 🤓 🤓 🤓
🤓 🤓 🤓 🤓 🤓 🤓 🤓 🤓
🤓 🤓 🤓 🤓 🤓 🤓 🤓 🤓
🤓 🤓 🤓 🤓 🤓 🤓 🤓 🤓
🤓 🤓 🤓 🤓 🤓 🤓 🤓 🤓
Всего три уровня сложности, есть и простой для студентов. Команды-победители получат до 450 тысяч рублей. Собрать команду и зарегаться нужно на сайте. Для разминки найдите баг на картинке:
Это #партнёрский пост
Разработчики, тестировщики и аналитики будут решать таски: взламывать, находить уязвимости, собирать флаги и бороться за звание лучшего хакера.
Всего три уровня сложности, есть и простой для студентов. Команды-победители получат до 450 тысяч рублей. Собрать команду и зарегаться нужно на сайте. Для разминки найдите баг на картинке:
Это #партнёрский пост
Please open Telegram to view this post
VIEW IN TELEGRAM
Готовим данные для LLM: открытые инструменты для нормализации, очистки и не только
Компании активно внедряют у себя решения на основе больших языковых моделей: боты техподдержки, умный поиск по базе знаний, выявление мошенников в диалоге или HR-ассистенты.
Но самостоятельно вывести модель в полноценное продакшн-использование не так просто. К тому же для разных сценариев нужно тестировать разные модели. Это требует больших усилий. Чтобы уменьшить порог входа в эту технологию, мы создали собственную платформу — MWS GPT. Под капотом — наша инфраструктура с GPU.
О том, как тестировать разные LLM в MWS GPT и запускать ИИ-агентов без кода скоро расскажем на вебинаре — присоединяйтесь.
Для обучения LLM требуются огромные и разнообразные датасеты. Однако качество данных часто важнее простого объёма: хорошие данные позволяют модели лучше обобщать и снижать ошибки. К счастью, есть открытые решения, способные помочь с их обработкой.
Сегодня делимся подборкой систем контроля качества ML-датасетов, проектом для автоматической категоризации и системой контроля версий для наборов данных.
Читать: https://habr.com/ru/companies/mws/articles/946126/
#ru
@big_data_analysis | Другие наши каналы
Компании активно внедряют у себя решения на основе больших языковых моделей: боты техподдержки, умный поиск по базе знаний, выявление мошенников в диалоге или HR-ассистенты.
Но самостоятельно вывести модель в полноценное продакшн-использование не так просто. К тому же для разных сценариев нужно тестировать разные модели. Это требует больших усилий. Чтобы уменьшить порог входа в эту технологию, мы создали собственную платформу — MWS GPT. Под капотом — наша инфраструктура с GPU.
О том, как тестировать разные LLM в MWS GPT и запускать ИИ-агентов без кода скоро расскажем на вебинаре — присоединяйтесь.
Для обучения LLM требуются огромные и разнообразные датасеты. Однако качество данных часто важнее простого объёма: хорошие данные позволяют модели лучше обобщать и снижать ошибки. К счастью, есть открытые решения, способные помочь с их обработкой.
Сегодня делимся подборкой систем контроля качества ML-датасетов, проектом для автоматической категоризации и системой контроля версий для наборов данных.
Читать: https://habr.com/ru/companies/mws/articles/946126/
#ru
@big_data_analysis | Другие наши каналы
Умный аналитик для ритейла: ИИ на службе бизнеса
Данные для ритейла жизненно необходимы: продажи, промо, возвраты, остатки, оборачиваемость. Классическая схема работы такова: бизнес-подразделение формулирует вопрос → аналитики превращают его в задачу → инженеры делают выгрузки → кто-то собирает отчет → отчет попадает на стол к ответственному лицу → через время появляется ответ.
Проблема в том, что скорость бизнеса и скорость проведения анализа не совпадают.
Руководителю дивизиона, директору магазина или маркетологу часто нужен ответ в моменте, а не через неделю. Но BI-процессы инерционны. Поэтому сегодня нужны другие инструменты, позволяющие получить свежие данные, проанализировать, задать вопрос – и получить не просто диаграмму, но выводы, рекомендации или даже конкретное выполненное действие.
Конструкторы отчетов устарели. В век GPT пользователь хочет общаться с данными.
Что с этим делать?
Читать статью
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/946370/
#ru
@big_data_analysis | Другие наши каналы
Данные для ритейла жизненно необходимы: продажи, промо, возвраты, остатки, оборачиваемость. Классическая схема работы такова: бизнес-подразделение формулирует вопрос → аналитики превращают его в задачу → инженеры делают выгрузки → кто-то собирает отчет → отчет попадает на стол к ответственному лицу → через время появляется ответ.
Проблема в том, что скорость бизнеса и скорость проведения анализа не совпадают.
Руководителю дивизиона, директору магазина или маркетологу часто нужен ответ в моменте, а не через неделю. Но BI-процессы инерционны. Поэтому сегодня нужны другие инструменты, позволяющие получить свежие данные, проанализировать, задать вопрос – и получить не просто диаграмму, но выводы, рекомендации или даже конкретное выполненное действие.
Конструкторы отчетов устарели. В век GPT пользователь хочет общаться с данными.
Что с этим делать?
Читать статью
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/946370/
#ru
@big_data_analysis | Другие наши каналы
А вы точно умеете внедрять AI в бизнес?
Короткий гуглинг по теме показывает, что все рекомендации по внедрению ИИ в бизнесе сводятся к общим фразам. «Выделите одно приоритетное направление», «найдите рутинные операции», «проанализируйте доступные данные». Спасибо, кэп. А делать-то что?
Читать: https://habr.com/ru/articles/945648/
#ru
@big_data_analysis | Другие наши каналы
Короткий гуглинг по теме показывает, что все рекомендации по внедрению ИИ в бизнесе сводятся к общим фразам. «Выделите одно приоритетное направление», «найдите рутинные операции», «проанализируйте доступные данные». Спасибо, кэп. А делать-то что?
Читать: https://habr.com/ru/articles/945648/
#ru
@big_data_analysis | Другие наши каналы
В гайдах для начинающих на такие вопросы вряд ли найдется ответ. А вот в телеграм-канале OTP Tech точно найдется наглядный разбор.
В OTP Tech вы получите реальный опыт внедрения сложных решений в продакшен крупного финтеха. Ну и просто фановый интерактив, который поможет разгрузить голову.
Если вы разрабатываете, проектируете или администрируете и хотите смотреть дальше хеллоу ворлдов — вам будет здесь интересно.
Присоединяйтесь: @otp_tech
Please open Telegram to view this post
VIEW IN TELEGRAM
Сквозь эпохи: от хаоса к гармонии, или как мы запросы в Greenplum улучшали
Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.
В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».
Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.
В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉
Читать: https://habr.com/ru/companies/tbank/articles/946450/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии.
В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов».
Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах.
В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉
Читать: https://habr.com/ru/companies/tbank/articles/946450/
#ru
@big_data_analysis | Другие наши каналы
Хитроу внедряет Oracle Fusion Data Intelligence для анализа работы аэропорта, сотрудников и пассажиров. Новая система помогает оптимизировать процессы и улучшить обслуживание, основываясь на данных в реальном времени. Подробнее о инновациях в статье.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Europe’s largest airport makes use of its data to make better business decisions
Heathrow uses Oracle Fusion Data Intelligence to provide insight into its business performance, employees, and passengers
Настройка временных зон в Oracle Fusion Data Intelligence. Во второй части руководства объясняется, как правильно настроить столбцы с датой и временем для пользовательских часовых поясов, что поможет точнее обработать данные в системе.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Part 2: User-Defined Time Zones in Oracle Fusion Data Intelligence - Extending and Bringing It All Together
This article provides a simple guide (part 2) to configuring date time columns for user-defined time zones in Oracle Fusion Data Intelligence
Настройка отображения времени в Oracle Fusion Data Intelligence: в статье объясняют, как правильно сконфигурировать колонки с датой и временем для пользовательских часовых поясов. Руководство поможет упростить работу с данными в разных регионах.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
User Defined Time Zones in Oracle Fusion Data Intelligence Part 1
This article provides a simple guide (part 1) to configuring date time columns for user-defined time zones in Oracle Fusion Data Intelligence
Расширение возможностей Oracle Analytics: теперь встроен алгоритм Prophet от Meta для прогнозирования временных рядов. Это позволит аналитикам получать более точные прогнозы прямо в привычной платформе, упрощая работу с данными.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Forecasting Made Simple: Introducing Prophet in Oracle Analytics
Oracle is expanding the native forecasting toolbox with Prophet, the open-source time-series algorithm originally from Meta, now available directly in Oracle Analytics
Как имена столбцов влияют на анализ данных в Oracle Analytics
В статье рассказывается, как автоматические подсказки имен столбцов в Oracle Analytics помогают создавать понятные и информативные названия, улучшая восприятие данных и качество ответов AI-ассистента. Узнайте, почему это важно.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье рассказывается, как автоматические подсказки имен столбцов в Oracle Analytics помогают создавать понятные и информативные названия, улучшая восприятие данных и качество ответов AI-ассистента. Узнайте, почему это важно.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
AI-Driven Column Names: Where Human Readability Meets AI Understanding
Column names aren’t just labels. In Oracle Analytics, they set the stage for how people — and now the AI Assistant — understand your data. This post explains how automatic column name suggestions help you go from generic placeholders to clear, meaningful…
Запуск Fusion Data Intelligence в Oracle стал важным этапом, подтверждающим эффективность продукта и укрепляющим доверие на рынке. Использование решения внутри компании служит лучшим доказательством его надежности и перспектив развития.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
FDI: Driving Organizational Success At Oracle Through Internal Rollout
Successfully launching Fusion Data Intelligence within Oracle is a critical milestone—not only validating the product’s effectiveness but also laying the foundation for broader market credibility. After all, there’s no better endorsement than using it in…
Интеграция данных из Azure Blob Storage с помощью Fusion Data Intelligence
Статья рассказывает о том, как использовать возможности Fusion Data Intelligence для получения данных из Azure Blob Storage и их объединения с данными приложений Fusion, что расширяет аналитические возможности.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Статья рассказывает о том, как использовать возможности Fusion Data Intelligence для получения данных из Azure Blob Storage и их объединения с данными приложений Fusion, что расширяет аналитические возможности.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Connecting FDI with Azure
Leverage the capabilities of fusion data intelligence to get the data from Azure Blob Storage and integrate it with the fusion applications data
Всем тимлидам, разработчикам, тестировщикам и админам!
Счастливого Дня программиста!
Желаем вам всегда зелёных билдов, отзывчивых кластеров и тихих дежурных смен. Пусть ваши логи будут чисты от ошибок, а мониторинг предупреждает о проблемах раньше, чем о них узнают пользователи.
И чтобы пожелание точно сбылось, обязательно воспользуйтесь подарками из нашей IT-коробки. Готовили с любовью в сердце вместе с нашими друзьями.
С праздником!
Счастливого Дня программиста!
Желаем вам всегда зелёных билдов, отзывчивых кластеров и тихих дежурных смен. Пусть ваши логи будут чисты от ошибок, а мониторинг предупреждает о проблемах раньше, чем о них узнают пользователи.
И чтобы пожелание точно сбылось, обязательно воспользуйтесь подарками из нашей IT-коробки. Готовили с любовью в сердце вместе с нашими друзьями.
С праздником!
👍3
А может ну это всё и улететь работать в космос?
На станцию Контур активно ищут новобранцев. Берут тех, кто разбирается в программировании, тестировании, UX-исследованиях и аналитике.
Запускайте бота и проходите миссии. В конце — розыгрыш целого бокса с космическим мерчем!
🚀Стажировка уже началась. Вперёд!
На станцию Контур активно ищут новобранцев. Берут тех, кто разбирается в программировании, тестировании, UX-исследованиях и аналитике.
Запускайте бота и проходите миссии. В конце — розыгрыш целого бокса с космическим мерчем!
🚀Стажировка уже началась. Вперёд!
Self-service аналитика для… Excel?
Одним из самых распространенных инструментов для внедрения аналитики является BI инструменты – Tableau, Superset, Datalens и многие другие, десятки их. Это отличные инструменты, но какие бы крутые и сложные визуализации традиционно у каждого из таких инструментов одной из важнейших фич является «Экспорт в Excel» - пользователям нужны выгрузки, детальные данные и т.д. На одном из проектов я обсуждал с заказчиком перспективы развития BI в компании – что уже сделано, что делаем дальше и менеджер задал коварный вопрос: «Артём, дашборды это конечно здорово, но можно ли сделать так, чтобы данные загружались к нам сразу в Excel, причем автоматически». И вот что вы придумали...
Читать: https://habr.com/ru/articles/946572/
#ru
@big_data_analysis | Другие наши каналы
Одним из самых распространенных инструментов для внедрения аналитики является BI инструменты – Tableau, Superset, Datalens и многие другие, десятки их. Это отличные инструменты, но какие бы крутые и сложные визуализации традиционно у каждого из таких инструментов одной из важнейших фич является «Экспорт в Excel» - пользователям нужны выгрузки, детальные данные и т.д. На одном из проектов я обсуждал с заказчиком перспективы развития BI в компании – что уже сделано, что делаем дальше и менеджер задал коварный вопрос: «Артём, дашборды это конечно здорово, но можно ли сделать так, чтобы данные загружались к нам сразу в Excel, причем автоматически». И вот что вы придумали...
Читать: https://habr.com/ru/articles/946572/
#ru
@big_data_analysis | Другие наши каналы
Polars — «убийца Pandas» на максималках
Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными.
В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.
Читать: https://habr.com/ru/articles/946788/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными.
В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.
Читать: https://habr.com/ru/articles/946788/
#ru
@big_data_analysis | Другие наши каналы
❤4👍3🤓2