ClickHouse не тормозит, но теряет данные. Часть 2 — от буферных таблиц к Kafka Engine
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/934320/
#ru
@big_data_analysis | Другие наши каналы
ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных
Читать: https://habr.com/ru/articles/934320/
#ru
@big_data_analysis | Другие наши каналы
Роль каталога данных в безопасности T Data Platform
Привет, Хабр! На связи Дима Пичугин, тимлид в направлении комплаенса и безопасности данных. В статье рассказываю о пользе, которую подразделение информационной безопасности Т-Банка получило от каталога данных Data Detective и процессов вокруг него.
Как человек, который стоял у истоков появления каталога данных в Т-Банке и выстраивал процессы защиты чувствительных данных, я надеюсь, что статья поможет кому-то избежать некоторых наших ошибок. При желании можно творчески позаимствовать некоторые из наших наработок для решения своих задач.
Читать: https://habr.com/ru/companies/tbank/articles/934340/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! На связи Дима Пичугин, тимлид в направлении комплаенса и безопасности данных. В статье рассказываю о пользе, которую подразделение информационной безопасности Т-Банка получило от каталога данных Data Detective и процессов вокруг него.
Как человек, который стоял у истоков появления каталога данных в Т-Банке и выстраивал процессы защиты чувствительных данных, я надеюсь, что статья поможет кому-то избежать некоторых наших ошибок. При желании можно творчески позаимствовать некоторые из наших наработок для решения своих задач.
Читать: https://habr.com/ru/companies/tbank/articles/934340/
#ru
@big_data_analysis | Другие наши каналы
ИИ против разума: битва за навыки программиста
ИИ — мощный инструмент, но он может сделать своим бездумным ретранслятором. Читайте, как сохранить мастерство, создавать с нуля, разбираться в ошибках и развивать мышление, чтобы побеждать в эпоху искусственного интеллекта.
Читать: https://tprg.ru/CPMs
#ru
@big_data_analysis | Другие наши каналы
ИИ — мощный инструмент, но он может сделать своим бездумным ретранслятором. Читайте, как сохранить мастерство, создавать с нуля, разбираться в ошибках и развивать мышление, чтобы побеждать в эпоху искусственного интеллекта.
Читать: https://tprg.ru/CPMs
#ru
@big_data_analysis | Другие наши каналы
Планировщики процессов для необычных областей знаний
Продолжаем обсуждать примечательные инструменты для автоматизации и управления рабочими процессами (и напоминаем про MWS Tables — платформу для командной работы, включающую таблицы, трекер задач, отчётность и другие инструменты, собранные в одном сервисе; можно с лёгкостью создать рабочее пространство для себя или небольшой команды).
Сегодня рассмотрим узкоспециализированные решения для различных областей знаний: Covalent, Cromwell, Cylc и Martian. Эти решения используются для высокопроизводительных вычислений, в работе с квантовыми алгоритмами, климатическом моделировании и анализе медицинских данных.
Читать: https://habr.com/ru/companies/mws/articles/919126/
#ru
@big_data_analysis | Другие наши каналы
Продолжаем обсуждать примечательные инструменты для автоматизации и управления рабочими процессами (и напоминаем про MWS Tables — платформу для командной работы, включающую таблицы, трекер задач, отчётность и другие инструменты, собранные в одном сервисе; можно с лёгкостью создать рабочее пространство для себя или небольшой команды).
Сегодня рассмотрим узкоспециализированные решения для различных областей знаний: Covalent, Cromwell, Cylc и Martian. Эти решения используются для высокопроизводительных вычислений, в работе с квантовыми алгоритмами, климатическом моделировании и анализе медицинских данных.
Читать: https://habr.com/ru/companies/mws/articles/919126/
#ru
@big_data_analysis | Другие наши каналы
Стратегия успеха: ключи к развитию карьеры в Data Science (ч.2)
Привет! Я Анна Ширшова, руководитель Кластера моделирования для CRM и оптимизации в ВТБ. Это вторая часть моего материала о карьерном росте в Data Science. В первой мы говорили о том, как правильно ставить карьерные цели, избегать типичных ошибок и добиваться высоких результатов. А в этой статье поговорим о важности самопрезентации и самосовершенствования.
Читать: https://habr.com/ru/companies/vtb/articles/934752/
#ru
@big_data_analysis | Другие наши каналы
Привет! Я Анна Ширшова, руководитель Кластера моделирования для CRM и оптимизации в ВТБ. Это вторая часть моего материала о карьерном росте в Data Science. В первой мы говорили о том, как правильно ставить карьерные цели, избегать типичных ошибок и добиваться высоких результатов. А в этой статье поговорим о важности самопрезентации и самосовершенствования.
Читать: https://habr.com/ru/companies/vtb/articles/934752/
#ru
@big_data_analysis | Другие наши каналы
Будущее, в котором ИИ — герой, а не злодей
Эра искусственного интеллекта уже наступила — и люди, мягко говоря, в панике.
К счастью, я здесь, чтобы рассказать хорошие новости: AI не уничтожит мир, а наоборот, вполне может его спасти.
Для начала короткое описание того, что такое AI: это применение математики и программного кода для обучения компьютеров понимать, синтезировать и генерировать знания примерно так же, как это делают люди. AI — это программа, как и любая другая: она запускается, принимает входные данные, обрабатывает их и выдаёт результат. Причём output AI полезен в самых разных областях — от программирования до медицины, юриспруденции и искусства. Её владеют и контролируют люди, как и любой другой технологией.
А теперь коротко о том, чем AI не является: это не какие-то «убийственные программы» и роботы, которые внезапно оживут и решат уничтожить человечество или развалить всё вокруг, как это показывают в фильмах.
И еще короче о том, чем AI может стать: способом сделать лучше всё, что нам действительно важно.
Читать: https://habr.com/ru/articles/933024/
#ru
@big_data_analysis | Другие наши каналы
Эра искусственного интеллекта уже наступила — и люди, мягко говоря, в панике.
К счастью, я здесь, чтобы рассказать хорошие новости: AI не уничтожит мир, а наоборот, вполне может его спасти.
Для начала короткое описание того, что такое AI: это применение математики и программного кода для обучения компьютеров понимать, синтезировать и генерировать знания примерно так же, как это делают люди. AI — это программа, как и любая другая: она запускается, принимает входные данные, обрабатывает их и выдаёт результат. Причём output AI полезен в самых разных областях — от программирования до медицины, юриспруденции и искусства. Её владеют и контролируют люди, как и любой другой технологией.
А теперь коротко о том, чем AI не является: это не какие-то «убийственные программы» и роботы, которые внезапно оживут и решат уничтожить человечество или развалить всё вокруг, как это показывают в фильмах.
И еще короче о том, чем AI может стать: способом сделать лучше всё, что нам действительно важно.
Читать: https://habr.com/ru/articles/933024/
#ru
@big_data_analysis | Другие наши каналы
Мгновенный доступ к данным для 1 000 + директоров с помощью ИИ. Кейс ритейлера
В этой статье расскажем о том, как компания Лэтуаль столкнулась с необходимостью организовать быстрый доступ к аналитике для управленческого состава, с какими сложностями столкнулась и к чему пришла в итоге (и как пригодился ИИ).
Одной из ключевых задач компании является ускорение реакции на изменения показателей в течение дня для всех уровней управленческой вертикали — от топ-менеджмента до управляющих оффлайн-магазинов. Для этого нужен быстрый и удобный доступ к оперативным показателям деятельности каждого магазина.
В компании был реализован механизм рассылок отчетности, однако он не удовлетворял всем требованиям.
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/935068/
#ru
@big_data_analysis | Другие наши каналы
В этой статье расскажем о том, как компания Лэтуаль столкнулась с необходимостью организовать быстрый доступ к аналитике для управленческого состава, с какими сложностями столкнулась и к чему пришла в итоге (и как пригодился ИИ).
Одной из ключевых задач компании является ускорение реакции на изменения показателей в течение дня для всех уровней управленческой вертикали — от топ-менеджмента до управляющих оффлайн-магазинов. Для этого нужен быстрый и удобный доступ к оперативным показателям деятельности каждого магазина.
В компании был реализован механизм рассылок отчетности, однако он не удовлетворял всем требованиям.
Читать: https://habr.com/ru/companies/sapiens_solutions/articles/935068/
#ru
@big_data_analysis | Другие наши каналы
Разработа DWH с нуля – особенности архитектуры
Проект по построению DWH с нуля был запущен по инициативе Заказчика в рамках крупной трансформации управленческой отчетности и аналитики.
В статье расскажу, как мы выстроили архитектуру DWH, какие подходы использовали на каждом уровне, с какими подводными камнями столкнулись и как обеспечили стабильную поставку данных для аналитики.
Читать: https://habr.com/ru/articles/935212/
#ru
@big_data_analysis | Другие наши каналы
Проект по построению DWH с нуля был запущен по инициативе Заказчика в рамках крупной трансформации управленческой отчетности и аналитики.
В статье расскажу, как мы выстроили архитектуру DWH, какие подходы использовали на каждом уровне, с какими подводными камнями столкнулись и как обеспечили стабильную поставку данных для аналитики.
Читать: https://habr.com/ru/articles/935212/
#ru
@big_data_analysis | Другие наши каналы
👍1
StarRocks 3.5: Snapshot, Load Spill, партиции, MV, транзакции, безопасность
StarRocks 3.5 приносит точечные улучшения по надёжности, производительности и безопасности: кластерные Snapshot для DR в архитектуре shared-data (разделение хранения и вычислений), оптимизацию пакетной загрузки (Load Spill) для сокращения мелких файлов и пропуска Compaction, более гибкое управление жизненным циклом партиций (слияние по времени и автоматический TTL), многооператорные транзакции для ETL, ускорение запросов по озеру данных через автоматические глобальные словари, а также поддержку OAuth 2.0 и JWT.
Читать: https://habr.com/ru/articles/935216/
#ru
@big_data_analysis | Другие наши каналы
StarRocks 3.5 приносит точечные улучшения по надёжности, производительности и безопасности: кластерные Snapshot для DR в архитектуре shared-data (разделение хранения и вычислений), оптимизацию пакетной загрузки (Load Spill) для сокращения мелких файлов и пропуска Compaction, более гибкое управление жизненным циклом партиций (слияние по времени и автоматический TTL), многооператорные транзакции для ETL, ускорение запросов по озеру данных через автоматические глобальные словари, а также поддержку OAuth 2.0 и JWT.
Читать: https://habr.com/ru/articles/935216/
#ru
@big_data_analysis | Другие наши каналы
Поисковые подсказки: подход «генератор-дискриминатор»
Всем привет! Меня зовут Федор Курушин, я занимаюсь машинным обучением в поиске Wildberries. Прямо сейчас я работаю над развитием сервиса персональных поисковых подсказок.
Недавно вместе с коллегой мы представляли нашу совместную работу Product Search Prompts: Generator-Discriminator Approach на конференции FICC 2025.
О подходе, который мы разработали для создания поисковых подсказок и для поиска релевантных похожих запросов для разных бизнес-сценариев, и пойдет речь в этой статье.
Читать: https://habr.com/ru/companies/wildberries/articles/934674/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Меня зовут Федор Курушин, я занимаюсь машинным обучением в поиске Wildberries. Прямо сейчас я работаю над развитием сервиса персональных поисковых подсказок.
Недавно вместе с коллегой мы представляли нашу совместную работу Product Search Prompts: Generator-Discriminator Approach на конференции FICC 2025.
О подходе, который мы разработали для создания поисковых подсказок и для поиска релевантных похожих запросов для разных бизнес-сценариев, и пойдет речь в этой статье.
Читать: https://habr.com/ru/companies/wildberries/articles/934674/
#ru
@big_data_analysis | Другие наши каналы
Как внедрить векторный поиск в Oracle Analytics: пошаговое руководство. В статье подробно объясняется процесс настройки и использования векторного поиска в Oracle Analytics, что поможет улучшить аналитические возможности и ускорить обработку данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Волны автоматизации в IT: эволюция требований рынка
Развитие ИТ с 1950 до наших дней рассмотрим 5 волн развития, что было со специалистами и технологиями. Попробуем угадать тренды и сделать рекомендации по развитию
Читать: «Волны автоматизации в IT: эволюция требований рынка»
#ru
@big_data_analysis | Другие наши каналы
Развитие ИТ с 1950 до наших дней рассмотрим 5 волн развития, что было со специалистами и технологиями. Попробуем угадать тренды и сделать рекомендации по развитию
Читать: «Волны автоматизации в IT: эволюция требований рынка»
#ru
@big_data_analysis | Другие наши каналы
⚙️ Как запускать инференс без перегрузки и лишней настройки
Мы часто видим, с чем сталкиваются разработчики: медленная генерация, нестабильный интерфейс, конфликты зависимостей и сложности при смене пайплайнов на локальной машине.⠀
В immers.cloud всё проще:
💰 Посекундная тарификация: тарифы от 23 руб/час, платите только за время, когда сервер реально работает.
⚡️ Быстрый старт: нужный сервер поднимается за пару минут.
📈 Гибкость и масштабируемость: 12 моделей видеокарт на выбор
🔧 Удобство: готовые образы для ваших задач, чтобы не тратить время на настройку.
А если нужно прерваться — можно просто заморозить ВМ с помощью функции Shelve: данные сохранятся, а платить за простои не придется.⠀
Если вам важен результат, а не настройка серверов — в immers.cloud всё готово для ваших проектов.⠀
🔗 Начать и получить +20 % к первому пополнению
Мы часто видим, с чем сталкиваются разработчики: медленная генерация, нестабильный интерфейс, конфликты зависимостей и сложности при смене пайплайнов на локальной машине.⠀
В immers.cloud всё проще:
💰 Посекундная тарификация: тарифы от 23 руб/час, платите только за время, когда сервер реально работает.
⚡️ Быстрый старт: нужный сервер поднимается за пару минут.
📈 Гибкость и масштабируемость: 12 моделей видеокарт на выбор
🔧 Удобство: готовые образы для ваших задач, чтобы не тратить время на настройку.
А если нужно прерваться — можно просто заморозить ВМ с помощью функции Shelve: данные сохранятся, а платить за простои не придется.⠀
Если вам важен результат, а не настройка серверов — в immers.cloud всё готово для ваших проектов.⠀
🔗 Начать и получить +20 % к первому пополнению
⚡1✍1❤1
Как AI-редактор Cursor меняет процесс разработки — и стоит ли ему доверять
Одним из крупнейших сдвигов в современном софтверном девелопменте стало стремительное распространение AI-инструментов для написания кода. Эти решения помогают как разработчикам, так и людям без технического бэкграунда быстрее писать код, запускать прототипы и готовые приложения. Среди таких инструментов достаточно быстро привлёк внимание Cursor, почти сразу он занял позицию одного из лидеров рынка.
В этой статье я подробнее рассмотрю Cursor, его сильные и слабые стороны, а также сравню его с другими AI-редакторами кода. Это будет практический гайд, в котором я поделюсь своим опытом использования Cursor для создания to-do приложения. К концу материала у вас сложится четкое представление о том, подходит ли Cursor для вашего собственного девелоперского workflow.
Поехали.
Читать: https://habr.com/ru/articles/935966/
#ru
@big_data_analysis | Другие наши каналы
Одним из крупнейших сдвигов в современном софтверном девелопменте стало стремительное распространение AI-инструментов для написания кода. Эти решения помогают как разработчикам, так и людям без технического бэкграунда быстрее писать код, запускать прототипы и готовые приложения. Среди таких инструментов достаточно быстро привлёк внимание Cursor, почти сразу он занял позицию одного из лидеров рынка.
В этой статье я подробнее рассмотрю Cursor, его сильные и слабые стороны, а также сравню его с другими AI-редакторами кода. Это будет практический гайд, в котором я поделюсь своим опытом использования Cursor для создания to-do приложения. К концу материала у вас сложится четкое представление о том, подходит ли Cursor для вашего собственного девелоперского workflow.
Поехали.
Читать: https://habr.com/ru/articles/935966/
#ru
@big_data_analysis | Другие наши каналы