Data Analysis / Big Data
2.83K subscribers
560 photos
4 videos
2 files
2.64K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Как ускорить дашборды в Oracle Analytics Cloud с HTTP/2. В статье раскрывают способы повышения скорости работы дашбордов в Oracle Analytics Cloud, независимо от того, используются ли публичные или приватные эндпоинты. Советы помогут улучшить общую производительность платформы.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
Тимлид, вам слово 📢 Приглашаем на митап по управлению командами

Воспользуйтесь летним затишьем, чтобы посмотреть на практику коллег, промониторить «погоду» в своей команде и, возможно, обновить стратегию работы. Обсудим дела тимлидские на офлайн-встрече TeamLead Talks в офисе Lamoda.

✔️Обменяемся опытом, разберем кейсы командного управления и выберем лучшие решения.

🍕 Наладить непринужденное общение помогут нетворкинг-разогрев, игра «IT-бункер», закуски и напитки.

Присоединяйтесь к Team Lead Talks:

📅 2 июля в 19:00.

📍Офлайн, Москва, офис Lamoda.

✏️Регистрируйтесь по ссылке, количество мест ограничено.

Реклама
О рекламодателе
Как технологии Oracle помогают раскрыть потенциал данных и ИИ

В статье рассказывается о работе Эби Джайлз-Хэйг, которая применяет технологии Oracle для развития аналитики, искусственного интеллекта и поддержки женщин в IT. Ее опыт вдохновляет на новые достижения в цифровой сфере.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
Обновление Oracle Analytics Cloud июля 2025 года добавляет генеративный ИИ для пользователей, улучшенные инструменты моделирования данных для авторов и расширенные возможности визуализации. Улучшена безопасность и интерфейс администрирования, что повышает эффективность аналитики.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
16 перемен, которые уже меняют корпоративный подход к генеративному ИИ

В 2023 году генеративные ИИ стремительно ворвались в потребительский сегмент, достигнув миллиарда долларов пользовательских расходов за рекордно короткий срок. В 2024-м, по нашим оценкам, потенциал выручки в enterprise-сегменте будет в несколько раз выше.

Пока в прошлом году потребители часами общались с новыми AI-компаньонами или создавали изображения и видео с помощью diffusion-моделей, корпоративное внедрение genAI, казалось, ограничивалось лишь очевидными кейсами и выпуском «GPT-оберток» в виде новых SKU. Скептики задавались вопросами: действительно ли genAI может масштабироваться в enterprise? Разве мы не застряли а трёх одинаковых сценариях? Способны ли стартапы вообще зарабатывать на этом деньги? А вдруг это просто хайп?

За последние несколько месяцев мы пообщались с десятками топ-менеджеров компаний из списка Fortune 500 и других лидеров enterprise-сегмента, а также провели опрос среди ещё 70 компаний, чтобы понять, как они используют genAI, как покупают решения и как планируют бюджеты. Мы были поражены тем, насколько сильно изменилась структура инвестиций и отношение к генеративным ИИ всего за полгода. Хотя у этих лидеров всё ещё остаются определённые опасения по поводу внедрения generative AI, они почти утроили бюджеты, расширили число рабочих кейсов, реализованных на меньших open-source моделях, и начали активно выводить задачи из стадии эксперимента в продакшн.

Для фаундеров это колоссальная возможность. Мы убеждены: те AI-стартапы, которые, во-первых, ориентируются на стратегические AI-инициативы корпораций с учетом их болевых точек, и, во-вторых, трансформируют сервисную модель в масштабируемые продуктовые решения, — именно они смогут захватить значительную долю нового инвестиционного потока и закрепиться на рынке.


Читать: https://habr.com/ru/articles/923630/

#ru

@big_data_analysis | Другие наши каналы
Участие Газпромбанка в Международном молодежном экономическом форуме «День будущего» на ПМЭФ

Рассказываем, как прошла дискуссия на «Дне будущего» в рамках ПМЭФ-2025 — о страхах, ошибках, первых шагах и поддержке молодых профессионалов на пути к успеху.

Читать: «Участие Газпромбанка в Международном молодежном экономическом форуме «День будущего» на ПМЭФ»

#ru

@big_data_analysis | Другие наши каналы
💊1
Сквозь тернии к апдейту: история о том, как мы обновляли стриминг ОК

Стриминговые данные — важная часть многих современных ИТ-платформ. Они активно используются в разных разделах социальной сети Одноклассники уже более 10 лет. И за это время используемый нами стриминговый фреймворк успел заметно измениться, поэтому настало время обновить его в нашем проекте. Но на пути обновления легаси-систем иногда возникают сложности.

Меня зовут Алина Шестакова. Я разработчик в команде разработки DataPlatform единой облачной платформы One-сloud. В этой статье расскажу о том, как устроен стриминг данных в ОК, а также обо всех патчах и челленджах, возникших в процессе обновления стримингового фреймворка.


Читать: https://habr.com/ru/companies/vk/articles/924650/

#ru

@big_data_analysis | Другие наши каналы
Часть 4: Mamba — State Space Models vs трансформеры

Mamba — революция в обработке длинных последовательностей! Mamba — State Space Models vs трансформеры, что лучше?!


Читать: https://habr.com/ru/articles/925416/

#ru

@big_data_analysis | Другие наши каналы
DWH без иллюзий. Три реальных кейса внедрения корпоративного хранилища в ритейле, производстве и госсекторе

Проект построения хранилища данных — это не просто внедрение технологий, а глубокая трансформация подходов к данным и аналитике, учитывающая текущее состояние процессов, стратегические цели, ресурсы и компетенции команды.

Рассказываем про индивидуальный подход как основу успешного проекта DWH и делимся реальными кейсами внедрения:

✔️ Кейс 1. Свой коннектор к Oracle: когда Debezium подвел​
✔️ Кейс 2. Миграция с Qlik: DWH между командами (в условиях командной фрагментации)​
✔️ Кейс 3. Бюрократия против DWH: проект в около-госсекторе


Читать: https://habr.com/ru/articles/925652/

#ru

@big_data_analysis | Другие наши каналы
Линеризация в офлайн-тестах: как не стереть сигнал вместе с шумом

Работаете с офлайн A/B-тестами в ресторанах? Тогда вы знаете, как шумят метрики: трафик скачет, дисперсия зашкаливает, а эффект тонет в данных.

Я, Елена Малая, и это моя третья статья об офлайн-тестах (первая здесь: "Офлайн А/Б тесты в ресторанах фастфуда"). Моя задача — анализировать данные ресторанов (меньше 1000 точек, наблюдения — ресторан-день), где рандомизация невозможна, а мэтчинг — пока единственный вариант. Сегодня разберём, как линеризация помогает снизить дисперсию для метрик вроде среднего чека (ср. чек = выручка/чеки) и почему в офлайне она требует особой осторожности.


Читать: https://habr.com/ru/articles/925666/

#ru

@big_data_analysis | Другие наши каналы
Изучение Python за 2 недели через боль и дедлайн: личная история

Изучил Python за короткий срок. Личная история. Взяли без знаний, но я смог до всяческих дедлайнов, пройдя огромное количество стресса, изучить язык программирования и даже этим спасти проект


Читать: https://habr.com/ru/articles/925744/

#ru

@big_data_analysis | Другие наши каналы
Загрузка и обработка иерархических данных из Oracle EDMCS в Fusion Data Intelligence с помощью DBT. В статье подробно описан процесс интеграции и трансформации данных, который упрощает работу с корпоративной аналитикой и повышает эффективность управления информацией.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
Настройка DBT для Fusion Data Intelligence: что нужно знать
В статье рассказывается о ключевых требованиях для запуска Data Build Tool (DBT) в среде Fusion Data Intelligence. Узнайте, с чего начать и как правильно подготовить систему для успешной работы.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисквых выдач

Что важнее: создать продукт, или доставить его до пользователя? Оба этапа необходимы. Сегодня обсудим второй. Как нам построить поисковую e-com систему.

Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку, но и настройка поисковой выдачи по запросу.

Быстро соберем поисковой MVP-сервис. Дообучим модель E5 на реальных данных от Amazon. Определим метрики качества и сравним BM25, pretrain E5 и fine-tune E5. Так же взглянем глазами с отладочной информацией и проанализируем изменения поисковых выдач.

И под конец обсудим каких технологий еще не хватает и можно добавить, если возникают соответствующие трудности.
Погрузиться в семантический поиск →

Читать: https://habr.com/ru/companies/datafeel/articles/925290/

#ru

@big_data_analysis | Другие наши каналы
Вот так подкрути геймификацию и мотивация болеть не будет

В учебнике обществознания за 9 класс есть определение экономики как науки: «Экономика — наука о том, как люди удовлетворяют свои постоянно растущие потребности в условиях ограниченности ресурсов». Точно так и в разметке — нам нужно удовлетворить свои постоянно растущие потребности в объёмах и качестве разметки, а бюджет ограничен. Помочь нам в этом может система мотивации.

Привет! Меня зовут Кузнецов Роман. Я занимаюсь разметкой и модерацией данных в Альфа-Банке. В этой статье хочу поднять извечную задачу — как мотивировать разметчиков делать много и качественно, но при этом за те же деньги (вместо разметчиков поставьте своё). Расскажу, как мы в банке нематериально мотивировали ребят, ввели геймификацию и даже повысили их творческую активность!


Читать: https://habr.com/ru/companies/alfa/articles/924768/

#ru

@big_data_analysis | Другие наши каналы
ИИ-магия: фронтенд, который думает

Автор: Кристина Паревская, Neoflex

Мы живем в мире быстро развивающихся технологий. С каждым годом frontend-разработка проще не становится. Сегодня frontend-разработчики могут не просто создавать обычные формы, но и игры, и даже запускать модели ИИ для выполнения задач, например, распознавания объекта. В данной статье будет рассказано, как на примере системы по распознаванию возгораний объекта в доме можно без backend части добавить в свое приложение модель для обнаружения пожара.

Погружаемся в тему пожаров и возгораний

Распознавание возгораний объектов на ранних стадиях является важной и актуальной проблемой в наши дни, решение которой снизит экономический риски и спасет жизни многих людей.

Такие компании, как Johnson Controls, Honeywell International, Inc., GENTEX CORPORATION, Siemens, Robert Bosch GmbH, Halmaplc, Eaton, Raytheon Technologies Corporation уделяют свое внимание исследованиям в области распознавания возгораний объектов и предлагают свои решения по устранению пожаров. Этими компаниями движут желание помочь людям, быстрое развитие беспроводных технологий и развитие строительной отрасли, охватившей весь мир.


Читать: https://habr.com/ru/companies/neoflex/articles/925926/

#ru

@big_data_analysis | Другие наши каналы
Проверка данных с Fusion Data Intelligence

FDI Data Validation позволяет сравнивать метрики между Fusion Data Intelligence и Oracle Transactional Business Intelligence для точной проверки достоверности данных. Такой подход помогает убедиться в корректности и согласованности информации.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
Oracle признан лидером в отчёте IDC MarketScape 2025 по платформам бизнес-аналитики. Компания выделяется благодаря встроенному ИИ, простоте использования и поддержке бизнес-пользователей. Oracle Analytics Cloud ускоряет принятие решений с помощью GenAI-инсайтов.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
Oracle Analytics Cloud вошла в список финалистов престижного конкурса Gartner 2025 Analytics and BI Bake-Off. Статья раскрывает, как инновационные AI-возможности OAC впечатлили жюри и зрителей, меняя представление об аналитических платформах.

Читать подробнее

#en

@big_data_analysis | Другие наши каналы
Лучшие российские нейросети аналоги чата GPT, Chat-GPT на русском: ТОП-8 нейросетей, которые дают пользоваться западными нейросетями в России (GPT o4, Midjorney, Gemini, Dalle, Deepseek и др.)

Подборка из 8 сервисов, которые позволяют использовать ChatGPT, Midjourney, DALL·E и другие нейросети в России — без VPN, с русским интерфейсом и полным доступом.

Читать: «Лучшие российские нейросети аналоги чата GPT, Chat-GPT на русском: ТОП-8 нейросетей, которые дают пользоваться западными нейросетями в России (GPT o4, Midjorney, Gemini, Dalle, Deepseek и др.)»

#ru

@big_data_analysis | Другие наши каналы
Как мы строим антифрод в анонимных крипто-свапалках: опыт и грабли

Когда речь заходит о криптовалютных свапалках и анонимных DEX, безопасность становится не просто приоритетом, а настоящим вызовом. Отсутствие централизованной модерации и KYC-процедур ставит перед разработчиками задачу создать эффективные системы, которые могут обнаруживать и предотвращать мошенническую деятельность, обеспечивая при этом минимальное вмешательство в пользовательский опыт. В этом посте я хочу рассказать о подходах и технологиях, которые мы применили для защиты анонимных крипто-платформ, таких как zixcrypto.com, и поделиться опытом разработки антифрод-системы для таких сервисов.


Читать: https://habr.com/ru/articles/926264/

#ru

@big_data_analysis | Другие наши каналы