On-premise или Cloud для Хранилища Данных?

Сегодня ученица на курсе написала такой вопрос. Решил поделиться ответом не только в чате учеников, но и здесь ⤵️

Выбор On-premise или Cloud решения зависит от бизнес-потребностей компании и множества других факторов:
📍какими данными компания обладает,
📍какие объемы данных нужно хранить,
📍нефункциональные требования к хранилищу данных (безопасность, отказоустойчивость, надежность...)
📍выделяемый бюджет

➕плюсы облачного решения:
- быстро настраивается, т.к. есть уже готовые продукты в облаке
- не нужно держать большую команду инженеров для настройки и поддержки серверов
- в зависимости от нужных ресурсов может быть более выгодно чем покупать свой сервер и думать где его установить. некий pay as you go

❌ минусы облачного решения:
- зависимость от вендора (облачного провайдера). все сбои вендора влияют на тебя. лишняя прослойка поддержки между компанией и вашим техническим решением
- ограниченные ресурсы предоставляемых продуктов. т.е. если у вас есть много данных или нужны большие вычислительные мощности, они могут не обеспечиваться лимитами облака
- не все данные можно безопасно хранить в облаке, либо компании просто не готовы взять риски чтобы положить конфиденциальные данные в облако. хоть и провайдеры имеют лицензию на хранение конфиденциальных данных (паспортные данные например), но здесь нужно юридически проверять можно ли хранить например данные банковской тайны

➕плюсы on-premise решения ("свой купленный железный сервер"):
- в первую очередь решение всех минусов облака)
- неограниченное количество ресурсов для масштабирования (покупай ресурсы сколько хочешь на свой сервер)
- дается возможность хранить любые данные внутри сети компании, НО за безопасность данных отвечает сама компания и никто больше
- on-premise обычно быстрее работает, опять же зависит от ресурсов сервера, но еще важно что сервер стоит обычно где-то недалеко (возможно прямо в центральном офисе), что влияет на скорость работы

❌ минусы on-premise
- обычно это дорого и платить нужно сразу большую сумму в моменте (даже для небольших компаний стоимость может исчисляться десятками млн. рублей)
- своя команда инженеров для настройки и поддержания работоспособности
- ответственность за все ложится на плечи компании и команды инженеров в том числе (информационная безопасность, доступы, настройки сети, безопасное хранение данных)

Радовать менеджеров - работа технарей 😉

Ребята из HRData собрали в одном месте все ресурсы по data и продуктовой аналитике, включая телеграм -каналы, экспертов, YouTube-каналы, подкасты. Данные собирали исходя из опросов аналитиков, чтобы собрать такую единую базу знаний. Молодцы, респект 👍
Приятно, что мой канал туда тоже включен)

Ссылка на таблицу

интересно, только в консалтинге джунов за сеньоров продают… 😅

Питер Брюс, Эндрю Брюс / Практическая статистика для специалистов Data Science

"Книга рассчитана на специалистов в области Data Science, обладающих некоторым опытом работы с языком программирования R и имеющих предварительное понятие о математической статистике. В ней в удобной и легкодоступной форме представлены ключевые понятия из статистики, которые относятся к науке о данных, а также объяснено, какие понятия важны и полезны с точки зрения науки о данных, какие менее важны и почему. Подробно раскрыты темы: разведочный анализ данных, распределения данных и выборок, статистические эксперименты и проверка значимости, регрессия и предсказание, классификация, статистическое машинное обучение и обучение без учителя."

Скачать книгу

Сегодня в голову пришла идея для реализации одной интересной работы - разработка AI-ассистента для проверки домашних работ учеников на курсе с обратной связью. Интересно будет получить результат чтобы AI не только сверял задание с правильным и отмечал "верно" или "не верно", но чтобы еще давал развернутый комментарий по улучшению или оптимизации решения.

Например, бывают кейсы, что задание решено верно, но стиль и формат написания SQL запросов можно улучшить. Или одна и та же задача может быть решена разными способами, тогда AI в обратной связи может указать другой способ решения.

В общем кажется интересным опыт создания такой штуки для своего курса, т.к. все работы я проверяю сам и вижу как должен выглядеть весь процесс от и до.

Сомневаюсь только что даже при успешном результате такой ассистент будет внедрен полностью вместо ручной проверки. Потому что все таки живая обратная связь более информативна и более детальна, плюсом бывают моменты, когда прямо в задании ученики задают вопросы, на которые тоже нужно давать ответ.

Думаю начну делать такой проект в рамках обучения prompt-инжинирингу как вспомогательного ассистента для курсов Data Study и потестируем его вместе с учениками/выпускниками

Дорогие девушки, поздравляю вас с 8 марта! 🌷🌷🌷🌷🌷

Желаю вам тепла, заботы, внимания, успехов в достижении своих целей и профессионального развития!

Любите и будьте любимы 😉

не нужно доводить людей с админским доступом к базе данных 😅

Business intelligence и качество исходных данных

Статья про важность качества данных. Рассказано кратко и просто, без технических деталей реализации, только идеи.

Читать статью

Ищу финансового (инвестиционного) аналитика для решения кейс-задачи (уже нашел)

Привет! Есть кейс-задача по инвестиционным проектам, нужно помочь ее решить. Ниже выдержка из задания , чтобы была понятна суть что нужно сделать.

«построить для SPV  3 формы отчетности по годам (P&L, BS, CF с автоматическим расчетом потребности в кредитовании)  и рассчитать показатели эффективности (NPV /IRR) проекта в целом и персонально для акционера»


Если у кого-то есть время и желание решить задачу за 💰, напишите мне @daniildzheparov

На улице погода все чаще радует солнечными днями, настроение в такие дни просто отличное ☀️

Сейчас в моменте нет какого-то творческого настроя писать технический контент в канал, хотя идеи для постов записаны, даже в процессе есть наброски полноценных статей на Хабр.

Но пока стараюсь уделить больше внимания своему ментальному и физическому развитию. Уже 2-й месяц хожу в зал, процесс даже стал приносить удовольствия и мысли «а когда уже наконец в следующий раз на тренировку».

Также сейчас стараюсь разобраться у себя в голове и ответить на вопрос - куда и как я хочу развиваться дальше? В плане аналитики и предпринимательства.

Исходя из этого формируется план дальнейшей работы над курсами, набором групп на обучение. Хочу максимально ближайшие месяцы посвятить своему здоровью, мозгу и долгосрочным планам на 3-5 лет

Поделился немного своими мыслями) Вообще в начале был порыв написать просто пост-благодарность вам, своим подписчикам, за то что вам интересен этот канал, за ваше проявление активности и поддержки, за отклики в моменты когда я ищу человеческие ресурсы. Спасибо вам!

Довольно познавательная статья про подбор системных аналитиков взглядом рекрутера


Читать статью

А вы заметили как стало много предложений на рынке от компаний формата «быстрый оффер»?
Как думаете, что сейчас на рынке труда происходит?

Пример ретеншн-анализа покупки автостраховок

Читать статью