не нужно доводить людей с админским доступом к базе данных 😅

Business intelligence и качество исходных данных

Статья про важность качества данных. Рассказано кратко и просто, без технических деталей реализации, только идеи.

Читать статью

Ищу финансового (инвестиционного) аналитика для решения кейс-задачи (уже нашел)

Привет! Есть кейс-задача по инвестиционным проектам, нужно помочь ее решить. Ниже выдержка из задания , чтобы была понятна суть что нужно сделать.

«построить для SPV  3 формы отчетности по годам (P&L, BS, CF с автоматическим расчетом потребности в кредитовании)  и рассчитать показатели эффективности (NPV /IRR) проекта в целом и персонально для акционера»


Если у кого-то есть время и желание решить задачу за 💰, напишите мне @daniildzheparov

На улице погода все чаще радует солнечными днями, настроение в такие дни просто отличное ☀️

Сейчас в моменте нет какого-то творческого настроя писать технический контент в канал, хотя идеи для постов записаны, даже в процессе есть наброски полноценных статей на Хабр.

Но пока стараюсь уделить больше внимания своему ментальному и физическому развитию. Уже 2-й месяц хожу в зал, процесс даже стал приносить удовольствия и мысли «а когда уже наконец в следующий раз на тренировку».

Также сейчас стараюсь разобраться у себя в голове и ответить на вопрос - куда и как я хочу развиваться дальше? В плане аналитики и предпринимательства.

Исходя из этого формируется план дальнейшей работы над курсами, набором групп на обучение. Хочу максимально ближайшие месяцы посвятить своему здоровью, мозгу и долгосрочным планам на 3-5 лет

Поделился немного своими мыслями) Вообще в начале был порыв написать просто пост-благодарность вам, своим подписчикам, за то что вам интересен этот канал, за ваше проявление активности и поддержки, за отклики в моменты когда я ищу человеческие ресурсы. Спасибо вам!

Довольно познавательная статья про подбор системных аналитиков взглядом рекрутера


Читать статью

А вы заметили как стало много предложений на рынке от компаний формата «быстрый оффер»?
Как думаете, что сейчас на рынке труда происходит?

Пример ретеншн-анализа покупки автостраховок

Читать статью

Риски работы на фрилансе

Долго думал, писать этот пост или не писать, так как для меня тема не очень приятная. Но решил написать, чтобы подсветить свою историю для вас, чтобы возможно обезопасить вас от подобных неприятностей.

Мне не заплатили за проделанную работу на проекте

А теперь давайте по порядку. Я начал сотрудничать по одному проекту еще в сентябре в качестве аналитика. Проект заключался в разработке хранилища данных и аналитических отчетов для 2-х крупных селлеров на маркетплейсах.
Структура работы была такая:
📍я - аналитик на фрилансе
📍Андрей - человек, который меня нашел и пригласил на проект. он руководитель этого проекта, реализатор и звено по общению с заказчиками
📍заказчики - 2 отдельные компании-селлеры на маркетплейсе

По оформлению рабочих отношений
У меня ИП, у Андрея ООО, мы подписали договор об оказании услуг. выплаты по часовой ставке за проделанную работу на банковский счет.

Про процесс работы
Мы работали в поте лица над множеством задач. У меня в основном были задачи по части SQL и построению дашборда. Андрей общался с заказчиками, выполнял также технические задачи на SQL. Общение было на одном уровне, каждый понимал что и зачем делает.
В процессе работы с сентября по конец октября было 2 выплаты за проделанную работу с интервалами примерно в месяц.
С ноября задач становится еще больше, мне и Андрею приходится работать поздними вечерами и в выходные, т.к. у меня есть основная работа, с которой дополнительные проекты не должны пересекаться.
Мы даже начали искать новых людей в команду, здесь я подключил своего выпускника с курса нам на помощь, оплата также почасовая по факту проделанной работы.

Ноябрь, декабрь работаю в убойном режиме над задачами, трачу много времени, а значит и сумма на оплату набегает не маленькая.
В середине декабря пишу Андрею что пора сделать расчет по проделанной работе и двигаться дальше. На тот момент с предудущей оплаты прошло уже 1.5 месяца.

Через неделю (20-е числа декабря) Андрей возвращается с неприятной новостью, что со стороны заказчика происходит задержка с расчетом, поэтому и с его стороны он не может со мной расчитаться.
Оооокей, на словах ситуация должна решиться до конца декабря или после новогодних праздников.
Решаем на этот момент поставить на паузу всю работу, пока не решиться вопрос с оплатой уже сделанной работы.

Ка вы понимаете, после таких новостей настроение думаю каждого человека , не только мое, резко портится. Впереди праздники, вроде как отдых, но вопрос с оплатой моей работы подвисает в воздухе.

Чуть позже в декабре Андрей возвращается с новостями о том, что заказчик не хочет больше продолжать работу над проектом, также отказывается оплачивать сделанную работу. "Не устраивает качество реализованных инструментов" - такой аргумент заказчика. При этом на все подсвеченные в моменте работы проблемы с качеством данных и убивания кучи времени на исправление этого внимание не обращается. Здесь сразу играет правило trash in -> trash out.
В эти разборки я не лезу, т.к. прямого контакта с заказчиком у меня нет, я являюсь лишь наемным специалистом в команде Андрея.

Проблемы с оплатой моей работы
В январе выясняется, что оба заказчика отказались работать дальше. Андрей на мои просьбы заплатить мне за мою работу, либо выплачивать сумму небольшими частями раз в месяц, отвечает "денег нет, я ищу инвестора для продолжения проекта".
Окей, после созвона договорились что мы ждем конца февраля, когда решится вопрос с инвестированием. Когда вопрос решится, мы должны согласовать выплату суммы долга за мою работу частями.
Наступает отведенная дата - тишина со стороны Андрея. Я как попугай опять пишу "когда сможешь начать выплачивать сумму?", на что получаю ответ формата
"Инвестор выделил ограниченный бюджет и пока по своим обстоятельствам финансирует половиной обещанного объема. На горизонте 2-3 недель ожидаю нормализации финансирования, в этот момент планирую начать рассчитываться. Пока увы другой возможности нет. Я сегодня работаю один и у меня тоже есть обстоятельства."

Уже апрель, а в ответ я до сих пор слышу что даже маленькими траншами мне не могут начать оплачивать долг.

Как вы понимаете, для меня в этой ситуации мало чего приятного. Да и для Андрея я уверен тоже. Но с моей стороны это выглядит так, как будто меня без всякого ограничения по времени будут кормить "завтраками" и ожиданиями чего-либо еще.

Эта ситуация длится уже 3 месяца, и никто не знает сколько еще будет длится. Это влияет на все аспекты в жизни из-за настроения, заряда энергии, лишней раздражительности.

Опустить ситуацию на самотек не могу, я привык платить за проведенную работу и хочу такого же отношения к себе.

Решил что до июня буду ждать решения вопроса в досудебном порядке, но если ничего не сдвинется с мертвой точки - пойду через суд.

Какие уроки я вынес для себя

📍Всегда нужно заключаться договор, без него даже не стоит начинать. Это ваша защита в случае спорной ситуации
📍Нужно договариваться на короткие периоды оплаты работы и самому следить за ними. Если срок подошел и оплаты нет - ставим все на паузу до получения оплаты
📍Работа на себя - риск. Старайтесь фиксировать все свои договоренности, переписки. Берите обратную связь о своей работе после того как работа выполнена, это процесс приемки. Приняли работу- будьте добры заплатить.
📍Если работаешь с командой и перед тобой есть обязательства оплаты из работы, должна быть «кубышка» чтобы покрыть все свои обязательства в случае непредвиденных обстоятельств.


Надеюсь эта история поможет вам избежать подобных ситуаций и научиться на чужих ошибках, не повторяя их.

Анализ навыков data-специализаций в вакансиях HH.ru

Уже много времени прошло с поста, в котором поделился с вами идеей проекта по анализу навыков на основе данных вакансий. Мне было интересно проанализировать вакансии и сделать анализ, на каких позициях и на каком уровне требуют те или иные навыки, также пост про это набрал очень много реакций.

Дошли руки все таки довести этот мини-проект до какой-то логической точки и оформить свою работу в виде статьи.
Переходите, читайте, там есть все шаги работы с ссылками на репозиторий с кодом, а также на получившийся дашборд.

Буду очень рад, если поделитесь статьей и дашбордом со своими коллегами, знакомыми, ну и в публичных каналах/чатах на эту тему 😉

Читать статью

Desktop версия дашборда
Mobile версия дашборда

А у вас есть пушистые помощники на рабочем месте?)

Мне Маркиза постоянно напоминает о себе, чтобы не перерабатывать, а то кошке внимания меньше достается 😅

Привет!

Зарегистрировался сегодня как участник конференции Arenaday. Основная тема конференции - разбор успешных кейсов построения DWH с использованием разных технологий, таких как Greenplum, Hadoop, ClickHouse ...

Посмотрел по программе, что будет много интересных докладов от больших компаний, будут рассказывать про свои подходы построения платформ данных

Конференция проходит в гибридном формате: онлайн + офлайн. А это значит, что в офлайне будет много различных активностей помимо докладов:
- Нетворкинг
- Новости про технические продукты на базе Greenplum 7, Impala, Lake House, Cloud
- Открытые дискуссии по проблематике проектов, реализованных в облаках
- Обсуждение трендов работы с данными и обзор состояния рынка данных в России.

Мероприятие бесплатное, только успейте зарегистрироваться, особенно если хотите попасть в офлайн формате 😉

Я всегда рекомендую своих сильных и замотивированных найти работу учеников работодателям. Обычно это рекомендация внутри своей же компании, либо рекомендация рекрутерам, которые пишут мне в личку.

Подумал, а почему бы не устроить формат сотрудничества с разными компаниями, в которые нужно обеспечивать приток классных ребят, готовых развиваться дальше в сфере Data.

Какая польза для компаний:
✅ сильные junior+ специалисты (иногда даже middle, а с будущим курсом буду middle точно готовить). ребята знают на практике как работать с SQL, Python, Git, BI (Superset, Datalens), умеют решать аналитические задачи, а не просто писать код в песочнице и тренажеры с автопроверкой ответов

✅ упрощенный поиск и сокращение расходов на найм. эту схему используют крупные корпорации и делают коллаборации с ВУЗами, онлайн-школами. Это не подготовка ребят к конкретной компании, а возможность компании получить быстро список отличных кандидатов, не тратя ресурсы на скрининг с внешнего рынка

Какая польза для учеников:
✅ сократить время на поиск работы. в среднем поиск занимает 1-1.5 месяца после курса, с компаниями-партнерами это время может сократиться в 2 раза при желании.

✅ контакты сильных технологических компании на рынке. как правило junior специалистов могут себе позволить нанимать технически устоявшиеся компании. как результат, в компании есть специалисты разных уровней. в таком коллективе новичкам будет проще первое время пройти адаптацию и вырасти на дальнейшие грейды.

Какая польза для Data Study:
✅ повышение количества учеников на входе желающих найти работу и на выпуске нашедших работу за короткий срок. упрощение поиска работы учеников - одна из моих задач. с одной стороны для этого мы изучаем hard навыки, чтобы ученики были в себе уверенны технически. сейчас пришла пора второй стороны - сотрудничество с работодателями.

✅ сделать Data Study узнаваемым учебным проектом среди работодателей, которые будут сами спрашивать "когда следующий выпуск учеников можно брать на работу?!" 😅

✅ мне приятно получать от учеников сообщения с их успехами в поиске работы и получении офферов. получается делаю это в том числе для моего личного счастья) 😊

P.S.: это не значит никаких 100% гарантий трудоустройства после обучения. У всех в любом случае будет свой путь трудоустройства, но который мы вместе попробуем упростить и сделать полезным видом сотрудничества 👍

Завтра подумаю как такой колаб оформить удобно для компаний и учеников, а сейчас пока просто решил зафиксировать мысли, чтобы не убежали)

Функции и Хранимые процедуры SQL

🔎 Функция SQL предназначена для выполнения логики над данными с учетом входных параметров функции и возвращения одного значения, которое может быть либо скалярным (например, строка, число), либо табличным (набор строк). Функции обычно вызываются как часть выражения в SQL запросах и могут использоваться, например, для вычисления значения колонки, условий фильтрации в WHERE или как часть JOIN. Т.е. функции обычно включают в себя выполнение SELECT запросов, либо применение логических, математических функций с заданными параметрами.

🔎 Хранимая процедура включает в себя набор инструкций SQL, который сохранен под определенным именем и выполняется как единая операция. Хранимые процедуры могут принимать входные параметры, выполнять комплексные операции, включать логику управления потоком (например, условные конструкции IF и циклы LOOP), выполнять операции DML (create, insert, delete).

✏️ Сравнение функций и хранимых процедур:
1. Возвращаемые значения:
- Функции: Всегда возвращают значение. Функция может возвращать одно значение (скалярное) или набор строк (таблицу). Возвращаемый тип данных должен быть указан при определении функции.
- Хранимые процедуры: Не обязательно возвращают значения. В PostgreSQL, процедуры могут возвращать результат через выходные параметры (OUT), но они могут также быть использованы для выполнения операций без возвращения данных.

2. Вызов:
- Функции: Могут вызываться внутри SELECT запросов, либо вызываться как результат самого запроса, например SELECT название_функции()
- Хранимые процедуры: Вызов хранимой процедуры выполняется командой CALL название_процедуры()

3. Транзакции:
- Функции: Обычно выполняются внутри транзакции вызывающего запроса и не могут управлять транзакциями самостоятельно (не могут выполнять команды COMMIT и ROLLBACK).
- Хранимые процедуры: Могут включать команды управления транзакциями. Это позволяет процедурам выполнять несколько транзакций в рамках одного вызова.

4. Использование:
- Функции: часто используются в запросах SQL как часть выражения в SELECT, WHERE или JOIN и для вычислений, которые требуют возвращения результата.
- Хранимые процедуры: чаще используются для выполнения набора действий, которые могут включать несколько разных SQL операций, включая изменение схемы, обновление данных, управление пользователями и т. д.

Статьи на эту тему:
📍 Функции и хранимые процедуры в SQL: зачем нужны и как применять в реальных примерах
📍Документация функций PostgreSQL
📍Документация процедур PostgreSQL
📍Stored Procedure vs Function in PostgreSQL

Всем привет!

Недавно писал мысли про сотрудничество с разными компаниями в рамках вакансий, стажировок для моих студентов Data Study.

Первый шаг - запуск открытого канала с вакансиями в области Data

Я решил запустить канал с вакансиями @data_vacancy, в котором в удобном, стандартизированном формате будут публиковаться вакансии и стажировки. Этот канал для работодателей и соискателей в области Data вакансий:
📍Аналитик данных
📍Инженер данных
📍DWH аналитик/разработчик
📍BI аналитик/разработчик
📍Data Scientist
📍ML/AI разработчики
📍Менеджерские/руководящие позиции в Data проекты

Для работодателей
Чтобы опубликовать вакансию в канале, заполните форму в нужном формате, после заполнения вакансия опубликуется автоматически в ближайшее время.

Всем успешного поиска!
P.S. делитесь этим каналом со своими коллегами, знакомыми, друзьями, таким образом в нем будут собираться все самые крутые и актуальные вакансии 😉

Немного спойлерну как прошел сегодняшний вечер 🔥

Завтра распишу подробней со своими эмоциями

Привет!
Вчера ученики 8 потока курса "Основы анализа данных" защитили свои проекты, успешно завершили обучение и некоторые уже монетизировали свои знания 🎉

Каждый раз планка проектов поднимается все выше и выше, у ребят получились очень разносторонние и технически проработанные проекты. Расскажу про парочку ⤵️

📍Разработка BI-отчета для сети фотостудий на основе данных CRM-системы
Анастасия в процессе обучения решила развиваться в сторону реализации проектов для заказчиков, и в качестве выпускного проекта реализовала уже работающий прототип
1. реализовала интеграцию с CRM системой для получения данных по API
2. создала эффективную модель данных в Postgres для хранения данных из CRM и других источников, разработала витрину для аналитики
3. разработала прототип дашборда в Superset

✅ Самое важное - этот проект является полноценным заказом от владельца фотостудий и Анастасия уже получила за него предоплату!
А сейчас у нее на очереди уже есть следующий проект и заказчик, верю в Анастасию и желаю ей успехов! 😃


Накидайте 🔥 и в следующем посте расскажу про еще один крутой проект с применением GPT

Следующий проект ученика ⤵️

📍Генерация кратких обзоров статей на основе полного текста
Проект Алёны также имеет уже конечный продукт и дальнейший потенциал развития. Идея с одной стороны очень простая, но широко применимая в разных областях. Из полных текстов зарубежных статей готовить краткий пересказ с использованием GPT и публиковать посты в телеграм-канал.

1. реализован парсер сайта с текстом статей
2. статьи сохраняются в базу данных
3. используется API и разработанный промпт GPT для создания короткого пересказа и перевода с английского на русский
4. с помощью API бота в telegram реализован постинг этих статей в канал @NewsSummariesHub

✅ вы наверняка сталкивались с сервисами разных компаний по подготовке краткого пересказа по тексту или видео (в том числе в Яндекс Браузере), а значит это пользуется спросом и может быть применено для разных задач: от автоматического ведения канала в телеграм с интересными новостями до задач оптимизации документооборота в компаниях

Подписывайтесь на канал Алёны с автопостингом интересных статей @NewsSummariesHub
Ей будет приятно и появится дополнительный стимул продолжать развивать проект 😉

Накидайте тоже 🔥

И самая Важная Информация для Вас! 🥳

Если вы не хотите оттягивать время до набора в следующий поток, хотите уже сейчас начать погружаться в Аналитику Данных, получать первые заказы на фрилансе и первые офферы от компаний - то есть возможность получить онлайн курс Основы Анализа Данных уже сейчас по очень выгодной цене 😉

35 онлайн уроков по темам:
✔️Теория Баз данных,
✔️Модели данных,
✔️Хранилища Данных,
✔️ETL/ELT,
✔️SQL
✔️Python
✔️BI и Визуализация данных
✔️Git, Jira/Confluence/Notion
✔️Практические домашние задания
🎁Дополнительный урок про поиск работы и составление резюме

По окончанию курса у вас будут все знания и инструменты для того, чтобы осуществить проекты, которые выполнили ребята выше, появится возможность устроиться на позицию Аналитик данных (junior) и вы сможете начать выполнять проекты от заказчиков 🔥

Только до 28 апреля цена 25000 22 000 ₽ 📆

Не откладывай на потом, то что можешь сделать сейчас ⤵️
https://datastudy.ru/1#rec485669383