Аналитика данных / Data Study
8.46K subscribers
404 photos
38 videos
24 files
329 links
Сайт: https://datastudy.ru/
По всем вопросам: @daniildzheparov

Про аналитику и инженерию данных

Вакансии: https://t.iss.one/data_vacancy
Книги: https://t.iss.one/analyst_books
Download Telegram
Автоматизируем парсинг данных с сайта на Python

В видео рассматриваем 3 шага парсинга данных на примере получения статей с сайта techcrunch.com:

1️⃣ получение данных с сайта с помощью requests и beautifulsoup и преобразование в pandas dataframe
2️⃣ загрузка полученного датафрейма в таблицу базы данных PostgreSQL
3️⃣ автоматизация первых 2-х шагов с помощью Cloud Functions

Уверен, что большинство из вас раньше не слышали или не использовали Cloud функции для своих задач, поэтому 3️⃣ пункт из видео будет для вас очень полезным. Это позволяет избавиться от отдельных cron-джобов или ETL оркестраторов типа Apache Airflow, они для таких целей излишни.

Для аналитиков, которые сталкиваются с самостоятельным выполнением инженерных задач, например автоматизировать свой код, описанный способ поможет не сталкиваться с настройкой отдельной виртуальной машины и использования командной строки) Еще больше таких решений буду описывать для аналитиков-инженеров, чтобы выдать вам максимальный багаж знаний на стыке аналитических и инженерных задач 😉

В видео кстати не рассказываю, как дальше сделать правильное хранение и обработку полученных данных, чтобы например не записывать одну и ту же статью несколько раз, получать уведомления об успешности парсинга и записи данных. Подумайте как это можно реализовать)

▶️ YouTube
▶️ VK Video
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2712
Мой ученик вернулся с классной новостью - получил свой первый оффер и теперь работает аналитиком в game dev. компании!

Ваше упорство в обучении приводит к заслуженным результатам в конце 😉

Давайте порадуемся за Тимофея 🔥

#кейс
🔥45👏9👍61
Домашний офис стал уличным на вечер)
🔥269
Forwarded from ИИшница
Теперь ИИ-ассистентом можно пользоваться прямо внутри Jupyter Notebook в VS Code

После обновления Visual Studio Code в ноутбуке заметил появление кнопки "Generate", которая позволяет писать промпт-запросы для генерации и изменения кода прямо в ячейках ноутбука. Ну кайф прям, главное пользоваться с умом и пониманием 😃👨‍💻

#полезное #инструменты #ИИшница
@ai_snitsa
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥221
Привет! Не многие из вас знают, что я начинал свой «блогерский» путь сначала там, где вы привыкли смотреть сторис и рилс. Потом понял, что мой формат контента и технические посты проще и быстрей писать текстом в телеге, чем оформлять в сторис или в обрезанные по объему посты в ленте.

Сейчас формат превратился в гибридный:
- технические посты и все про аналитику здесь
- истории из поездок и просто жизни в сторис и ленте с фотками

Сейчас я увлекся новым для себя направлением - видеосъемкой. Для меня это новое направление, которым я вдохновляюсь все больше и больше при просмотре YouTube-блогеров про путешествия (например Илия Воскресенский, Vadim Key).

Мне захотелось больше снимать свою жизнь, наши поездки, красивые места и просто яркие моменты жизни.

Это я буду делать через YouTube, сторис и рилс в известной вам сети) Здесь такого контента будет думаю не больше чем сейчас, а останется фокус на техническую составляющую, развитие и карьеру в аналитике и инженерии данных.

Кому интересна та самая вторая часть моей жизни, которой здесь нет, очень буду рад вашей активности и подписке на меня по нику @daniil.dzheparov

P.S. ну и лайкните этот пост и новый рилс там «Мое утро удалещника», буду учиться снимать красивые кадры с вашей обратной реакцией и поддержкой 😉
🔥26👍104
Привет!
Рассказывал вам здесь про инструмент buildin.ai, который использую сейчас вместо Notion для формирования планов, заметок, списков задач, документации и всего подобного. Недавно обнаружил, что появилось приложение на iOS, сейчас стало еще удобней пользоваться 👌🔥
🔥9👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Ну что вы, заряжены на короткую рабочую неделю?)
😁11🔥5
Во вторник звонили мошенники

Около 8 утра позвонил телефон, женщина представилась работником налоговой. Сказала, что есть какие-то проблемы с декларацией и учетом доходов в этом году, т.к. работодатель не передал нужные данные.

Чтобы не было проблем со штрафами и блокировкой счетов сказала нужно записаться уже сейчас в налоговый орган, чтобы написать объяснительную и предоставить недостающие документы.
Записывать меня хотела прямо по телефону, для этого попросила продиктовать ИНН или СНИЛС. На ответ, что сам запишусь ответила, что самому не получится, ну и что-то в таком духе чтобы я не сорвался со звонка.

Я был сонный, они меня разбудили своим звонком, но ничего им диктовать не стал. Кто-бы что не говорил, но когда с таким сталкиваешься, то сомнения по поводу мошенничества конечно появляются сразу, но почему-то не получается прямо сразу с первых их фраз прервать этот развод.

В последние месяцы слышал уже 2 разные истории мошенничества:
1. рассылка от незнакомых людей а телеграм, если открыть ссылки, ботов, можно попасть на взлом аккаунта и вымогательство денег, чтобы мошенники не отправляли deep fake твоим коллегам, друзьям

2. другая схема:
- звонок с явными флагами о мошенничестве (человек здесь понимает, что ему звонит мошенник, именно такая цель звонка)
- второй звонок якобы от полиции/МВД/ФСБ, что они в курсе, что с вашими счетами пытались что-то сделать, взломать вас и подставить. И якобы чтобы защитить свои средства, нужно выполнить инструкции этого человека из органов.
- ну и здесь уже на панике и доверии/ не понимании что происходит начинается раскрутка для разглашения своих перс. данных, взлома Госуслуг, доступа к банкам или действия для добровольного перевода ваших средств на якобы безопасные счета

Решил рассказать эту историю и другие примеры, чтобы по возможности предостеречь вас от мошенничества.

Пожалуйста, будьте аккуратны
❗️не диктуйте никогда никому свои персональные данные по телефону
❗️не говорите никогда никому коды из смс для подтверждения входов и операций в любых приложениях
❗️соблюдайте правила информационной безопасности в Интернет

Всех обнял и пожелал хороших выходных 🙂
👍3711🔥6
С Днём Победы!

Сходили на фестиваль военных песен, зал встает, плачет, действительно «праздник со слезами на глазах».

В дороге недавно слушали произведение Шолохова «Судьба человека». Трагичный тяжелый сюжет, но очень рад что послушали в преддверии праздника, с прочтения в школе оказывается помнил только пару моментов без деталей. Можете тоже послушать или посмотреть фильм
21🔥5👍4
This media is not supported in your browser
VIEW IN TELEGRAM
Признавайтесь, кто как я после праздников вспоминал пароль от ноутбука?)
😁28
Сколько часов проводите в телефоне

Немного аналитики из жизни. Сегодня стало интересно менялось ли как-то пользование телефоном у меня на праздниках и в рабочие дни. По ощущениям на праздники проводил меньше времени в телефоне. Гипотеза подтвердилась, но не в среднем значении, а если опуститься до конкретных категорий. Среднее значение как можете заметить завышают дни поездки Москва-Краснодар и обратно, где приложение Яндекс карт накрутило по 11 часов экранного времени.
По социальным сетям на праздники в среднем в 2 раза экранное время падало. Все таки хорошо на свежем воздухе время проводить)

Пишите в комментариях какие у вас показатели, будем анализировать 🧐
👍103
Гоу на Aha!25

29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году программа расширена на 2 дня.

Ключевые темы:
🔹 Интеграция LLM, ML и AI в цифровые сервисы
🔹 Современные подходы к A/B-тестированию
🔹 Оцифровка пользовательского опыта
🔹 Применение машинного обучения в управлении продуктом
🔹 Математическое мышление и поведенческая экономика

На сцене — топ-эксперты из Т-Банка, Яндекса, Авито, OZON, Альфа-Банка и других крупнейших компаний Рунета и СНГ: Виктор Кантор (MLinside), Кевин Ханда (Uzum), Сергей Веренцов (EORA), а также профессора и кандидаты наук из ИТМО, РЭШ, Центрального университета.

Конференция в первую очередь нацелена на продуктовых менеджеров и аналитиков, владельцев продуктов, CPO, CDO, ML-разработчиков. Программа будет полезна как новичкам, так и экспертам.

📍 МГУ, кластер «Ломоносов» (Раменский бульвар, 1)

Программу можно посмотреть здесь, я уже отметил для себя интересные доклады. Ближе к конференции напишу пост с докладами, которые пойду слушать.

Для вас, мои дорогие подписчики, действует промокод DATASTUDY10 на скидку 10%

Билеты — на сайте!

Спишемся ближе к конференции и кто захочет пообщаться, встретимся 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥43
Делюсь ресурсом для изучения SQL, а по ссылке можно скачать шпаргалки по sql: по JOIN, оконным функциям, стандартным функциям работы - https://learnsql.com/tags/cheat-sheet/

Или взять обобщенную по анализу данных с самыми простыми примерами работы с данными
👍216🔥1