Аналитика данных / Data Study
8.48K subscribers
404 photos
38 videos
24 files
330 links
Сайт: https://datastudy.ru/
По всем вопросам: @daniildzheparov

Про аналитику и инженерию данных

Вакансии: https://t.iss.one/data_vacancy
Книги: https://t.iss.one/analyst_books
Download Telegram
💃От чего я кайфую на работе

Захотелось поделиться мыслями с вами почему я обожаю свою работу

1️⃣Смесь задач аналитики и инженерии данных
Обожаю разнообразие задач, особенно когда задача внутри себя содержит аналитику и инженерную часть. Например, когда нужно построить витрину данных, прогнать скрипт сборки локально, задеплоить все это в тестовое окружение, протестировать логику сборки и определения инкремента данных. После этого приступить к аналитике: расчет метрик, построение отчета, документация и общение с заказчиком. Обширный список задач и применение разных инструментов - это то, что не дает повязнуть в рутинных задачах 🔥

2️⃣Открытое общение в компании на "ты"
Очень круто, что в целом в IT общение на ты принято за норму и приветствуется в большинстве компаний, такое же общение выстраивается на мероприятиях/конференциях/митапах. С ужасом думаю, что где-то это работает не так, например на производствах, в гос. органах, даже в общении ассистента со стоматологом в частной клинике. Примеров вокруг меня много, слышу это от родителей, жены, друзей, что им приходится общаться в некой иерархии на работе, обращаться к руководителю по имени отчеству. В целом в этом ничего плохого нет, если выстроены нормальные человеческие взаимоотношения, но как правило руководители там чувствуют себя "начальниками" и "боссами", а от этого и коммуникация идет не на равных.

В общем коммуникация в IT на равных с взаимоуважением к каждому сотруднику - огромная ценность, которую я также обожаю

3️⃣Возможность удаленки
Конечно же это оооочень жирный плюс. Писал уже об этом много раз, еще раз подствечу в чем он заключается
🔹 я люблю долго спать (9 часов обычно, если не засиживаюсь ночью). вот эти мемы, что ты в 8:59 еще спишь, а в 9:00 сидишь уже работаешь - прямо в точку про меня)
🔹 нет чувства "обязан ехать". вспоминаю школу, когда ты должен был вставать, в любую плохую погоду и темноту утром идти до школы. сейчас чувство свободы выбора само по себе прекрасно
🔹 больше возможность путешествовать и нет привязанности к одному месту. даже если в путешествии все равно нужно работать, у тебя есть ноут и это и есть твой рабочий инструмент. опять же сравниваю с женой, что ей нужно обязательно для работы ездить в клинику, иначе ты работать не можешь.

ITшники, поддерживаете эти плюсы? Напишите в комментариях что вам нравится в своей работе. Интересно еще узнать, что нравится людям из другой профессии в работе, там явно есть свои кайфовые вещи, напишите тоже)
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍4210
Сегодня отправились в мини-путешествие в Грузию

Не верится что 3 года не выезжали зарубеж 🤔 были путешествия по России

Знатоки Тбилиси, куда порекомендуете сходить?
🔥285👍2
This media is not supported in your browser
VIEW IN TELEGRAM
За ваше здоровье, друзья 🍷
🔥397😁3👍2
Рассказываю как мы профукали самолет из Грузии

Вылет у нас стоял на 22:50 в воскресенье, выселились утром из отеля, оставили там чемоданы и пошли гулять по городу. Примерно в 17:30 сидим в парке на лавочке, едим мороженое, жене пишет подруга не задерживают ли у нас рейс, потому что в Москве в это время сильно испортилась погода.

Захожу на сайт аэропорта, чтобы посмотреть расписание, а нашего рейса в этот день не стоит. Смотрю следующий день, рейс стоит по расписанию, но вылет не наш.
Иду на сайт авиакомпании, проверить бронь. По номеру брони выдает нам другой номер рейса с вылетом в 18:35 😱 (меньше часа до вылета, а мы с мороженым в парке сидим).

Начал копать в почте письма с предупреждением об изменении рейса. И нашел, 11 марта авиакомпания написала общее письмо, даже не именно, что часть рейсов в период апрель-май будут изменены: меняют номер рейса и время вылета. Ну и наш рейс как раз попал под это)

В итоге авиакомпания заменила нам билеты с вылетом на следующий день, у них очень быстро ответила служба поддержки 👌

Меня удивило, что такие важные вещи авиакомпания сообщает только 1 раз с помощью email рассылки, хотя у них есть больше возможностей для коммуникации с клиентом (смс, мессенджеры). С точки зрения аналитики они могут также смотреть статус прочтения электронного письма в почте, а если письмо не было доставлено или открыто - отправлять повторное письмо. Ну и письмо-напоминание каждому пассажиру индивидуально тоже можно отсылать, чтобы люди не сталкивались с такими неприятными ситуациями.

Но мы время зря не теряли, отметили еще один вечер в Грузии с хачапури, шашлыком и Киндзмараули)
25🔥9👍4
Библиотеки Python для работы с базами данных и SQL-запросами

1. sqlite3
Библиотека
позволяет работать с базами данных SQLite, которые записывают и читают данные с файлов, а значит пользователю не нужно устанавливать сервер для БД, что очень удобно)

2. psycopg2
Модуль
для работы с базами данных PostgreSQL. Также позволяет все основные функции с базой данных: работа с таблицами, написание запросов и т.д.

3. mysql-connector-python
Как
уже понятно из названия, модуль позволяет подключаться к БД MySQL) Включает в себя все те же функции, что и описанные выше модули. Подробная документация доступна по ссылкам в названии модулей

4. pymssql
Модуль
позволяет подключаться к БД Microsoft SQL Server

5. SQLAlchemy
Алхимия
при работе с базами данных из python) Библиотека позволяет подключаться к различным БД. Есть множество функций: создание/изменение/удаление таблиц, извлечение/вставка данных, написание запросов, изменение данных. Библиотека позволяет работать с БД с помощью объектно-ориентированного кода, не используя при этом SQL

6. PandaSQL
Модуль позволяет расширить функционал pandas и писать SQL запросы прямо к датафреймам. Как вариант использования модуля с другими библиотеками, после подключения к БД и извлечения данных, к датафрейму можно писать запросы как будто бы к обычной таблице в БД, не используя синтаксис pandas
👍18🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Действенный способ удаленщика вытянуть в офис - переселите его в новостройку

Смотреть со звуком 🔈
😁29🔥7
Ну вы поняли, действуйте 😉
😁633
This media is not supported in your browser
VIEW IN TELEGRAM
Жиза с работы в текущее время 😂

Немного контекста - у нас миграция DWH, поэтому верификация переезда витрин идет уже несколько месяцев. Выходим на финишную прямую
😁23🔥41👍1
Привет!

Возможно вы в своих задачах сталкиваетесь или в будущем столкнетесь с такой ситуацией, когда обычный pandas будет нагревать ваш ноутбук до предела и сыпать ошибки out of memory, когда вы просто хотите запихнуть в него более тяжелую эксельку чем обычно. Я лично сталкивался с таким неоднократно.

Вполне вероятно, что вам нужно просто воспользоваться другой библиотекой для решения вашей задачи (ну или делить ваши данные на более мелкие пачки).

Статья для такого случая

Также делился материалами про библиотеку polars здесь и здесь

P.S. Не забываем про реакции , это приятно и мотивирует ❤️
36🔥14👍5
Сходил к офтальмологу проверить зрение

Зрачки на фотке угар конечно)

Зрение конечно упало, рекомендуют очки для работы 🧐

Сейчас закапали капли, вообще ничего не вижу 😅 (правда так и должно быть, их нужно для расслабления глаз на ночь будет капать)

Берегите зрение, друзья!
👍196😁4👏2
Пользуетесь ли AI (чатами, агентами, ботами, другими AI сервисами)? (можно выбрать несколько ответов)

Напишите в комментариях свои кейсы использования, очень интересно
Anonymous Poll
66%
пользуюсь на работе
67%
пользуюсь в повседневной жизни
11%
не пользуюсь
2%
не знаю что такое AI и как им пользоваться
Мысли о том как я пользуюсь AI

Увидел из голосования, что на самом деле многие пользуются достижениями AI сервисов как для повседневных, так и для рабочих задач.

У меня соотношение использования AI примерно 90%/10%, где 90% - задачи, не относящиеся к работе.

Основная функция AI в рабочих задачах: замена или дополнение привычного всего "загуглить" для быстрого поиска информации. При этом это как правило дебаг или решение ошибок в python коде или sql запросах. Т.е. вместо того чтобы вбить в обычный поиск название ошибки и искать информацию по ссылкам в интернете как ее решить, я предпочитаю сейчас эту работу поручать AI, чтобы получить описание ошибки и возможные пути решения.

А вот все остальные фишки AI как авто-дополнение/генерация кода, структурирование информации, краткие пересказы, генерация идей и другое - это все используется в задачах, относящихся к моей повседневной жизни: написание контента, развитие обучающего проекта datastudy.ru, реализация проектов и аналитических решений на заказ.

Еще недавно общались с коллегами на работе по вопросу "Стоит ли внедрять отдельную компетенцию для аналитиков по знанию и применению AI инструментов и отдельно оценивать ее"
Пришли к заключению, что
пока не стоит

1. оценивая такую компетенцию в матрице, мы можем подтолкнуть использовать AI там, где можно было обойтись без него в рабочих задачах, при этом учитывая конкретную специфику данных и corner cases, которые могут обработать только сами аналитики
2. Может быть неправильная мотивация в обучении компетенции AI у начинающих специалистов вместо того чтобы закрывать дыры знаний реально нужных hard-навыков типа sql, python, bi в рабочих задачах
3. на уровне компании нет пула AI инструментов, рекомендованных для использования и защищенных со стороны информационной безопасности
20👍1
Классная памятка организации встреч, забирайте себе в использование 😉
👍171
Рынок AI технологий так быстро развивается, что просто не успеваешь на всех ресурсах вычитать самые свежие новости в этой области, здесь хочется делиться больше своей жизнью и текущими задачами в аналитике и инженерии данных.

Поэтому решил завести отдельный канал, еще и немного автоматизировать подготовку контента для него (об автоматизации с помощью в том числе AI расскажу чуть позже).

Над названием ломал голову, думал придумать что-то интересное, звучное и в то же время лаконичное. Придумал игру слов "ИИшница", как же я был рад в этот момент.

Но стоило проверить это название, так сказать "исследовать рынок", оказывается не я один такой гениальный 😅

В общем сейчас встал вопрос: че делать с названием? Думаю доработать его или забить и оставить как есть

Ну и подписывайтесь на канал @ai_snitsa 😉
😁12👍2
Forwarded from ИИшница
OpenAI выпустил Codex CLI, open-source AI агент для терминала

Github проекта

#AI #новости #ИИшница
@ai_snitsa
👍2
Записал видео для своих учеников про автоматизацию извлечения данных с сайтов (парсинг). Завтра буду монтировать его и выложу в личный кабинет курса «Основы анализа данных».

В видео рассказываю про очень крутой и быстрый способ автоматизации чтобы ваш код работал по нужному вам расписанию, про который в интернете мало что есть.

Если пост наберет 50 🔥, опубликую видео в открытый доступ 😉
🔥1874👍3