Как писать SQL-запросы прямо в Jupyter Notebook
Аналитики, инженеры данных или Data Scientисты часто могут встретиться с задачей быстрого исследования данных и каких-либо ad-hoc запросов.
Представим, что наши необходимые данные лежат в Базе Данных или в Хранилище Данных.
Для доступа к данным можно воспользоваться SQL, например зайти в DBeaver или другой GUI и написать необходимые запросы.
❓Но что нам делать, если нужно достать данные из базы и "покрутить" их с помощью Python?
Для этого есть разные варианты подключения к БД, считывания данных и обработка их на стороне питона.
Сегодня расскажу про один из самых быстрых способов
Что нужно сделать
1. установить библиотеку ipython-sql
2. в ноутбуке загрузить расширение (%load_ext sql)
3. подключиться к нужной базе данных
4. писать нужные SQL запросы прямо в ноутбуке и сохранять их в датафрейм pandas при необходимости
Буквально 2 строчки кода для загрузки расширения, подключение к базе и уже можно писать на SQL прямо в ноутбуке 🔥
Аналитики, инженеры данных или Data Scientисты часто могут встретиться с задачей быстрого исследования данных и каких-либо ad-hoc запросов.
Представим, что наши необходимые данные лежат в Базе Данных или в Хранилище Данных.
Для доступа к данным можно воспользоваться SQL, например зайти в DBeaver или другой GUI и написать необходимые запросы.
❓Но что нам делать, если нужно достать данные из базы и "покрутить" их с помощью Python?
Для этого есть разные варианты подключения к БД, считывания данных и обработка их на стороне питона.
Сегодня расскажу про один из самых быстрых способов
Что нужно сделать
1. установить библиотеку ipython-sql
2. в ноутбуке загрузить расширение (%load_ext sql)
3. подключиться к нужной базе данных
4. писать нужные SQL запросы прямо в ноутбуке и сохранять их в датафрейм pandas при необходимости
Буквально 2 строчки кода для загрузки расширения, подключение к базе и уже можно писать на SQL прямо в ноутбуке 🔥
🔥41👍11❤9
docker_cheatsheet.pdf
545 KB
Шпаргалка по командам Docker с официального сайта
Очень удобна в использовании, есть все основные команды CLI для работы с образами, контейнерами и хранилище образов Docker Hub
Сохраняйте себе 😉
Очень удобна в использовании, есть все основные команды CLI для работы с образами, контейнерами и хранилище образов Docker Hub
Сохраняйте себе 😉
👍7
Привет!
Замечаю за собой в последние дни упадок энергии. Очень сильно настроение зависит от погоды.
Во время весенней релокации из холодной Москвы в солнечную Турцию желание что-то делать выросло в 10 раз. Хотелось бы на Кипр уехать, но из-за очной учебы сейчас не получается(
Планирую летом на этим подумать 😉
Некоторые мои ученики релоцировали, часть переехали своими семьями. Благо работа в IT аналитиком данных на удалёнке это позволяет сделать 🔥
Сейчас еще в на личных консультациях с 3-мя учениками готовимся к поиску работы в международных компаниях, подтягиваем нужные навыки и обновляем резюме.
Так что если у вас есть желание уехать жить в теплые края или в локацию вашей мечты, присмотритесь к аналитике в IT, могу сказать что это супер интересная работа 😍
Для старта работы на уровне стажера или джуна вам необходимо будет плотно позаниматься, чтобы обрести базу необходимых навыков. Если учитесь самостоятельно, это может занять у вас много времени (полгода - год, а то и больше).
Если стартовать с курса и структурно получать знания, закреплять их на практике, то время до достижения результата сильно можно сократить, вплоть до нескольких месяцев. Этого времени будет достаточно, чтобы изучить
📍Методы работы с базами данных
📍SQL на хорошем уровне написания запросов
📍Python для работы с данными и библиотекой pandas
📍Принципы визуализации данных
Конечно я здесь не говорю про изучение мат. анализа, линейной алгебры и статистики, т.к. это не базовые знания, да и тем более они пригождаются не каждому аналитику и не на каждом проекте.
Если вы считаете, что аналитики - это математики или жесткие технари, это миф.
Отличными аналитиками бывают люди с многолетним опытом работы в другой сфере, например финансах, маркетинге, логистике, медицине, строительстве и много в чем еще. Таким специалистам достаточно научиться обрабатывать данные, уметь их правильно визуализировать и уметь интерпретировать результат, основываясь на доменный опыт. Доменные знания - это ценность для аналитика.
На курсе по основам анализа данных мы изучаем не только теорию, но и нарабатываем практические навыки работы с данными
✅ строим модель данных
✅ пишем аналитические запросы на SQL
✅ разбираемся в особенностях хранилищ данных
✅ анализируем данные с помощью Python
✅ строим дашборд в Tableau
Затем составляем резюме и начинаем искать вакансии. Для работающих специалистов это позволяет усилить компетенции и получить повышение и новые задачи, а для желающих сменить сферу деятельности - найти работу специалистом по анализу данных.
Замечаю за собой в последние дни упадок энергии. Очень сильно настроение зависит от погоды.
Во время весенней релокации из холодной Москвы в солнечную Турцию желание что-то делать выросло в 10 раз. Хотелось бы на Кипр уехать, но из-за очной учебы сейчас не получается(
Планирую летом на этим подумать 😉
Некоторые мои ученики релоцировали, часть переехали своими семьями. Благо работа в IT аналитиком данных на удалёнке это позволяет сделать 🔥
Сейчас еще в на личных консультациях с 3-мя учениками готовимся к поиску работы в международных компаниях, подтягиваем нужные навыки и обновляем резюме.
Так что если у вас есть желание уехать жить в теплые края или в локацию вашей мечты, присмотритесь к аналитике в IT, могу сказать что это супер интересная работа 😍
Для старта работы на уровне стажера или джуна вам необходимо будет плотно позаниматься, чтобы обрести базу необходимых навыков. Если учитесь самостоятельно, это может занять у вас много времени (полгода - год, а то и больше).
Если стартовать с курса и структурно получать знания, закреплять их на практике, то время до достижения результата сильно можно сократить, вплоть до нескольких месяцев. Этого времени будет достаточно, чтобы изучить
📍Методы работы с базами данных
📍SQL на хорошем уровне написания запросов
📍Python для работы с данными и библиотекой pandas
📍Принципы визуализации данных
Конечно я здесь не говорю про изучение мат. анализа, линейной алгебры и статистики, т.к. это не базовые знания, да и тем более они пригождаются не каждому аналитику и не на каждом проекте.
Если вы считаете, что аналитики - это математики или жесткие технари, это миф.
Отличными аналитиками бывают люди с многолетним опытом работы в другой сфере, например финансах, маркетинге, логистике, медицине, строительстве и много в чем еще. Таким специалистам достаточно научиться обрабатывать данные, уметь их правильно визуализировать и уметь интерпретировать результат, основываясь на доменный опыт. Доменные знания - это ценность для аналитика.
На курсе по основам анализа данных мы изучаем не только теорию, но и нарабатываем практические навыки работы с данными
✅ строим модель данных
✅ пишем аналитические запросы на SQL
✅ разбираемся в особенностях хранилищ данных
✅ анализируем данные с помощью Python
✅ строим дашборд в Tableau
Затем составляем резюме и начинаем искать вакансии. Для работающих специалистов это позволяет усилить компетенции и получить повышение и новые задачи, а для желающих сменить сферу деятельности - найти работу специалистом по анализу данных.
🔥20❤2🤯2👍1
Привет!
Хочу сегодня поделиться историями двух моих учениц и ответить на вопрос - как стать аналитиком данных, имея опыт в другой сфере
Девушка работала более 17 лет в сфере логистики. Сейчас она находится в поиске вакансий, но уже связанных с аналитикой данных. Нам нужно найти кое-что общее между этими сферами)
Оптимальный вариант в таком кейсе - искать вакансии аналитика в сфере логистики, т.к. имеется большой опыт, который поможет выполнять задачи. Пример вакансий можно посмотреть в картинках
Ей нравится визуализировать данные, строить дашборды, которые помогают принимать решения в бизнесе. Поэтому делаем акцент на изучении BI инструментов и SQL для подготовки и преобразования данных.
Так как она может опираться на свой опыт, ей будет легче работать с данными в сфере логистики. Это преимущество при поиске работы аналитиком, и этим преимуществом нужно пользоваться.
Если вы, например, хотите уйти из финансов в аналитику данных, то стоит искать вакансии в сфере финансов.
Работали специалистом по предоставлению финансовых услуг банка ➡️ Стали аналитиком данных на проекте исследования поведения клиентов при покупке услуг банка
У вас при этом не будет стресса при переходе + ваш опыт в доменной области поможет. При этом даже необязательно менять место работы -вы можете остаться в той же компании.
Другой пример ученицы как раз из банковской сферы
Работая в банке главным специалистом по отчетности, после прохождения курса "Основы анализа данных" ученица получила повышение ЗП на 70% 🔥🔥🔥
В общем, не важно в какой сфере вы сейчас работаете. В любой из них требуется аналитик и вы можете им стать, освоив нужные инструменты за 2 месяца.
#кейс
Хочу сегодня поделиться историями двух моих учениц и ответить на вопрос - как стать аналитиком данных, имея опыт в другой сфере
Девушка работала более 17 лет в сфере логистики. Сейчас она находится в поиске вакансий, но уже связанных с аналитикой данных. Нам нужно найти кое-что общее между этими сферами)
Оптимальный вариант в таком кейсе - искать вакансии аналитика в сфере логистики, т.к. имеется большой опыт, который поможет выполнять задачи. Пример вакансий можно посмотреть в картинках
Ей нравится визуализировать данные, строить дашборды, которые помогают принимать решения в бизнесе. Поэтому делаем акцент на изучении BI инструментов и SQL для подготовки и преобразования данных.
Так как она может опираться на свой опыт, ей будет легче работать с данными в сфере логистики. Это преимущество при поиске работы аналитиком, и этим преимуществом нужно пользоваться.
Если вы, например, хотите уйти из финансов в аналитику данных, то стоит искать вакансии в сфере финансов.
Работали специалистом по предоставлению финансовых услуг банка ➡️ Стали аналитиком данных на проекте исследования поведения клиентов при покупке услуг банка
У вас при этом не будет стресса при переходе + ваш опыт в доменной области поможет. При этом даже необязательно менять место работы -вы можете остаться в той же компании.
Другой пример ученицы как раз из банковской сферы
Работая в банке главным специалистом по отчетности, после прохождения курса "Основы анализа данных" ученица получила повышение ЗП на 70% 🔥🔥🔥
В общем, не важно в какой сфере вы сейчас работаете. В любой из них требуется аналитик и вы можете им стать, освоив нужные инструменты за 2 месяца.
#кейс
🔥12👍2
🔥12🤔3
Привет!
Давно не было никаких тестов на проверку знаний в области аналитики 👨💻
Сделал небольшой и простой тест на 7 вопросов на проверку базовых знаний об инструментах аналитики и работы с данными
Пройти тест можно в боте
Пройти тест
Давно не было никаких тестов на проверку знаний в области аналитики 👨💻
Сделал небольшой и простой тест на 7 вопросов на проверку базовых знаний об инструментах аналитики и работы с данными
Пройти тест можно в боте
Пройти тест
Quiz Directory
Проверь свои знания в аналитике
7 questions
❤11
Привет!
Что делать, если у нас есть файл или таблица на десятки миллионов строк и pandas начинает долго думать над операциями?
Библиотека
Однако иногда возникают задачи, где нужно обработать файлы с большим объемом данных, включающие миллионы строк записей и занимающие гигабайты памяти.
Для этой задачи можно посмотреть в сторону библиотеки
Более подробно про сравнение этих двух модулей можно почитать по ссылке
Ноутбук Colab для проверки экспериментов
Что делать, если у нас есть файл или таблица на десятки миллионов строк и pandas начинает долго думать над операциями?
Библиотека
pandas
является удобным инструментом для работы с маленькими файлами и таблицами, которые можно обрабатывать в формате датафрейма. С pandas знакомы практически все аналитики (или должны быть знакомы 😉). Однако иногда возникают задачи, где нужно обработать файлы с большим объемом данных, включающие миллионы строк записей и занимающие гигабайты памяти.
Для этой задачи можно посмотреть в сторону библиотеки
datatable
. Операции чтения и многие операции преобразования данных она делает быстрее модуля pandas. Например, какая-нибудь выгрузка отчета из CRM или ERP системы в формате .csv, который необходимо преобразовать и проанализировать.Более подробно про сравнение этих двух модулей можно почитать по ссылке
Ноутбук Colab для проверки экспериментов
Towards Data Science
When Should You Consider Using Datatable Instead of Pandas to Process Large Data? | Towards Data Science
Using Pandas can be frustrating when processing large datasets. Datatable might be the solution to go for.
🔥7👍1
Привет!
Немного решил поделиться своими активностями с выходных и и спросить вас о чем-то ⬇️
У нас подошел к концу курс "Бизнес-анализ в IT" и большинство учеников успешно сдали свои домашние проекты, с чем я их поздравляю! 🎉🎉🎉 Уверен, что полученные на курсе знания они смогут применить на реальных проектах в аналитике)
Сегодня подготовил и разослал сертификаты выпускникам 🔥
Продолжаю работать над докладом для конференции. Уже было проведено 2 встречи с представителями орг. комитета. Вношу последние правки и отсылаю завтра конспект на ревью. Надеюсь, что доклад будет одобрен ✊
Сегодня проводил одной из учениц на консультациях техническое интервью по аналитике данных. Очень классно пообщались, выявили сильные профессиональные стороны, а также места, на которые стоит обратить внимание и углубиться в темы. Все это в рамках подготовки к интервью в зарубежные компании.
Также на много вопросов отвечаю по поводу курса "Основы анализа данных". Есть желание на этой неделе провести вебинар и рассказать, какие требования на рынке сейчас предъявляют junior аналитикам данных.
Как думаете, стоит организовать такой онлайн-вебинар?
Немного решил поделиться своими активностями с выходных и и спросить вас о чем-то ⬇️
У нас подошел к концу курс "Бизнес-анализ в IT" и большинство учеников успешно сдали свои домашние проекты, с чем я их поздравляю! 🎉🎉🎉 Уверен, что полученные на курсе знания они смогут применить на реальных проектах в аналитике)
Сегодня подготовил и разослал сертификаты выпускникам 🔥
Продолжаю работать над докладом для конференции. Уже было проведено 2 встречи с представителями орг. комитета. Вношу последние правки и отсылаю завтра конспект на ревью. Надеюсь, что доклад будет одобрен ✊
Сегодня проводил одной из учениц на консультациях техническое интервью по аналитике данных. Очень классно пообщались, выявили сильные профессиональные стороны, а также места, на которые стоит обратить внимание и углубиться в темы. Все это в рамках подготовки к интервью в зарубежные компании.
Также на много вопросов отвечаю по поводу курса "Основы анализа данных". Есть желание на этой неделе провести вебинар и рассказать, какие требования на рынке сейчас предъявляют junior аналитикам данных.
Как думаете, стоит организовать такой онлайн-вебинар?
👍10🔥5
Нужен вебинар "Требования к навыкам junior аналитиков данных сейчас на рынке труда"?
Anonymous Poll
89%
Да, будет интересно узнать
3%
Нет
8%
Я уже перерос junior аналитика:)
Привет!
Начинаю готовить презентацию для вебинара "Как найти работу junior аналитиком данных"
✅ Сделаем обзор рынка вакансий на позиции аналитика
✅ Выделим необходимые навыки для успешного трудоустройства
✅ Составить карту развития навыков и компетенций
✅ Поговорим про план поиска работы и обучения
Когда: 13 октября в 19:00 по МСК
Где: онлайн-встреча в группе
Присоединяйтесь к группе, там можно задавать вопросы до/во время/после вебинара, там же будет проходить сама онлайн-встреча
Начинаю готовить презентацию для вебинара "Как найти работу junior аналитиком данных"
✅ Сделаем обзор рынка вакансий на позиции аналитика
✅ Выделим необходимые навыки для успешного трудоустройства
✅ Составить карту развития навыков и компетенций
✅ Поговорим про план поиска работы и обучения
Когда: 13 октября в 19:00 по МСК
Где: онлайн-встреча в группе
Присоединяйтесь к группе, там можно задавать вопросы до/во время/после вебинара, там же будет проходить сама онлайн-встреча
❤9
Привет!
Делимся большим архивом с полезными ресурсами по аналитике данных и программированию:
https://t.iss.one/+vyIL9G6EmTcxYmM6
Делимся большим архивом с полезными ресурсами по аналитике данных и программированию:
https://t.iss.one/+vyIL9G6EmTcxYmM6
❤4👍1😁1
Привет!
Думаю многие из вас слышали про такой процесс как Assessment.
Assessment (асесмент) - это регулярная комплексная оценка сотрудника. Она позволяет оценить развитие ваших навыков за определенный промежуток времени.
Такая оценка обычно проводится раз в год (иногда чаще). Т.е. раз в год у вас есть возможность повысить свою ЗП, перейти на другой грейд или перейти на другую должность.
Вы постоянно должны осваивать новые инструменты, чтобы пройти assessment, тогда ваш карьерный путь будет идти вверх 🔝
Чтобы понять какие инструменты нужно изучат для прохождения assessment, можно (нужно)
1️⃣ интересоваться у более опытных коллег
2️⃣ спросить у HR про матрицу компетенций в вашей компании
3️⃣ искать в Интернете, заниматься с ментором
Кстати, для вебинара я проанализировал 200+ вакансий и выделил навыки, необходимые именно junior аналитикам. Расписал пошаговый план развития до джуна. У вас будет целая карта навыков, при чем бесплатно 😉
Нас уже в группе почти 100 человек, ты успел присоединиться?
Присоединиться к группе вебинара
Думаю многие из вас слышали про такой процесс как Assessment.
Assessment (асесмент) - это регулярная комплексная оценка сотрудника. Она позволяет оценить развитие ваших навыков за определенный промежуток времени.
Такая оценка обычно проводится раз в год (иногда чаще). Т.е. раз в год у вас есть возможность повысить свою ЗП, перейти на другой грейд или перейти на другую должность.
Вы постоянно должны осваивать новые инструменты, чтобы пройти assessment, тогда ваш карьерный путь будет идти вверх 🔝
Чтобы понять какие инструменты нужно изучат для прохождения assessment, можно (нужно)
1️⃣ интересоваться у более опытных коллег
2️⃣ спросить у HR про матрицу компетенций в вашей компании
3️⃣ искать в Интернете, заниматься с ментором
Кстати, для вебинара я проанализировал 200+ вакансий и выделил навыки, необходимые именно junior аналитикам. Расписал пошаговый план развития до джуна. У вас будет целая карта навыков, при чем бесплатно 😉
Нас уже в группе почти 100 человек, ты успел присоединиться?
Присоединиться к группе вебинара
❤11👍2
Практика на курсе "Основы анализа данных"
На курсе у нас пройдут 6 практических занятий + домашние задания и итоговый проект
Для работы в компании, вы должны уметь:
- работать с базами данных/хранилищами и писать SQL запросы
- работать с Python и проводить исследование данных
- визуализировать результаты анализа и строить дашборды
На занятии по SQL мы
📍учимся подключаться к базам данных
📍изучаем возможности DBeaver
📍учимся джойнить таблицы
📍пишем подзапросы
📍учимся применять функции агрегации
📍разбираем синтаксис и применение оконных функций
При изучении Python мы будем использовать Visual Studio Code и Jupyter Notebooks
📍установим Python, редактор кода, нужные библиотеки
📍изучим способы обработки и профилирования данных с помощью pandas, numpy
📍научимся извлекать данные из разных web-источников
📍разберем подключение к базам данных для извлечения/записи данных
Визуализация - способ донесения результатов анализа до бизнеса. Поэтому аналитику важно знать инструменты для визуализации данных.
На обучении мы работаем с Tableau Public. Мы освоим
📍принципы визуализации
📍что такое дашборд и как его строить
📍как подключаться к источникам данных
📍как изменять типы данных
📍в чем разница между метрикой и измерением
📍 как кастомизировать графики
📍 как создавать вычисляемые поля
На курсе у нас пройдут 6 практических занятий + домашние задания и итоговый проект
Для работы в компании, вы должны уметь:
- работать с базами данных/хранилищами и писать SQL запросы
- работать с Python и проводить исследование данных
- визуализировать результаты анализа и строить дашборды
На занятии по SQL мы
📍учимся подключаться к базам данных
📍изучаем возможности DBeaver
📍учимся джойнить таблицы
📍пишем подзапросы
📍учимся применять функции агрегации
📍разбираем синтаксис и применение оконных функций
При изучении Python мы будем использовать Visual Studio Code и Jupyter Notebooks
📍установим Python, редактор кода, нужные библиотеки
📍изучим способы обработки и профилирования данных с помощью pandas, numpy
📍научимся извлекать данные из разных web-источников
📍разберем подключение к базам данных для извлечения/записи данных
Визуализация - способ донесения результатов анализа до бизнеса. Поэтому аналитику важно знать инструменты для визуализации данных.
На обучении мы работаем с Tableau Public. Мы освоим
📍принципы визуализации
📍что такое дашборд и как его строить
📍как подключаться к источникам данных
📍как изменять типы данных
📍в чем разница между метрикой и измерением
📍 как кастомизировать графики
📍 как создавать вычисляемые поля
👍12
Завтра будет возможность узнать про курс подробнее на вебинаре и попасть в группу по очень интересным условиям 🔥🔥🔥
Когда: 13 октября, 19:00 МСК
Попасть на вебинар
Когда: 13 октября, 19:00 МСК
Попасть на вебинар
🔥2
Привет!
Напоминаю, что уже сегодня в 19:00 по мск пройдет вебинар "Как найти работу junior аналитиком данных" 🎉🎉🎉
За час мы с вами обсудим
- Обзор вакансий
- Карта навыков
- Как получить нужные навыки
- Малоизвестные места поиска вакансий
Не упустите шанс послушать вебинар онлайн и получить отличные бонусы 😉🔥
Присоединиться в группу вебинара
Напоминаю, что уже сегодня в 19:00 по мск пройдет вебинар "Как найти работу junior аналитиком данных" 🎉🎉🎉
За час мы с вами обсудим
- Обзор вакансий
- Карта навыков
- Как получить нужные навыки
- Малоизвестные места поиска вакансий
Не упустите шанс послушать вебинар онлайн и получить отличные бонусы 😉🔥
Присоединиться в группу вебинара
👍1
1.5 часа вебинара с просмотром карты навыков, обзором рынка вакансий, разбором курса "Основы анализа данных" и ответами на все вопросы пролетели отлично 🔥🔥🔥
Спасибо всем, кто подключился, были интересные вопросы и полезные ответы 😉
Все материалы доступны в той же группе вебинара, хочу вам дать максимальную пользу
P.S. Сегодня действуют специальные условия по покупке курса "Основы анализа данных", старт обучения уже в эту субботу
Спасибо всем, кто подключился, были интересные вопросы и полезные ответы 😉
Все материалы доступны в той же группе вебинара, хочу вам дать максимальную пользу
P.S. Сегодня действуют специальные условия по покупке курса "Основы анализа данных", старт обучения уже в эту субботу
🔥7❤1🥰1