Библиотеки Python для работы с базами данных и SQL-запросами

1. sqlite3
Библиотека позволяет работать с базами данных SQLite, которые записывают и читают данные с файлов, а значит пользователю не нужно устанавливать сервер для БД, что очень удобно)

2. psycopg2
Модуль для работы с базами данных PostgreSQL. Также позволяет все основные функции с базой данных: работа с таблицами, написание запросов и т.д.

3. mysql-connector-python
Как уже понятно из названия, модуль позволяет подключаться к БД MySQL) Включает в себя все те же функции, что и описанные выше модули. Подробная документация доступна по ссылкам в названии модулей

4. pymssql
Модуль позволяет подключаться к БД Microsoft SQL Server

5. SQLAlchemy
Алхимия при работе с базами данных из python) Библиотека позволяет подключаться к различным БД. Есть множество функций: создание/изменение/удаление таблиц, извлечение/вставка данных, написание запросов, изменение данных. Библиотека позволяет работать с БД с помощью объектно-ориентированного кода, не используя при этом SQL

6. PandaSQL
Модуль позволяет расширить функционал pandas и писать SQL запросы прямо к датафреймам. Как вариант использования модуля с другими библиотеками, после подключения к БД и извлечения данных, к датафрейму можно писать запросы как будто бы к обычной таблице в БД, не используя синтаксис pandas

Действенный способ удаленщика вытянуть в офис - переселите его в новостройку

Смотреть со звуком 🔈

Ну вы поняли, действуйте 😉

Жиза с работы в текущее время 😂

Немного контекста - у нас миграция DWH, поэтому верификация переезда витрин идет уже несколько месяцев. Выходим на финишную прямую

Привет!

Возможно вы в своих задачах сталкиваетесь или в будущем столкнетесь с такой ситуацией, когда обычный pandas будет нагревать ваш ноутбук до предела и сыпать ошибки out of memory, когда вы просто хотите запихнуть в него более тяжелую эксельку чем обычно. Я лично сталкивался с таким неоднократно.

Вполне вероятно, что вам нужно просто воспользоваться другой библиотекой для решения вашей задачи (ну или делить ваши данные на более мелкие пачки).

Статья для такого случая

Также делился материалами про библиотеку polars здесь и здесь

P.S. Не забываем про реакции , это приятно и мотивирует ❤️

Сходил к офтальмологу проверить зрение

Зрачки на фотке угар конечно)

Зрение конечно упало, рекомендуют очки для работы 🧐

Сейчас закапали капли, вообще ничего не вижу 😅 (правда так и должно быть, их нужно для расслабления глаз на ночь будет капать)

Берегите зрение, друзья!

Мысли о том как я пользуюсь AI

Увидел из голосования, что на самом деле многие пользуются достижениями AI сервисов как для повседневных, так и для рабочих задач.

У меня соотношение использования AI примерно 90%/10%, где 90% - задачи, не относящиеся к работе.

Основная функция AI в рабочих задачах: замена или дополнение привычного всего "загуглить" для быстрого поиска информации. При этом это как правило дебаг или решение ошибок в python коде или sql запросах. Т.е. вместо того чтобы вбить в обычный поиск название ошибки и искать информацию по ссылкам в интернете как ее решить, я предпочитаю сейчас эту работу поручать AI, чтобы получить описание ошибки и возможные пути решения.

А вот все остальные фишки AI как авто-дополнение/генерация кода, структурирование информации, краткие пересказы, генерация идей и другое - это все используется в задачах, относящихся к моей повседневной жизни: написание контента, развитие обучающего проекта datastudy.ru, реализация проектов и аналитических решений на заказ.

Еще недавно общались с коллегами на работе по вопросу "Стоит ли внедрять отдельную компетенцию для аналитиков по знанию и применению AI инструментов и отдельно оценивать ее"
Пришли к заключению, что

пока не стоит

1. оценивая такую компетенцию в матрице, мы можем подтолкнуть использовать AI там, где можно было обойтись без него в рабочих задачах, при этом учитывая конкретную специфику данных и corner cases, которые могут обработать только сами аналитики
2. Может быть неправильная мотивация в обучении компетенции AI у начинающих специалистов вместо того чтобы закрывать дыры знаний реально нужных hard-навыков типа sql, python, bi в рабочих задачах
3. на уровне компании нет пула AI инструментов, рекомендованных для использования и защищенных со стороны информационной безопасности

Классная памятка организации встреч, забирайте себе в использование 😉

Рынок AI технологий так быстро развивается, что просто не успеваешь на всех ресурсах вычитать самые свежие новости в этой области, здесь хочется делиться больше своей жизнью и текущими задачами в аналитике и инженерии данных.

Поэтому решил завести отдельный канал, еще и немного автоматизировать подготовку контента для него (об автоматизации с помощью в том числе AI расскажу чуть позже).

Над названием ломал голову, думал придумать что-то интересное, звучное и в то же время лаконичное. Придумал игру слов "ИИшница", как же я был рад в этот момент.

Но стоило проверить это название, так сказать "исследовать рынок", оказывается не я один такой гениальный 😅

В общем сейчас встал вопрос: че делать с названием? Думаю доработать его или забить и оставить как есть

Ну и подписывайтесь на канал @ai_snitsa 😉

OpenAI выпустил Codex CLI, open-source AI агент для терминала

Github проекта

#AI #новости #ИИшница
@ai_snitsa

Записал видео для своих учеников про автоматизацию извлечения данных с сайтов (парсинг). Завтра буду монтировать его и выложу в личный кабинет курса «Основы анализа данных».

В видео рассказываю про очень крутой и быстрый способ автоматизации чтобы ваш код работал по нужному вам расписанию, про который в интернете мало что есть.

Если пост наберет 50 🔥, опубликую видео в открытый доступ 😉

Для самых поздних пташек даю ссылку на видео 😉 Для тех кто уже спит завтра напомню еще раз)

Быстро и просто автоматизируем парсинг данных с сайта на Python

▶️ YouTube
▶️ VK Video

Учебный год у студентов подходит к концу, значит сейчас будет появляться больше стажировок от компаний, вот например https://t.iss.one/data_vacancy/1454

Мой ученик вернулся с классной новостью - получил свой первый оффер и теперь работает аналитиком в game dev. компании!

Ваше упорство в обучении приводит к заслуженным результатам в конце 😉

Давайте порадуемся за Тимофея 🔥

#кейс

Домашний офис стал уличным на вечер)

Привет! Не многие из вас знают, что я начинал свой «блогерский» путь сначала там, где вы привыкли смотреть сторис и рилс. Потом понял, что мой формат контента и технические посты проще и быстрей писать текстом в телеге, чем оформлять в сторис или в обрезанные по объему посты в ленте.

Сейчас формат превратился в гибридный:
- технические посты и все про аналитику здесь
- истории из поездок и просто жизни в сторис и ленте с фотками

Сейчас я увлекся новым для себя направлением - видеосъемкой. Для меня это новое направление, которым я вдохновляюсь все больше и больше при просмотре YouTube-блогеров про путешествия (например Илия Воскресенский, Vadim Key).

Мне захотелось больше снимать свою жизнь, наши поездки, красивые места и просто яркие моменты жизни.

Это я буду делать через YouTube, сторис и рилс в известной вам сети) Здесь такого контента будет думаю не больше чем сейчас, а останется фокус на техническую составляющую, развитие и карьеру в аналитике и инженерии данных.

Кому интересна та самая вторая часть моей жизни, которой здесь нет, очень буду рад вашей активности и подписке на меня по нику @daniil.dzheparov

P.S. ну и лайкните этот пост и новый рилс там «Мое утро удалещника», буду учиться снимать красивые кадры с вашей обратной реакцией и поддержкой 😉