Как прочитать файл объемом 8 ГБ на Python с помощью компьютера с 2 ГБ ОЗУ?

Это решение работает для любых больших файлов.

Когда вы открываете файл, всё, что вам нужно сделать, это использовать объект файла в качестве итератора: при циклическом просмотре этого объекта, вы будете извлекать по одной строке за раз, а предыдущие строки будут удалены из памяти.

Таким образом, файл никогда не будет полностью загружен в память, и ваша обработка будет выполняться на ходу.

Пост-дайджест обучающих статей по Big Data и Data Science в целом — внутри полезные советы, гайды и лайфхаки для обучения.

🐍 Лучшие практики при работе с мастер-данными
🐍 FineBI 6.0: 9 полезных обновлений, о которых вы не знали
🐍 Полезные методы работы с данными в Pandas
🐍 Основные инструменты для работы в Data Engineering: введение для начинающих Data Engineer'ов
🐍 Экспресс-анализ данных на Python
🐍 Начинаем работу с PyTorch 2.0 и Hugging Face Transformers
🐍 Как IT-специалисты-экологи спасут планету

😈Открываем чит-коды технического интервью на позицию в сфере Data Science.

7 июня в прямом эфире разберем основные математические задачи на собеседованиях в крупные российские и международные компании.

👉Зарегистрироваться: https://proglib.io/w/f2a10b35

Приглашенный спикер: Иван Строков – ML инженер в Yelp, запустивший отдел Data Science для pikabu.ru

🚀 На вебинаре:

1. Обсудим задачи из реальных интервью в российские и европейские компании
2. Решим задачи на матрицы и вероятности
3. Научимся быстро тестировать статистические гипотезы для А/Б тестов
4. Обсудим, какая математика лежит под капотом ML алгоритмов
5. Узнаем, что делать, если математика становится слишком сложной

👉Зарегистрироваться: https://proglib.io/w/f2a10b35

🐍 25 алгоритмов динамического программирования, которые должен знать каждый программист

В этой статье мы рассмотрим 25 основных алгоритмов динамического программирования с реализацией на Python, которые должен знать каждый, кто увлекается спортивным программированием.

🔗 Основной сайт
🔗 Зеркало

Какие знания в области математики требуются специалистам в Machine Learning и Data Science?

Валентин Рябцев, сооснователь и CPO Wale. ai, рассказал о своем карьерном пути, о том как развивать математическое мышление и как улучшать качество продукта с помощью математических методов.

Рекомендуем к просмотру – https://www.youtube.com/watch?v=KhUXzcrAk0M

🐍 Самоучитель по Python для начинающих. Часть 21: Основы разработки игр на Pygame

Учимся анимировать графику и изображения, обрабатывать столкновения, запоминать состояния и управлять персонажами. В конце статьи сделаем 10 мини-симуляторов и лайт-версий известных игр.

🔗 Основной сайт
🔗 Зеркало

Корутины (Coroutines)

В PEP 342 были представлены корутины, которые стали некой противоположностью генераторов. Для примера напишем функцию, которая будет в бесконечном цикле подставлять значение и выводить строку.

Обратите внимание на то, как было использовано ключевое слово yield. При таком написании создаётся корутина, а не генератор, что позволяет не просто генерировать значения, но и принимать их.

Функция работает так: при отправке значения через метод send локальная переменная name принимает его, а далее значение подставляется в строку и выводится на экран.

Пишем 5 простых Telegram-ботов на Python

В этой статье мы реали­зуем прос­той, но край­не полез­ный про­ект на Python — бота для Telegram. Боты — это неболь­шие скрип­ты, которые могут вза­имо­дей­ство­вать с API, что­бы получать сооб­щения от поль­зовате­ля и отправ­лять информа­цию в раз­ные чаты и каналы.

Читать статью

6 Python декораторов, которые значительно упростят ваш код

Декораторы могут помочь вам писать меньше кода для реализации сложной логики и повторно использовать его повсюду.

Смотреть статью

🧮 Что такое математический анализ и как он используется в программировании

Расскажем, для чего матанализ нужен в программировании, и как в нем разобраться максимально быстро без головной боли.

🔗 Основной сайт
🔗 Зеркало

Метод setdefault()

Метод словаря setdefault() возвращает значение указанного ключа, если он присутствует. Если ключ отсутствует, метод setdefault() вставляет пару key:value со значением по умолчанию и возвращает значение по умолчанию.
#код

Пост-дайджест туториалов по разработке на Python: в статьях — полезные скрипты, приложения и боты с разбором их написания.

🐍 SimpleUI — фреймворк для быстрого создания бизнес приложений на Android
🐍 Парсинг данных через api vk и google sheets api на python
🐍 Создаем библиотеку теории игр на питоне: как вообще это будет работать?
🐍 Как я проводил обратную разработку таинственного UDP-трафика в гостиничном номере
🐍 Пагинация в telegram-боте для чайников
🐍 API Честный знак: как получить ключ сессии
🐍 Управление памятью в Python
🐍 Самые интересные фичи Python с 3.7 по 3.11
🐍 Как я написал Telegram-бота для учёта подписок
🐍 Бот для телеграмма, использующий Яндекс.Диск (Python)

#дайджест

Что скажете о GitHub Copilot?
Расскажите в комментариях ⬇️
#интерактив

⚗️ 5 областей применения линейной алгебры в программировании

Расскажем, какие практические задачи помогает решать линейная алгебра, и как абстрактные матрицы и линейные пространства могут пригодиться в разработке реального софта.

Читать статью

Прямо сейчас разбираем в прямом эфире задачи из интервью в российские и международные компании на позицию Data Scientist

🟢 Трансляция — https://www.youtube.com/watch?v=xINpWlT17tA

Присоединяйтесь!

Что выведет код с картинки?

В любом замыкании в Python переменные связываются по имени. Таким образом, в приведённой выше строке кода будет выведено следующее: [2, 2, 2].

Если бы вы хотели, чтобы вывод был [0, 1, 2], то выход из ситуации — создание отдельной функции или передача аргументов по их имени.
flist = []
for i in range(3):
flist.append(lambda i = i : i)
answer = [f() for f in flist]
print(answer)

#вопросы_с_собеседований

😛👻 Пишем игру Pac-Man на Python в 300 строк кода

В данной статье мы напишем легендарную игру Pac-Man на Python, уместив ее в 300 строчек кода.

🔗 Основной сайт
🔗 Зеркало

🌵 Мексиканская перестрелка: какую IT-профессию выбрать джуну в 2023 году, чтобы зарабатывать $100кк в наносек

В этой статье мы рассмотрим несколько перспективных IT-направлений, которые приблизят вас к заветным цифрам на вашем банковском счете.

Читать статью

Забывали про важный дедлайн — было или не было?
Расскажите в комментариях ⬇️
#интерактив

Самый встречаемый символ в строке

Наиболее рекомендуемый метод, который можно использовать для поиска всех вхождений, — это комбинировать collections.Counter() + max(), он фактически получает частоту всех элементов, а также может использоваться для печати частоты одного элемента, если это необходимо.

Мы находим максимально встречающийся символ, используя max() для значений.

Очередной дайджест туториалов по разработке на Python: полезные гайды, скрипты, приложения, боты с подробными разборами кода.

🐍 Решаем задачу сетевого планирования с помощью Python
🐍 FastAPI без db: Session
🐍 Телеграм бот для CustDev'а на Aiogram
🐍 Пишем на Python, как будто это Rust
🐍 Propan — Python фреймворк для написания микросервисов с использованием брокеров сообщений
🐍 Бинарный поиск в Python
🐍 pyaction 4.20.0 выпущен
#дайджест