🐍 Ещё один небанальный Python-совет
В Python можно использовать
Например: автоматически замерять время выполнения блока кода:
👉 Теперь любой код внутри with Timer(): автоматически измеряется.
Этот приём удобно применять для логирования, отката транзакций или даже временной подмены настроек.
В Python можно использовать
__enter__
и __exit__
, чтобы превратить объект в контекстный менеджер — даже для вещей, которые обычно так не используют. Например: автоматически замерять время выполнения блока кода:
import time
class Timer:
def __enter__(self):
self.start = time.time()
return self
def __exit__(self, *args):
print(f"⏱ Время выполнения: {time.time() - self.start:.4f} c")
with Timer():
sum([i**2 for i in range(10_000_000)])
👉 Теперь любой код внутри with Timer(): автоматически измеряется.
Этот приём удобно применять для логирования, отката транзакций или даже временной подмены настроек.
🔥16👍2❤1
🔍 Marker — инструмент от Datalab.to, который быстро и точно превращает документы в Markdown + JSON
Что умеет Marker:
- Поддержка PDF, изображений, PPTX, DOCX, XLSX, HTML, EPUB и др.
- Форматирует таблицы, формы, уравнения, математические выражения, ссылки, кодовые блоки.
- Извлекает изображения из документов.
- Убирает колонтитулы, заголовки, другие артефакты форматирования.
- Есть бета-версия для “структурированного извлечения” на основе схемы JSON.
- Можно включить LLM-модуль, чтобы повысить точность в сложных местах (например, объединение таблиц, корректное форматирование).
Преимущества:
- Быстрота + точность по сравнению с конкурентами (Mathpix, Llamaparse и др.).
- Работает и без LLM, но с флагом
- Можно запускать локально, на серверах, GPU / CPU, использовать параллельную обработку.
Ограничения и нюансы:
- Сложные макеты и вложенные таблицы / формы ещё не всегда обрабатываются идеально.
- Иногда требуется OCR, особенно если PDF плохо “разложен” на текст.
Кому полезно:
- Тем, кто работает с научными статьями, отчётами, бухгалтерскими документами, презентациями и хочет автоматизировать преобразование в читаемый формат.
- Для RAG-pipelines, документации и любых задач, где надо извлечь структуру и контент.
https://github.com/datalab-to/marker
Что умеет Marker:
- Поддержка PDF, изображений, PPTX, DOCX, XLSX, HTML, EPUB и др.
- Форматирует таблицы, формы, уравнения, математические выражения, ссылки, кодовые блоки.
- Извлекает изображения из документов.
- Убирает колонтитулы, заголовки, другие артефакты форматирования.
- Есть бета-версия для “структурированного извлечения” на основе схемы JSON.
- Можно включить LLM-модуль, чтобы повысить точность в сложных местах (например, объединение таблиц, корректное форматирование).
Преимущества:
- Быстрота + точность по сравнению с конкурентами (Mathpix, Llamaparse и др.).
- Работает и без LLM, но с флагом
--use_llm
становится ещё лучше. - Можно запускать локально, на серверах, GPU / CPU, использовать параллельную обработку.
Ограничения и нюансы:
- Сложные макеты и вложенные таблицы / формы ещё не всегда обрабатываются идеально.
- Иногда требуется OCR, особенно если PDF плохо “разложен” на текст.
Кому полезно:
- Тем, кто работает с научными статьями, отчётами, бухгалтерскими документами, презентациями и хочет автоматизировать преобразование в читаемый формат.
- Для RAG-pipelines, документации и любых задач, где надо извлечь структуру и контент.
https://github.com/datalab-to/marker
❤4👍2🔥1
🚀 Python Pro совет
Хотите красиво печатать JSON прямо в терминале?
Необязательно ставить внешние утилиты — всё есть в стандартной библиотеке:
💡 Очень удобно, когда нужно быстро проверить структуру или отладить API-ответ.
Можно добавить
Хотите красиво печатать JSON прямо в терминале?
Необязательно ставить внешние утилиты — всё есть в стандартной библиотеке:
# Форматирование JSON из файла
python -m json.tool data.json
# Или из пайплайна
cat data.json | python -m json.tool | less
💡 Очень удобно, когда нужно быстро проверить структуру или отладить API-ответ.
Можно добавить
| jq
для ещё более гибкой фильтрации.❤4
25 сентября(в четверг) в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Python-разработчика.
Как это будет:
Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для Python-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы.
Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_py_bot
Реклама.
О рекламодателе.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
🔥 Продвинутый Python-трюк для работы с сетями: асинхронные запросы через
Когда нужно сделать десятки или сотни запросов к API или сайтам, обычный
📌 Что это даёт
⚡️ Сотни запросов обрабатываются почти одновременно
📉 Меньше блокировок — больше пропускная способность
🔧 Легко масштабируется для парсеров, мониторинга сервисов, чатов и API-интеграций
🔥 Этот приём используют в реальных продакшн-системах, где нужно работать с большим количеством сетевых соединений.
asyncio
+ aiohttp
Когда нужно сделать десятки или сотни запросов к API или сайтам, обычный
requests
становится узким местом. Асинхронный подход позволяет обрабатывать множество соединений параллельно и резко ускоряет работу.
import asyncio
import aiohttp
urls = [
"https://example.com",
"https://httpbin.org/get",
"https://api.github.com"
]
async def fetch(session, url):
async with session.get(url) as resp:
return url, await resp.text()
async def main():
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
for result in await asyncio.gather(*tasks):
print(f"✅ {result[0]} → {len(result[1])} символов")
asyncio.run(main())
📌 Что это даёт
⚡️ Сотни запросов обрабатываются почти одновременно
📉 Меньше блокировок — больше пропускная способность
🔧 Легко масштабируется для парсеров, мониторинга сервисов, чатов и API-интеграций
🔥 Этот приём используют в реальных продакшн-системах, где нужно работать с большим количеством сетевых соединений.
👍13❤4
Регистрация подходит к концу — не пропусти AIDAO, международную олимпиаду по ИИ и анализу данных от Яндекс Образования и ФКН НИУ ВШЭ
Главные призы: 1 млн рублей и преимущества при поступлении в магистратуры ФКН ВШЭ.
— Задачи с реальными данными
— Два этапа: онлайн и финал в офлайне, в Москве.
— Общение с экспертами и сотрудниками научных лабораторий, возможность стать частью международного комьюнити студентов.
🚀 Собирайте команду и регистрируйтесь по ссылке до 30 сентября
Главные призы: 1 млн рублей и преимущества при поступлении в магистратуры ФКН ВШЭ.
— Задачи с реальными данными
— Два этапа: онлайн и финал в офлайне, в Москве.
— Общение с экспертами и сотрудниками научных лабораторий, возможность стать частью международного комьюнити студентов.
🚀 Собирайте команду и регистрируйтесь по ссылке до 30 сентября
❤1
Введение. Собеседования на позиции, связанные с данными (аналитики, инженеры, ученые данных), всё чаще включают нестандартные и продвинутые вопросы по SQL.
Большие технологические компании (Google, Amazon и др.) предъявляют высокие требования: важна не только правильность запроса, но и умение оптимизировать его и разбираться в реальных бизнес-данных.
В этом гайде мы разберем категории наиболее распространенных сложных SQL-задач с реальных собеседований – от платформ вроде DataLemur, LeetCode, StrataScratch – и подробно поясним решения.
Каждая задача сопровождена анализом: условие, оптимальный подход, используемые SQL-конструкции, возможные ошибки и финальное решение (для PostgreSQL и MySQL, с указанием различий где необходимо).
В конце добавлен отдельный раздел о современных базах данных, включая векторные БД (Pinecone, Weaviate, Milvus и др.), с примерами того, что могут спросить про них на собеседовании и как выглядят SQL-подобные запросы для работы с векторами.
📌 Читать гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤2
IT_ONE Cup. Code & Analyst — хакатон для аналитиков и разработчиков, где ты узнаешь, как работает IT-команда, и получишь сильный кейс в портфолио. Выбери трек и реши одну из задач:
→ Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности.
→ Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях.
🏆 Призовой фонд: 900 000 рублей
💻 Формат: онлайн
🗓 Регистрация до 16 октября: https://cnrlink.com/itonecupmsupjint
Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек.
Что тебя ждёт:
• Применишь навыки системного анализа, построения архитектуры и работы с потоковыми данными.
• Получишь готовый проект в портфолио.
• Для участников ТОП-5 команд в каждом треке — фирменный мерч.
Задачи соревнования:
Трек 1. Навигатор оптимизации. Проанализируй кредитный процесс банка, выяви узкие места и создай ТЗ для системы мониторинга производительности. Решение поможет оптимизировать критически важные процессы.
Трек 2. Финансовый радар. Разработай сервис для анализа транзакций в реальном времени. Архитектура должна включать правила обнаружения мошенничества и поддержку различных алгоритмов обработки.
Ждём тебя на IT_ONE Cup. Code & Analyst — старт 17 октября на Codenrock: https://cnrlink.com/itonecupmsupjint
→ Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности.
→ Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях.
💻 Формат: онлайн
Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек.
Что тебя ждёт:
• Применишь навыки системного анализа, построения архитектуры и работы с потоковыми данными.
• Получишь готовый проект в портфолио.
• Для участников ТОП-5 команд в каждом треке — фирменный мерч.
Задачи соревнования:
Трек 1. Навигатор оптимизации. Проанализируй кредитный процесс банка, выяви узкие места и создай ТЗ для системы мониторинга производительности. Решение поможет оптимизировать критически важные процессы.
Трек 2. Финансовый радар. Разработай сервис для анализа транзакций в реальном времени. Архитектура должна включать правила обнаружения мошенничества и поддержку различных алгоритмов обработки.
Ждём тебя на IT_ONE Cup. Code & Analyst — старт 17 октября на Codenrock: https://cnrlink.com/itonecupmsupjint
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
🚀 CUDA Kernel Benchmarking Made Easy
robust-kbench предоставляет мощный набор инструментов для оценки и валидации CUDA-ядров, созданных с помощью больших языковых моделей. Он решает проблемы традиционных бенчмарков, предлагая надежные критерии оценки и проверку корректности.
🚀Основные моменты:
- Многочисленные настройки инициализации для более точной оценки
- Проверка корректности с учетом различных конфигураций входных данных
- Профилирование производительности для реальных сценариев
- Защита от манипуляций входными данными
📌 GitHub: https://github.com/SakanaAI/robust-kbench
#python
robust-kbench предоставляет мощный набор инструментов для оценки и валидации CUDA-ядров, созданных с помощью больших языковых моделей. Он решает проблемы традиционных бенчмарков, предлагая надежные критерии оценки и проверку корректности.
🚀Основные моменты:
- Многочисленные настройки инициализации для более точной оценки
- Проверка корректности с учетом различных конфигураций входных данных
- Профилирование производительности для реальных сценариев
- Защита от манипуляций входными данными
📌 GitHub: https://github.com/SakanaAI/robust-kbench
#python
GitHub
GitHub - SakanaAI/robust-kbench
Contribute to SakanaAI/robust-kbench development by creating an account on GitHub.
❤1