💫 Создай, оформи, опубликуй. Sphinx — незаменимый помощник в мире Python документации

Sphinx — это профессиональный инструмент для создания обширной и качественной документации. Он изначально был создан для написания документации к языку Python, но со временем стал популярным выбором среди разработчиков различных языков программирования.

Sphinx использует простой в разметке текстовый формат reStructuredText (reST) для создания документации, и способен компилировать эту разметку в различные форматы, такие как HTML, PDF, ePub, Texinfo, и другие.

С помощью Sphinx, мы можем создавать структурированную и красиво оформленную документацию, которая может включать в себя автоматически генерируемые разделы.

Где используется Sphinx?
▪️Для документации ваших собственных проектов
• Sphinx является превосходным инструментом для документирования любого проекта, будь то небольшой проект с открытым исходным кодом или крупномасштабное корпоративное приложение. Благодаря его гибкости и функциональности, Sphinx обеспечивает все необходимые инструменты для создания качественной, структурированной и доступной документации. Кроме того, Sphinx обеспечивает поддержку международной локализации, что позволяет создавать документацию на разных языках. Расширяемость Sphinx через модули также позволяет адаптировать процесс создания документации под конкретные потребности проекта. Все эти функции делают Sphinx отличным выбором для документации вашего проекта, независимо от его масштаба и сложности.
▪️Python Documentation
• Как уже было сказано выше, Sphinx первоначально был создан для документирования самого языка Python, и по‑прежнему используется на официальном сайте Python для предоставления документации по языку и стандартным библиотекам.
▪️Read the Docs
• Это популярная платформа для хостинга документации, которая тесно интегрирована с Sphinx. Она позволяет автоматически собирать и публиковать документацию из репозиториев на GitHub, GitLab и других сервисах. Read the Docs поддерживает формат reStructuredText и предоставляет множество дополнительных функций для улучшения качества документации.

Проекты с открытым исходным кодом, корпоративные и научные проекты.

Множество проектов с открытым исходным кодом используют Sphinx для создания их документации. Некоторые из них включают:

• Django
• Это высокоуровневый веб‑фреймворк Python, который следует принципу «Не изобретай велосипед». Документация Django, известная своим высоким качеством и полнотой, написана с использованием Sphinx. Это включает подробные справочные материалы, руководства по разработке, и руководства по API. Использование Sphinx в таком масштабном и влиятельном проекте, как Django, является отличным подтверждением его надежности и эффективности.
• The Linux Kernel
• Sphinx используется для документирования ядра Linux, одного из самых значимых и сложных проектов с открытым исходным кодом в мире.
• TensorFlow
• Платформа от Google для машинного обучения. Документация TensorFlow, которая включает в себя описания API, руководства и учебные материалы, создана с использованием Sphinx.
• Pandas
• Библиотека Python для обработки и анализа данных, которая использует Sphinx для создания своей обширной документации, включающей справочные материалы, руководства и учебные пособия.
• NumPy
• Библиотека для научных вычислений на Python, которая широко использует Sphinx для создания своей документации. Это подтверждает статус Sphinx как стандартного инструмента для документации в научной и академической среде Python.

Инициализация Sphinx в нашем проекте
Где скачать Sphinx?
Sphinx – это программное обеспечение с открытым исходным кодом, и его можно легко установить с помощью пакетного менеджера Python — pip. Для установки Sphinx, выполним следующую команду в терминале:
$ pip install Sphinx

Также можно посетить официальный сайт Sphinx для получения дополнительной информации.

После того, как мы установили Sphinx, мы можем начать использовать его для создания документации.
Рассмотрим, как инициализировать Sphinx в нашем проекте.

Читать дальше

@data_analysis_ml

⚡ Крутая олимпиада по анализу данных DANO.

Открыта регистрация на олимпиаду по анализу данных от Тинькофф и НИУ ВШЭ где победители и призеры получат дополнительные преимущества при поступлении в различные высшие учебные заведения по всей стране. Например, в НИУ ВШЭ, УрФУ, Университет Иннополис, РЭШ, ИТМО и АГУ. Десять участников, набравших наибольшее количество баллов, также будут иметь возможность обучаться в Центральном университете, за счет выделенных грантов, которые покроют 100% стоимости обучения. Зарегестрироваться можно до 4 октября.

Этапы олимпиады

Первый (отборочный) этап. Направлен на проверку базовых знаний математики и логики. Открыт для всех желающих.

Второй (отборочный) этап. Направлен на проверку умения анализировать данные. Открыт только для школьников, победивших или занявших призовое место в предыдущем этапе.

Заключительный этап состоит из двух туров: сначала участники решают задачи продвинутого уровня по анализу данных, а во втором туре работают над реальным командным исследовательским проектом совместно с экспертами. Второй тур пройдет офлайн — с выездом на неделю в Подмосковье.

@data_analysis_ml

🔥 Дайджест полезных материалов из мира Data Science за неделю

Почитать:
— TechArena Ireland: как готовился хакатон
— Визуализация распределений вероятностей в Python.
— Построение пайплайна обработки данных в реальном времени с использованием Python
— Исследования возможностей нейронных сетей глубокого обучения в распознавании маскируемого трафика
— Как мы создавали self-service функционал проверки качества данных для ML-моделей
— Становясь Пангеей: будущее современного стека для анализа данных
— Как я пришёл в дата-анализ после долгих блужданий по онлайн-курсам, маршрут со всеми тупиками и ухабами
— Как оценить объем работ по миграции хранилища данных на Arenadata DB / Greenplum: методика и пример
— Data Science for Beginners: 2023 - 2024 Complete Roadmap
— A Beginner's Guide to Data Analytics: Understanding the Fundamentals
— The Start of My Year-long Journey into AI: From Novice to Engineer
— Data Science for Beginners: 2023–2024 Complete Roadmap
— Data Science for Beginners: 2023 - 2024 Complete Roadmap
— Data Science Roadmap.
— How can Ed-tech companies adopt AI, and what ways will it help in revenue generation and in work Operations?
— Matplotlib Tutorial: Let’s Take Your Country Maps to Another Level
— Data Analysis with SQL
— Autoscout24 SQL Analysis

Посмотреть:
🌐 Large Language Models Are Not (Necessarily) Generative Ai - Karin Verspoor, PhD (⏱ 29:59)
🌐 Django начало работы. (⏱ 08:18)
🌐 Популярная задача с собеседования в Яндекс #python #задача #программирование #собеседование (⏱ 01:00)
🌐 Новые функции в IOS 17 (⏱ 00:29)
🌐 TokenFlow редактирование видео с помощью текстового описания (⏱ 00:22)
🌐 Парсер телеграм каналов на Python. Гайд по написанию мощного бота. (⏱ 11:58)
🌐 Задача из Собеседования в Яндекс с зарплатой 85000 рублей #python #собеседование #задача #yandex (⏱ 00:59)
🌐 Асинхронный парсинг сайтов на Python (⏱ 22:06)
🌐 Evolving Trends in Prompt Engineering for LLMs with Built-in Responsible AI Practices (⏱ 33:21)
🌐 OpenAI’s ChatGPT Has Been Supercharged! (⏱ 06:48)
🌐 Evolving Trends in Prompt Engineering for LLMs with Built-in Responsible AI Practices (⏱ 33:21)
🌐 OpenAI’s ChatGPT Has Been Supercharged! (⏱ 06:48)
🌐 New AI Listened To 20,000 Hours Of Music. What Did It Learn? (⏱ 07:33)

Хорошего дня!

@data_analysis_ml

🐍Как Snowflake повышает эффективность dbt-моделей на Python

dbt — это инструмент, помогающий управлять всеми трансформациями данных, которые выполняются в базах данных с использованием SQL.

Допустим, у вас есть таблица с общим числом клиентских заказов, и нужно подсчитать, сколько из них пришлось на праздничные дни. Выполнить эту задачу можно с помощью двух SQL-запросов.

1. Добавить столбец is_holiday в таблицу sf100_orders, объединив ее с all_holidays. Назвать полученную таблицу sf100_orders_annotated.
2. Подсчитать строки, для которых is_holiday=true в таблице sf100_orders_annotated.

Эти два шага объединяют исходные данные, визуализированные с помощью dbt: в изображении.

Производный граф: из двух исходных таблиц составляется таблица count_holidays

Используя dbt, можно записать эти две трансформации в виде “dbt-моделей”, которые представляют собой файлы, содержащие SQL и некоторую конфигурацию dbt (при необходимости):
-- sf100_orders_annotated.sql
{{ config(materialized='table') }}

select a.*, b.date is not null is_holiday
from {{ref('sf100_orders')}} a
left join {{ref('all_holidays')}} b
on a.o_orderdate = b.date
-- count_holidays.sql
{{config(materialized='table')}}

select count(*) total_days
, count_if(is_holiday) holiday_count
, holiday_count/total_days ratio
from {{ref('sf100_orders_annotated')}}

Эти два файла выглядят как типичный SQL, но с некоторым отличием. Вместо ссылок на таблицы dbt позволяет ссылаться на другие “модели” с помощью аннотаций {{ref(‘sf100_orders_annotated’)}}. Таким образом, dbt определяет связь и зависимости между всеми трансформациями, через которые проходят данные.

Продолжение

@data_analysis_ml

В начале сентября прошла Practical ML Conf, а сейчас Яндекс опубликовал плейлист с записями докладов, в которых ведущие инженеры ВТБ, Авито, Сбера и самого Яндекса рассказывают о своем опыте применения практического машинного обучения.

Из запоминающегося:

Алексей Морозов из Поиска поделился кейсом модернизации нейронных сетей, которая позволяет ML-инженерам и исследователям не беспокоиться о работоспособности инфраструктуры и автоматически масштабироваться в процессе работы.

Руководитель группы компьютерного зрения и робототехники, Валерий Ильин, рассказал о том, как компьютерное зрение используется в роботах на складах Яндекс Маркета.

Записи этих докладов и всех остальных можно найти здесь.

@data_analysis_ml

🦙 Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads

Попробуйте модель, которая ускоряет в генерацию текста 2 раза: Medusa упрощает и ускоряет большие языковые модели.

Ваша исходная модель остается нетронутой, а в процессе обучения производится только тонкая настройка новых функций. В процессе генерации каждая из этих функций выдает несколько вероятных слов для соответствующей позиции. Затем эти варианты комбинируются и обрабатываются с помощью механизма внимания, древовидной структуры. Затем, выбираются наиболее правдоподобные генерации для дальнейшего декодирования.

pip install medusa-llm

• Github
• Как работает модель

@data_analysis_ml

✔ No Black Box Machine Learning Course – Learn Without Libraries

Как насчет курса по машинному обучению, который не опирается на библиотеки?

В этом курсе "без черного ящика" алгоритмы изучаются с нуля.

Вы узнаете, как они работают и создадите несколько интересных DS проектов таких, как приложение для рисования, визуализатор данных и многое другое.

• Video
• Github
• Course

@data_analysis_ml