Python/ django
60.6K subscribers
2.13K photos
79 videos
48 files
2.86K links
по всем вопросам @haarrp

@itchannels_telegram - 🔥 все ит-каналы

@ai_machinelearning_big_data -ML

@ArtificialIntelligencedl -AI

@datascienceiot - 📚

@pythonlbooks

РКН: clck.ru/3FmxmM
Download Telegram
🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch

pip install pytorch-ignite

Особенности PyTorch-Ignite:

— позволяет запускать любые обработчики на любые встроенные или кастомные события

— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое

— позволяет без проблем подключать дополнительные CPU, GPU и TPU

— имеет 50+ метрик, позволяющих легко оценивать модели

— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune

🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥62
🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла

Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.

Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.

Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
-d, --directory — путь к каталогу (обязательно).
-t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
-e, --embed — включить дерево в начале вывода.
-b, --binary — ключить двоичные файлы (отключен по умолчанию).
-g, --gitignore — использовать .gitignore для исключения файлов.
-i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
-o, --output — имя файла на выходе.

🖥 GitHub

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥61
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP

curl -sSL https://pdm-project.org/install-pdm.py | python3 -

PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥63
🖥 DeepChem — демократизация Deep Learning для открытия лекарств, квантовой химии, материаловедения и биологии

pip install deepchem

DeepChem предоставляет отличный набор open-source инструментов, который демократизирует использование Deep Learning для открытия лекарств, материаловедения, квантовой химии и биологии.

🖥 GitHub
🟡 Туториалы
🟡 Модели Deep Learning от DeepChem

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍11🔥5🤩1
⚡️ ЛУЧШИЕ БЕСПЛАТНЫЕ Курсы и Книги для изучения МАШИННОГО ОБУЧЕНИЯ.

https://www.youtube.com/watch?v=j0BrMPgrCuo

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥32
🖥 geemap — библиотека Python для интерактивного геопространственного анализа и визуализации с помощью Google Earth Engine

pip install geemap

Библиотека geemap Python создана на базе ipyleaflet и ipywidgets и позволяет пользователям анализировать и визуализировать наборы данных Earth Engine в интерактивном режиме в среде, основанной на Jupyter.

🖥 GitHub

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥61
🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач

Вот, кстати, некоторые из них:

— добавить файл sample.txt к архиву .tar.gz:

import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
tar.add('sample.txt')


— понятный вывод различий между строками

import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))


📎 Шпаргалка

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥32
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ Сравниваем DBSCAN и OPTICS

Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!

https://habr.com/ru/articles/818889/

@pythonl
👍51🔥1
🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD

pip install marker-pdf

Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)

Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность

Пример использования:
marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English

🖥 GitHub
🟡 Пример использования

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥73
🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого

pip install distilabel --upgrade

Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍113🔥2