Python/ django
60.6K subscribers
2.13K photos
79 videos
48 files
2.86K links
по всем вопросам @haarrp

@itchannels_telegram - 🔥 все ит-каналы

@ai_machinelearning_big_data -ML

@ArtificialIntelligencedl -AI

@datascienceiot - 📚

@pythonlbooks

РКН: clck.ru/3FmxmM
Download Telegram
🖥 Шпаргалка по Python, в которой собраны небольшие скрипты для решения повседневных задач

Вот, кстати, некоторые из них:

— добавить файл sample.txt к архиву .tar.gz:

import tarfile
with tarfile.open('sample.tar.gz', 'w:gz') as tar:
tar.add('sample.txt')


— понятный вывод различий между строками

import difflib
diff = difflib.ndiff('one\ntwo\nthree\n'.splitlines(keepends=True),
'ore\ntree\nemu\n'.splitlines(keepends=True))
print(''.join(diff))


📎 Шпаргалка

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥32
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ Сравниваем DBSCAN и OPTICS

Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!

https://habr.com/ru/articles/818889/

@pythonl
👍51🔥1
🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD

pip install marker-pdf

Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)

Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность

Пример использования:
marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English

🖥 GitHub
🟡 Пример использования

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥73
🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого

pip install distilabel --upgrade

Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍113🔥2
🖥 Instructor — получение структурированного вывода от LLM

pip install -U instructor

Instructor позволяет легко получать структурированные данные (например, в формате JSON) от таких LLM, как GPT-3.5, GPT-4, GPT-4-Vision, и моделей с открытым исходным кодом, включая Mistral/Mixtral, Anyscale, Ollama и llama-cpp-python.

Instructor отличается простотой и ориентированным на пользователя дизайном, построенным на базе Pydantic.

🖥 GitHub
🟡 Примеры использования instructor

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍52
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 draw_scatter — позволяет нарисовать нужное распределение в Python

Если нужны кластеры нужной формы (например, хочется сравнить разные алгоритмы кластеризации) — не проблема, для этого есть библиотека drawdata и функция draw_scatter()

# ячейка 1
import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()


# ячейка 2
df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')


🟡 Notebook

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥65
🖥 Freeway — инструмент на Python для тестирования и аудита Wi-Fi

pip install 3way

Используется Freeway интуитивно понятным способом, как видно на скринах

🖥 GitHub

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥73🎉1
🖥 GPT Computer Assistant — альтернативный мультиплатформенный клиент ChatGPT на Python

pip3 install gpt-computer-assistant
computerassistant


Можно установить и использовать как библиотеку Python, или можно скачать .exe

🖥 GitHub

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍53🎉1
🖥 tinygrad — фреймворк Python для Deep Learning

pip install tinygrad

tinygrad имеет встроенную библиотеку для работы с нейросетями, используя разные классы, оптимизаторы и инструменты для управления состоянием нейросетей.

В tinygrad есть JIT, чтобы всё работало быстро.
Также tinygrad имеет отличную поддержку нескольких GPU, что позволяет удобно параллелить операции над тензорами с помощью Tensor.shard.

🖥 GitHub
🟡 Доки
🟡 Примеры использования tinygrad

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍165🔥3