ویراستار فارسی نگار برای تصحیح املا و نشانه‌گذاری

نگار یه ابزار ویراستاری فارسیه که املا، فاصله‌گذاری و نشانه‌گذاری رو به‌صورت خودکار تصحیح می‌کنه. جایگزینی خط‌تیره‌های پیاپی، سه‌نقطه، کوتیشن‌ها، اعداد عربی و انگلیسی به فارسی، و کاراکترهای غیراستاندارد رو انجام می‌ده. تنظیم نیم‌فاصله در پیشوند و پسوند کلمات، پرانتزها و علائم نقطه‌گذاری هم جزو قابلیت‌هاست. از روی PyPI با pip install python-negar نصب می‌شه و فقط به regex وابسته.

https://github.com/shahinism/python-negar

#پردازش_زبان_طبیعی #اصلاح_املا #فارسی #پایتون #ویراستار

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

دیتاست اخبار سیاسی فارسی با تحلیل احساسات


یه دیتاست فارسی جدید براتون آوردم: اخبار سیاسی خبرگزاری‌های ایرانی که با NodeJS و Crawlee جمع‌آوری شده. هر خبر شامل عنوان، متن کامل، خلاصه و لینکه و تحلیل احساسات هم روی خلاصه با مدل gemma2-9b-it انجام شده.
برای کار روی متن فارسی، تحلیل احساسات و پروژه‌های NLP می‌تونه به دردتون بخوره.

https://github.com/modos/persian-news-politics


#دیتاست #فارسی #تحلیل_احساسات #خبر

مجموعه پاسخ‌های چالش‌های کوئرا به پایتون

اگه می‌خوای مهارت کدنویسی‌ت رو با حل مسئله تقویت کنی، این ریپازیتوری مجموعه‌ای از پاسخ‌های چالش‌های سایت کوئرا (quera.org) به زبان پایتونه. نویسنده به مرور زمان و با پیشرفت خودش جواب‌ها رو اینجا جمع کرده تا بقیه هم بتونن ازش استفاده کنن. برای تمرین الگوریتم و ساختار داده به زبان فارسی خیلی منبع خوبی‌ست.

https://github.com/erfanghorbanee/quera-answers

#پایتون #کوئرا #چالش_برنامه_نویسی #یادگیری #حل_مسئله

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

از اونجایی که در عصر توسعه نجومی #ال_ال_ام ها به سر می بریم و زبان #پارسی هم در این فیلد جای کار خیلی زیادی داره، چه در بحث #تکنیکال و چه #ریسرچ، جای خالی یه #رپازیتوری رو حس کردم که بیایم آخرین دستاوردهای تخصصی با محوریت زبان پارسی رو در این فیلد منتشر کنیم.

مسلما یه سری شرکت ها دستاوردهاشون درون سازمانی هست و یه سری هم میان #اوپن_سورس منتشر می کنن.

منم تصمیم گرفتم این #پراکندگی #منابع رو در حد زمان محدود و سواد کمی که دارم جمع و جور کنم در قالب یه رفرنس.

حدودا دو هفته پیش این رپازیتوری رو با درست کردم
و سعی کردم آخرین دستاوردهای خاصه زبان پارسی رو اینجا منتشر کنم

از جمله

Papers & Research
Embedding Models
LLM Models
Repos
Datasets
Evaluation & Benchmarks
APIs & Platforms
Articles & Blogs
Persian Blogs Posts

مسلما هیچ کاری کامل و بی نقص نیست، حتما سهوا بعضی منابع رو از قلم انداخته باشم که شما بهتر از من می دونید و بلدشون هستید :-)

اگه دوست داشتید می تونید کمک کنید این #رفرنس توسعه پیدا کنه، بهتر بشه، نقایصش رفع بشه و برای جامعه علاقه مند به ال ال ام فارسی #سودمند واقع بشه

https://github.com/MohammadHeydari/Awesome-Persian-LLM

ابزارهای فارسی برای توسعه‌دهندگان اسکالا و جاوا

اگه با اسکالا یا جاوا روی پروژه‌هایی کار می‌کنید که کاربر فارسی‌زبان دارن، این کتابخانه یه سری ابزارهای آماده تحویل میده: تبدیل تاریخ میلادی به شمسی و برعکس (تقویم جلالی برای ۳۰۰۰ سال)، تبدیل اعداد به حروف فارسی (کاردینال و اردینال)، و تبدیل تاریخ به متن. هم برای JVM و هم Scala.js موجوده، مستندات کامل داره و با SBT، Maven، Gradle یا Mill راحت اضافه میشه. ۳۱ ستاره روی گیت‌هاب.

https://github.com/bahmanm/persianutils

#اسکالا #جاوا #تقویم_شمسی #محلیسازی #پردازش_متن

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

دیتاست گفتار فارسی از یوتیوب

اگه دنبال دیتای گفتار فارسی برای مدل‌های STT هستید، این ریپازیتوری از srezasm یه مجموعه اسکریپت و کد پایتون برای جمع‌آوری داده ASR فارسی داره.
با این کدها می‌شه از کانال‌های مشخص یوتیوب، صدای باکیفیت رو همراه با زیرنویس دستی دانلود کرد، فایل‌ها رو توی آرشیو tar.gz جمع کرد و روی HuggingFace ذخیره کرد.
برای ساخت یا توسعه مدل‌های تبدیل گفتار به متن فارسی می‌تونه منبع خوبی باشه.

https://github.com/srezasm/farsi-asr-dataset

#دیتاست #ASR #فارسی #پردازش_زبان_طبیعی

ابزار چک کردن فیلترینگ دامنه‌ها در ایران

یه ابزار خط فرمان ساده و سریع برای بررسی اینکه یه دامنه توی ایران فیلتره یا نه. کارش اینه که DNS رکورد A رو резولو می‌کنه و IPها رو با IPهای مسدودکننده ISPهای ایرانی مقایسه می‌کنه. می‌تونی یه دامنه، چند تا دامنه با کاما جدا شده، یا یه فایل متنی بدهی و خروجی‌ش جدول زیبایی میده. هم به صورت CLI قابل استفاده‌ست هم به عنوان کتابخانه پایتون. فقط DNS-based blocking رو تشخیص میده، نه سایر روش‌های فیلترینگ.

https://github.com/hatamiarash7/CheckFiltering

#فیلترینگ #اینترنت_ایران #سی_ال_آی #پایتون #شبکه

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

مجموعه تمرینات پایتون و یادگیری ماشین در ژوپیتر

یه مخزن پراکتیس برای کسایی که می‌خوان پایتون، الگوریتم‌های یادگیری ماشین و مبنای دیتاساینس رو در محیط ژوپیتر نوت‌بوک تمرین کنن.
تمرینات بر اساس متد w3schools و مطالب دوره دیتاساینس شریف گردآوری شده؛ از سطح پایه تا مباحث پیشرفته‌تر ML.
مناسب برای خودآموزی و تقویت مهارت کدنویسی با مثال‌های اجرایی.

https://github.com/imsalione/PythonFundamentals-Farsi

#پایتون #یادگیری_ماشین #ژوپیتر #پایه_های_برنامه_نویسی #تمرینات

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

ابزار Flowmpeg یک پروژه open-source برای ساده‌تر کردن کار با FFmpeg هست. FFmpeg یکی از ابزارهای قدرتمند و پرکاربرد command line برای پردازش، تبدیل و ویرایش فایل‌های ویدیویی و صوتی هست که commandهای اون در کارهای پیچیده می‌تونن خیلی طولانی و پیچیده باشن.

ابزار Flowmpeg این فرایند رو ساده‌تر می‌کنه و برای کارهایی مثل cut، resize، compress، تبدیل فرمت، subtitle، پردازش دسته‌ای، استخراج صدا و فریم و خیلی از کارهای رایج ویدیو و صوت commandهای ساده‌تر و قابل‌فهم‌تری ارائه می‌ده.
هم از طریق CLI و Python قابل استفاده‌ست و هم یک local web UI داره که می‌شه داخل مرورگر فایل رو انتخاب کرد، command دقیق FFmpeg رو قبل از اجرا دید و روند پردازش رو دنبال کرد.

همچنین در این ابزار command نهایی FFmpeg همیشه قابل مشاهده و بررسی هم هست.

GitHub:
https://github.com/Imanm02/flowmpeg

ابزارهای ربات ویکی‌پدیا فارسی

مجموعه‌ای از اسکریپت‌های آماده بر پایه pywikibot برای اتوماسیون کارها در ویکی‌پدیا فارسی. شامل ربات‌های انتقال و مدیریت رده‌ها، زیباسازی متن، استخراج لیست مدیران، شمارش مقالات جدید و اصلاح ارجاع‌ها. کدها روی نسخه Core کتابخانه کار می‌کنن و راهنمای نصب و اجرا در ریپو هست. اگه می‌خواید ربات بنویسید یا وظایف تکراری رو خودکار کنید، این کدها نقطه شروع خوبی‌ان.

https://github.com/PersianWikipedia/fawikibot

#ویکیپدیا #ربات #پایتون #پردازش_متن #اتوماسیون

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

فارسی‌ را پاس بداریم

یه ریپازیتوری جالب برای کسایی که می‌خوان توی گفتگوهای فنی فارسی‌تر حرف بزنن.
این مخزن برابرهای فارسی یه سری اصطلاحات رایج انگلیسی رو جمع کرده؛ از برنامه‌نویسی و رابط کاربری تا علم داده و زیرساخت.
اگه دنبال معادل فارسی برای اصطلاحات روزمره‌ی فنی هستید، می‌تونه بهتون کمک کنه.

https://github.com/keyvank/i-speak-persian

#واژه_نامه #فارسی #فناوری #برنامه_نویسی

ابزار استانداردسازی متن فارسی برای NLP

اگه با متن‌های فارسی کار می‌کنید می‌دونید که کاراکترهای عربی، اعداد مختلف و اشکال سیاقی چقدر داده‌هاتون رو به هم می‌ریزن. این پکیج پایتونی (persianutils) دقیقاً همین مشکل رو حل می‌کنه: کاراکترهای عربی رو به معادل فارسی تبدیل می‌کنه، تنوین‌ها رو حذف می‌کنه، اعداد انگلیسی و عربی رو به فارسی می‌گردونه و حتی برای Word2Vec یه تابع مخصوص داره که علائم نگارشی رو هم нормаل می‌کنه. نصبش با pip ساده‌ست و دو تا تابع اصلی standardize و standardize4Word2vec داره که پیش‌پردازش رو چند خطی می‌کنن.

https://github.com/ishto7/persianutils

#persian_nlp #پیش_پردازش_متن #استانداردسازی #پایتون #پردازش_زبان_طبیعی

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

اصلاح املای فارسی با ParsBERT

یه ابزار اصلاح املای فارسی که ترکیبی از بررسی‌گر املایی نورویگ، مدل BERT فارسی (HooshvareLab/bert-fa-base-uncased) برای پیش‌بینی زمینه‌ای و تشخیص هم‌صداها استفاده می‌کنه. خطاهای املایی رو شناسایی می‌کنه، بر اساس متن پیش‌بینی می‌کنه و کلمات هم‌صدا رو با توجه به محتوا تصحیح می‌کنه. نصب ساده با pip و استفاده مستقیم از کلاس correct_spelling.

https://github.com/iranailab/Persian-Spell-Correction-using-ParsBERT

#اصلاح_املا #پارس_برت #پردازش_زبان_طبیعی #هوش_مصنوعی #پایتون

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

تشخیص اسپم ایمیل فارسی با یادگیری ماشین

یه پروژه کاربردی برای تشخیص اسپم ایمیل‌های فارسی با الگوریتم‌های یادگیری ماشین. از هضم برای پیش‌پردازش متن (استمینگ و توکنیزه) و دو روش TF-IDF و فرکانس کلمه برای استخراج ویژگی استفاده شده. شش مدل طبقه‌بندی شامل KNN، رگرسیون لجستیک، درخت تصمیم، جنگل تصادفی، نایو بیز و SVM پیاده‌سازی شده. کدها با پایتون، scikit-learn، pandas و numpy نوشته شده و برای پروژه‌های NLP فارسی مرجع خوبی هستن.

https://github.com/MohammadrezaAmani/HamSpam

#تشخیص_اسپم #پردازش_زبان_طبیعی #یادگیری_ماشین #پایتون #هضم

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

ابزار مدل‌سازی موضوع برای متون کوتاه فارسی

یه ابزار کاربردی برای استخراج موضوع از متن‌های کوتاه فارسی. این ریپو چند الگوریتم معروف مثل LDA، NMF و GSDMM رو پیاده کرده و عملکردشون رو روی توییت‌های فارسی مقایسه کرده. کدها به‌صورت ماژولار هستن و دو تا نوت‌بوک Colab هم دارن که مستقیم قابل اجراست. اگه روی تحلیل متن فارسی کار می‌کنید و نیاز به Topic Modeling دارید، می‌تونه یه نقطه شروع خوب باشه.

https://github.com/DSInCenter/pySTTM

#پردازش_زبان_طبیعی #مدل_سازی_موضوع #متن_کوتاه #فارسی #پایتون

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

افزونه ترجمه متن صفحه و PDF

اگه دنبال افزونه سبک برای ترجمه متن‌ها، صفحه‌ها، فایل PDF، تصاویر با OCR و زیرنویس‌ها هستید، این ابزار روی Chrome و Firefox کار می‌کنه.
می‌شه متن انتخاب‌شده، بخش‌های صفحه، PDF و فایل SRT رو ترجمه کرد و از چند سرویس مختلف برای پردازش ترجمه استفاده کرد.
یه قابلیت جالبش هم ترجمه صوتی زنده در Chrome هست که می‌تونه تجربه مرور رو راحت‌تر کنه.

https://github.com/Translate-It-App/Translate-It


#افزونه #ترجمه #هوش_مصنوعی #OCR

استخراج زمان و تاریخ از متن فارسی با هنگام

هنگام یه مدل ترنسفورمر Adversaire‌ آموزش‌دیده برای تگ‌گذاری زمانی فارسیه (AACL 2022). از روی متن ساده می‌تونه موجودیت‌های زمان (ساعت، صبح، عصر) و تاریخ (روز، ماه، سال) رو با برچسب‌های B-TIM، I-TIM، B-DAT، I-DAT استخراج کنه.
نمونه خروجی: از جمله «ساعت ۸ صبح روز سه‌شنبه» می‌سازه تگ‌های دقیق زمان و تاریخ.
پکیج به اسم Parstdex روی PyPI موجوده و با pip نصب می‌شه. هم‌چنین مدل‌های HengamTransA و HengamTransW روی هاگینگ‌فیس آپلود شدن و نوت‌بوک‌های آموزش/استنتاج در گیت‌هاب و کولب موجوده.

https://github.com/kargaranamir/Hengam

#پردازش_زبان_طبیعی #استخراج_موجودیت #فارسی #هوش_مصنوعی #NLP

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

استخراج متن فارسی از PDF برای RAG

یه ابزار Python برای تبدیل PDF فارسی به JSONL آوردم که مخصوص پایپ‌لاین‌های RAG طراحی شده.
متن فارسی و آیات قرآن رو استخراج می‌کنه و برای فایل‌های بزرگ هم پردازش موازی و Resume داره.
اگه PDF لایه متنی تمیز داشته باشه، حالت auto بدون OCR سریع‌تر اجرا می‌شه و اصلاحات رایج OCR رو هم اعمال می‌کنه.
برای ساخت داده فارسی برای RAG خیلی به دردتون می‌خوره.

https://github.com/shab-bit/persian-pdf-extractor

#فارسی #پردازش_متن #پایتون #داده

آموزش مارک‌داون به زبان فارسی

یک راهنمای کامل و کاربردی برای یادگیری سینتکس مارک‌داون به زبان ساده فارسی. از تیترها و لینک‌ها تا کدهای قابل کپی، جداول، لیست‌ها و تصاویر — همه با مثال‌های عملی توضیح داده شده. عالی برای نوشتن READMEهای گیت‌هاب، مستندات پروژه یا وبلاگ‌نویسی. فقط کافیه کلون کنید و مرور کنید.

https://github.com/SDNT8810/Markdown_Farsi_Tutorial

#مارک_داون #آموزش #مستندسازی #گیت_هاب

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

کد مقایسه صندوق‌های سهامی بورس ایران

یه نوت‌بوک پایتون برای مقایسه صندوق‌های سرمایه‌گذاری سهامی بورس ایران با داده‌های تاریخی تا مرداد ۹۹. کد خروجی اکسل و تحلیل کنسولی میده تا عملکرد صندوق‌ها رو جنبه‌به‌جنبه ببینید و انتخاب بهتری داشته باشید. دیتای خام هم داخل ریپوست، میشه پایه‌ی تحلیل‌های عمیق‌تر یا بک‌تست قرار بده. مفید برای کسی که روی داده‌های مالی ایران کار می‌کنه و یه استارت‌پوینت آماده می‌خواد.

https://github.com/anvaari/compair_iranian_stock_funds

#بورس_ایران #صندوق_سرمایه_گذاری #داده_مالی #پایتون #تحلیل_داده

اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani