مرجع دیتاست فارسی

افزونه ترجمه متن صفحه و PDF اگه دنبال افزونه سبک برای ترجمه متن‌ها، صفحه‌ها، فایل PDF، تصاویر با OCR و زیرنویس‌ها هستید، این ابزار روی Chrome و Firefox کار می‌کنه. می‌شه متن انتخاب‌شده، بخش‌های صفحه، PDF و فایل SRT رو ترجمه کرد و از چند سرویس مختلف برای پردازش ترجمه استفاده کرد. یه قابلیت جالبش هم ترجمه صوتی زنده در Chrome هست که می‌تونه تجربه مرور رو راحت‌تر کنه. https://github.com/Translate-It-App/Translate-It #افزونه #ترجمه #هوش_مصنوعی #OCR

ابزار مدل‌سازی موضوع برای متون کوتاه فارسی یه ابزار کاربردی برای استخراج موضوع از متن‌های کوتاه فارسی. این ریپو چند الگوریتم معروف مثل LDA، NMF و GSDMM رو پیاده کرده و عملکردشون رو روی توییت‌های فارسی مقایسه کرده. کدها به‌صورت ماژولار هستن و دو تا نوت‌بوک Colab هم دارن که مستقیم قابل اجراست. اگه روی تحلیل متن فارسی کار می‌کنید و نیاز به Topic Modeling دارید، می‌تونه یه نقطه شروع خوب باشه. https://github.com/DSInCenter/pySTTM #پردازش_زبان_طبیعی #مدل_سازی_موضوع #متن_کوتاه #فارسی #پایتون اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

تشخیص اسپم ایمیل فارسی با یادگیری ماشین یه پروژه کاربردی برای تشخیص اسپم ایمیل‌های فارسی با الگوریتم‌های یادگیری ماشین. از هضم برای پیش‌پردازش متن (استمینگ و توکنیزه) و دو روش TF-IDF و فرکانس کلمه برای استخراج ویژگی استفاده شده. شش مدل طبقه‌بندی شامل KNN، رگرسیون لجستیک، درخت تصمیم، جنگل تصادفی، نایو بیز و SVM پیاده‌سازی شده. کدها با پایتون، scikit-learn، pandas و numpy نوشته شده و برای پروژه‌های NLP فارسی مرجع خوبی هستن. https://github.com/MohammadrezaAmani/HamSpam #تشخیص_اسپم #پردازش_زبان_طبیعی #یادگیری_ماشین #پایتون #هضم اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

اصلاح املای فارسی با ParsBERT یه ابزار اصلاح املای فارسی که ترکیبی از بررسی‌گر املایی نورویگ، مدل BERT فارسی (HooshvareLab/bert-fa-base-uncased) برای پیش‌بینی زمینه‌ای و تشخیص هم‌صداها استفاده می‌کنه. خطاهای املایی رو شناسایی می‌کنه، بر اساس متن پیش‌بینی می‌کنه و کلمات هم‌صدا رو با توجه به محتوا تصحیح می‌کنه. نصب ساده با pip و استفاده مستقیم از کلاس correct_spelling. https://github.com/iranailab/Persian-Spell-Correction-using-ParsBERT #اصلاح_املا #پارس_برت #پردازش_زبان_طبیعی #هوش_مصنوعی #پایتون اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

ابزار استانداردسازی متن فارسی برای NLP اگه با متن‌های فارسی کار می‌کنید می‌دونید که کاراکترهای عربی، اعداد مختلف و اشکال سیاقی چقدر داده‌هاتون رو به هم می‌ریزن. این پکیج پایتونی (persianutils) دقیقاً همین مشکل رو حل می‌کنه: کاراکترهای عربی رو به معادل فارسی تبدیل می‌کنه، تنوین‌ها رو حذف می‌کنه، اعداد انگلیسی و عربی رو به فارسی می‌گردونه و حتی برای Word2Vec یه تابع مخصوص داره که علائم نگارشی رو هم нормаل می‌کنه. نصبش با pip ساده‌ست و دو تا تابع اصلی standardize و standardize4Word2vec داره که پیش‌پردازش رو چند خطی می‌کنن. https://github.com/ishto7/persianutils #persian_nlp #پیش_پردازش_متن #استانداردسازی #پایتون #پردازش_زبان_طبیعی اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

فارسی‌ را پاس بداریم یه ریپازیتوری جالب برای کسایی که می‌خوان توی گفتگوهای فنی فارسی‌تر حرف بزنن. این مخزن برابرهای فارسی یه سری اصطلاحات رایج انگلیسی رو جمع کرده؛ از برنامه‌نویسی و رابط کاربری تا علم داده و زیرساخت. اگه دنبال معادل فارسی برای اصطلاحات روزمره‌ی فنی هستید، می‌تونه بهتون کمک کنه. https://github.com/keyvank/i-speak-persian #واژه_نامه #فارسی #فناوری #برنامه_نویسی

ابزارهای ربات ویکی‌پدیا فارسی مجموعه‌ای از اسکریپت‌های آماده بر پایه pywikibot برای اتوماسیون کارها در ویکی‌پدیا فارسی. شامل ربات‌های انتقال و مدیریت رده‌ها، زیباسازی متن، استخراج لیست مدیران، شمارش مقالات جدید و اصلاح ارجاع‌ها. کدها روی نسخه Core کتابخانه کار می‌کنن و راهنمای نصب و اجرا در ریپو هست. اگه می‌خواید ربات بنویسید یا وظایف تکراری رو خودکار کنید، این کدها نقطه شروع خوبی‌ان. https://github.com/PersianWikipedia/fawikibot #ویکیپدیا #ربات #پایتون #پردازش_متن #اتوماسیون اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

ابزار Flowmpeg یک پروژه open-source برای ساده‌تر کردن کار با FFmpeg هست. FFmpeg یکی از ابزارهای قدرتمند و پرکاربرد command line برای پردازش، تبدیل و ویرایش فایل‌های ویدیویی و صوتی هست که commandهای اون در کارهای پیچیده می‌تونن خیلی طولانی و پیچیده باشن. ابزار Flowmpeg این فرایند رو ساده‌تر می‌کنه و برای کارهایی مثل cut، resize، compress، تبدیل فرمت، subtitle، پردازش دسته‌ای، استخراج صدا و فریم و خیلی از کارهای رایج ویدیو و صوت commandهای ساده‌تر و قابل‌فهم‌تری ارائه می‌ده. هم از طریق CLI و Python قابل استفاده‌ست و هم یک local web UI داره که می‌شه داخل مرورگر فایل رو انتخاب کرد، command دقیق FFmpeg رو قبل از اجرا دید و روند پردازش رو دنبال کرد. همچنین در این ابزار command نهایی FFmpeg همیشه قابل مشاهده و بررسی هم هست. GitHub: https://github.com/Imanm02/flowmpeg

مجموعه تمرینات پایتون و یادگیری ماشین در ژوپیتر یه مخزن پراکتیس برای کسایی که می‌خوان پایتون، الگوریتم‌های یادگیری ماشین و مبنای دیتاساینس رو در محیط ژوپیتر نوت‌بوک تمرین کنن. تمرینات بر اساس متد w3schools و مطالب دوره دیتاساینس شریف گردآوری شده؛ از سطح پایه تا مباحث پیشرفته‌تر ML. مناسب برای خودآموزی و تقویت مهارت کدنویسی با مثال‌های اجرایی. https://github.com/imsalione/PythonFundamentals-Farsi #پایتون #یادگیری_ماشین #ژوپیتر #پایه_های_برنامه_نویسی #تمرینات اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

ابزار چک کردن فیلترینگ دامنه‌ها در ایران یه ابزار خط فرمان ساده و سریع برای بررسی اینکه یه دامنه توی ایران فیلتره یا نه. کارش اینه که DNS رکورد A رو резولو می‌کنه و IPها رو با IPهای مسدودکننده ISPهای ایرانی مقایسه می‌کنه. می‌تونی یه دامنه، چند تا دامنه با کاما جدا شده، یا یه فایل متنی بدهی و خروجی‌ش جدول زیبایی میده. هم به صورت CLI قابل استفاده‌ست هم به عنوان کتابخانه پایتون. فقط DNS-based blocking رو تشخیص میده، نه سایر روش‌های فیلترینگ. https://github.com/hatamiarash7/CheckFiltering #فیلترینگ #اینترنت_ایران #سی_ال_آی #پایتون #شبکه اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

دیتاست گفتار فارسی از یوتیوب اگه دنبال دیتای گفتار فارسی برای مدل‌های STT هستید، این ریپازیتوری از srezasm یه مجموعه اسکریپت و کد پایتون برای جمع‌آوری داده ASR فارسی داره. با این کدها می‌شه از کانال‌های مشخص یوتیوب، صدای باکیفیت رو همراه با زیرنویس دستی دانلود کرد، فایل‌ها رو توی آرشیو tar.gz جمع کرد و روی HuggingFace ذخیره کرد. برای ساخت یا توسعه مدل‌های تبدیل گفتار به متن فارسی می‌تونه منبع خوبی باشه. https://github.com/srezasm/farsi-asr-dataset #دیتاست #ASR #فارسی #پردازش_زبان_طبیعی

ابزارهای فارسی برای توسعه‌دهندگان اسکالا و جاوا اگه با اسکالا یا جاوا روی پروژه‌هایی کار می‌کنید که کاربر فارسی‌زبان دارن، این کتابخانه یه سری ابزارهای آماده تحویل میده: تبدیل تاریخ میلادی به شمسی و برعکس (تقویم جلالی برای ۳۰۰۰ سال)، تبدیل اعداد به حروف فارسی (کاردینال و اردینال)، و تبدیل تاریخ به متن. هم برای JVM و هم Scala.js موجوده، مستندات کامل داره و با SBT، Maven، Gradle یا Mill راحت اضافه میشه. ۳۱ ستاره روی گیت‌هاب. https://github.com/bahmanm/persianutils #اسکالا #جاوا #تقویم_شمسی #محلیسازی #پردازش_متن اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

از اونجایی که در عصر توسعه نجومی #ال_ال_ام ها به سر می بریم و زبان #پارسی هم در این فیلد جای کار خیلی زیادی داره، چه در بحث #تکنیکال و چه #ریسرچ، جای خالی یه #رپازیتوری رو حس کردم که بیایم آخرین دستاوردهای تخصصی با محوریت زبان پارسی رو در این فیلد منتشر کنیم. مسلما یه سری شرکت ها دستاوردهاشون درون سازمانی هست و یه سری هم میان #اوپن_سورس منتشر می کنن. منم تصمیم گرفتم این #پراکندگی #منابع رو در حد زمان محدود و سواد کمی که دارم جمع و جور کنم در قالب یه رفرنس. حدودا دو هفته پیش این رپازیتوری رو با درست کردم #Awesome_Persian_LLM https://github.com/MohammadHeydari/Awesome-Persian-LLM و سعی کردم آخرین دستاوردهای خاصه زبان پارسی رو اینجا منتشر کنم از جمله Papers & Research Embedding Models LLM Models Repos Datasets Evaluation & Benchmarks APIs & Platforms Articles & Blogs Persian Blogs Posts مسلما هیچ کاری کامل و بی نقص نیست، حتما سهوا بعضی منابع رو از قلم انداخته باشم که شما بهتر از من می دونید و بلدشون هستید :-) اگه دوست داشتید می تونید کمک کنید این #رفرنس توسعه پیدا کنه، بهتر بشه، نقایصش رفع بشه و برای جامعه علاقه مند به ال ال ام فارسی #سودمند واقع بشه

مجموعه پاسخ‌های چالش‌های کوئرا به پایتون اگه می‌خوای مهارت کدنویسی‌ت رو با حل مسئله تقویت کنی، این ریپازیتوری مجموعه‌ای از پاسخ‌های چالش‌های سایت کوئرا (quera.org) به زبان پایتونه. نویسنده به مرور زمان و با پیشرفت خودش جواب‌ها رو اینجا جمع کرده تا بقیه هم بتونن ازش استفاده کنن. برای تمرین الگوریتم و ساختار داده به زبان فارسی خیلی منبع خوبی‌ست. https://github.com/erfanghorbanee/quera-answers #پایتون #کوئرا #چالش_برنامه_نویسی #یادگیری #حل_مسئله اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

دیتاست اخبار سیاسی فارسی با تحلیل احساسات یه دیتاست فارسی جدید براتون آوردم: اخبار سیاسی خبرگزاری‌های ایرانی که با NodeJS و Crawlee جمع‌آوری شده. هر خبر شامل عنوان، متن کامل، خلاصه و لینکه و تحلیل احساسات هم روی خلاصه با مدل gemma2-9b-it انجام شده. برای کار روی متن فارسی، تحلیل احساسات و پروژه‌های NLP می‌تونه به دردتون بخوره. https://github.com/modos/persian-news-politics #دیتاست #فارسی #تحلیل_احساسات #خبر

ویراستار فارسی نگار برای تصحیح املا و نشانه‌گذاری نگار یه ابزار ویراستاری فارسیه که املا، فاصله‌گذاری و نشانه‌گذاری رو به‌صورت خودکار تصحیح می‌کنه. جایگزینی خط‌تیره‌های پیاپی، سه‌نقطه، کوتیشن‌ها، اعداد عربی و انگلیسی به فارسی، و کاراکترهای غیراستاندارد رو انجام می‌ده. تنظیم نیم‌فاصله در پیشوند و پسوند کلمات، پرانتزها و علائم نقطه‌گذاری هم جزو قابلیت‌هاست. از روی PyPI با pip install python-negar نصب می‌شه و فقط به regex وابسته. https://github.com/shahinism/python-negar #پردازش_زبان_طبیعی #اصلاح_املا #فارسی #پایتون #ویراستار اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

دیتاست گفتار فارسی برای تشخیص صدا یه دیتاست گفتار فارسی برای کارهای ASR که شامل چند نسخه با حجم‌های مختلفه: نسخه tiny ۳ ساعته، full ۳۰ ساعته و v2 با ۵۶ ساعت صدا. برچسب هر فایل صوتی یه جمله متنه و طول هر فایل حدود ۱۰ ثانیه. دیتاست شخصی نویسنده و رایگان برای استفاده در پروژه‌هاست. اگه حجم بیشتری لازم داری (۸۶ ساعت) می‌تونید با نویسنده تماس بگیرید. هم‌چنین لینک به دیتاست موزيلا (۲۹۳ ساعت) و persianspeechcorpus هم داده شده. https://github.com/persiandataset/PersianSpeech #دیتاست_گفتار #تشخیص_صدا #پردازش_صوت #فارسی #ASR اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

جشنواره اوپن‌سورس فارسی و جامعه توسعه‌دهندگان POSSF یه جامعه و جشنواره برای برنامه‌نویسی‌های اوپن‌سورس فارسی‌زبانه. سایتش با جکیل ساخته شده و هرکسی می‌تونه با یه پی‌آر ساده پروفایلش رو اضافه کنه و جزو اعضای شبکه بشه. راه خوبی‌ه برای دیده شدن، نتورکینگ و مشارکت در پروژه‌های متن‌باز فارسی. رویدادهای هکتابرفست هم توش پوشش داده می‌شن. https://github.com/POSSF/POSSF #اوپن_سورس #فارسی #جامعه_برنامه_نویسی #جشنواره #هکتابرفست اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

دیتاست کاراکترهای پلاک فارسی با ۸۳ هزار تصویر یه دیتاست بزرگ و کاربردی برای کار روی تشخیص پلاک‌های ایران. شامل ۸۳ هزار و ۸۴۴ تصویر از ارقام و حروف فارسی که از تصاویر واقعی پلاک‌های ماشینی با دوربین‌های مختلف جمع‌آوری شده. هم اعداد ۰ تا ۹ رو داره هم تمام حروف الفبا مثل الف، ب، پ، ج و نمادهای خاص مثل نماد معلولین. برای آموزش مدل‌های یادگیری عمیق و بینایی ماشین که روی پلاک‌های فارسی کار می‌کنن خیلی مناسب‌ست. هم روی گیت‌هاب موجوده هم روی کگل و دیتا.ورلد. https://github.com/alitourani/Iranis-dataset #دیتاست #بینایی_ماشین #پلاک_فارسی #یادگیری_عمیق #پردازش_تصویر اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani

مجموعه کامل ابزار و دیتاست گفتار فارسی یه لیست عالی برای هر کسی روی تبدیل متن به گفتار (TTS) یا گفتار به متن (STT) فارسی کار می‌کنه. این ریپو ابزارهای مختلف مثل mimic3، piper، edge-tts، tihu و مدل‌های Coqui رو با لینک‌های مستقیم جمع کرده. دیتاست‌های چندگوینده مثل ParsiGoo و دیتاست‌های قران فارسی هم در دسترسه. پلتفرم‌های ویندوز، اندروید و وب هم جدا شده. برای پروژه‌های صوت فارسی زمان‌برده‌ی جستجو رو می‌کشه. https://github.com/karim23657/awesome-Persian-Speech #پردازش_گفتار #متن_به_گفتار #گفتار_به_متن #دیتاست_فارسی #هوش_مصنوعی اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani