مرجع دیتاست فارسی
Kanalga Telegram’da o‘tish
لطفا برای معرفی و درج دیتاست خود داخل کانال به @data_hub پیام دهید.
Ko'proq ko'rsatish3 321
Obunachilar
+324 soatlar
+147 kun
+4630 kun
Postlar arxiv
3 321
چت فارسی راستچین در Cursor
اگه با Cursor کد میزنید و چت هوش مصنوعیش براتون چپچین و ناخوانا میمونه، این افزونه مشکل رو حل میکنه. پنل چت رو کامل راستچین میکنه، لیستها و جداول رو درست چین میکنه، ولی بلوکهای کد رو هوشمندانه چپچین نگه میداره. میتونید هر فونت فارسی نصبشده روی سیستم رو (مثل وزیرمتن) انتخاب کنید و اندازه و فاصله خطوط رو هم تنظیم کنید. حالت خودکار هم پاراگرافهای فارسی رو راستچین و انگلیسیها رو چپچین میکنه. بعد از هر آپدیت Cursor هم بهصورت خودکار دوباره اعمال میشه.
https://github.com/Amirrezaheydari81/cursor-rtl
#cursor #فارسی #راست_چین #هوش_مصنوعی #توسعه
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
19 Noy, 01:00
3 321
تبدیل هوشمند PDF به Word با صفر اشباع حافظه
این پروژه یه خط لوله دو موتوره برای تبدیل کتابها و جزوههای طولانی PDF (تا ۵۰۰ صفحه) به فایل Word تمیز و قابل ویرایش ساخته. معماریش از دو پرامپت و دو موتور استفاده میکنه تا مشکل اشباع حافظه مدلهای زبانی رو حل کنه و پرانتزها، فرمولهای ریاضی و متنهای دوزبانه فارسی-انگلیسی رو بدون وارونگی حفظ کنه. خروجی نهایی شامل فایل docx با فونتهای استاندارد فارسی مثل B Nazanin و معادلات برداری OMML میشه. هم CLI و هم رابط گرافیکی ویندوز داره.
https://github.com/faithsaly5-stack/Antigravity-PDF-to-Docx
#تبدیل_PDF #OCR #هوش_مصنوعی #پردازش_سند #فارسی
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
18 Noy, 01:09
3 321
Mind Cleaner: نقشه ذهنی سریع با AI
یک اپلیکیشن دسکتاپ سبک و سریع برای رسم نقشه ذهنی، ساخته شده با Rust و Tauri. از ویژگیهایش: بوم بینهایت، شاخهها در چهار جهت، چیدمان خودکار، و مهمتر از همه تولید خودکار نقشه با هوش مصنوعی (پشتیبانی از OpenRouter، Google AI Studio، OpenAI، Anthropic و هر endpoint سازگار OpenAI مثل Ollama). امکان پیوست عکس، ویدیو، صدا و فایل به هر شاخه، چکباکس تسک، یادداشت، رنگ، جستجو، undo/redo. خروجی PNG، Markdown و JSON. تم تاریک/روشن، پشتیبانی کامل فارسی (RTL) و انگلیسی، حالت فوکس و همیشه در بالا. ذخیره خودکار اتمیک که از خرابی فایل در صورت کرش جلوگیری میکند. نصبکننده برای ویندوز، مک و لینوکس در صفحه Releases.
https://github.com/raminturne/Mind-Cleaner
#نقشه_ذهنی #هوش_مصنوعی #راست #توری #فارسی
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
17 Noy, 00:50
17 Noy, ~06:30
3 321
پایپلاین تحلیل نواحی فعال خورشید
یه پایپلاین پایتون باز و قابل بازتولید برای پردازش دادههای نواحی فعال خورشید از دو طرف دور و نزدیک.
کد با Makefile سازماندهی شده و مراحل رو به ترتیب اجرا میکنه: استخراج دادههای هلیوسیسمیک، ساخت سریهای زمانی هفتگی، نرمالسازی و محاسبه همبستگی متقاطع بین سیگنالها.\nابزارهای اصلی: sunpy، pandas، numpy. مناسب پژوهشگران فیزیک خورشید و دادهکاوان سریهای زمانی.
https://github.com/darodriguezto/FarSide-data
#خورشید #داده_کاوشی #پایتون #سری_زمانی #فیزیک_خورشید
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
15 Noy, 23:38
3 321
اولین دیتاست بزرگ تشخیص موضع فارسی با توضیح
یه دیتاست جدید و باحال برای تشخیص موضع (stance detection) با قابلیت توضیحدهی توی فارسی منتشر شده. این اولین و بزرگترین دیتاست مبتنی بر ادعا (claim-based) هست که شامل ۱۳۰+ خبرگزاری فارسی، دادههای آموزشی/تستی برای دو تسک article2claim و head2claim، و کدهای بازتولید آزمایشات با مدلهای بزرگ مثل Command-R-32B و Llama-3.1-70B میشه. هم RAG و هم PEFT فاینتیونینگ رو پوشش میده. اگه روی NLP توضیحپذیر یا تحلیل شبکههای اجتماعی فارسی کار میکنید، این دیتاست مرجع خوبی میشه.
https://github.com/Zarharan/FarExStance
#دیتاست #تشخیص_موضع #پردازش_زبان_طبیعی #توضیح_پذیری #فارسی
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
15 Noy, 00:47
3 321
مدل دوکاناله برای طبقهبندی متن فارسی
یه رویکرد جالب برای طبقهبندی متن فارسی که از دو کانال CNN و MLP با یادگیری انتقالی استفاده میکنه. ورودی MLP ماتریس TF-IDF هست و ورودی CNN امبدینگ کلمه. متنهای فارسی اول به انگلیسی ترجمه میشن و بعد با مدلهای پیشآموخته انگلیسی پردازش میشن.
دوتا دیتاست استفاده شده: کامنتهای آمازون (۴ میلیون، دو کلاس) برای آموزش و کامنتهای اسنپفود (۸۰ هزار) برای تست. نتایج نشون میده این ترکیب کانالها روی متن فارسی کارایی خوبی داره.
https://github.com/younesabdolmalaky/A-Dual-Channel-Approach-for-Farsi-Text-Classification-using-Transfer-Learning-Techniques
#پردازش_زبان_طبیعی #یادگیری_انتقالی #طبقه_بندی_متن #هوش_مصنوعی #فارسی
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
14 Noy, 01:41
3 321
دیتاست تشخیص متن فارسی در تصاویر طبیعی
یه دیتاست جدید برای ارزیابی الگوریتمهای تشخیص متن فارسی در تصاویر طبیعی. شامل تصاویر واقعی با متنهای فارسی و انگلیسی که نواحی متن با مستطیلهای سفید کلمه به کلمه برچسبگذاری شده. مختصات راسهای چندضلعی به صورت فایلهای .mat ذخیره شده، مشابه ساختار دیتاستهای استاندارد. برای توسعه و تست مدلهای OCR و تشخیص متن فارسی خیلی کاربردیه.
https://github.com/s-bytpr/-Dataset-of-natural-images-with-Farsi-text-DNIFT-
#دیتاست #تشخیص_متن #پردازش_تصویر #فارسی #OCR
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
13 Noy, 13:55
3 321
مجموعه حل تمرینات پردازش تصویر با متلب
ریپازیتوری کامل حل تمرینات درس پردازش تصویر و بینایی ماشین دانشگاه آزاد نجفآباد. سه بخش اصلی داره: بخش اول مبنای کار با تصویر رو پوشش میده — خواندن/نوشتن، تفکیک رنگ، هیستوگرام، تبدیل تکهتکه خطی و bitget. بخش دوم روی فیلترها، مدیریت نویز و لبهیابی با سوبل و کنی تمرکز داره. بخش سوم عملیات مورفولوژی و تحلیل ساختار تصویر رو بررسی میکنه. همه کدها متلب هستن و برای دانشجویان و علاقهمندان به پردازش تصویر مرجع خوبیان.
https://github.com/Mahtab-Shabani/image-processing-exercises-and-solutions
#پردازش_تصویر #متلب #بینایی_ماشین #تمرینات #درس_دانشگاهی
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
12 Noy, 00:29
3 321
Repost from دیتاهاب
درود
خیلی وقت بود دوره جدید ضبط نکرده بودم.
تابستون امسال بود. وسط کلی ناامیدی و ترس از اینکه نکنه دوباره جنگ بشه، یهو به این فکر افتادم: این دو سه سال تجربه از پروژههای صنعتی و تحقیقاتی رو چرا جمع نکنم تو یه دوره جمعوجور و به درد بخور؟
نمیدونم چرا، ولی این بار دلم خواست تصویرم هم باشه. 🎥
با پیشنهاد مجموعه آیتک رفتیم استودیو و وسط گرمای تیر شروع کردیم به ضبط. اولین تجربه همکاریم با مکتبخونه بود.
حالا دوره آمادهست.🥰 لینک دوره
11 Noy, 01:53
3 321
دوره خبرنگاری محاسباتی برای ایرانیها
یک دوره کامل و رایگان برای خبرنگاران و فعالان ایرانی که میخوان با پایتون و جیوپیتر نوتبوک روی داده کار کنن. از صفر تا صد: تحلیل داده با پانداس، رسم نمودار و نقشه، کار با API و ساخت ربات تلگرام، اسکراپینگ وب و پردازش زبان طبیعی فارسی. پیشنیاز برنامهنویسی نداره و ماژولماژول پیش میره. کدها و نوتبوکها روی گیتهاب موجوده.
https://github.com/ICFJ-Computational-Journalism/persian.lessons
#خبرنگاری_محاسباتی #پایتون #تحلیل_داده #پردازش_زبان_طبیعی #جیوپیتر
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
11 Noy, 01:26
3 321
استخراج عبارتهای کلیدی متن فارسی با TF-IDF
یه نوتبوک Jupyter برای استخراج کیفریز از متنهای فارسی که روشهای مختلف TF-IDF رو تست کرده. شامل آزمایشهای فیلترها، پاکسازی داده، حذف تکرارها و انگرامهای مختلف تا نسخه نهایی. اگه روی استخراج عبارتهای کلیدی فارسی کار میکنی، میتونی از این کدها به عنوان پایه یا مرجع استفاده کنی.
https://github.com/Sajjad-Mehrpeyma/KeyPhrase_Extraction
#پردازش_زبان_طبیعی #استخراج_کلیدواژه #فارسی #TF_IDF #یادگیری_ماشین
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
10 Noy, 00:32
3 321
کلاسبندی ژانرهای موسیقی فارسی با دادههای اسپاتیفای
یه نوتبوک جیوپیتر کامل برای تحلیل و کلاسبندی ژانرهای موسیقی فارسی با استفاده از دادههای اسپاتیفای. شامل پیشپردازش داده، تجسم الگوهای صوتی و متادیتا، و مدلهای یادگیری ماشین برای پیشبینی ژانر. اگه روی توصیهگر موسیقی، تحلیل محتوای صوتی فارسی یا پروژههای MIR کار میکنید، این کدها پایه خوبی هستن. کل فرآیند از داده خام تا ارزیابی مدل تو یک نوتبوک جمع شده.
https://github.com/Hasti-Jalali/Music-Analyzer
#موسیقی_فارسی #یادگیری_ماشین #اسپاتیفای #تحلیل_صوت #ژانر_شناسی
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
09 Noy, 00:42
3 321
مدل خلاصهسازی متن فارسی دو روشه
یه نوتبوک جیوپیتر که خلاصهسازی متن فارسی رو با هر دو روش استخراجی و انتزاعی پیاده کرده. مدل بر پایه Seq2Seq با تنسورفلو و لایه GRU ساخته شده و مراحل پیشپردازش متن، توکنایز کردن، پدینگ و آموزش انکودر-دکودر رو به صورت کامل نشان میده. برای پروژههای NLP فارسی که خلاصهسازی خودکار نیاز دارن، کد کامل و قابل اجرا موجوده.
#پردازش_زبان_طبیعی #خلاصه_سازی_متن #فارسی #تنسورفلو #یادگیری_عمیق
https://github.com/ParisaRostaami/PersianTextSummarization
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
08 Noy, 00:40
3 321
اسکرپ و آنومالیدیتکشن مزایدههای دلار بانک مرکزی عراق
یه پروژه جالب برای تحلیل دادههای مالی: دادههای روزانه مزایده دلار بانک مرکزی عراق (CBI) با BeautifulSoup اسکرپ شده، بعد با الگوریتم Isolation Forest جلسات غیرعادی شناسایی میشن. کدها شامل اسکریپتهای اسکرپ، پردازش دیتا و یه اپلیکیشن Streamlit برای دیداریسازی تعاملی هست. دیتای خام و پردازششده هم به صورت CSV در ریپو موجوده. میتونه برای بررسی تأثیر تحریمها بر بازار ارز عراق یا یادگیری تشخیص ناهنجاری در سریهای زمانی مفید باشه.
https://github.com/mpky/CBI_Project
#پایتون #اسکرپینگ #تشخیص_ناهنجاری #استریملیت #عراق
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
07 Noy, 04:03
3 321
پریسا اوسیآر برای متن چاپی فارسی
یه ابزار متنباز برای OCR متن چاپی فارسی اومده: پریسا اوسیآر. این پروژه از تشخیص خط با PP-OCR و شناسایی متن با Kraken استفاده میکنه و روی ماشین خودتون، CPU یا GPU، بدون اینترنت اجرا میشود.
میشه عکس، پوشه عکس یا PDF رو بهش داد و خروجی txt، hOCR، JSONL یا حتی PDF قابل جستجو گرفت. الان در حالت previewه و برای کتابها و اسناد چاپی فارسی مناسبه.
https://github.com/givia/ParisaOCR
#اوسی_آر #فارسی #پردازش_زبان_طبیعی #داده
07 Noy, 01:52
3 321
اسکرپ و آنومالیدی텍شن مزایدههای دلار بانک مرکزی عراق
یه پروژه جالب برای تحلیل دادههای مالی: دادههای روزانه مزایده دلار بانک مرکزی عراق (CBI) با BeautifulSoup اسکرپ شده، بعد با الگوریتم Isolation Forest جلسات غیرعادی شناسایی میشن. کدها شامل اسکریپتهای اسکرپ، پردازش دیتا و یه اپلیکیشن Streamlit برای دیداریسازی تعاملی هست. دیتای خام و پردازششده هم به صورت CSV در ریپو موجوده. میتونه برای بررسی تأثیر تحریمها بر بازار ارز عراق یا یادگیری تشخیص ناهنجاری در سریهای زمانی مفید باشه.
https://github.com/mpky/CBI_Project
#پایتون #اسکرپینگ #تشخیص_ناهنجاری #استریملیت #عراق
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
07 Noy, 01:47
07 Noy, ~01:51
3 321
دیتاست کستینگ صدا از انگلیسی به فارسی
یه دیتاست جدید و تخصصی برای کارهای دوبله و کستینگ صدا منتشر شده. E2PCast شامل قطعات صوتی از ۳۰ شخصیت فیلم (۱۵ زن و ۱۵ مرد) به دو زبان فارسی و انگلیسی هست، مجموعاً حدود ۵ ساعت و ۱۷ دقیقه صدا. این دیتاست برای آموزش و تست مدلهای تشخیص گوینده و سیستمهای خودکار کستینگ صدا طراحی شده. دقت بنچمارک با شبکه سیامی ۶۳.۵۲٪ گزارش شده. رایگان برای اهداف آموزشی در دسترسه.
https://github.com/shekofteh/E2PCast
#دیتاست_صوت #پردازش_گفتار #دوبله #تشخیص_گوینده #فارسی
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
06 Noy, 00:41
3 321
دیتاست پارافریز ماشینساز فارسی
یه دیتاست جدید برای تشخیص متن ماشینساز فارسی. این مجموعه پارافریزهای تولیدشده توسط GPT-3.5 Turbo رو روی نظرات دیجیکالا، مقالات کوپر و خلاصههای pn_summary داره. اگه روی تشخیص متن انسان در برابر ماشین کار میکنید یا مدلهای فارسی آموزش میدید، این دیتاست میتونه مرجع خوبی باشه. متنوع، عمومی و مستقیم از گیتهاب قابل دانلود.
https://github.com/Ledengary/PMGP
#دیتاست #پردازش_زبان_طبیعی #تشخیص_متن_ماشین_ساز #فارسی #یادگیری_ماشین
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
05 Noy, 01:00
3 321
استخراج کلمات کلیدی فارسی با EmbedRank
یه پیادهسازی کاربردی برای استخراج کلمات کلیدی از متون فارسی با روش EmbedRank. این ریپو مدلهای از پیش آموزشدیده برای امبدینگ جمله و برچسبگذاری اجزای کلام (POS) فارسی رو داره که روی کتابخانه هزم ساخته شده. کدها در قالب نوتبوک جیوپیتر هستن و مستقیماً در داکیومنتیشن هزم هم معرفی شده. اگه روی خلاصهسازی متن، جستجو یا تحلیل محتوای فارسی کار میکنید، این رو حتما چک کنید.
https://github.com/E-Ghafour/Persian_Embedrank_Keyphrase_Extraction
#پردازش_زبان_طبیعی #استخراج_کلمات_کلیدی #فارسی #هوش_مصنوعی #هزم
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
04 Noy, 05:44
3 321
تحلیل اکتشافی دادههای فیلمهای فارسی
یه نوتبوک جیوپیتر ساده برای تحلیل اکتشافی (EDA) روی دیتاست فیلمهای فارسی. کدها با پانداس نوشته شده و روند بارگذاری، تمیزسازی و 시각سازی دادهها رو نشون میدن. اگه روی پروژهای با دادههای سینمای ایران کار میکنید، میتونید از این نوتبوک به عنوان نقطه شروع استفاده کنید. دیتاست رو باید خودتون اضافه کنید و بعد کدها رو اجرا کنید.
https://github.com/hoseinmrh/Iranian_movies_analysis
#تحلیل_داده #فیلم_فارسی #پانداس #جیوپیتر #EDA
اینجا خلاصه است؛ ادامهٔ ماجرا در اینستاگرام: dr.mohammad.dehghani
03 Noy, 00:17
03 Noy, ~00:42
