مرجع دیتاست فارسی

سلام دوستان 👋 قطعا برای همه‌مون پیش اومده که وسط یه پروژه نیاز داریم تعطیلات رسمی تقویم جلالی (شمسی) رو داشته باشیم اما سورس قابل اطمینانی هم براش پیدا نکنیم! من یه اسکرپر ساده و کاربردی نوشتم که تعطیلات رسمی تقویم رو به همراه تاریخ‌های معادل میلادی در قالب یک دیتافریم یا فایل CSV خروجی میده. فقط کافیه سال مورد نظرتون رو مشخص کنید و کد رو اجرا کنید. این ابزار به راحتی قابل استفاده‌ست و می‌تونه برای پروژه‌های مختلف شما خیلی مفید باشه. خوشحال میشم نظرات و پیشنهاداتتون رو بدونم و اگر دوست داشتین، به پروژه روی گیت‌هاب استار ⭐ بدین. منتظرتون هستم 😉 https://github.com/DehghanianSina/IR_Holidays_Scraper

یه دیتابیس جامع از فرصت‌های شغلی حوزه داده در ایران! این مجموعه داده حاوی اطلاعات مربوط به آگهی‌های شغلی مرتبط با علوم داده و مهندسی داده در کشور ایران است. اطلاعات شامل جزئیاتی مانند عنوان شغل، نام شرکت، موقعیت جغرافیایی، حقوق پیشنهادی و تاریخ انتشار آگهی هستند. این دیتاست می‌تواند برای تحلیل روندهای بازار کار، شناسایی فرصت‌های شغلی و تحقیق در مورد نیازهای شغلی در حوزه داده مورد استفاده قرار گیرد. 📱 GitHub Repo

پروژه وب اسکرپینگ آگهی های خونه تهران در سایت دیوار همراه با دیتاست استخراج شده 1. پروژه وب‌اسکرپینگ در گیت‌هاب لینک: https://github.com/ErfanNahidi/divar-webscraping این پروژه شامل کدی برای جمع‌آوری اطلاعات آگهی‌های فروش خانه از سایت دیوار است. ابزارهای استفاده‌شده در این پروژه شامل کتابخانه‌های BeautifulSoup، Selenium و دیگر ابزارهای پایتون برای انجام عملیات وب‌اسکرپینگ هستند. همچنین توضیحات و راهنماهای کامل برای اجرای پروژه و سفارشی‌سازی جمع‌آوری داده‌ها در دسترس است. ( این پروژه به مرور زمان آپدیت و تکمیل میشه در حال حاضر باگ و کمبود های زیاد داره و همچنین در آینده برای دسته بندی آگهی ها هم توسعه داده میشه ) 2. دیتاست استخراج شده آگهی‌های فروش خانه در تهران لینک: https://www.kaggle.com/datasets/erfannahidi/house-for-sale-ads-on-divar-site-iran-tehran این دیتاست شامل اطلاعات جمع‌آوری‌شده از آگهی‌های فروش خانه در تهران است که ویژگی‌هایی نظیر متراژ، قیمت، منطقه، امکانات خانه و سایر جزئیات را در بر می‌گیرد. این منبع می‌تواند برای تحلیل‌های داده‌ای، مدل‌سازی قیمت‌گذاری، و انجام پروژه‌های یادگیری ماشین در حوزه املاک مورد استفاده قرار گیرد. نکته : دیتا استخراج شده به صورت عمد به شکل کثیف و خام گذاشته شده تا شما بر اساس خلاقیت و راه کار های خودتون با این دیتاست کار کنید همچنین تجربه ای از کار کردن با یک دیتاست کاملا واقعی داشته باشید یه پیشنهاد جالب : با توسعه یه مدل nlp از قسمت توضیحات باقی اطلاعات رو میتونید استخراج کنید کاربردها: تحلیل بازار املاک تهران پیش‌بینی قیمت خانه با استفاده از الگوریتم‌های یادگیری ماشین استخراج الگوها و روندها در آگهی‌های فروش خانه این دو منبع به‌ویژه برای علاقه‌مندان به داده‌کاوی و یادگیری ماشین که به دنبال کار روی داده‌های واقعی هستند، بسیار مفید خواهد بود. ---

پروژه وب اسکرپینگ آگهی های خونه تهران در سایت دیوار همراه با دیتاست استخراج شده 1. پروژه وب‌اسکرپینگ در گیت‌هاب لینک: https://github.com/ErfanNahidi/divar-webscraping این پروژه شامل کدی برای جمع‌آوری اطلاعات آگهی‌های فروش خانه از سایت دیوار است. ابزارهای استفاده‌شده در این پروژه شامل کتابخانه‌های BeautifulSoup، Selenium و دیگر ابزارهای پایتون برای انجام عملیات وب‌اسکرپینگ هستند. همچنین توضیحات و راهنماهای کامل برای اجرای پروژه و سفارشی‌سازی جمع‌آوری داده‌ها در دسترس است. ( این پروژه به مرور زمان آپدیت و تکمیل میشه در حال حاضر باگ و کمبود های زیاد داره و همچنین در آینده برای دسته بندی آگهی ها هم توسعه داده میشه ) 2. دیتاست استخراج شده آگهی‌های فروش خانه در تهران لینک: https://www.kaggle.com/datasets/erfannahidi/house-for-sale-ads-on-divar-site-iran-tehran این دیتاست شامل اطلاعات جمع‌آوری‌شده از آگهی‌های فروش خانه در تهران است که ویژگی‌هایی نظیر متراژ، قیمت، منطقه، امکانات خانه و سایر جزئیات را در بر می‌گیرد. این منبع می‌تواند برای تحلیل‌های داده‌ای، مدل‌سازی قیمت‌گذاری، و انجام پروژه‌های یادگیری ماشین در حوزه املاک مورد استفاده قرار گیرد. نکته : دیتا استخراج شده به صورت عمد به شکل کثیف و خام گذاشته شده تا شما بر اساس خلاقیت و راه کار های خودتون با این دیتاست کار کنید همچنین تجربه ای از کار کردن با یک دیتاست کاملا واقعی داشته باشید یه پیشنهاد جالب : با توسعه یه مدل nlp از قسمت توضیحات باقی اطلاعات رو میتونید استخراج کنید کاربردها: تحلیل بازار املاک تهران پیش‌بینی قیمت خانه با استفاده از الگوریتم‌های یادگیری ماشین استخراج الگوها و روندها در آگهی‌های فروش خانه این دو منبع به‌ویژه برای علاقه‌مندان به داده‌کاوی و یادگیری ماشین که به دنبال کار روی داده‌های واقعی هستند، بسیار مفید خواهد بود. ---

کد فاین تیون کردن مدل های پرسش و پاسخ روی دیتاست فارسی 📱 GitHub Repo https://github.com/AliBagherz/PersianQa

این پروژه یک تحلیل جامع از داده‌های جستجوهای گوگل درباره هتل‌ها و اقامتگاه‌های ایرانی است. با استفاده از ابزارهای تحلیل کلان‌داده و داده‌کاوی، روندها، میزان تقاضا و الگوهای جستجو برای این صنعت ارزشمند را بررسی می‌کند. این داده‌ها می‌توانند به مدیران هتل‌ها، استارتاپ‌های گردشگری و برنامه‌ریزان سفر کمک کنند تا تصمیم‌های آینده‌نگرانه‌تری بگیرند و خدمات خود را بهبود ببخشند. 📱 GitHub Repo

این ریپازیتوری یک مجموعه‌ی جذاب و کاربردی از دیتاست‌های ایرانی را گردآوری کرده است. توسط این لینک می‌توانید به بهترین منابع داده دسترسی پیدا کنید که برای پروژه‌های تحقیقاتی و کاربردهای مختلف از جمله یادگیری ماشین، تحلیل داده و تحقیقات آماری بسیار مفید هستند. اگر به دنبال دیتاست‌های معتبر و متنوع برای کارهای تحقیقی و پروژه‌های هوش مصنوعی خود هستید، حتماً این ریپازیتوری را بررسی کنید! 📱 GitHub Repo

یه دیتاست فوق‌العاده برای علاقه‌مندان به پردازش زبان طبیعی و تشخیص نیت! دیتاست Persian ATIS شامل مکالمات و سوالات متنی به زبان فارسی و مرتبط با آژانس هواپیمایی است که به نیت‌ها و اسلات‌های مختلف برچسب‌گذاری شده‌اند. این مجموعه داده می‌تونه به شما کمک کنه تا مدل‌های یادگیری ماشین و تحلیل زبان طبیعی بهتری برای زبان فارسی بسازید. 📱 GitHub Repo

سلام معرفی دیتاست تمام ویکیپدیا فارسی با ساختار و استفاده راحت https://huggingface.co/datasets/codersan/Persian-Wikipedia-Corpus

یک ابزار خوب برای استخراج کلمات کلیدی فارسی! این مجموعه کد برای شناسایی و استخراج کلمات کلیدی از متون فارسی طراحی شده است. این پروژه می‌تواند در زمینه‌های سئو، تولید محتوا، تحلیل متون و دیگر کاربردهای مرتبط با پردازش زبان فارسی بسیار مفید باشد. 📱 GitHub Repo

تو این سایت می‌تونید مقالاتِ پولیِ مدیوم رو رایگان باز کنید. در واقع خودش اشتراکِ مدیوم خریده و از طریقِ این سایت در دسترسِ عموم قرار داده. مدیوم نقطه‌ضعف‌هاش رو حل کرده. تمامِ روش‌هایِ قدیمیِ دورزدن paywall از کار افتاده. فقط همین روش جواب می‌ده. _Ayub Kokabi_

Introduction to Bioimage Analysis یک آموزش مثال محور با کلی شکل و تصویر و نمودار با کد کسایی که به حوزه پردازش تصویر و تصاویر پزشکی علاقه مند هستند، این گنج از دست ندن https://bioimagebook.github.io/index.html

تو هر تخصصی که هستید می‌تونید با گذروندن این دوره کوتاه هم کلی چیز جدید یاد بگیرید هم یه مدرک بین‌المللی تو یه موضوع جذاب که تو هر رشته‌ای بکار میاد به رزومه تون اضافه کنید: ‏گوگل یه دوره آنلاین ۵ روزه از ۱۱ تا ۱۵ نوامبر داره که میتونه کمکتون کنه تا تکنولوژی‌ها و روش‌های پایه Gen AI رو خوب یاد بگیرید. این دوره رو تیم تحقیق و مهندسی ML گوگل طراحی کرده. هم مباحث نظری داره و هم تمرین‌های عملی کدنویسی، تا بتونید پروژه‌های جدید Gen AI رو شروع کنید. مباحث این ۵ روز: Day 1: Foundational Models & Prompt Engineering Day 2: Embeddings and Vector Stores/Databases Day 3: Generative AI Agents Day 4: Domain-Specific LLMs Day 5: MLOps for Generative AI https://rsvp.withgoogle.com/events/google-generative-ai-intensive منبع: توییتر اقای الله یاری

مجموعه داده PersianSpeech شامل صدها ساعت داده گفتاری فارسی است که توسط گویندگان متنوع در شرایط مختلف ضبط شده‌است. این دیتاست با هدف کمک به توسعه سیستم‌های تشخیص گفتار فارسی و برنامه‌های پردازش زبان طبیعی تهیه شده است. شامل انواع مختلف جمله‌ها، کلمات و عبارت‌های گفتاری است که به تحقیقات و پروژه‌های مبتنی بر یادگیری ماشین و شبکه‌های عصبی در حوزه صوت کمک می‌کند. از این مجموعه داده می‌توان در پروژه‌های تشخیص گفتار، ترجمه ماشینی، و تجزیه و تحلیل صوت استفاده کرد. 📱 GitHub Repo

کد مربوط به تاپیک مدلینگ برای متون کوتاه مثل توییت همینطور ک می دونین کار روی short text اونم فارسی خیلی چالش داره... 📱 GitHub Repo

دیتاست دیوان بزرگترین دیتاست متن باز شامل شبکه‌های اجتماعی ▪️دیتاست‌هایی که در پردازش زبان طبیعی (NLP) یا پردازش متن استفاده می‌شوند، شامل مجموعه‌ای از متون هستند که برای آموزش و ارزیابی مدل‌های یادگیری ماشین به کار می‌روند. ▪️مهم‌ترین ویژگی دیوان به عنوان گامی نو در پردازش زبان طبیعی فارسی، وجود حجم انبوهی از داده‌های شبکه‌های اجتماعی است که شامل متن‌های تکراری نیست. از نظر اندازه، ۱۰۰ میلیون رکورد داده از بسترهای مختلف جمع‌آوری شده است که در مجموع شامل بیش از ۸ میلیارد توکن است. ▫️در حال حاضر بسترهایی که در این دیتاست پوشش داده می‌شوند به شرح زیر هستند: اخبار خبرگزاری‌ها انواع بلاگ‌ها توییر اینستاگرام ( پست و کامنت) تلگرام ( کانال و گروه) دیجی کالا ( کامنت) ایتا ( پست ) دیوار https://huggingface.co/datasets/lifeweb-ai/Divan

مجموعه داده جدید برای تشخیص کنایه در زبان فارسی! این دیتاست منحصر به فرد شامل جملات فارسی است که به همراه برچسب‌های کنایه‌دار و غیرکنایه‌دار ارائه شده است. هدف این مجموعه داده، تسهیل فرایند تشخیص کنایه در متن‌های فارسی و بهبود مدل‌های پردازش زبان طبیعی (NLP) در این زمینه است. این دیتاست می‌تواند به پژوهشگران و علاقه‌مندان در حوزه هوش مصنوعی و تحلیل متن در توسعه الگوریتم‌ها و مدل‌های تشخیص کنایه کمک کند. 📱 GitHub Repo

دوره آموزشی کامل و رایگان NLP و فوق خفن پر از شکل و مثال این دوره به صورت جامع و رایگان شما را با مبانی و مفاهیم پیشرفته پردازش زبان طبیعی (NLP) آشنا می‌کنه. منابع و محتوای آموزشی به صورت تصویری و متنی ارائه شدن و از مقدماتی تا پیشرفته رو پوشش می‌دهد. این دوره برای دانشجویان، محققان و توسعه‌دهندگان علاقه‌مند به شناخت و بهبود تکنیک‌های NLP مفید و کاربردی هست. همین حالا شروع به یادگیری کن! 📱 GitHub Repo

ابزار شناسایی واژگان غیرقانونی این پروژه از تکنیک‌های پردازش زبان طبیعی (NLP) برای شناسایی و تشخیص واژگان غیرقانونی در متن استفاده می‌کند. هدف از این ابزار، کمک به توسعه‌دهندگان، مدیران محتوا و محققان در شناسایی سریع و کارآمد محتوای غیرقانونی یا نامناسب است. از این ابزار می‌توان در پروژه‌های مرتبط با نظارت بر محتوا، فیلترینگ خودکار و تحلیل داده‌ها استفاده کرد. برای کسب اطلاعات بیشتر و دسترسی به کد منبع این ابزار به لینک زیر مراجعه کنید: 📱 GitHub Repo

🍻 دومین دورهمی هوش مصنوعی دیتاهاب (اصفهان) 📗موضوع: درآمد دلاری از طریق هوش مصنوعی (صفر تا صد Remote jobs) قراره بهتون توی این جلسه یاد داده بشه چطور از کنج اتاقتون، با هر شرکتی توی هر کشوری کار کنید و دلاری دستمزد بگیرین. ✅ لینک ثبت نام ✅ کد تخفیف 80 درصدی: datahub 🗓 چهار شنبه، 2 آبان، ساعت 15 تا 17 🏦 اصفهان - دروازه شیراز - دانشگاه اصفهان - جنب رستوران یاس 1 - ساختمان مرکز رشد علوم انسانی 📛 توجه: برای شرکت در رویداد، ثبت نام ضروری هست. ❇️@data_hub_ir ❇️data-hub.ir ❇️Linkedin ❇️09938013176