ComputerIauba

با سلام چهارشنبه ۶ آبان کلاس های خانم دکتر لطفی تشکیل نمی‌شود، با توجه به پیشرفت درس در هفته های آتی جلسه جبرانی هماهنگ میشود.

با سلام پروژه اول درس تحلیل کلان داده: نصب Hadoop و پیاده‌سازی Word Count هدف پروژه: آشنایی عملی با Hadoop، سیستم فایل توزیع‌شده HDFS و اجرای یک الگوریتم ساده با الگوی MapReduce. شرح پروژه دانشجویان باید مراحل زیر را انجام دهند: ۱. نصب و راه‌اندازی Hadoop در حالت تک‌نودی روی Linux یا محیط Linux مبتنی بر WSL. ( یا داکر ) ۲. راه‌اندازی HDFS و انتقال فایل ورودی پروژه به آن. ۳. پیاده‌سازی الگوریتم Word Count با استفاده از MapReduce برای شمارش تعداد تکرار کلمات در فایل ورودی. ۴. اجرای برنامه روی فایل ارائه‌شده و ذخیره خروجی در HDFS. ۵. استخراج و ارائه حداقل ۱۰ کلمه پرتکرار فایل، به همراه تعداد تکرار هر کلمه. فایل ورودی مشترک همه دانشجویان باید از فایل یکسان استفاده کنند: «لینک فایل در گروه ارسال خواهد شد» نحوه تحویل پروژه: دانشجویان باید موارد زیر را تحویل دهند: کد کامل برنامه MapReduce. راهنمای نصب و راه‌اندازی Hadoop و اجرای برنامه. فایل خروجی شمارش کلمات. گزارشی کوتاه شامل مراحل انجام پروژه، مشکلات احتمالی و ۱۰ کلمه پرتکرار فایل به همراه تعداد تکرار آن‌ها. تصاویر یا شواهدی از اجرای موفق برنامه و مشاهده فایل‌های ورودی و خروجی در HDFS. نکات مهم اجرای واقعی برنامه با Hadoop و MapReduce الزامی است؛ استفاده صرف از برنامه‌های معمولی Python برای شمارش کلمات قابل قبول نیست. امکان استفاده از داکر برای نصب Hadoopو MapReduce وجود دارد. دانشجویان باید بتوانند مراحل اجرای برنامه و عملکرد بخش‌های Map و Reduce را توضیح دهند. در شمارش کلمات، حروف بزرگ و کوچک یکسان در نظر گرفته شوند؛ برای مثال، Hadoop و hadoop یک کلمه محسوب شوند. نحوه برخورد با علائم نگارشی نیز باید در پیاده‌سازی مشخص و یکسان باشد. پروژه به‌صورت انفرادی یا گروهی، حداکثر دو نفر، قابل انجام است. مهلت تحویل: ۲۰ روز پس از اعلام پروژه.

تمرین عملی درس طراحی الگوریتم‌های موازی موضوع: پیاده‌سازی و مقایسه روش‌های مختلف محاسبه سینوس با استفاده از سری تیلور هدف این تمرین، پیاده‌سازی یک الگوریتم عددی برای محاسبه مقدار تابع سینوس برای تعداد زیادی ورودی و بررسی تأثیر روش‌های مختلف موازی‌سازی بر زمان اجرا و کارایی برنامه است در این تمرین، ابتدا الگوریتم به‌صورت ترتیبی پیاده‌سازی می‌شود و سپس نسخه‌های مختلف موازی آن با استفاده از چند هسته پردازشی، SIMD، چندنخی (Multithreading) و کامپایلر ISPC توسعه داده خواهند شد. همچنین، تأثیر دو روش تخصیص داده به پردازنده‌ها، یعنی تخصیص بلوکی و درهم‌تنیده، بررسی می‌شود مرحله اول: پیاده‌سازی ترتیبی (Sequential) مرحله دوم: پیاده‌سازی با روش‌های موازی الف) موازی‌سازی با استفاده از چند هسته پردازشی (Multicore Parallelism) ب) موازی‌سازی در سطح دستورالعمل با SIMD ج) موازی‌سازی با استفاده از چندنخی (Multithreading) مرحله سوم: پیاده‌سازی با کامپایلر ISPC الف) تخصیص بلوکی (Block Distribution) ب) تخصیص درهم‌تنیده (Cyclic / Interleaved Distribution) در تمام نسخه‌ها، تعداد ورودی‌ها، مقادیر ورودی و تعداد جمله‌های سری تیلور یکسان باشد تمام نسخه‌ها از فرمول عددی یکسان و روش کاهش دامنه یکسان استفاده کنند زمان تولید داده‌ها، تخصیص اولیه حافظه، چاپ نتایج و سایر عملیات غیرمرتبط با محاسبات اصلی، در زمان اجرای محاسباتی منظور نشود زمان اجرای بخش محاسباتی با یک ابزار مناسب و با دقت کافی اندازه‌گیری شود هر آزمایش چند بار (حداقل پنج بار) اجرا شود و میانگین زمان اجرا گزارش شود پیش از اندازه‌گیری، اجرای اولیه لازم برای آماده‌سازی محیط، بارگذاری کد و ...در نظر گرفته شود در گزارش شما مشخصات سخت‌افزار شامل مدل پردازنده، تعداد هسته‌ها و رشته‌های پردازشی، حافظه و قابلیت‌های SIMD ثبت شود. آزمایش‌ها را برای چند اندازه متفاوت از آرایه ورودی انجام دهید هر دانشجو باید موارد زیر را تحویل دهد: کد منبع کامل همه نسخه ها فایل نتایج آزمایش‌ها شامل اندازه ورودی، روش پیاده‌سازی، تنظیمات اجرایی، زمان اجرا، افزایش سرعت، کارایی موازی و خطای عددی نمودار مقایسه زمان اجرا برای روش‌های مختلف و اندازه‌های متفاوت ورودی گزارش تحلیلی شامل تفسیر نتایج، عوامل مؤثر بر عملکرد و محدودیت‌های آزمایش‌ها دستورالعمل کوتاه برای کامپایل و اجرای هر نسخه

آقای موسی پور لطفاً به کارشناس گروه خانم زند آستا مراجعه نمایید

اطلاعیه مهم | زمان‌بندی ثبت‌نام آزمون‌های دکتری تخصصی و کارشناسی ارشد سال ۱۴۰۶ روابط عمومی دانشگاه آزاد اسلامی واحد بندرعباس به اطلاع دانشجویان، دانش‌آموختگان و داوطلبان علاقه‌مند به ادامه تحصیل در مقاطع تحصیلات تکمیلی می‌رساند: بر اساس برنامه زمان‌بندی اعلام‌شده از سوی سازمان سنجش آموزش کشور، ثبت‌نام آزمون‌های ورودی مقاطع دکتری تخصصی (Ph.D.) و کارشناسی ارشد ناپیوسته سال ۱۴۰۶ به شرح زیر انجام خواهد شد: 🔹 آزمون دکتری تخصصی سال ۱۴۰۶ - زمان آغاز ثبت‌نام: یکشنبه ۳ آبان‌ماه ۱۴۰۵ - مهلت ثبت‌نام: تا شنبه ۹ آبان‌ماه ۱۴۰۵ - تاریخ برگزاری آزمون: جمعه ۱۶ بهمن‌ماه ۱۴۰۵ 🔹 آزمون کارشناسی ارشد ناپیوسته سال ۱۴۰۶ - زمان آغاز ثبت‌نام: دوشنبه ۱۶ آذرماه ۱۴۰۵ - مهلت ثبت‌نام: تا یکشنبه ۲۲ آذرماه ۱۴۰۵ داوطلبان گرامی می‌توانند در بازه‌های زمانی تعیین‌شده، با مراجعه به درگاه اطلاع‌رسانی سازمان سنجش آموزش کشور، ضمن مطالعه دقیق دفترچه راهنمای ثبت‌نام و بررسی شرایط و ضوابط مربوط، نسبت به تکمیل فرایند نام‌نویسی اقدام کنند. تأکید می‌شود متقاضیان به‌منظور جلوگیری از بروز مشکلات احتمالی، ثبت‌نام خود را به روزهای پایانی موکول نکرده و اطلاعیه‌های تکمیلی و تغییرات احتمالی را صرفاً از طریق مراجع رسمی پیگیری کنند. 🌐 درگاه رسمی ثبت‌نام و اطلاع‌رسانی: www.sanjesh.org روابط عمومی دانشگاه آزاد اسلامی واحد بندرعباس

فهرست موضوعات پروژه مقاله دانشجویی — درس تحلیل کلان‌داده ساختار پروژه: دانشجویان در گروه های یک یا دو‌نفره کار می‌کنند هر گروه یکی از موضوعات زیر را دریافت می‌کند، مقالات مرتبط با آن را می‌یابد، آن‌ها را مرور و تحلیل می‌کند، و مقاله خود را می‌نویسد. برای هر موضوع، یک مقاله پایه (Foundational Paper) معتبر و شناخته‌شده در ادبیات علمی معرفی شده که نقطه شروع خوبی برای جست‌وجوی مقالات مرتبط و تازه‌تر (Related Work) است. عنوان انتخابی خود را به همراه مشخصات افراد گروه ایمیل کنید و بعد از دریافت تایید موضوع (جهت تکراری نبودن) می توانید کارتان را شروع کنید. ____________________________________ گروه ۱: مجازی‌سازی به‌عنوان زیرساخت کلان‌داده ( ماشین مجازی و Hypervisor) محور پژوهش: معماری Hypervisor، مقایسه Paravirtualization و Full Virtualization، و نقش مجازی‌سازی در فراهم‌کردن زیرساخت ابری برای خوشه‌های Hadoop/Spark. مقاله پایه Barham, P., Dragovic, B., Fraser, K., Hand, S., Harris, T., Ho, A., Neugebauer, R., Pratt, I., & Warfield, A. (2003). Xen and the Art of Virtualization. In Proceedings of the 19th ACM Symposium on Operating Systems Principles (SOSP '03). DOI: 10.1145/1165389.945462 ____________________________________ گروه ۲: سیستم فایل توزیع‌شده به‌عنوان زیربنای ذخیره‌سازی کلان‌داده محور پژوهش: معماری Master-Slave در سیستم‌های فایل توزیع‌شده، مکانیزم Replication و Fault Tolerance، و تکامل GFS به HDFS مقاله پایه Ghemawat, S., Gobioff, H., & Leung, S.-T. (2003). The Google File System. In Proceedings of the 19th ACM Symposium on Operating Systems Principles (SOSP '03). DOI: 10.1145/945445.945450 ____________________________________ گروه ۳: مدل برنامه‌نویسی MapReduce محور پژوهش: مدل Map/Reduce، بهینه‌سازی‌های Shuffle & Sort، و تکامل مدل‌های پردازشی پس از MapReduce (مانند Tez و Spark) به‌عنوان پاسخ به محدودیت‌های آن. مقاله پایه Dean, J., & Ghemawat, S. (2008). MapReduce: Simplified Data Processing on Large Clusters. Communications of the ACM, 51(1), 107–113. DOI: 10.1145/1327452.1327492 ____________________________________ گروه ۴: مدیریت منابع و زمان‌بندی در خوشه‌های توزیع‌شده محور پژوهش: معماری YARN، جداسازی مدیریت منابع از مدل پردازش، و مقایسه با سایر مدیران منابع خوشه (مانند Kubernetes یا Mesos) برای اجرای بارهای کاری کلان‌داده. مقاله پایه Vavilapalli, V. K., Murthy, A. C., Douglas, C., Agarwal, S., Konar, M., Evans, R., Graves, T., Lowe, J., Shah, H., Seth, S., Saha, B., Curino, C., O'Malley, O., Radia, S., Reed, B., & Baldeschwieler, E. (2013). Apache Hadoop YARN: Yet Another Resource Negotiator. In Proceedings of the 4th ACM Symposium on Cloud Computing (SoCC '13). DOI: 10.1145/2523616.2523633 ____________________________________ گروه ۵: پایگاه‌داده‌های NoSQL ستون‌محور برای داده حجیم محور پژوهش: مدل داده Column-Family، معماری Region/RegionServer در HBase، و مقایسه پایگاه‌داده‌های NoSQL (وسیع‌ستونی، سندمحور، کلید-مقداری) برای سناریوهای مختلف کلان‌داده مقاله پایه Chang, F., Dean, J., Ghemawat, S., Hsieh, W. C., Wallach, D. A., Burrows, M., Chandra, T., Fikes, A., & Gruber, R. E. (2008). Bigtable: A Distributed Storage System for Structured Data. ACM Transactions on Computer Systems, 26(2), Article 4. DOI: 10.1145/1365815.1365816 ____________________________________ گروه ۶: انبار داده و پرسمان SQL روی Hadoop محور پژوهش: معماری Hive و Metastore، مفهوم Schema-on-Read در برابر Schema-on-Write، و تحول موتورهای SQL-on-Hadoop (از MapReduce به Tez و Spark به‌عنوان موتور اجرایی زیرین مقاله پایه Thusoo, A., Sarma, J. S., Jain, N., Shao, Z., Chakka, P., Anthony, S., Liu, H., Wyckoff, P., & Murthy, R. (2009). Hive – A Warehousing Solution Over a Map-Reduce Framework. Proceedings of the VLDB Endowment, 2(2), 1626–1629. DOI: 10.14778/1687553.1687609 ____________________________________ گروه ۷: زبان‌های داده‌ای سطح بالا برای ETL محور پژوهش: طراحی زبان Pig Latin به‌عنوان زبانی رویه‌ای/جریان‌داده‌ای، مقایسه رویکرد اعلامی (Hive/SQL) و رویه‌ای (Pig) در پایپ‌لاین‌های ETL کلان‌داده. مقاله پایه Olston, C., Reed, B., Srivastava, U., Kumar, R., & Tomkins, A. (2008). Pig Latin: A Not-So-Foreign Language for Data Processing. In Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data (SIGMOD '

08). DOI: 10.1145/1376616.1376726 ____________________________________ گروه ۸: محاسبات درون‌حافظه‌ای خوشه‌ای (Spark و RDD) محور پژوهش: انتزاع Resilient Distributed Dataset (RDD)، مکانیزم Fault Tolerance مبتنی بر Lineage، و دلایل برتری عملکردی Spark نسبت به MapReduce در الگوریتم‌های تکراری. مقاله پایه Zaharia, M., Chowdhury, M., Das, T., Dave, A., Ma, J., McCauley, M., Franklin, M. J., Shenker, S., & Stoica, I. (2012). Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing. In Proceedings of the 9th USENIX Symposium on Networked Systems Design and Implementation (NSDI '12). ____________________________________ گروه ۹: پردازش داده ساختاریافته با SQL روی Spark (Spark SQL و DataFrame) محور پژوهش: معماری Spark SQL، بهینه‌ساز Catalyst، و مقایسه API های RDD، DataFrame و Dataset از نظر کارایی و سهولت استفاده مقاله پایه Armbrust, M., Xin, R. S., Lian, C., Huai, Y., Liu, D., Bradley, J. K., Meng, X., Kaftan, T., Franklin, M. J., Ghodsi, A., & Zaharia, M. (2015). Spark SQL: Relational Data Processing in Spark. In Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data (SIGMOD '15). DOI: 10.1145/2723372.2742797 ____________________________________ گروه ۱۰: سیستم‌های جمع‌آوری و پیام‌رسانی داده جریانی برای یکپارچه‌سازی داده محور پژوهش: معماری سیستم‌های جمع‌آوری لاگ و داده جریانی (مانند Flume)، و تحول این حوزه به‌سمت سیستم‌های پیام‌رسانی توزیع‌شده مبتنی بر Commit Log مانند Kafka که امروزه در پایپ‌لاین‌های یکپارچه‌سازی داده جایگزین یا مکمل Flume شده‌اند. مقاله پایه Kreps, J., Narkhede, N., & Rao, J. (2011). Kafka: A Distributed Messaging System for Log Processing. In Proceedings of the 6th International Workshop on Networking Meets Databases (NetDB '11). راهنمای کار برای هر گروه 1. مقاله پایه معرفی‌شده را به‌طور کامل مطالعه کنید 2. با استفاده از پایگاه‌های استنادی مانند Google Scholar - Semantic Scholar - ACM Digital Library- DBLP و ... حداقل ۴ تا ۶ مقاله مرتبط و به‌روز (ترجیحاً 3 سال اخیر) بیابید که یا به مقاله پایه استناد کرده‌اند، یا موضوع را در بستری جدیدتر (مثلاً کاربرد ابری، یادگیری ماشین، یا ادغام با فناوری‌های نوین) ادامه داده‌اند 3. مقالات یافت‌شده را مرور و تحلیل کنید: چه مسئله‌ای حل می‌کنند، چه نوآوری نسبت به کار پایه دارند، و محدودیت‌هایشان چیست؟ 4. بر اساس این مرور، مقاله خودتان را بنویسید: یک مرور ساختاریافته که مسئله، پیشینه (با تکیه بر مقاله پایه)، مقایسه رویکردهای بررسی‌شده، و جمع‌بندی را در بر بگیرد

سی‌اُمین کنفرانس بین‌المللی انجمن کامپیوتر ایران به میزبانی پژوهشگاه ارتباطات و فناوری اطلاعات و با همکاری انجمن کامپیوتر ایران، تاریخ 8 و 9 دی‌ماه ۱۴۰۵ محل پژوهشگاه ارتباطات و فناوری اطلاعات براي كسب اطلاعات بيشتر، مشاهده محورهاي تخصصي كنفرانس، دريافت راهنماي ارسال مقاله و اطلاع از نحوه برگزاري كارگاه‌ها، مسابقات يا سخنراني‌هاي علمي و تخصصي، به وب‌گاه رسمي كنفرانس به نشاني زير مراجعه فرمايند https://csicc2026.itrc.ac.ir

با سلام و احترام دانشجویان محترم فایل های درس تحلیل کلان داده به صورت کامل در آدرس زیر قرار داده شده است. در این مسیر یک فولدر با نام فایل های تدریس شده است که به مرور با پیشرفت کلاس موارد تدریس شده در این فولدر قرار داده می شود. https://drive.google.com/drive/folders/13_xgB98T-bBlWRd94TMvH_XPxcuwa_jc?usp=sharing

با سلام و احترام دانشجویان محترم فایل های درس الگوریتم پیشرفته (الگوریتم موازی) به صورت کامل در آدرس زیر قرار داده شده است. در این مسیر یک فولدر با نام فایل های تدریس شده است که به مرور با پیشرفت کلاس موارد تدریس شده در این فولدر قرار داده می شود. https://drive.google.com/drive/folders/1bsPKVT8wwaEu7jloMXb3VfISchWYWACZ?usp=sharing

دانشجویان محترم کارشناسی ارشد توجه داشته باشید که درسهای مقطع ارشد به صورت ترم زوج و فرد ارایه میشود . دروس ارایه شده در ترم جاری دیگر در ترم بهمن ارایه نخواهد شد.لذا چنانچه قصد اخذ درس کلان داده و الگوریتم پیشرفته را دارید حتما در روز حذف و اضافه اقدام نمایید. بعد از تاریخ حذف و اضافه گروه بندی دانشجویان درس برای پروژه ها و مقاله درس ها انجام خواهدشد و پس از آن نفر جدید در کلاس پذیرش نخواهندشد. با تشکر لطفی

با سلام دانشجویان لیست زیر که نمره درس بازیابی اطلاعات در وب نیمسال دوم ۱۴۰۴ برای ایشان وارد نشده است ، جهت مشخص شدن وضعیت درس حداکثر تا ۳۱ شهریور به خانم دکتر لطفی ایمیل بزنند: امیر اکبری محمدجواد بایرامی آریا بحرینی ایمان حیدری سهیل داوری محمد امین عامری علیرضا محمدی زاده

زمان بندی حذف و اضافه

با سلام دانشجویان محترمی که درس یادگیری عمیق را اخذ نموده اند توجه نمایید این درس برای ورودی های ۱۴۰۵ تعریف شده و تا زمان ثبت نام و انتخاب واحد ورودی های جدید تشکیل نمی‌شود . شروع کلاس اطلاع رسانی میشود.

با سلام دانشجویان محترمی که درس پایگاه داده پیشرفته اخذ نموده اند توجه نمایید این درس برای ورودی های ۱۴۰۵ تعریف شده و تا زمان ثبت نام و انتخاب واحد ورودی های جدید تشکیل نمی‌شود . شروع کلاس اطلاع رسانی میشود.