Algorithm design & data structureچ

الگوریتم Longest Common Subsequence (LCS) یکی از مسائل پایه‌ای در نظریه رشته‌ها و الگوریتم‌های پویا است. این الگوریتم طولانی‌ترین زیررشته‌ی مشترک بین دو رشته را پیدا می‌کند که نیازی به پیوسته بودن ندارد اما ترتیب کاراکترها باید حفظ شود. کاربردهای اصلی: 1. مقایسه و تشخیص شباهت رشته‌ها: در بررسی متون، رشته‌های DNA، یا مقایسه‌ی کدها استفاده می‌شود. 2. ویرایش فاصله (Edit Distance): محاسبه تعداد عملیات لازم (افزودن، حذف یا تغییر) برای تبدیل یک رشته به دیگری. 3. تطبیق نسخه‌های فایل‌ها: در ابزارهایی مثل Git برای بررسی تغییرات بین نسخه‌های مختلف فایل‌ها کاربرد دارد. روش حل: الگوریتم LCS با استفاده از برنامه‌ریزی پویا حل می‌شود و یک جدول دو بعدی برای ذخیره طول LCS تا هر نقطه از رشته‌ها تشکیل می‌دهد. پیچیدگی زمانی: این الگوریتم با پیچیدگی زمانی O(n * m) اجرا می‌شود که در آن n و m طول رشته‌های ورودی هستند. مثال: رشته‌های ABCBDAB و BDCAB را در نظر بگیرید. LCS این دو رشته زیررشته‌ی BCAB با طول ۴ است. #الگوریتم 📣👨‍💻 @AlgorithmDesign_DataStructuer

پیچیدگی زمانی (Time Complexity) برای عملیات‌های مختلف روی پشته (Stack) #الگوریتم 📣👨‍💻 @AlgorithmDesign_DataStructuer

💡 توجه ترکیبی از سرها (MoH) روشی جدید برای بهبود کارایی توجه چندسر در ترنسفورمرهاست. MoH هر سر توجه را مانند یک متخصص می‌بیند و به هر توکن اجازه می‌دهد مرتبط‌ترین سرها را انتخاب کند. این روش بدون افزایش پارامترها، کارایی استنتاج را بهبود می‌بخشد. MoH به جای جمع ساده، از جمع وزنی استفاده کرده و انعطاف‌پذیری بیشتری ارائه می‌دهد. توجه ترکیبی از سرها (MoH) در مدل‌های مختلف مانند ViT، DiT و LLMs نتایج چشمگیری داشته است. مثلاً MoH-ViT-B با فعال‌سازی 75٪ از سرهای توجه به دقت 84.9٪ در ImageNet-1K رسیده است. همچنین مدل‌هایی مثل LLaMA3-8B با تنظیم به MoH، دقت بیشتری با سرهای کمتری دارند. MoH-LLaMA3-8B با 75٪ سرها، 2.4٪ بهتر از نسخه قبلی عمل کرده است. https://arxiv.org/abs/2410.11842 #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

سلام دوستان عزیز👋🏻😉 امیدوارم حالتون خوب باشه. 🌟 اگر در درس‌های رشته کامپیوتر نیاز به راهنمایی یا کمک دارین مخصوصا دوستانی که تازه وارد این رشته شدن، حتماً از ادمین کمک بگیرین. ادمین‌ کانال ما همیشه آماده پاسخگویی به سوالات شما و ارائه مشاوره هست. پس بدون هیچ نگرانی سوالاتتون رو بپرسید و از راهنمایی‌های مفید ادمین استفاده کنید. موفق باشید! 💻📚 برای ارتباط با ادمین به آیدی زیر پیام بدید.👇🏻👇🏻 ✅ @Se_mohamad

دموکراتیزه کردن کارآمد مدل‌های زبانی بزرگ (LLMs) پزشکی برای ۵۰ زبان از طریق ترکیبی از متخصصان خانواده‌های زبانی Github: https://github.com/freedomintelligence/apollomoe Paper: https://arxiv.org/abs/2410.10626v1 Dataset: https://paperswithcode.com/dataset/mmlu #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

یک Heap یک نوع داده ساختار درختی است که ویژگی‌های زیر را دارد: 🌳 ساختار کامل: یک heap همیشه یک درخت کامل است، به این معنی که تمام سطوح آن (به جز آخرین سطح) به طور کامل پر شده‌اند و همه گره‌ها در آخرین سطح به سمت چپ قرار دارند. ⚖️ ویژگی heap: - Max-Heap: در هر گره، مقدار والد بزرگتر یا مساوی مقدار فرزندانش است. بنابراین، بزرگترین عنصر در ریشه قرار دارد. - Min-Heap: در هر گره، مقدار والد کوچکتر یا مساوی مقدار فرزندانش است. بنابراین، کوچکترین عنصر در ریشه قرار دارد. 🚀 دسترسی سریع به ریشه: در heap، عنصر ریشه همیشه بزرگترین (در max-heap) یا کوچکترین (در min-heap) عنصر است که دسترسی به آن با زمان ثابت O(1) انجام می‌شود. 🛠 درج و حذف: عملیات درج و حذف در heap به صورت منطقی انجام می‌شود، به طوری که پس از هر عملیات، ساختار درخت و ویژگی heap حفظ می‌شود. این عملیات معمولاً در زمان O(log n) انجام می‌شوند، زیرا باید از ریشه به برگ یا بالعکس پیمایش کنیم. 💡 کاربردها: - صف اولویت: heap اغلب برای پیاده‌سازی صف‌های اولویت استفاده می‌شود. - الگوریتم‌های مرتب‌سازی: مثل Heap Sort که از ویژگی‌های heap برای مرتب‌سازی داده‌ها استفاده می‌کند. - الگوریتم‌های مسیریابی: مثل الگوریتم دیکسترا برای پیدا کردن کوتاه‌ترین مسیرها. این ویژگی‌ها heap را به یک داده ساختار کارآمد برای بسیاری از کاربردها تبدیل کرده‌اند. 🎯 #الگوریتم 📣👨‍💻 @AlgorithmDesign_DataStructuer

این ابزار برای کسانی که از PyTorch استفاده می‌کنند. معرفی روش : VisualTorch ✅ یک ابزار اپن‌سورس در پایتون که به شما امکان می‌دهد مدل‌های PyTorch را خیلی سریع و آسان بصری‌سازی کنید. ✅ به جای بررسی دستی شبکه‌های عصبی‌تان، با این ابزار می‌توانید لایه‌ها، پارامترها و گراف‌های محاسباتی را به‌صورت تصویری مشاهده کنید. این کار به شما کمک می‌کند تا سریع‌تر دیباگ کرده و مدل‌هایتان را بهینه‌تر تنظیم کنید. 🔗 برای دانلود و استفاده، فقط کافیست به گیت‌هاب زیر مراجعه کنید 👇 https://github.com/willyfh/visualtorch #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

معرفی سایت nn.labml.ai در این سایت پیاده سازی #پایتورچ مدل ها و الگوریتم های مهم هوش مصنوعی به همراه توضیح خط به خط کد و فرمول های ریاضی به کار رفته در کد مقالات است. و منبع عالی برای #کدخوانی #مقالات هست. لیست موضوعات پیاده سازی شده در این سایت: ✨ Transformers ✨ Low-Rank Adaptation (LoRA) ✨Eleuther GPT-NeoX ✨Diffusion models ✨Generative Adversarial Networks ✨Recurrent Highway Networks ✨ LSTM ✨ HyperNetworks - HyperLSTM ✨ ResNet ✨ ConvMixer ✨ Capsule Networks ✨ U-Net ✨ Sketch RNN ✨ Graph Neural Networks ✨ Reinforcement Learning ✨ Counterfactual Regret Minimization (CFR) ✨ Optimizers ✨ Normalization Layers ✨ Distillation ✨ Adaptive Computation ✨ Uncertainty ✨ Activations ✨ Language Model Sampling ✨ Scalable Training/Inference #منابع #هوش_مصنوعی #مقاله_خوانی 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 🔸 @AI_Person

ترانسفورمر دیفرانسیلی در مقابل ترانسفورمر معمولی ترانسفورمر معمولی 🎯 تمایل به توجه به زمینه‌های نامربوط دارد، در حالی که ترانسفورمر دیفرانسیلی 🔍 توجه را به زمینه‌های مرتبط تقویت می‌کند و نویز را حذف می‌کند (بی‌توجهی به زمینه‌های نامربوط). چگونه ترانسفورمر دیفرانسیلی زمینه‌های نامربوط را نادیده می‌گیرد؟ - مکانیزم توجه دیفرانسیلی (differential attention) نمرات توجه را به‌عنوان تفاوت بین دو نقشه توجه softmax جداگانه محاسبه می‌کند. - این تفریق، نویز را حذف کرده و باعث ایجاد الگوهای توجه پراکنده می‌شود. 🌿 مزایای ترانسفورمر دیفرانسیلی - ترانسفورمر دیفرانسیلی (DIFF Transformer) در مقایسه با ترانسفورمر معمولی در مقیاس‌های مختلف، چه از نظر افزایش اندازه مدل و چه از نظر تعداد داده‌های آموزشی، عملکرد بهتری دارد. - مهم‌تر از آن، در کاربردهای عملی مانند مدل‌سازی با زمینه طولانی (long-context modeling) و بازیابی اطلاعات کلیدی (key information retrieval) مزیت‌های قابل توجهی دارد. 🧠📚 #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

انواع گراف : 1. بدون جهت (Undirected): یال‌ها بدون جهت. 🎯 2. جهت‌دار (Directed): یال‌ها با جهت مشخص. ➡️ 3. خلوت (Sparse): یال‌ها نسبت به گره‌ها کم. 🌿 4. متراکم (Dense): یال‌ها نسبت به گره‌ها زیاد. 🏗 5. بدون وزن (Unweighted): یال‌ها بدون وزن. ⚖️ 6. وزندار (Weighted): یال‌ها وزندار. 🏋️ 7. بدون دور (Acyclic): بدون دور. 🚫🔄 8. چرخه‌ای (Cyclic): دارای دور. 🔄 9. ساده (Simple): بدون حلقه یا یال موازی. ✅ 10. غیر ساده (Non-simple): با حلقه یا یال موازی. 🚧 11. بدون برچسب (Unlabeled): بدون برچسب. ❌🏷 12. برچسب‌دار (Labeled): با برچسب. 🏷 #الگوریتم 📣👨‍💻 @AlgorithmDesign_DataStructuer

ویژن ترنسفورمر (Vision Transformer یا به اختصار ViT) یک معماری مدل است که ترنسفورمرها، که در اصل برای پردازش زبان‌های طبیعی (NLP) طراحی شده‌اند، را برای داده‌های تصویری به کار می‌گیرد. برخلاف شبکه‌های عصبی کانولوشنی (CNNs) که سال‌ها در این زمینه غالب بوده‌اند، ویژن ترنسفورمرها نیازی به استفاده از کانولوشن‌ها برای پردازش تصاویر ندارند. به جای آن، تصاویر را به چندین بخش (پچ) تقسیم کرده، این پچ‌ها را مانند توالی‌های کلمات در نظر می‌گیرند، و سپس مدل ترنسفورمر را برای استخراج ویژگی‌ها به کار می‌گیرند. ایده اصلی در اینجا ساده اما قدرتمند است: همان‌طور که ترنسفورمرها در درک روابط بین کلمات یک جمله عالی هستند، می‌توانند روابط بین بخش‌های مختلف یک تصویر را نیز یاد بگیرند. این موضوع به ViT‌ها امکان می‌دهد که زمینه‌ی کلی تصویر را با کارایی بیشتری نسبت به CNNها درک کنند. Paper https://arxiv.org/abs/2010.11929 code https://github.com/google-research/vision_transformer #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

اگر به دنبال یک منبع عالی برای مرور سریع الگوریتم‌ها و ساختارهای داده هستید، Algorithms and Data Structures Cheatsheet رو از دست ندید! این سایت یک راهنمای جامع و مختصر ارائه میده که بهتون کمک می‌کنه مفاهیم کلیدی رو به سرعت یاد بگیرید یا مرور کنید. حتماً بهش سر بزنید و از مطالبش بهره‌مند بشید! https://algs4.cs.princeton.edu/cheatsheet/ #الگوریتم 📣👨‍💻 @AlgorithmDesign_DataStructuer

پایتورچ را به صورت رایگان (و با کیفیت) یاد بگیرید! یک دوره عالی برای یادگیری پایتورچ پیدا کردم که واقعا ارزشمند است. خواستم آن را با شما به اشتراک بگذارم. https://howsam.org/downloads/pytorch-course/ #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

📑 - دوره ی تدریس سیگنال و سیستم ها ♾️ - مدرس: پروفسور آلن وی اوپنهایم 🏛 مؤسسه فناوری ماساچوست 𝐌𝐈𝐓 https://ocw.mit.edu/courses/res-6-007-signals-and-systems-spring-2011/download/ 📣👨‍💻 @AlgorithmDesign_DataStructuer

Are you ready for free online courses from the world’s #No1 university? #هوش_مصنوعی 📣👨‍💻 @AlgorithmDesign_DataStructuer

اگر تازه‌کار هستید، بسیار مهم است که اهمیت ساختارهای داده و الگوریتم‌ها را در آمادگی خود برای ورود به مسیر نرم‌افزار درک کنید. در اینجا یک نقشه راه جامع ارائه شده است که می‌توانید با هر زبان برنامه‌نویسی از آن استفاده کنید. اگر به دنبال گسترش مهارت‌های خود در حوزه علم داده هستید، می‌توانید از طریق زبان برنامه‌نویسی پایتون 🐍 اقدام کنید. #الگوریتم 📣👨‍💻 @AlgorithmDesign_DataStructuer

هرکسی ازتون پرسید مشتق و انتگرال کجا بدرد میخوره این ویدیو رو نشونش بدید هنر مهندسی یعنی یه جسم ۳۵۰۰ تنی رو با سرعت ۶ هزار کیلومتر به سمت زمین برگردونی و اینجوری بگیری بغلت. زنده باد علم... @silicon_brain | از هوش مصنوعی عقب نمانید