دیتاهاب
Відкрити в Telegram
موضوعات کانال: ✅Data Science ✅Machine Learning ✅Deep Learning ✅NLP گروه تلگرامی ⬅️ @data_jobs دیتاست ⬅️ @persian_data ادمین ⬅️ @data_hub
Показати більше2 110
Підписники
Немає даних24 години
-57 днів
-1230 день
Триває завантаження даних...
Схожі канали
Хмара тегів
Вхідні та вихідні згадування
---
---
---
---
---
---
Залучення підписників
липень '26
липень '26
+10
в 0 каналах
червень '26
+21
в 0 каналах
Get PRO
травень '26
+10
в 0 каналах
Get PRO
квітень '26
+8
в 0 каналах
Get PRO
березень '26
+4
в 0 каналах
Get PRO
лютий '26
+20
в 0 каналах
Get PRO
січень '26
+9
в 0 каналах
Get PRO
грудень '25
+27
в 0 каналах
Get PRO
листопад '25
+40
в 0 каналах
Get PRO
жовтень '25
+31
в 0 каналах
Get PRO
вересень '25
+18
в 0 каналах
Get PRO
серпень '25
+42
в 1 каналах
Get PRO
липень '25
+36
в 0 каналах
Get PRO
червень '25
+13
в 0 каналах
Get PRO
травень '25
+49
в 2 каналах
Get PRO
квітень '25
+36
в 0 каналах
Get PRO
березень '25
+34
в 1 каналах
Get PRO
лютий '25
+22
в 0 каналах
Get PRO
січень '25
+37
в 1 каналах
Get PRO
грудень '24
+32
в 0 каналах
Get PRO
листопад '24
+34
в 0 каналах
Get PRO
жовтень '24
+55
в 2 каналах
Get PRO
вересень '24
+54
в 2 каналах
Get PRO
серпень '24
+53
в 2 каналах
Get PRO
липень '24
+35
в 1 каналах
Get PRO
червень '24
+35
в 1 каналах
Get PRO
травень '24
+82
в 2 каналах
Get PRO
квітень '24
+153
в 1 каналах
Get PRO
березень '24
+39
в 2 каналах
Get PRO
лютий '24
+54
в 0 каналах
Get PRO
січень '24
+71
в 0 каналах
Get PRO
грудень '23
+102
в 0 каналах
Get PRO
листопад '23
+58
в 1 каналах
Get PRO
жовтень '23
+43
в 0 каналах
Get PRO
вересень '23
+40
в 0 каналах
Get PRO
серпень '23
+72
в 0 каналах
Get PRO
липень '23
+80
в 0 каналах
Get PRO
червень '23
+121
в 0 каналах
Get PRO
травень '23
+21
в 0 каналах
Get PRO
квітень '23
+28
в 0 каналах
Get PRO
березень '23
+31
в 0 каналах
Get PRO
лютий '23
+110
в 0 каналах
Get PRO
січень '23
+24
в 0 каналах
Get PRO
грудень '22
+59
в 0 каналах
Get PRO
листопад '22
+47
в 0 каналах
Get PRO
жовтень '22
+39
в 0 каналах
Get PRO
вересень '22
+20
в 0 каналах
Get PRO
серпень '22
+24
в 0 каналах
Get PRO
липень '22
+24
в 0 каналах
Get PRO
червень '22
+60
в 0 каналах
Get PRO
травень '22
+28
в 0 каналах
Get PRO
квітень '22
+37
в 0 каналах
Get PRO
березень '22
+115
в 0 каналах
Get PRO
лютий '22
+104
в 0 каналах
Get PRO
січень '22
+20
в 0 каналах
Get PRO
грудень '21
+44
в 0 каналах
Get PRO
листопад '21
+55
в 0 каналах
Get PRO
жовтень '21
+41
в 0 каналах
Get PRO
вересень '21
+38
в 0 каналах
Get PRO
серпень '21
+63
в 0 каналах
Get PRO
липень '21
+16
в 0 каналах
Get PRO
червень '21
+27
в 0 каналах
Get PRO
травень '21
+51
в 0 каналах
Get PRO
квітень '21
+29
в 0 каналах
Get PRO
березень '21
+71
в 0 каналах
Get PRO
лютий '21
+110
в 0 каналах
Get PRO
січень '21
+56
в 0 каналах
Get PRO
грудень '20
+460
в 0 каналах
| Дата | Залучення підписників | Згадування | Канали | |
| 11 липня | +1 | |||
| 10 липня | +2 | |||
| 09 липня | 0 | |||
| 08 липня | 0 | |||
| 07 липня | 0 | |||
| 06 липня | +2 | |||
| 05 липня | 0 | |||
| 04 липня | +2 | |||
| 03 липня | +2 | |||
| 02 липня | 0 | |||
| 01 липня | +1 |
Дописи каналу
#موقت
فک کن ایدهای که به نظرت خیلی خوبه بدون چشم داشت پست میکنی
بعد یک عده دیس لایک میکنن
جرات ندارن کامنت بزارن تا هویتش مشخص بشه
عجیب که از کانال هم لفت نمیدن
تازه دیشب یک نفر روی پست قبلی کامنت گذاشته که چون اون پست گذاشتم
حروم لقمه هستم
من که صرفا کامنت پاک کردم و هیچ پاسخی بهش ندادم
ولی
عزیز دل
با افتخار کل عمرم شریف زندگی کردم و به احدی باج ندادم، مجیزگوی نهاد یا صنف خاصی هم نبودم
با افتخار بچه روستایی هستم و از صفر شروع کردم از صفر صفر صفر، پدر عزیزتر از جانم هم مدت زیادی کارگر بوده و البته همیشه روی چشمهام جا داره
امثال من هر چی درآوردم نون بازو بوده...
| 2 | یک ایده به ذهنم رسیده که به نظرم ارزش زیادی داره و اگر روش کار بشه، میتونه تبدیل به یه مقالهی خیلی خوب بشه.
شاید بپرسید اگر این ایده اینقدر خوبه، چرا خودت انجامش نمیدی؟
دو تا دلیل داره. اول اینکه خودم فعلاً فرصت انجامش رو ندارم. دوم اینکه دوست دارم یکی از شماها این ایده رو برداره، روش کار کنه، یه مقالهی خوب ازش دربیاره و نتیجهش رو هم توی یه کنفرانس خفن منتشر کنه و رزومه خوبی برای خودش بسازه.
حالا ایده چیه؟
بچههایی که با معماری Transformer آشنا هستن میدونن که یکی از مشکلات مدلهای ترنسفورمری، عملکردشون روی متنهای خیلی بلنده.
قبل از Transformer، شبکههای عصبی بازگشتی (RNN) مشکل Long-term Dependency داشتن؛ یعنی وابستگیهای بلندمدت رو خوب یاد نمیگرفتن. بعد Transformer اومد و Attention رو معرفی کرد تا این ضعف رو تا حد زیادی برطرف کنه.
اما الان یه مشکل جدید داریم.
فرض کنید از یک مدل زبانی یه گزارش ۵۰ صفحهای میخواید، یا ۲۰۰ صفحه متن بهش میدید، یا حتی ۲۰ هزار توکن ورودی. هرچقدر طول ورودی بیشتر میشه، حتی مکانیزم Attention هم دیگه نمیتونه وابستگی بین همهی کلمات رو به خوبی حفظ کنه و عملکرد مدل افت میکنه.
اینجا ایدهای که به ذهن من رسیده اینه که از مفهوم Convolution استفاده کنیم.
توی CNNها یک Kernel یا فیلتر داریم که روی ورودی حرکت میکنه. پیشنهاد من اینه که همین منطق رو برای متن استفاده کنیم، ولی به جای Kernel، از Attention استفاده کنیم.
فرض کنید یک متن ۲۰ هزار توکنی داریم. به جای اینکه Attention روی کل متن یکجا محاسبه بشه، متن رو به بخشهای کوچکتر تقسیم کنیم؛ مثلاً ۲۰ بخش هزار توکنی.
بعد مثل Convolution روی این بخشها حرکت کنیم، اما عملیاتی که انجام میدیم از جنس Attention باشه، نه Convolution.
یعنی برای هر بخش، Attention جداگانه محاسبه بشه و این فرآیند به صورت Sliding Window روی کل متن حرکت کنه.
میدونم که این روش Information Loss ایجاد میکنه و بعضی وابستگیهای دور از بین میره. مثلاً ممکنه کلمات هزار توکن اول با کلمات هزار توکن پنجم ارتباط داشته باشن و این ارتباط کامل حفظ نشه.
ولی به نظرم بخش زیادی از این ارتباطها قابل چشمپوشیه و هزینهای که بابت از دست دادن اون مقدار اطلاعات میدیم، در مقابل بهبود مقیاسپذیری ارزشش رو داره.
به نظرم ترکیب Convolution و Attention میتونه ایدهی جالبی باشه و شاید حتی راهحلی برای یکی از مشکلات مهم مدلهای زبانی امروزی باشه.
چون الان یکی از دردسرهای اصلی LLMها اینه که هرچقدر طول ورودی بیشتر میشه، بعد از یک نقطه عملکرد مدل به شکل محسوسی افت میکنه و Performance واقعاً Drop میکنه. | 398 |
| 3 | بعد از مدتها دوباره برگشتیم
درود به همگی
اول از همه وظیفه خودم میدونم اتفاقات تلخی که دیماه افتاد رو به همه تسلیت بگم. غمیه که فکر میکنم تا مدتها توی فکر و قلب خیلیهامون میمونه.
واقعیتش بعضی دردها اونقدر بزرگن که واقعاً چیزی برای گفتن پیدا نمیکنه. فقط میتونم امیدوار باشم که
امانتدار خوبی باشیم و نام و یادشون را اونجوری که شایستهشون باشه، زنده نگه داریم. | 474 |
| 4 | #موقت
اگه کسی تجربه کاری در سایت های فریلنسری مثل upwork داره لطفا یک پیام بده
mohammad_dehghaniiii | 186 |
| 5 | من طبیعتا پیشگو نیستم، و اقتصاد هم محل پیشگویی نیست ولی میشه پیش بینی کرد
اگر با همین دست و فرمون جلو رفته بشه (خصوصا محاصره دریایی ادامه داشته باشه)
مشکل شدید در پخش و توزیع بنزین - احتمالا در خرداد (بخشی از بنزین مصرفی، وارداتی هست)
ابرتورم در تابستان (احتمالا مرداد) - میشه گفت تابستان بسیار گرمی در پیش خواهیم داشت
پ.ن: الان هم ابرتورم هستیم (وقتی فقط طی یک سال، مرغ 4 برابر میشه) ولی چیزی ک میگم شبیه به F(f(x)) هست یعنی ابرتورم در ابرتورم
پ.ن 2: اصلا شرایط اقتصادی مناسب نیست (فاجعه اس) و خودمون را برای شرایط بسیار سختی آماده می کنیم و اصلا خرید اضافه و غیرضروری نمی کنیم و تصمیم های مهم زندگی را ترجیحا به تعویق می اندازیم. | 669 |
