مهندسی و علم داده
前往频道在 Telegram
در مورد ادمین کانال : - محمد عالیشاهی - دکترای هوش مصنوعی دانشگاه تهران - مدیر ارشد پروژه های هوش مصنوعی و علم داده -دبیر شورای حکمرانی داده انجمن هوش مصنوعی ایران
显示更多3 977
订阅者
无数据24 小时
+27 天
-230 天
正在加载数据
吸引订阅者
十一月 '2611月 '26
十一月 '26
+11
在0个频道中
十月 '26
+25
在1个频道中
Get PRO
九月 '26
+12
在0个频道中
Get PRO
八月 '26
+19
在0个频道中
Get PRO
七月 '26
+38
在0个频道中
Get PRO
六月 '26
+12
在0个频道中
Get PRO
五月 '26
+8
在0个频道中
Get PRO
四月 '26
+2
在0个频道中
Get PRO
三月 '26
+3
在0个频道中
Get PRO
二月 '26
+22
在1个频道中
Get PRO
一月 '26
+14
在0个频道中
Get PRO
十二月 '25
+74
在1个频道中
Get PRO
十一月 '25
+24
在0个频道中
Get PRO
十月 '25
+21
在0个频道中
Get PRO
九月 '25
+16
在0个频道中
Get PRO
八月 '25
+31
在1个频道中
Get PRO
七月 '25
+20
在0个频道中
Get PRO
六月 '25
+13
在0个频道中
Get PRO
五月 '25
+38
在1个频道中
Get PRO
四月 '25
+17
在1个频道中
Get PRO
三月 '25
+28
在0个频道中
Get PRO
二月 '25
+36
在0个频道中
Get PRO
一月 '25
+19
在0个频道中
Get PRO
十二月 '24
+95
在0个频道中
Get PRO
十一月 '24
+86
在0个频道中
Get PRO
十月 '24
+82
在2个频道中
Get PRO
九月 '24
+41
在2个频道中
Get PRO
八月 '24
+32
在0个频道中
Get PRO
七月 '24
+55
在0个频道中
Get PRO
六月 '24
+49
在0个频道中
Get PRO
五月 '24
+80
在0个频道中
Get PRO
四月 '24
+67
在1个频道中
Get PRO
三月 '24
+93
在0个频道中
Get PRO
二月 '24
+61
在0个频道中
Get PRO
一月 '24
+39
在0个频道中
Get PRO
十二月 '23
+141
在4个频道中
Get PRO
十一月 '23
+26
在0个频道中
Get PRO
十月 '23
+29
在0个频道中
Get PRO
九月 '23
+43
在0个频道中
Get PRO
八月 '23
+39
在0个频道中
Get PRO
七月 '23
+60
在0个频道中
Get PRO
六月 '23
+58
在0个频道中
Get PRO
五月 '23
+54
在0个频道中
Get PRO
四月 '23
+37
在0个频道中
Get PRO
三月 '23
+23
在0个频道中
Get PRO
二月 '23
+47
在0个频道中
Get PRO
一月 '23
+51
在0个频道中
Get PRO
十二月 '22
+165
在0个频道中
Get PRO
十一月 '22
+189
在0个频道中
Get PRO
十月 '22
+1
在0个频道中
Get PRO
九月 '22
+11
在0个频道中
Get PRO
八月 '22
+30
在0个频道中
Get PRO
七月 '22
+5
在0个频道中
Get PRO
六月 '22
+12
在0个频道中
Get PRO
五月 '22
+10
在0个频道中
Get PRO
四月 '22
+43
在0个频道中
Get PRO
三月 '22
+54
在0个频道中
Get PRO
二月 '22
+5
在0个频道中
Get PRO
一月 '22
+12
在0个频道中
Get PRO
十二月 '21
+17
在0个频道中
Get PRO
十一月 '21
+14
在0个频道中
Get PRO
十月 '21
+10
在0个频道中
Get PRO
九月 '21
+20
在0个频道中
Get PRO
八月 '21
+22
在0个频道中
Get PRO
七月 '21
+61
在0个频道中
Get PRO
六月 '21
+13
在0个频道中
Get PRO
五月 '21
+15
在0个频道中
Get PRO
四月 '21
+16
在0个频道中
Get PRO
三月 '21
+19
在0个频道中
Get PRO
二月 '21
+24
在0个频道中
Get PRO
一月 '21
+22
在0个频道中
Get PRO
十二月 '20
+3 540
在0个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 17 十一月 | 0 | |||
| 16 十一月 | 0 | |||
| 15 十一月 | +3 | |||
| 14 十一月 | +3 | |||
| 13 十一月 | 0 | |||
| 12 十一月 | 0 | |||
| 11 十一月 | 0 | |||
| 10 十一月 | 0 | |||
| 09 十一月 | 0 | |||
| 08 十一月 | +1 | |||
| 07 十一月 | +1 | |||
| 06 十一月 | +1 | |||
| 05 十一月 | +2 | |||
| 04 十一月 | 0 | |||
| 03 十一月 | 0 | |||
| 02 十一月 | 0 | |||
| 01 十一月 | 0 |
频道帖子
📊 معیارهای ارزیابی Performance:
▪️ 📥 Read Rows و Read Bytes: حجم دادههای خواندهشده
▪️ 🖥️ CPU Usage: میزان مصرف پردازنده
▪️ 🧠 Memory Usage: میزان مصرف حافظه
▪️ 💽 Disk I/O: هزینه عملیات خواندن و نوشتن روی دیسک
🎯 یک Query زمانی واقعاً بهینه است که با حفظ صحت نتایج، منابع کمتری مصرف کند؛ نه صرفاً زمانی که سریعتر اجرا شود.
💡 این همان تفاوت Query Tuning با Performance Engineering در سطح موتور دیتابیس است.
━━━━━━━━━━━━━━
📌 @BIMining
| 2 | 🚀 در سیستمهای OLAP، بهینهسازی واقعی فقط به معنای اجرای سریعتر Query نیست؛ بلکه کاهش حجم دادههای پردازششده و منابع مصرفی اهمیت بیشتری دارد.
⚡ در نسخه 26.10 از ClickHouse، چهار حوزه مهم بهینهسازی عملکرد قابل بررسی است:
🔹 01 — Data Access Optimization
توسعه Top-K Dynamic Filtering در سناریوهای "GROUP BY" برای کاهش پردازش دادههای غیرضروری در شرایط مناسب.ایموج
🔹 02 — Decoding Optimization
قابلیت Columns Cache برای کاهش هزینه تکرار عملیات Decompression و Deserialization در Queryهای پرتکرار.
🔹 03 — Memory Management
قابلیت Disk Spilling در "IN Subqueries" برای مدیریت مصرف RAM و انتقال بخشی از دادههای میانی به دیسک.
🔹 04 — Hash Table Optimization
بهکارگیری Robin Hood Hashing برای بهبود ساختارهای داخلی Hash و کاهش هزینه حافظه و پردازش. | 314 |
| 3 | 🚀 سفر کامل تکامل داده CDC → CDF → SCD Type 2:
ثبت تغییرات داده تنها اولین قدم است. ارزش واقعی از حفظ تاریخچه همراه با بهروز و دقیق نگه داشتن داده حاصل میشود.
🔹 CDC (ثبت تغییرات داده)
INSERTها، UPDATEها و DELETEهای سطح منبع را بدون پردازش کل مجموعه داده ثبت میکند.
🔹 CDF (جریان تغییرات داده)
تغییرات سطح سطر را در Delta Lake آشکار میکند و پردازش افزایشی را کارآمد و مقیاسپذیر میسازد.
🔹 SCD Type 2
با منقضی کردن رکوردهای قدیمی و ایجاد نسخههای جدید هر زمان که ویژگیهای ردیابیشده تغییر کنند، تاریخچه را حفظ میکند.
نحوه کار آنها با هم
✅ CDC مشخص میکند چه چیزی تغییر کرده است
✅ CDF آن تغییرات را به پاییندست منتقل میکند
✅ SCD Type 2 نسخههای تاریخی و جاری را ذخیره میکند
جریان Lakehouse
🥉 Bronze : تغییرات خام ثبتشده از سیستمهای منبع
🥈 Silver : ردیابی تاریخی با استفاده از SCD Type 2
🥇 Gold : داده آماده کسبوکار برای تحلیل، گزارشدهی و هوش مصنوعی
@BIMining | 1 200 |
| 4 | 没有文字... | 1 319 |
| 5 | نکته مهم همینجاست:
100M Records ≠ 100M Records Read
به همین دلیل:
• Partitioning
• ORDER BY
• Data Layout
در ClickHouse فقط تصمیمهای مربوط به Storage نیستند؛ مستقیماً روی Performance Query اثر میگذارند.
پس وقتی یک Query کند است، قبل از اینکه سراغ CPU و RAM برویم، بهتر است یک سؤال ساده بپرسیم:
«چرا این همه داده دارد خوانده میشود؟»
در بسیاری از سیستمهای تحلیلی، سریعتر شدن Query از پردازش بیشتر شروع نمیشود؛ از خواندن کمتر داده شروع میشود.
Less Data Read → Less I/O → Less CPU Work → Faster Query
@BIMining | 1 192 |
| 6 | چطور ClickHouse روی 100 میلیون رکورد Query اجرا میکند، بدون اینکه 100 میلیون رکورد را بخواند؟
وقتی صحبت از Performance در سیستمهای تحلیلی میشود، معمولاً ذهنمان میرود سمت:
• CPU
• RAM
• سرعت Disk
اما در ClickHouse یک سؤال مهمتر وجود دارد:
چقدر از داده واقعاً لازم است خوانده شود؟
فرض کنید Query فقط به اطلاعات 24 ساعت اخیر و چند Column مشخص نیاز دارد.
و ClickHouse قرار نیست کل داده را بخواند و بعد دنبال رکوردهای موردنظر بگردد.
در این فرآیند:
• ابتدا Partitionهای نامرتبط حذف میشوند.
• سپس Partهای غیرضروری کنار گذاشته میشوند.
• با Data Skipping و Metadata، بخشهایی که احتمالاً هیچ Matchای ندارند Skip میشوند.
• به دلیل Columnar Storage، فقط Columnهای موردنیاز خوانده میشوند.
• و Compression حجم I/O را کاهش میدهد.
• در نهایت Vectorized Execution دادهها را بهصورت Batch پردازش میکند.
مسیر اجرای Query میتواند چیزی شبیه این باشد:
100M Records → Pruning → Data Skipping → Required Columns → Execution → Result
@BIMining | 1 093 |
| 7 | قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract.
در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیمهای دیگر ساختار یا معنای یک فیلد را تغییر دهد؛ Pipeline هم شاید همچنان سبز باشد، اما خروجی Dashboard یا مدل ML دیگر درست نباشد.
در چنین شرایطی، Data Contract انتظارات را از قبل مشخص میکند: ساختار داده، معنا، کیفیت، Freshness، مالکیت و قوانین تغییرات.
در واقع، میتوان Data Contract را مثل یک API برای دادهها در نظر گرفت؛ یک توافق مشخص بین کسی که داده را تولید میکند و تیمهایی که به آن داده وابستهاند.
نکته مهم اینجاست که Data Contract فقط مستندات نیست؛ میتواند بهصورت machine-readable تعریف شود و بخشی از کنترلهای کیفیت و CI/CD را بهصورت خودکار اجرا کند.
در نهایت، داده خوب فقط دادهای نیست که منتقل میشود؛ دادهای است که میدانیم قرار است چه تعهداتی را برآورده کند.
@BIMining | 1 009 |
| 8 | 没有文字... | 1 151 |
| 9 | 没有文字... | 2 325 |
| 10 | معماری مدالیون(Medallion Architecture)، سیر تحول دادهها را از حالت خام اولیه تا نسخهای که آمادهٔ پشتیبانی از تصمیمگیری است، سازماندهی میکند.
لایهٔ برنز (Bronze)، فایلها، رویدادها و رکوردها را دقیقاً به همان صورتی که از سیستمهای مبدأ دریافت میشوند، حفظ میکند. این لایه، سطحی از جزئیات را نگهداری میکند که برای ردیابی خطاها و بازسازی فرایندها ضروری است.
لایهٔ نقره (Silver)، دادهها را پالایش، استانداردسازی، پاکسازی (deduplicate) و اعتبارسنجی میکند. در این مرحله، فرمتها اصلاح، کدها یکسانسازی و بررسیهای کیفی روی دادهها اعمال میشوند.
لایهٔ طلا (Gold)، قوانین کسبوکار را به دادهها اضافه کرده و جداول، معیارها و محصولات دادهای را برای داشبوردها، تحلیلها و مدلهای پیشبینی آماده میسازد.
@BIMining | 2 586 |
| 11 | 没有文字... | 1 643 |
| 12 | 🔺ورود چین به عصر ایجنتهای هوش مصنوعی
🔹شرکت چینی بایت دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنتها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چتبات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدلهایی مانند OpenAI و گوگل رقابت میکند.
🔹بایتدنس میگوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازشهای پرمصرف مزیت مهمی به شمار میرود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا میخواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند.
@BIMining | 2 582 |
| 13 | 没有文字... | 1 772 |
| 14 | 没有文字... | 2 482 |
| 15 | برگزاری پنل هوش مصنوعی با عنوان
سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی
دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی
ساعت 11-12:15 | 2 406 |
| 16 | 没有文字... | 4 268 |
| 17 | 没有文字... | 3 047 |
| 18 | 没有文字... | 2 224 |
| 19 | سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس
در الکامپ تاکز
@BIMining | 3 934 |
| 20 | 没有文字... | 1 889 |
