مهندسی و علم داده
رفتن به کانال در Telegram
در مورد ادمین کانال : - محمد عالیشاهی - دکترای هوش مصنوعی دانشگاه تهران - مدیر ارشد پروژه های هوش مصنوعی و علم داده -دبیر شورای حکمرانی داده انجمن هوش مصنوعی ایران
نمایش بیشتر3 977
مشترکین
اطلاعاتی وجود ندارد24 ساعت
+27 روز
-230 روز
در حال بارگذاری دادهها
کانالهای مشابه
ابر برچسبها
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
نوامبر '26نوامبر '26
نوامبر '26
+11
در 0 کانالها
اکتبر '26
+25
در 1 کانالها
Get PRO
سپتامبر '26
+12
در 0 کانالها
Get PRO
اوت '26
+19
در 0 کانالها
Get PRO
ژوئیه '26
+38
در 0 کانالها
Get PRO
ژوئن '26
+12
در 0 کانالها
Get PRO
مه '26
+8
در 0 کانالها
Get PRO
آوریل '26
+2
در 0 کانالها
Get PRO
مارس '26
+3
در 0 کانالها
Get PRO
فوریه '26
+22
در 1 کانالها
Get PRO
ژانویه '26
+14
در 0 کانالها
Get PRO
دسامبر '25
+74
در 1 کانالها
Get PRO
نوامبر '25
+24
در 0 کانالها
Get PRO
اکتبر '25
+21
در 0 کانالها
Get PRO
سپتامبر '25
+16
در 0 کانالها
Get PRO
اوت '25
+31
در 1 کانالها
Get PRO
ژوئیه '25
+20
در 0 کانالها
Get PRO
ژوئن '25
+13
در 0 کانالها
Get PRO
مه '25
+38
در 1 کانالها
Get PRO
آوریل '25
+17
در 1 کانالها
Get PRO
مارس '25
+28
در 0 کانالها
Get PRO
فوریه '25
+36
در 0 کانالها
Get PRO
ژانویه '25
+19
در 0 کانالها
Get PRO
دسامبر '24
+95
در 0 کانالها
Get PRO
نوامبر '24
+86
در 0 کانالها
Get PRO
اکتبر '24
+82
در 2 کانالها
Get PRO
سپتامبر '24
+41
در 2 کانالها
Get PRO
اوت '24
+32
در 0 کانالها
Get PRO
ژوئیه '24
+55
در 0 کانالها
Get PRO
ژوئن '24
+49
در 0 کانالها
Get PRO
مه '24
+80
در 0 کانالها
Get PRO
آوریل '24
+67
در 1 کانالها
Get PRO
مارس '24
+93
در 0 کانالها
Get PRO
فوریه '24
+61
در 0 کانالها
Get PRO
ژانویه '24
+39
در 0 کانالها
Get PRO
دسامبر '23
+141
در 4 کانالها
Get PRO
نوامبر '23
+26
در 0 کانالها
Get PRO
اکتبر '23
+29
در 0 کانالها
Get PRO
سپتامبر '23
+43
در 0 کانالها
Get PRO
اوت '23
+39
در 0 کانالها
Get PRO
ژوئیه '23
+60
در 0 کانالها
Get PRO
ژوئن '23
+58
در 0 کانالها
Get PRO
مه '23
+54
در 0 کانالها
Get PRO
آوریل '23
+37
در 0 کانالها
Get PRO
مارس '23
+23
در 0 کانالها
Get PRO
فوریه '23
+47
در 0 کانالها
Get PRO
ژانویه '23
+51
در 0 کانالها
Get PRO
دسامبر '22
+165
در 0 کانالها
Get PRO
نوامبر '22
+189
در 0 کانالها
Get PRO
اکتبر '22
+1
در 0 کانالها
Get PRO
سپتامبر '22
+11
در 0 کانالها
Get PRO
اوت '22
+30
در 0 کانالها
Get PRO
ژوئیه '22
+5
در 0 کانالها
Get PRO
ژوئن '22
+12
در 0 کانالها
Get PRO
مه '22
+10
در 0 کانالها
Get PRO
آوریل '22
+43
در 0 کانالها
Get PRO
مارس '22
+54
در 0 کانالها
Get PRO
فوریه '22
+5
در 0 کانالها
Get PRO
ژانویه '22
+12
در 0 کانالها
Get PRO
دسامبر '21
+17
در 0 کانالها
Get PRO
نوامبر '21
+14
در 0 کانالها
Get PRO
اکتبر '21
+10
در 0 کانالها
Get PRO
سپتامبر '21
+20
در 0 کانالها
Get PRO
اوت '21
+22
در 0 کانالها
Get PRO
ژوئیه '21
+61
در 0 کانالها
Get PRO
ژوئن '21
+13
در 0 کانالها
Get PRO
مه '21
+15
در 0 کانالها
Get PRO
آوریل '21
+16
در 0 کانالها
Get PRO
مارس '21
+19
در 0 کانالها
Get PRO
فوریه '21
+24
در 0 کانالها
Get PRO
ژانویه '21
+22
در 0 کانالها
Get PRO
دسامبر '20
+3 540
در 0 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 17 نوامبر | 0 | |||
| 16 نوامبر | 0 | |||
| 15 نوامبر | +3 | |||
| 14 نوامبر | +3 | |||
| 13 نوامبر | 0 | |||
| 12 نوامبر | 0 | |||
| 11 نوامبر | 0 | |||
| 10 نوامبر | 0 | |||
| 09 نوامبر | 0 | |||
| 08 نوامبر | +1 | |||
| 07 نوامبر | +1 | |||
| 06 نوامبر | +1 | |||
| 05 نوامبر | +2 | |||
| 04 نوامبر | 0 | |||
| 03 نوامبر | 0 | |||
| 02 نوامبر | 0 | |||
| 01 نوامبر | 0 |
پستهای کانال
📊 معیارهای ارزیابی Performance:
▪️ 📥 Read Rows و Read Bytes: حجم دادههای خواندهشده
▪️ 🖥️ CPU Usage: میزان مصرف پردازنده
▪️ 🧠 Memory Usage: میزان مصرف حافظه
▪️ 💽 Disk I/O: هزینه عملیات خواندن و نوشتن روی دیسک
🎯 یک Query زمانی واقعاً بهینه است که با حفظ صحت نتایج، منابع کمتری مصرف کند؛ نه صرفاً زمانی که سریعتر اجرا شود.
💡 این همان تفاوت Query Tuning با Performance Engineering در سطح موتور دیتابیس است.
━━━━━━━━━━━━━━
📌 @BIMining
| 2 | 🚀 در سیستمهای OLAP، بهینهسازی واقعی فقط به معنای اجرای سریعتر Query نیست؛ بلکه کاهش حجم دادههای پردازششده و منابع مصرفی اهمیت بیشتری دارد.
⚡ در نسخه 26.10 از ClickHouse، چهار حوزه مهم بهینهسازی عملکرد قابل بررسی است:
🔹 01 — Data Access Optimization
توسعه Top-K Dynamic Filtering در سناریوهای "GROUP BY" برای کاهش پردازش دادههای غیرضروری در شرایط مناسب.ایموج
🔹 02 — Decoding Optimization
قابلیت Columns Cache برای کاهش هزینه تکرار عملیات Decompression و Deserialization در Queryهای پرتکرار.
🔹 03 — Memory Management
قابلیت Disk Spilling در "IN Subqueries" برای مدیریت مصرف RAM و انتقال بخشی از دادههای میانی به دیسک.
🔹 04 — Hash Table Optimization
بهکارگیری Robin Hood Hashing برای بهبود ساختارهای داخلی Hash و کاهش هزینه حافظه و پردازش. | 314 |
| 3 | 🚀 سفر کامل تکامل داده CDC → CDF → SCD Type 2:
ثبت تغییرات داده تنها اولین قدم است. ارزش واقعی از حفظ تاریخچه همراه با بهروز و دقیق نگه داشتن داده حاصل میشود.
🔹 CDC (ثبت تغییرات داده)
INSERTها، UPDATEها و DELETEهای سطح منبع را بدون پردازش کل مجموعه داده ثبت میکند.
🔹 CDF (جریان تغییرات داده)
تغییرات سطح سطر را در Delta Lake آشکار میکند و پردازش افزایشی را کارآمد و مقیاسپذیر میسازد.
🔹 SCD Type 2
با منقضی کردن رکوردهای قدیمی و ایجاد نسخههای جدید هر زمان که ویژگیهای ردیابیشده تغییر کنند، تاریخچه را حفظ میکند.
نحوه کار آنها با هم
✅ CDC مشخص میکند چه چیزی تغییر کرده است
✅ CDF آن تغییرات را به پاییندست منتقل میکند
✅ SCD Type 2 نسخههای تاریخی و جاری را ذخیره میکند
جریان Lakehouse
🥉 Bronze : تغییرات خام ثبتشده از سیستمهای منبع
🥈 Silver : ردیابی تاریخی با استفاده از SCD Type 2
🥇 Gold : داده آماده کسبوکار برای تحلیل، گزارشدهی و هوش مصنوعی
@BIMining | 1 200 |
| 4 | بدون متن... | 1 319 |
| 5 | نکته مهم همینجاست:
100M Records ≠ 100M Records Read
به همین دلیل:
• Partitioning
• ORDER BY
• Data Layout
در ClickHouse فقط تصمیمهای مربوط به Storage نیستند؛ مستقیماً روی Performance Query اثر میگذارند.
پس وقتی یک Query کند است، قبل از اینکه سراغ CPU و RAM برویم، بهتر است یک سؤال ساده بپرسیم:
«چرا این همه داده دارد خوانده میشود؟»
در بسیاری از سیستمهای تحلیلی، سریعتر شدن Query از پردازش بیشتر شروع نمیشود؛ از خواندن کمتر داده شروع میشود.
Less Data Read → Less I/O → Less CPU Work → Faster Query
@BIMining | 1 192 |
| 6 | چطور ClickHouse روی 100 میلیون رکورد Query اجرا میکند، بدون اینکه 100 میلیون رکورد را بخواند؟
وقتی صحبت از Performance در سیستمهای تحلیلی میشود، معمولاً ذهنمان میرود سمت:
• CPU
• RAM
• سرعت Disk
اما در ClickHouse یک سؤال مهمتر وجود دارد:
چقدر از داده واقعاً لازم است خوانده شود؟
فرض کنید Query فقط به اطلاعات 24 ساعت اخیر و چند Column مشخص نیاز دارد.
و ClickHouse قرار نیست کل داده را بخواند و بعد دنبال رکوردهای موردنظر بگردد.
در این فرآیند:
• ابتدا Partitionهای نامرتبط حذف میشوند.
• سپس Partهای غیرضروری کنار گذاشته میشوند.
• با Data Skipping و Metadata، بخشهایی که احتمالاً هیچ Matchای ندارند Skip میشوند.
• به دلیل Columnar Storage، فقط Columnهای موردنیاز خوانده میشوند.
• و Compression حجم I/O را کاهش میدهد.
• در نهایت Vectorized Execution دادهها را بهصورت Batch پردازش میکند.
مسیر اجرای Query میتواند چیزی شبیه این باشد:
100M Records → Pruning → Data Skipping → Required Columns → Execution → Result
@BIMining | 1 093 |
| 7 | قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract.
در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیمهای دیگر ساختار یا معنای یک فیلد را تغییر دهد؛ Pipeline هم شاید همچنان سبز باشد، اما خروجی Dashboard یا مدل ML دیگر درست نباشد.
در چنین شرایطی، Data Contract انتظارات را از قبل مشخص میکند: ساختار داده، معنا، کیفیت، Freshness، مالکیت و قوانین تغییرات.
در واقع، میتوان Data Contract را مثل یک API برای دادهها در نظر گرفت؛ یک توافق مشخص بین کسی که داده را تولید میکند و تیمهایی که به آن داده وابستهاند.
نکته مهم اینجاست که Data Contract فقط مستندات نیست؛ میتواند بهصورت machine-readable تعریف شود و بخشی از کنترلهای کیفیت و CI/CD را بهصورت خودکار اجرا کند.
در نهایت، داده خوب فقط دادهای نیست که منتقل میشود؛ دادهای است که میدانیم قرار است چه تعهداتی را برآورده کند.
@BIMining | 1 009 |
| 8 | بدون متن... | 1 151 |
| 9 | بدون متن... | 2 325 |
| 10 | معماری مدالیون(Medallion Architecture)، سیر تحول دادهها را از حالت خام اولیه تا نسخهای که آمادهٔ پشتیبانی از تصمیمگیری است، سازماندهی میکند.
لایهٔ برنز (Bronze)، فایلها، رویدادها و رکوردها را دقیقاً به همان صورتی که از سیستمهای مبدأ دریافت میشوند، حفظ میکند. این لایه، سطحی از جزئیات را نگهداری میکند که برای ردیابی خطاها و بازسازی فرایندها ضروری است.
لایهٔ نقره (Silver)، دادهها را پالایش، استانداردسازی، پاکسازی (deduplicate) و اعتبارسنجی میکند. در این مرحله، فرمتها اصلاح، کدها یکسانسازی و بررسیهای کیفی روی دادهها اعمال میشوند.
لایهٔ طلا (Gold)، قوانین کسبوکار را به دادهها اضافه کرده و جداول، معیارها و محصولات دادهای را برای داشبوردها، تحلیلها و مدلهای پیشبینی آماده میسازد.
@BIMining | 2 586 |
| 11 | بدون متن... | 1 643 |
| 12 | 🔺ورود چین به عصر ایجنتهای هوش مصنوعی
🔹شرکت چینی بایت دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنتها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چتبات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدلهایی مانند OpenAI و گوگل رقابت میکند.
🔹بایتدنس میگوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازشهای پرمصرف مزیت مهمی به شمار میرود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا میخواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند.
@BIMining | 2 582 |
| 13 | بدون متن... | 1 772 |
| 14 | بدون متن... | 2 482 |
| 15 | برگزاری پنل هوش مصنوعی با عنوان
سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی
دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی
ساعت 11-12:15 | 2 406 |
| 16 | بدون متن... | 4 268 |
| 17 | بدون متن... | 3 047 |
| 18 | بدون متن... | 2 224 |
| 19 | سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس
در الکامپ تاکز
@BIMining | 3 934 |
| 20 | بدون متن... | 1 889 |
