مهندسی و علم داده
Ir al canal en Telegram
در مورد ادمین کانال : - محمد عالیشاهی - دکترای هوش مصنوعی دانشگاه تهران - مدیر ارشد پروژه های هوش مصنوعی و علم داده -دبیر شورای حکمرانی داده انجمن هوش مصنوعی ایران
Mostrar más3 977
Suscriptores
Sin datos24 horas
+27 días
-230 días
Cargando datos
Canales Similares
Nube de Etiquetas
Sin datos
¿Algún problema? Por favor, actualice la página o contacte a nuestro gerente de soporte.
Menciones Entrantes y Salientes
---
---
---
---
---
---
Atraer Suscriptores
noviembre '26nov '26
noviembre '26
+11
en 0 canales
octubre '26
+25
en 1 canales
Get PRO
septiembre '26
+12
en 0 canales
Get PRO
agosto '26
+19
en 0 canales
Get PRO
julio '26
+38
en 0 canales
Get PRO
junio '26
+12
en 0 canales
Get PRO
mayo '26
+8
en 0 canales
Get PRO
abril '26
+2
en 0 canales
Get PRO
marzo '26
+3
en 0 canales
Get PRO
febrero '26
+22
en 1 canales
Get PRO
enero '26
+14
en 0 canales
Get PRO
diciembre '25
+74
en 1 canales
Get PRO
noviembre '25
+24
en 0 canales
Get PRO
octubre '25
+21
en 0 canales
Get PRO
septiembre '25
+16
en 0 canales
Get PRO
agosto '25
+31
en 1 canales
Get PRO
julio '25
+20
en 0 canales
Get PRO
junio '25
+13
en 0 canales
Get PRO
mayo '25
+38
en 1 canales
Get PRO
abril '25
+17
en 1 canales
Get PRO
marzo '25
+28
en 0 canales
Get PRO
febrero '25
+36
en 0 canales
Get PRO
enero '25
+19
en 0 canales
Get PRO
diciembre '24
+95
en 0 canales
Get PRO
noviembre '24
+86
en 0 canales
Get PRO
octubre '24
+82
en 2 canales
Get PRO
septiembre '24
+41
en 2 canales
Get PRO
agosto '24
+32
en 0 canales
Get PRO
julio '24
+55
en 0 canales
Get PRO
junio '24
+49
en 0 canales
Get PRO
mayo '24
+80
en 0 canales
Get PRO
abril '24
+67
en 1 canales
Get PRO
marzo '24
+93
en 0 canales
Get PRO
febrero '24
+61
en 0 canales
Get PRO
enero '24
+39
en 0 canales
Get PRO
diciembre '23
+141
en 4 canales
Get PRO
noviembre '23
+26
en 0 canales
Get PRO
octubre '23
+29
en 0 canales
Get PRO
septiembre '23
+43
en 0 canales
Get PRO
agosto '23
+39
en 0 canales
Get PRO
julio '23
+60
en 0 canales
Get PRO
junio '23
+58
en 0 canales
Get PRO
mayo '23
+54
en 0 canales
Get PRO
abril '23
+37
en 0 canales
Get PRO
marzo '23
+23
en 0 canales
Get PRO
febrero '23
+47
en 0 canales
Get PRO
enero '23
+51
en 0 canales
Get PRO
diciembre '22
+165
en 0 canales
Get PRO
noviembre '22
+189
en 0 canales
Get PRO
octubre '22
+1
en 0 canales
Get PRO
septiembre '22
+11
en 0 canales
Get PRO
agosto '22
+30
en 0 canales
Get PRO
julio '22
+5
en 0 canales
Get PRO
junio '22
+12
en 0 canales
Get PRO
mayo '22
+10
en 0 canales
Get PRO
abril '22
+43
en 0 canales
Get PRO
marzo '22
+54
en 0 canales
Get PRO
febrero '22
+5
en 0 canales
Get PRO
enero '22
+12
en 0 canales
Get PRO
diciembre '21
+17
en 0 canales
Get PRO
noviembre '21
+14
en 0 canales
Get PRO
octubre '21
+10
en 0 canales
Get PRO
septiembre '21
+20
en 0 canales
Get PRO
agosto '21
+22
en 0 canales
Get PRO
julio '21
+61
en 0 canales
Get PRO
junio '21
+13
en 0 canales
Get PRO
mayo '21
+15
en 0 canales
Get PRO
abril '21
+16
en 0 canales
Get PRO
marzo '21
+19
en 0 canales
Get PRO
febrero '21
+24
en 0 canales
Get PRO
enero '21
+22
en 0 canales
Get PRO
diciembre '20
+3 540
en 0 canales
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 17 noviembre | 0 | |||
| 16 noviembre | 0 | |||
| 15 noviembre | +3 | |||
| 14 noviembre | +3 | |||
| 13 noviembre | 0 | |||
| 12 noviembre | 0 | |||
| 11 noviembre | 0 | |||
| 10 noviembre | 0 | |||
| 09 noviembre | 0 | |||
| 08 noviembre | +1 | |||
| 07 noviembre | +1 | |||
| 06 noviembre | +1 | |||
| 05 noviembre | +2 | |||
| 04 noviembre | 0 | |||
| 03 noviembre | 0 | |||
| 02 noviembre | 0 | |||
| 01 noviembre | 0 |
Publicaciones del Canal
📊 معیارهای ارزیابی Performance:
▪️ 📥 Read Rows و Read Bytes: حجم دادههای خواندهشده
▪️ 🖥️ CPU Usage: میزان مصرف پردازنده
▪️ 🧠 Memory Usage: میزان مصرف حافظه
▪️ 💽 Disk I/O: هزینه عملیات خواندن و نوشتن روی دیسک
🎯 یک Query زمانی واقعاً بهینه است که با حفظ صحت نتایج، منابع کمتری مصرف کند؛ نه صرفاً زمانی که سریعتر اجرا شود.
💡 این همان تفاوت Query Tuning با Performance Engineering در سطح موتور دیتابیس است.
━━━━━━━━━━━━━━
📌 @BIMining
| 2 | 🚀 در سیستمهای OLAP، بهینهسازی واقعی فقط به معنای اجرای سریعتر Query نیست؛ بلکه کاهش حجم دادههای پردازششده و منابع مصرفی اهمیت بیشتری دارد.
⚡ در نسخه 26.10 از ClickHouse، چهار حوزه مهم بهینهسازی عملکرد قابل بررسی است:
🔹 01 — Data Access Optimization
توسعه Top-K Dynamic Filtering در سناریوهای "GROUP BY" برای کاهش پردازش دادههای غیرضروری در شرایط مناسب.ایموج
🔹 02 — Decoding Optimization
قابلیت Columns Cache برای کاهش هزینه تکرار عملیات Decompression و Deserialization در Queryهای پرتکرار.
🔹 03 — Memory Management
قابلیت Disk Spilling در "IN Subqueries" برای مدیریت مصرف RAM و انتقال بخشی از دادههای میانی به دیسک.
🔹 04 — Hash Table Optimization
بهکارگیری Robin Hood Hashing برای بهبود ساختارهای داخلی Hash و کاهش هزینه حافظه و پردازش. | 314 |
| 3 | 🚀 سفر کامل تکامل داده CDC → CDF → SCD Type 2:
ثبت تغییرات داده تنها اولین قدم است. ارزش واقعی از حفظ تاریخچه همراه با بهروز و دقیق نگه داشتن داده حاصل میشود.
🔹 CDC (ثبت تغییرات داده)
INSERTها، UPDATEها و DELETEهای سطح منبع را بدون پردازش کل مجموعه داده ثبت میکند.
🔹 CDF (جریان تغییرات داده)
تغییرات سطح سطر را در Delta Lake آشکار میکند و پردازش افزایشی را کارآمد و مقیاسپذیر میسازد.
🔹 SCD Type 2
با منقضی کردن رکوردهای قدیمی و ایجاد نسخههای جدید هر زمان که ویژگیهای ردیابیشده تغییر کنند، تاریخچه را حفظ میکند.
نحوه کار آنها با هم
✅ CDC مشخص میکند چه چیزی تغییر کرده است
✅ CDF آن تغییرات را به پاییندست منتقل میکند
✅ SCD Type 2 نسخههای تاریخی و جاری را ذخیره میکند
جریان Lakehouse
🥉 Bronze : تغییرات خام ثبتشده از سیستمهای منبع
🥈 Silver : ردیابی تاریخی با استفاده از SCD Type 2
🥇 Gold : داده آماده کسبوکار برای تحلیل، گزارشدهی و هوش مصنوعی
@BIMining | 1 200 |
| 4 | Sin texto... | 1 319 |
| 5 | نکته مهم همینجاست:
100M Records ≠ 100M Records Read
به همین دلیل:
• Partitioning
• ORDER BY
• Data Layout
در ClickHouse فقط تصمیمهای مربوط به Storage نیستند؛ مستقیماً روی Performance Query اثر میگذارند.
پس وقتی یک Query کند است، قبل از اینکه سراغ CPU و RAM برویم، بهتر است یک سؤال ساده بپرسیم:
«چرا این همه داده دارد خوانده میشود؟»
در بسیاری از سیستمهای تحلیلی، سریعتر شدن Query از پردازش بیشتر شروع نمیشود؛ از خواندن کمتر داده شروع میشود.
Less Data Read → Less I/O → Less CPU Work → Faster Query
@BIMining | 1 192 |
| 6 | چطور ClickHouse روی 100 میلیون رکورد Query اجرا میکند، بدون اینکه 100 میلیون رکورد را بخواند؟
وقتی صحبت از Performance در سیستمهای تحلیلی میشود، معمولاً ذهنمان میرود سمت:
• CPU
• RAM
• سرعت Disk
اما در ClickHouse یک سؤال مهمتر وجود دارد:
چقدر از داده واقعاً لازم است خوانده شود؟
فرض کنید Query فقط به اطلاعات 24 ساعت اخیر و چند Column مشخص نیاز دارد.
و ClickHouse قرار نیست کل داده را بخواند و بعد دنبال رکوردهای موردنظر بگردد.
در این فرآیند:
• ابتدا Partitionهای نامرتبط حذف میشوند.
• سپس Partهای غیرضروری کنار گذاشته میشوند.
• با Data Skipping و Metadata، بخشهایی که احتمالاً هیچ Matchای ندارند Skip میشوند.
• به دلیل Columnar Storage، فقط Columnهای موردنیاز خوانده میشوند.
• و Compression حجم I/O را کاهش میدهد.
• در نهایت Vectorized Execution دادهها را بهصورت Batch پردازش میکند.
مسیر اجرای Query میتواند چیزی شبیه این باشد:
100M Records → Pruning → Data Skipping → Required Columns → Execution → Result
@BIMining | 1 093 |
| 7 | قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract.
در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیمهای دیگر ساختار یا معنای یک فیلد را تغییر دهد؛ Pipeline هم شاید همچنان سبز باشد، اما خروجی Dashboard یا مدل ML دیگر درست نباشد.
در چنین شرایطی، Data Contract انتظارات را از قبل مشخص میکند: ساختار داده، معنا، کیفیت، Freshness، مالکیت و قوانین تغییرات.
در واقع، میتوان Data Contract را مثل یک API برای دادهها در نظر گرفت؛ یک توافق مشخص بین کسی که داده را تولید میکند و تیمهایی که به آن داده وابستهاند.
نکته مهم اینجاست که Data Contract فقط مستندات نیست؛ میتواند بهصورت machine-readable تعریف شود و بخشی از کنترلهای کیفیت و CI/CD را بهصورت خودکار اجرا کند.
در نهایت، داده خوب فقط دادهای نیست که منتقل میشود؛ دادهای است که میدانیم قرار است چه تعهداتی را برآورده کند.
@BIMining | 1 009 |
| 8 | Sin texto... | 1 151 |
| 9 | Sin texto... | 2 325 |
| 10 | معماری مدالیون(Medallion Architecture)، سیر تحول دادهها را از حالت خام اولیه تا نسخهای که آمادهٔ پشتیبانی از تصمیمگیری است، سازماندهی میکند.
لایهٔ برنز (Bronze)، فایلها، رویدادها و رکوردها را دقیقاً به همان صورتی که از سیستمهای مبدأ دریافت میشوند، حفظ میکند. این لایه، سطحی از جزئیات را نگهداری میکند که برای ردیابی خطاها و بازسازی فرایندها ضروری است.
لایهٔ نقره (Silver)، دادهها را پالایش، استانداردسازی، پاکسازی (deduplicate) و اعتبارسنجی میکند. در این مرحله، فرمتها اصلاح، کدها یکسانسازی و بررسیهای کیفی روی دادهها اعمال میشوند.
لایهٔ طلا (Gold)، قوانین کسبوکار را به دادهها اضافه کرده و جداول، معیارها و محصولات دادهای را برای داشبوردها، تحلیلها و مدلهای پیشبینی آماده میسازد.
@BIMining | 2 586 |
| 11 | Sin texto... | 1 643 |
| 12 | 🔺ورود چین به عصر ایجنتهای هوش مصنوعی
🔹شرکت چینی بایت دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنتها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چتبات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدلهایی مانند OpenAI و گوگل رقابت میکند.
🔹بایتدنس میگوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازشهای پرمصرف مزیت مهمی به شمار میرود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا میخواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند.
@BIMining | 2 582 |
| 13 | Sin texto... | 1 772 |
| 14 | Sin texto... | 2 482 |
| 15 | برگزاری پنل هوش مصنوعی با عنوان
سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی
دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی
ساعت 11-12:15 | 2 406 |
| 16 | Sin texto... | 4 268 |
| 17 | Sin texto... | 3 047 |
| 18 | Sin texto... | 2 224 |
| 19 | سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس
در الکامپ تاکز
@BIMining | 3 934 |
| 20 | Sin texto... | 1 889 |
