مهندسی و علم داده
Открыть в Telegram
در مورد ادمین کانال : - محمد عالیشاهی - دکترای هوش مصنوعی دانشگاه تهران - مدیر ارشد پروژه های هوش مصنوعی و علم داده -دبیر شورای حکمرانی داده انجمن هوش مصنوعی ایران
Больше3 977
Подписчики
Нет данных24 часа
+27 дней
-230 дней
Архив постов
3 977
📊 معیارهای ارزیابی Performance:
▪️ 📥 Read Rows و Read Bytes: حجم دادههای خواندهشده
▪️ 🖥️ CPU Usage: میزان مصرف پردازنده
▪️ 🧠 Memory Usage: میزان مصرف حافظه
▪️ 💽 Disk I/O: هزینه عملیات خواندن و نوشتن روی دیسک
🎯 یک Query زمانی واقعاً بهینه است که با حفظ صحت نتایج، منابع کمتری مصرف کند؛ نه صرفاً زمانی که سریعتر اجرا شود.
💡 این همان تفاوت Query Tuning با Performance Engineering در سطح موتور دیتابیس است.
━━━━━━━━━━━━━━
📌 @BIMining
3 977
🚀 در سیستمهای OLAP، بهینهسازی واقعی فقط به معنای اجرای سریعتر Query نیست؛ بلکه کاهش حجم دادههای پردازششده و منابع مصرفی اهمیت بیشتری دارد.
⚡ در نسخه 26.10 از ClickHouse، چهار حوزه مهم بهینهسازی عملکرد قابل بررسی است:
🔹 01 — Data Access Optimization
توسعه Top-K Dynamic Filtering در سناریوهای "GROUP BY" برای کاهش پردازش دادههای غیرضروری در شرایط مناسب.ایموج
🔹 02 — Decoding Optimization
قابلیت Columns Cache برای کاهش هزینه تکرار عملیات Decompression و Deserialization در Queryهای پرتکرار.
🔹 03 — Memory Management
قابلیت Disk Spilling در "IN Subqueries" برای مدیریت مصرف RAM و انتقال بخشی از دادههای میانی به دیسک.
🔹 04 — Hash Table Optimization
بهکارگیری Robin Hood Hashing برای بهبود ساختارهای داخلی Hash و کاهش هزینه حافظه و پردازش.
3 977
🚀 سفر کامل تکامل داده CDC → CDF → SCD Type 2:
ثبت تغییرات داده تنها اولین قدم است. ارزش واقعی از حفظ تاریخچه همراه با بهروز و دقیق نگه داشتن داده حاصل میشود.
🔹 CDC (ثبت تغییرات داده)
INSERTها، UPDATEها و DELETEهای سطح منبع را بدون پردازش کل مجموعه داده ثبت میکند.
🔹 CDF (جریان تغییرات داده)
تغییرات سطح سطر را در Delta Lake آشکار میکند و پردازش افزایشی را کارآمد و مقیاسپذیر میسازد.
🔹 SCD Type 2
با منقضی کردن رکوردهای قدیمی و ایجاد نسخههای جدید هر زمان که ویژگیهای ردیابیشده تغییر کنند، تاریخچه را حفظ میکند.
نحوه کار آنها با هم
✅ CDC مشخص میکند چه چیزی تغییر کرده است
✅ CDF آن تغییرات را به پاییندست منتقل میکند
✅ SCD Type 2 نسخههای تاریخی و جاری را ذخیره میکند
جریان Lakehouse
🥉 Bronze : تغییرات خام ثبتشده از سیستمهای منبع
🥈 Silver : ردیابی تاریخی با استفاده از SCD Type 2
🥇 Gold : داده آماده کسبوکار برای تحلیل، گزارشدهی و هوش مصنوعی
@BIMining
3 977
نکته مهم همینجاست:
100M Records ≠ 100M Records Read
به همین دلیل:
• Partitioning
• ORDER BY
• Data Layout
در ClickHouse فقط تصمیمهای مربوط به Storage نیستند؛ مستقیماً روی Performance Query اثر میگذارند.
پس وقتی یک Query کند است، قبل از اینکه سراغ CPU و RAM برویم، بهتر است یک سؤال ساده بپرسیم:
«چرا این همه داده دارد خوانده میشود؟»
در بسیاری از سیستمهای تحلیلی، سریعتر شدن Query از پردازش بیشتر شروع نمیشود؛ از خواندن کمتر داده شروع میشود.
Less Data Read → Less I/O → Less CPU Work → Faster Query
@BIMining
3 977
چطور ClickHouse روی 100 میلیون رکورد Query اجرا میکند، بدون اینکه 100 میلیون رکورد را بخواند؟
وقتی صحبت از Performance در سیستمهای تحلیلی میشود، معمولاً ذهنمان میرود سمت:
• CPU
• RAM
• سرعت Disk
اما در ClickHouse یک سؤال مهمتر وجود دارد:
چقدر از داده واقعاً لازم است خوانده شود؟
فرض کنید Query فقط به اطلاعات 24 ساعت اخیر و چند Column مشخص نیاز دارد.
و ClickHouse قرار نیست کل داده را بخواند و بعد دنبال رکوردهای موردنظر بگردد.
در این فرآیند:
• ابتدا Partitionهای نامرتبط حذف میشوند.
• سپس Partهای غیرضروری کنار گذاشته میشوند.
• با Data Skipping و Metadata، بخشهایی که احتمالاً هیچ Matchای ندارند Skip میشوند.
• به دلیل Columnar Storage، فقط Columnهای موردنیاز خوانده میشوند.
• و Compression حجم I/O را کاهش میدهد.
• در نهایت Vectorized Execution دادهها را بهصورت Batch پردازش میکند.
مسیر اجرای Query میتواند چیزی شبیه این باشد:
100M Records → Pruning → Data Skipping → Required Columns → Execution → Result
@BIMining
3 977
قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract.
در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیمهای دیگر ساختار یا معنای یک فیلد را تغییر دهد؛ Pipeline هم شاید همچنان سبز باشد، اما خروجی Dashboard یا مدل ML دیگر درست نباشد.
در چنین شرایطی، Data Contract انتظارات را از قبل مشخص میکند: ساختار داده، معنا، کیفیت، Freshness، مالکیت و قوانین تغییرات.
در واقع، میتوان Data Contract را مثل یک API برای دادهها در نظر گرفت؛ یک توافق مشخص بین کسی که داده را تولید میکند و تیمهایی که به آن داده وابستهاند.
نکته مهم اینجاست که Data Contract فقط مستندات نیست؛ میتواند بهصورت machine-readable تعریف شود و بخشی از کنترلهای کیفیت و CI/CD را بهصورت خودکار اجرا کند.
در نهایت، داده خوب فقط دادهای نیست که منتقل میشود؛ دادهای است که میدانیم قرار است چه تعهداتی را برآورده کند.
@BIMining
3 977
معماری مدالیون(Medallion Architecture)، سیر تحول دادهها را از حالت خام اولیه تا نسخهای که آمادهٔ پشتیبانی از تصمیمگیری است، سازماندهی میکند.
لایهٔ برنز (Bronze)، فایلها، رویدادها و رکوردها را دقیقاً به همان صورتی که از سیستمهای مبدأ دریافت میشوند، حفظ میکند. این لایه، سطحی از جزئیات را نگهداری میکند که برای ردیابی خطاها و بازسازی فرایندها ضروری است.
لایهٔ نقره (Silver)، دادهها را پالایش، استانداردسازی، پاکسازی (deduplicate) و اعتبارسنجی میکند. در این مرحله، فرمتها اصلاح، کدها یکسانسازی و بررسیهای کیفی روی دادهها اعمال میشوند.
لایهٔ طلا (Gold)، قوانین کسبوکار را به دادهها اضافه کرده و جداول، معیارها و محصولات دادهای را برای داشبوردها، تحلیلها و مدلهای پیشبینی آماده میسازد.
@BIMining
3 977
🔺ورود چین به عصر ایجنتهای هوش مصنوعی
🔹شرکت چینی بایت دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنتها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چتبات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدلهایی مانند OpenAI و گوگل رقابت میکند.
🔹بایتدنس میگوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازشهای پرمصرف مزیت مهمی به شمار میرود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا میخواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند.
@BIMining
3 977
برگزاری پنل هوش مصنوعی با عنوان
سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی
دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی
ساعت 11-12:15
3 977
سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس
در الکامپ تاکز
@BIMining
