uk
Feedback

Не попадись на ботовода! Telemetrio знаходить і позначає такі канали мітками 👉 Хочеш бачити мітку, оформляй підписку

مهندسی و علم داده

مهندسی و علم داده

Відкрити в Telegram

در مورد ادمین کانال : - محمد عالیشاهی - دکترای هوش مصنوعی دانشگاه تهران - مدیر ارشد پروژه های هوش مصنوعی و علم داده -دبیر شورای حکمرانی داده انجمن هوش مصنوعی ایران

Показати більше
3 977
Підписники
Немає даних24 години
+27 днів
-230 днів
Архів дописів
📊 معیارهای ارزیابی Performance: ▪️ 📥 Read Rows و Read Bytes: حجم داده‌های خوانده‌شده ▪️ 🖥️ CPU Usage: میزان مصرف پردازنده ▪️ 🧠 Memory Usage: میزان مصرف حافظه ▪️ 💽 Disk I/O: هزینه عملیات خواندن و نوشتن روی دیسک 🎯 یک Query زمانی واقعاً بهینه است که با حفظ صحت نتایج، منابع کمتری مصرف کند؛ نه صرفاً زمانی که سریع‌تر اجرا شود. 💡 این همان تفاوت Query Tuning با Performance Engineering در سطح موتور دیتابیس است. ━━━━━━━━━━━━━━ 📌 @BIMining

🚀 در سیستم‌های OLAP، بهینه‌سازی واقعی فقط به معنای اجرای سریع‌تر Query نیست؛ بلکه کاهش حجم داده‌های پردازش‌شده و منابع مصرفی
🚀 در سیستم‌های OLAP، بهینه‌سازی واقعی فقط به معنای اجرای سریع‌تر Query نیست؛ بلکه کاهش حجم داده‌های پردازش‌شده و منابع مصرفی اهمیت بیشتری دارد. ⚡ در نسخه 26.10 از ClickHouse، چهار حوزه مهم بهینه‌سازی عملکرد قابل بررسی است: 🔹 01 — Data Access Optimization توسعه Top-K Dynamic Filtering در سناریوهای "GROUP BY" برای کاهش پردازش داده‌های غیرضروری در شرایط مناسب.ایموج 🔹 02 — Decoding Optimization قابلیت Columns Cache برای کاهش هزینه تکرار عملیات Decompression و Deserialization در Queryهای پرتکرار. 🔹 03 — Memory Management قابلیت Disk Spilling در "IN Subqueries" برای مدیریت مصرف RAM و انتقال بخشی از داده‌های میانی به دیسک. 🔹 04 — Hash Table Optimization به‌کارگیری Robin Hood Hashing برای بهبود ساختارهای داخلی Hash و کاهش هزینه حافظه و پردازش.

🚀 سفر کامل تکامل داده CDC → CDF → SCD Type 2: ثبت تغییرات داده تنها اولین قدم است. ارزش واقعی از حفظ تاریخچه همراه با به‌روز
🚀 سفر کامل تکامل داده CDC → CDF → SCD Type 2: ثبت تغییرات داده تنها اولین قدم است. ارزش واقعی از حفظ تاریخچه همراه با به‌روز و دقیق نگه داشتن داده حاصل می‌شود. 🔹 CDC (ثبت تغییرات داده) INSERTها، UPDATEها و DELETEهای سطح منبع را بدون پردازش کل مجموعه داده ثبت می‌کند. 🔹 CDF (جریان تغییرات داده) تغییرات سطح سطر را در Delta Lake آشکار می‌کند و پردازش افزایشی را کارآمد و مقیاس‌پذیر می‌سازد. 🔹 SCD Type 2 با منقضی کردن رکوردهای قدیمی و ایجاد نسخه‌های جدید هر زمان که ویژگی‌های ردیابی‌شده تغییر کنند، تاریخچه را حفظ می‌کند. نحوه کار آن‌ها با هم ✅ CDC مشخص می‌کند چه چیزی تغییر کرده است ✅ CDF آن تغییرات را به پایین‌دست منتقل می‌کند ✅ SCD Type 2 نسخه‌های تاریخی و جاری را ذخیره می‌کند جریان Lakehouse 🥉 Bronze : تغییرات خام ثبت‌شده از سیستم‌های منبع 🥈 Silver : ردیابی تاریخی با استفاده از SCD Type 2 🥇 Gold : داده آماده کسب‌وکار برای تحلیل، گزارش‌دهی و هوش مصنوعی @BIMining

photo content

نکته مهم همین‌جاست: 100M Records ≠ 100M Records Read به همین دلیل: • Partitioning • ORDER BY • Data Layout در ClickHouse فقط تصمیم‌های مربوط به Storage نیستند؛ مستقیماً روی Performance Query اثر می‌گذارند. پس وقتی یک Query کند است، قبل از اینکه سراغ CPU و RAM برویم، بهتر است یک سؤال ساده بپرسیم: «چرا این همه داده دارد خوانده می‌شود؟» در بسیاری از سیستم‌های تحلیلی، سریع‌تر شدن Query از پردازش بیشتر شروع نمی‌شود؛ از خواندن کمتر داده شروع می‌شود. Less Data Read → Less I/O → Less CPU Work → Faster Query @BIMining

چطور ClickHouse روی 100 میلیون رکورد Query اجرا می‌کند، بدون اینکه 100 میلیون رکورد را بخواند؟ وقتی صحبت از Performance در سی
چطور ClickHouse روی 100 میلیون رکورد Query اجرا می‌کند، بدون اینکه 100 میلیون رکورد را بخواند؟ وقتی صحبت از Performance در سیستم‌های تحلیلی می‌شود، معمولاً ذهنمان می‌رود سمت: • CPU • RAM • سرعت Disk اما در ClickHouse یک سؤال مهم‌تر وجود دارد: چقدر از داده واقعاً لازم است خوانده شود؟ فرض کنید Query فقط به اطلاعات 24 ساعت اخیر و چند Column مشخص نیاز دارد. و ClickHouse قرار نیست کل داده را بخواند و بعد دنبال رکوردهای موردنظر بگردد. در این فرآیند: • ابتدا Partitionهای نامرتبط حذف می‌شوند. • سپس Partهای غیرضروری کنار گذاشته می‌شوند. • با Data Skipping و Metadata، بخش‌هایی که احتمالاً هیچ Matchای ندارند Skip می‌شوند. • به دلیل Columnar Storage، فقط Columnهای موردنیاز خوانده می‌شوند. • و Compression حجم I/O را کاهش می‌دهد. • در نهایت Vectorized Execution داده‌ها را به‌صورت Batch پردازش می‌کند. مسیر اجرای Query می‌تواند چیزی شبیه این باشد: 100M Records → Pruning → Data Skipping → Required Columns → Execution → Result @BIMining

قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract. در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیم‌های دیگر ساختار
قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract. در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیم‌های دیگر ساختار یا معنای یک فیلد را تغییر دهد؛ Pipeline هم شاید همچنان سبز باشد، اما خروجی Dashboard یا مدل ML دیگر درست نباشد. در چنین شرایطی، Data Contract انتظارات را از قبل مشخص می‌کند: ساختار داده، معنا، کیفیت، Freshness، مالکیت و قوانین تغییرات. در واقع، می‌توان Data Contract را مثل یک API برای داده‌ها در نظر گرفت؛ یک توافق مشخص بین کسی که داده را تولید می‌کند و تیم‌هایی که به آن داده وابسته‌اند. نکته مهم اینجاست که Data Contract فقط مستندات نیست؛ می‌تواند به‌صورت machine-readable تعریف شود و بخشی از کنترل‌های کیفیت و CI/CD را به‌صورت خودکار اجرا کند. در نهایت، داده خوب فقط داده‌ای نیست که منتقل می‌شود؛ داده‌ای است که می‌دانیم قرار است چه تعهداتی را برآورده کند. @BIMining

photo content

photo content

معماری مدالیون(Medallion Architecture)، سیر تحول داده‌ها را از حالت خام اولیه تا نسخه‌ای که آمادهٔ پشتیبانی از تصمیم‌گیری است
معماری مدالیون(Medallion Architecture)، سیر تحول داده‌ها را از حالت خام اولیه تا نسخه‌ای که آمادهٔ پشتیبانی از تصمیم‌گیری است، سازماندهی می‌کند. لایهٔ برنز (Bronze)، فایل‌ها، رویدادها و رکوردها را دقیقاً به همان صورتی که از سیستم‌های مبدأ دریافت می‌شوند، حفظ می‌کند. این لایه، سطحی از جزئیات را نگهداری می‌کند که برای ردیابی خطاها و بازسازی فرایندها ضروری است. لایهٔ نقره (Silver)، داده‌ها را پالایش، استانداردسازی، پاکسازی (deduplicate) و اعتبارسنجی می‌کند. در این مرحله، فرمت‌ها اصلاح، کدها یکسان‌سازی و بررسی‌های کیفی روی داده‌ها اعمال می‌شوند. لایهٔ طلا (Gold)، قوانین کسب‌وکار را به داده‌ها اضافه کرده و جداول، معیارها و محصولات داده‌ای را برای داشبوردها، تحلیل‌ها و مدل‌های پیش‌بینی آماده می‌سازد. @BIMining

photo content

🔺ورود چین به عصر ایجنت‌های هوش مصنوعی 🔹شرکت چینی بایت‌ دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنت‌ها وارد شده و تلاش دا
🔺ورود چین به عصر ایجنت‌های هوش مصنوعی 🔹شرکت چینی بایت‌ دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنت‌ها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چت‌بات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدل‌هایی مانند OpenAI و گوگل رقابت می‌کند. 🔹بایت‌دنس می‌گوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازش‌های پرمصرف مزیت مهمی به شمار می‌رود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا می‌خواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند. @BIMining

photo content

photo content

برگزاری پنل هوش مصنوعی با عنوان سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوع
برگزاری پنل هوش مصنوعی با عنوان سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی ساعت 11-12:15

photo content

photo content

photo content

سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس در الکامپ تاکز @BIMining
سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس در الکامپ تاکز @BIMining

photo content