مهندسی و علم داده
前往频道在 Telegram
در مورد ادمین کانال : - محمد عالیشاهی - دکترای هوش مصنوعی دانشگاه تهران - مدیر ارشد پروژه های هوش مصنوعی و علم داده -دبیر شورای حکمرانی داده انجمن هوش مصنوعی ایران
显示更多3 978
订阅者
+124 小时
+47 天
-730 天
数据加载中...
吸引订阅者
十月 '2610月 '26
十月 '26
+8
在0个频道中
九月 '26
+12
在0个频道中
Get PRO
八月 '26
+19
在0个频道中
Get PRO
七月 '26
+38
在0个频道中
Get PRO
六月 '26
+12
在0个频道中
Get PRO
五月 '26
+8
在0个频道中
Get PRO
四月 '26
+2
在0个频道中
Get PRO
三月 '26
+3
在0个频道中
Get PRO
二月 '26
+22
在1个频道中
Get PRO
一月 '26
+14
在0个频道中
Get PRO
十二月 '25
+74
在0个频道中
Get PRO
十一月 '25
+24
在0个频道中
Get PRO
十月 '25
+21
在0个频道中
Get PRO
九月 '25
+16
在0个频道中
Get PRO
八月 '25
+31
在1个频道中
Get PRO
七月 '25
+20
在0个频道中
Get PRO
六月 '25
+13
在0个频道中
Get PRO
五月 '25
+38
在1个频道中
Get PRO
四月 '25
+17
在1个频道中
Get PRO
三月 '25
+28
在0个频道中
Get PRO
二月 '25
+36
在0个频道中
Get PRO
一月 '25
+19
在0个频道中
Get PRO
十二月 '24
+95
在0个频道中
Get PRO
十一月 '24
+86
在0个频道中
Get PRO
十月 '24
+82
在2个频道中
Get PRO
九月 '24
+41
在2个频道中
Get PRO
八月 '24
+32
在0个频道中
Get PRO
七月 '24
+55
在0个频道中
Get PRO
六月 '24
+49
在0个频道中
Get PRO
五月 '24
+80
在0个频道中
Get PRO
四月 '24
+67
在1个频道中
Get PRO
三月 '24
+93
在0个频道中
Get PRO
二月 '24
+61
在0个频道中
Get PRO
一月 '24
+39
在0个频道中
Get PRO
十二月 '23
+141
在4个频道中
Get PRO
十一月 '23
+26
在0个频道中
Get PRO
十月 '23
+29
在0个频道中
Get PRO
九月 '23
+43
在0个频道中
Get PRO
八月 '23
+39
在0个频道中
Get PRO
七月 '23
+60
在0个频道中
Get PRO
六月 '23
+58
在0个频道中
Get PRO
五月 '23
+54
在0个频道中
Get PRO
四月 '23
+37
在0个频道中
Get PRO
三月 '23
+23
在0个频道中
Get PRO
二月 '23
+47
在0个频道中
Get PRO
一月 '23
+51
在0个频道中
Get PRO
十二月 '22
+165
在0个频道中
Get PRO
十一月 '22
+189
在0个频道中
Get PRO
十月 '22
+1
在0个频道中
Get PRO
九月 '22
+11
在0个频道中
Get PRO
八月 '22
+30
在0个频道中
Get PRO
七月 '22
+5
在0个频道中
Get PRO
六月 '22
+12
在0个频道中
Get PRO
五月 '22
+10
在0个频道中
Get PRO
四月 '22
+43
在0个频道中
Get PRO
三月 '22
+54
在0个频道中
Get PRO
二月 '22
+5
在0个频道中
Get PRO
一月 '22
+12
在0个频道中
Get PRO
十二月 '21
+17
在0个频道中
Get PRO
十一月 '21
+14
在0个频道中
Get PRO
十月 '21
+10
在0个频道中
Get PRO
九月 '21
+20
在0个频道中
Get PRO
八月 '21
+22
在0个频道中
Get PRO
七月 '21
+61
在0个频道中
Get PRO
六月 '21
+13
在0个频道中
Get PRO
五月 '21
+15
在0个频道中
Get PRO
四月 '21
+16
在0个频道中
Get PRO
三月 '21
+19
在0个频道中
Get PRO
二月 '21
+24
在0个频道中
Get PRO
一月 '21
+22
在0个频道中
Get PRO
十二月 '20
+3 540
在0个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 07 十月 | 0 | |||
| 06 十月 | +1 | |||
| 05 十月 | 0 | |||
| 04 十月 | +1 | |||
| 03 十月 | 0 | |||
| 02 十月 | +2 | |||
| 01 十月 | +4 |
频道帖子
نکته مهم همین‌جاست:
100M Records ≠ 100M Records Read
به همین دلیل:
• Partitioning
• ORDER BY
• Data Layout
در ClickHouse فقط تصمیم‌های مربوط به Storage نیستند؛ مستقیماً روی Performance Query اثر می‌گذارند.
پس وقتی یک Query کند است، قبل از اینکه سراغ CPU و RAM برویم، بهتر است یک سؤال ساده بپرسیم:
«چرا این همه داده دارد خوانده می‌شود؟»
در بسیاری از سیستم‌های تحلیلی، سریع‌تر شدن Query از پردازش بیشتر شروع نمی‌شود؛ از خواندن کمتر داده شروع می‌شود.
Less Data Read → Less I/O → Less CPU Work → Faster Query
@BIMining
| 2 |  چطور ClickHouse روی 100 میلیون رکورد Query اجرا می‌کند، بدون اینکه 100 میلیون رکورد را بخواند؟
وقتی صحبت از Performance در سیستم‌های تحلیلی می‌شود، معمولاً ذهنمان می‌رود سمت:
• CPU
• RAM
• سرعت Disk
اما در ClickHouse یک سؤال مهم‌تر وجود دارد:
چقدر از داده واقعاً لازم است خوانده شود؟
فرض کنید Query فقط به اطلاعات 24 ساعت اخیر و چند Column مشخص نیاز دارد.
و ClickHouse قرار نیست کل داده را بخواند و بعد دنبال رکوردهای موردنظر بگردد.
در این فرآیند:
• ابتدا Partitionهای نامرتبط حذف می‌شوند.
• سپس Partهای غیرضروری کنار گذاشته می‌شوند.
• با Data Skipping و Metadata، بخش‌هایی که احتمالاً هیچ Matchای ندارند Skip می‌شوند.
• به دلیل Columnar Storage، فقط Columnهای موردنیاز خوانده می‌شوند.
• و Compression حجم I/O را کاهش می‌دهد.
• در نهایت Vectorized Execution داده‌ها را به‌صورت Batch پردازش می‌کند.
مسیر اجرای Query می‌تواند چیزی شبیه این باشد:
100M Records → Pruning → Data Skipping → Required Columns → Execution → Result
@BIMining | 635 |
| 3 |  قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract.
در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیم‌های دیگر ساختار یا معنای یک فیلد را تغییر دهد؛ Pipeline هم شاید همچنان سبز باشد، اما خروجی Dashboard یا مدل ML دیگر درست نباشد.
در چنین شرایطی، Data Contract انتظارات را از قبل مشخص می‌کند: ساختار داده، معنا، کیفیت، Freshness، مالکیت و قوانین تغییرات.
در واقع، می‌توان Data Contract را مثل یک API برای داده‌ها در نظر گرفت؛ یک توافق مشخص بین کسی که داده را تولید می‌کند و تیم‌هایی که به آن داده وابسته‌اند.
نکته مهم اینجاست که Data Contract فقط مستندات نیست؛ می‌تواند به‌صورت machine-readable تعریف شود و بخشی از کنترل‌های کیفیت و CI/CD را به‌صورت خودکار اجرا کند.
در نهایت، داده خوب فقط داده‌ای نیست که منتقل می‌شود؛ داده‌ای است که می‌دانیم قرار است چه تعهداتی را برآورده کند.
@BIMining | 1 009 |
| 4 |  没有文字... | 1 151 |
| 5 |  没有文字... | 2 325 |
| 6 |  معماری مدالیون(Medallion Architecture)، سیر تحول داده‌ها را از حالت خام اولیه تا نسخه‌ای که آمادهٔ پشتیبانی از تصمیم‌گیری است، سازماندهی می‌کند.
لایهٔ برنز (Bronze)، فایل‌ها، رویدادها و رکوردها را دقیقاً به همان صورتی که از سیستم‌های مبدأ دریافت می‌شوند، حفظ می‌کند. این لایه، سطحی از جزئیات را نگهداری می‌کند که برای ردیابی خطاها و بازسازی فرایندها ضروری است.
لایهٔ نقره (Silver)، داده‌ها را پالایش، استانداردسازی، پاکسازی (deduplicate) و اعتبارسنجی می‌کند. در این مرحله، فرمت‌ها اصلاح، کدها یکسان‌سازی و بررسی‌های کیفی روی داده‌ها اعمال می‌شوند.
لایهٔ طلا (Gold)، قوانین کسب‌وکار را به داده‌ها اضافه کرده و جداول، معیارها و محصولات داده‌ای را برای داشبوردها، تحلیل‌ها و مدل‌های پیش‌بینی آماده می‌سازد.
@BIMining | 2 586 |
| 7 |  没有文字... | 1 643 |
| 8 |  🔺ورود چین به عصر ایجنت‌های هوش مصنوعی
🔹شرکت چینی بایت دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنت‌ها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چت‌بات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدل‌هایی مانند OpenAI و گوگل رقابت می‌کند.
🔹بایت‌دنس می‌گوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازش‌های پرمصرف مزیت مهمی به شمار می‌رود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا می‌خواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند.
@BIMining | 2 582 |
| 9 |  没有文字... | 1 772 |
| 10 |  没有文字... | 2 482 |
| 11 |  برگزاری پنل هوش مصنوعی با عنوان
سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی
دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی
ساعت 11-12:15 | 2 406 |
| 12 |  没有文字... | 4 268 |
| 13 |  没有文字... | 3 047 |
| 14 |  没有文字... | 2 224 |
| 15 |  سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس
در الکامپ تاکز
@BIMining | 3 934 |
| 16 |  没有文字... | 1 889 |
| 17 |  没有文字... | 2 712 |
| 18 |  مقایسه پلتفرم های بیگ دیتا LICKHOUSE ، Apache Druid , Apache Doris بر اساس سایت معتبر DBEngines
ClickHouse :
به وضوح بر کارایی فوق‌العاده بالا و پردازش کوئری‌های OLAP با حداقل زمان ممکن تمرکز دارد. استفاده از C++ و معماری ستونی (Column-oriented) این امکان را فراهم می‌کند.
نقطه قوت: بهترین عملکرد را برای تجمیع‌های پیچیده و کوئری‌های تحلیلی بر روی داده‌های عظیم ارائه می‌دهد. پشتیبانی گسترده از زبان‌های برنامه‌نویسی و انواع API، آن را بسیار انعطاف‌پذیر می‌کند.
نقاط متمایز: تنها پلتفرمی است که در این مقایسه قابلیت‌های In-memory و DBaaS (سرویس ابری مدیریت شده) را ارائه می‌دهد و از replication فیزیکی همزمان و غیرهمزمان با پشتیبانی از ذخیره‌سازهای ابجکت بهره می‌برد.
Apache Druid:
به صورت خاص برای کوئری‌های OLAP زیر ثانیه بر روی داده‌های با ابعاد بالا و کاردینالیتی بالا (High Dimensionality & High Cardinality) طراحی شده است.
نقطه قوت: بسیار مناسب برای داده‌های سری زمانی (Time Series Data) و داشبوردهای لحظه‌ای (Real-time Dashboards) که نیاز به پاسخگویی بسیار سریع دارند. موتور اصلی آن جاوا است.
@BIMining | 1 402 |
| 19 |  چگونه RAG کار می‌کند:
تولید تقویت‌شده با بازیابی یا RAG به مدل زبان اجازه می‌دهد تا پاسخ‌ها را بر اساس دانش خارجی ارائه دهد، نه فقط آنچه که روی آن آموزش دیده است:
1️⃣ کاربر یک سؤال می‌پرسد.
ممکن است ورودی فاقد زمینه کافی باشد، مثلاً: «آیا امکان خروجی PDF دارد؟»
2️⃣ مدل زبان بزرگ (LLM) سؤال را بازنویسی می‌کند.
با استفاده از تاریخچه گفتگو، سؤال را به یک پرسش مستقل تبدیل می‌کند:
«ویژگی‌های پلن Pro چیست؟ آیا می‌تواند PDF صادر کند؟»
3️⃣ جستجوی معنایی فعال می‌شود.
پرسش مستقل به صورت برداری تبدیل شده و با بخش‌های موجود در اسناد از طریق شباهت برداری مقایسه می‌شود.
4️⃣ پرامپت (ورودی مدل) ساخته می‌شود.
سیستم مرتبط‌ترین بخش‌ها را جمع‌آوری و آنها را در قالب پرامپتی ساختارمند قرار می‌دهد. این مرحله توسط یک زنجیره پرسش و پاسخ (QA Chain) انجام می‌شود که ترکیب می‌کند:
▪️ پرسش مستقل
▪️ زمینه بازیابی شده
▪️ قالب پاسخ
5️⃣ مدل زبان بزرگ پرامپت کامل را با دانش خارجی استدلال کند، حتی اگر روی آن آموزش ندیده باشد.
6️⃣ پاسخ نهایی تولید می‌شود.
پاسخ بر اساس اسناد بازیابی شده است، نه فقط حافظه داخلی مدل. | 1 030 |
| 20 |  در سال ۲۰۳۰ واقعاً چه چیزی اهمیت خواهد داشت؟
این نمودار یک تغییر چشمگیر را نشان می‌دهد:
راهبرد، سازگاری و تسلط بر فناوری به سرعت در حال رشد هستند ، در حالی که مهارت‌های سنتی مانند کنترل کیفیت، آموزش و حتی برنامه‌نویسی در اولویت پایین‌تری قرار می‌گیرند.
چرا؟ چون هوش مصنوعی در حال بازنویسی قواعد بازی است.
کارفرمایان دیگر فقط به دنبال «مهارت» به معنای سنتی آن نیستند آنها به دنبال افرادی هستند که در این موارد برجسته باشند:
→ تفکر تحلیلی
→ تاب‌آوری، انعطاف‌پذیری و چابکی
→ رهبری و تأثیرگذاری اجتماعی
→ انگیزه و خودآگاهی
→ تفکر خلاق
→ تفکر سیستمی
→ کنجکاوی و یادگیری مادام‌العمر
این دقیقاً همان جایی است که چارچوب شایستگی جدید ما با عنوان «پنج‌گانه بزرگ راهبردی» وارد می‌شود. این فقط یک چارچوب یا مجموعه‌ای از مهارت‌های نرم و سخت نیست—بلکه مجموعه‌ای متمرکز از مهارت‌های قدرت‌مند است که برای دنیای پر از عدم قطعیت و تغییر طراحی شده‌اند.
@BIMining | 1 064 |
