مهندسی و علم داده
Відкрити в Telegram
در مورد ادمین کانال : - محمد عالیشاهی - دکترای هوش مصنوعی دانشگاه تهران - مدیر ارشد پروژه های هوش مصنوعی و علم داده -دبیر شورای حکمرانی داده انجمن هوش مصنوعی ایران
Показати більше3 981
Підписники
Немає даних24 години
+37 днів
+730 днів
Завантажуємо дані
Схожі канали
Хмара тегів
Немає даних
Виникли проблеми? Будь ласка, оновіть сторінку або зверніться до нашого support-менеджера.
Вхідні та вихідні згадування
---
---
---
---
---
---
Залучення підписників
жовтень '26жовт '26
жовтень '26
+23
в 1 каналах
вересень '26
+12
в 0 каналах
Get PRO
серпень '26
+19
в 0 каналах
Get PRO
липень '26
+38
в 0 каналах
Get PRO
червень '26
+12
в 0 каналах
Get PRO
травень '26
+8
в 0 каналах
Get PRO
квітень '26
+2
в 0 каналах
Get PRO
березень '26
+3
в 0 каналах
Get PRO
лютий '26
+22
в 1 каналах
Get PRO
січень '26
+14
в 0 каналах
Get PRO
грудень '25
+74
в 1 каналах
Get PRO
листопад '25
+24
в 0 каналах
Get PRO
жовтень '25
+21
в 0 каналах
Get PRO
вересень '25
+16
в 0 каналах
Get PRO
серпень '25
+31
в 1 каналах
Get PRO
липень '25
+20
в 0 каналах
Get PRO
червень '25
+13
в 0 каналах
Get PRO
травень '25
+38
в 1 каналах
Get PRO
квітень '25
+17
в 1 каналах
Get PRO
березень '25
+28
в 0 каналах
Get PRO
лютий '25
+36
в 0 каналах
Get PRO
січень '25
+19
в 0 каналах
Get PRO
грудень '24
+95
в 0 каналах
Get PRO
листопад '24
+86
в 0 каналах
Get PRO
жовтень '24
+82
в 2 каналах
Get PRO
вересень '24
+41
в 2 каналах
Get PRO
серпень '24
+32
в 0 каналах
Get PRO
липень '24
+55
в 0 каналах
Get PRO
червень '24
+49
в 0 каналах
Get PRO
травень '24
+80
в 0 каналах
Get PRO
квітень '24
+67
в 1 каналах
Get PRO
березень '24
+93
в 0 каналах
Get PRO
лютий '24
+61
в 0 каналах
Get PRO
січень '24
+39
в 0 каналах
Get PRO
грудень '23
+141
в 4 каналах
Get PRO
листопад '23
+26
в 0 каналах
Get PRO
жовтень '23
+29
в 0 каналах
Get PRO
вересень '23
+43
в 0 каналах
Get PRO
серпень '23
+39
в 0 каналах
Get PRO
липень '23
+60
в 0 каналах
Get PRO
червень '23
+58
в 0 каналах
Get PRO
травень '23
+54
в 0 каналах
Get PRO
квітень '23
+37
в 0 каналах
Get PRO
березень '23
+23
в 0 каналах
Get PRO
лютий '23
+47
в 0 каналах
Get PRO
січень '23
+51
в 0 каналах
Get PRO
грудень '22
+165
в 0 каналах
Get PRO
листопад '22
+189
в 0 каналах
Get PRO
жовтень '22
+1
в 0 каналах
Get PRO
вересень '22
+11
в 0 каналах
Get PRO
серпень '22
+30
в 0 каналах
Get PRO
липень '22
+5
в 0 каналах
Get PRO
червень '22
+12
в 0 каналах
Get PRO
травень '22
+10
в 0 каналах
Get PRO
квітень '22
+43
в 0 каналах
Get PRO
березень '22
+54
в 0 каналах
Get PRO
лютий '22
+5
в 0 каналах
Get PRO
січень '22
+12
в 0 каналах
Get PRO
грудень '21
+17
в 0 каналах
Get PRO
листопад '21
+14
в 0 каналах
Get PRO
жовтень '21
+10
в 0 каналах
Get PRO
вересень '21
+20
в 0 каналах
Get PRO
серпень '21
+22
в 0 каналах
Get PRO
липень '21
+61
в 0 каналах
Get PRO
червень '21
+13
в 0 каналах
Get PRO
травень '21
+15
в 0 каналах
Get PRO
квітень '21
+16
в 0 каналах
Get PRO
березень '21
+19
в 0 каналах
Get PRO
лютий '21
+24
в 0 каналах
Get PRO
січень '21
+22
в 0 каналах
Get PRO
грудень '20
+3 540
в 0 каналах
| Дата | Залучення підписників | Згадування | Канали | |
| 27 жовтня | 0 | |||
| 26 жовтня | +1 | |||
| 25 жовтня | 0 | |||
| 24 жовтня | 0 | |||
| 23 жовтня | +1 | |||
| 22 жовтня | +2 | |||
| 21 жовтня | +1 | |||
| 20 жовтня | +3 | |||
| 19 жовтня | 0 | |||
| 18 жовтня | 0 | |||
| 17 жовтня | +2 | |||
| 16 жовтня | +2 | |||
| 15 жовтня | 0 | |||
| 14 жовтня | 0 | |||
| 13 жовтня | 0 | |||
| 12 жовтня | +1 | |||
| 11 жовтня | 0 | |||
| 10 жовтня | 0 | |||
| 09 жовтня | 0 | |||
| 08 жовтня | +2 | |||
| 07 жовтня | 0 | |||
| 06 жовтня | +1 | |||
| 05 жовтня | 0 | |||
| 04 жовтня | +1 | |||
| 03 жовтня | 0 | |||
| 02 жовтня | +2 | |||
| 01 жовтня | +4 |
Дописи каналу
| 2 | نکته مهم همین‌جاست:
100M Records ≠ 100M Records Read
به همین دلیل:
• Partitioning
• ORDER BY
• Data Layout
در ClickHouse فقط تصمیم‌های مربوط به Storage نیستند؛ مستقیماً روی Performance Query اثر می‌گذارند.
پس وقتی یک Query کند است، قبل از اینکه سراغ CPU و RAM برویم، بهتر است یک سؤال ساده بپرسیم:
«چرا این همه داده دارد خوانده می‌شود؟»
در بسیاری از سیستم‌های تحلیلی، سریع‌تر شدن Query از پردازش بیشتر شروع نمی‌شود؛ از خواندن کمتر داده شروع می‌شود.
Less Data Read → Less I/O → Less CPU Work → Faster Query
@BIMining | 1 183 |
| 3 |  چطور ClickHouse روی 100 میلیون رکورد Query اجرا می‌کند، بدون اینکه 100 میلیون رکورد را بخواند؟
وقتی صحبت از Performance در سیستم‌های تحلیلی می‌شود، معمولاً ذهنمان می‌رود سمت:
• CPU
• RAM
• سرعت Disk
اما در ClickHouse یک سؤال مهم‌تر وجود دارد:
چقدر از داده واقعاً لازم است خوانده شود؟
فرض کنید Query فقط به اطلاعات 24 ساعت اخیر و چند Column مشخص نیاز دارد.
و ClickHouse قرار نیست کل داده را بخواند و بعد دنبال رکوردهای موردنظر بگردد.
در این فرآیند:
• ابتدا Partitionهای نامرتبط حذف می‌شوند.
• سپس Partهای غیرضروری کنار گذاشته می‌شوند.
• با Data Skipping و Metadata، بخش‌هایی که احتمالاً هیچ Matchای ندارند Skip می‌شوند.
• به دلیل Columnar Storage، فقط Columnهای موردنیاز خوانده می‌شوند.
• و Compression حجم I/O را کاهش می‌دهد.
• در نهایت Vectorized Execution داده‌ها را به‌صورت Batch پردازش می‌کند.
مسیر اجرای Query می‌تواند چیزی شبیه این باشد:
100M Records → Pruning → Data Skipping → Required Columns → Execution → Result
@BIMining | 1 084 |
| 4 |  قراردادی برای اینکه داده، قابل اعتماد بماند؛ Data Contract.
در یک سیستم داده، ممکن است یک تیم بدون اطلاع تیم‌های دیگر ساختار یا معنای یک فیلد را تغییر دهد؛ Pipeline هم شاید همچنان سبز باشد، اما خروجی Dashboard یا مدل ML دیگر درست نباشد.
در چنین شرایطی، Data Contract انتظارات را از قبل مشخص می‌کند: ساختار داده، معنا، کیفیت، Freshness، مالکیت و قوانین تغییرات.
در واقع، می‌توان Data Contract را مثل یک API برای داده‌ها در نظر گرفت؛ یک توافق مشخص بین کسی که داده را تولید می‌کند و تیم‌هایی که به آن داده وابسته‌اند.
نکته مهم اینجاست که Data Contract فقط مستندات نیست؛ می‌تواند به‌صورت machine-readable تعریف شود و بخشی از کنترل‌های کیفیت و CI/CD را به‌صورت خودکار اجرا کند.
در نهایت، داده خوب فقط داده‌ای نیست که منتقل می‌شود؛ داده‌ای است که می‌دانیم قرار است چه تعهداتی را برآورده کند.
@BIMining | 1 009 |
| 5 |  Немає тексту... | 1 151 |
| 6 |  Немає тексту... | 2 325 |
| 7 |  معماری مدالیون(Medallion Architecture)، سیر تحول داده‌ها را از حالت خام اولیه تا نسخه‌ای که آمادهٔ پشتیبانی از تصمیم‌گیری است، سازماندهی می‌کند.
لایهٔ برنز (Bronze)، فایل‌ها، رویدادها و رکوردها را دقیقاً به همان صورتی که از سیستم‌های مبدأ دریافت می‌شوند، حفظ می‌کند. این لایه، سطحی از جزئیات را نگهداری می‌کند که برای ردیابی خطاها و بازسازی فرایندها ضروری است.
لایهٔ نقره (Silver)، داده‌ها را پالایش، استانداردسازی، پاکسازی (deduplicate) و اعتبارسنجی می‌کند. در این مرحله، فرمت‌ها اصلاح، کدها یکسان‌سازی و بررسی‌های کیفی روی داده‌ها اعمال می‌شوند.
لایهٔ طلا (Gold)، قوانین کسب‌وکار را به داده‌ها اضافه کرده و جداول، معیارها و محصولات داده‌ای را برای داشبوردها، تحلیل‌ها و مدل‌های پیش‌بینی آماده می‌سازد.
@BIMining | 2 586 |
| 8 |  Немає тексту... | 1 643 |
| 9 |  🔺ورود چین به عصر ایجنت‌های هوش مصنوعی
🔹شرکت چینی بایت دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنت‌ها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چت‌بات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدل‌هایی مانند OpenAI و گوگل رقابت می‌کند.
🔹بایت‌دنس می‌گوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازش‌های پرمصرف مزیت مهمی به شمار می‌رود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا می‌خواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند.
@BIMining | 2 582 |
| 10 |  Немає тексту... | 1 772 |
| 11 |  Немає тексту... | 2 482 |
| 12 |  برگزاری پنل هوش مصنوعی با عنوان
سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی
دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی
ساعت 11-12:15 | 2 406 |
| 13 |  Немає тексту... | 4 268 |
| 14 |  Немає тексту... | 3 047 |
| 15 |  Немає тексту... | 2 224 |
| 16 |  سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس
در الکامپ تاکز
@BIMining | 3 934 |
| 17 |  Немає тексту... | 1 889 |
| 18 |  Немає тексту... | 2 712 |
| 19 |  مقایسه پلتفرم های بیگ دیتا LICKHOUSE ، Apache Druid , Apache Doris بر اساس سایت معتبر DBEngines
ClickHouse :
به وضوح بر کارایی فوق‌العاده بالا و پردازش کوئری‌های OLAP با حداقل زمان ممکن تمرکز دارد. استفاده از C++ و معماری ستونی (Column-oriented) این امکان را فراهم می‌کند.
نقطه قوت: بهترین عملکرد را برای تجمیع‌های پیچیده و کوئری‌های تحلیلی بر روی داده‌های عظیم ارائه می‌دهد. پشتیبانی گسترده از زبان‌های برنامه‌نویسی و انواع API، آن را بسیار انعطاف‌پذیر می‌کند.
نقاط متمایز: تنها پلتفرمی است که در این مقایسه قابلیت‌های In-memory و DBaaS (سرویس ابری مدیریت شده) را ارائه می‌دهد و از replication فیزیکی همزمان و غیرهمزمان با پشتیبانی از ذخیره‌سازهای ابجکت بهره می‌برد.
Apache Druid:
به صورت خاص برای کوئری‌های OLAP زیر ثانیه بر روی داده‌های با ابعاد بالا و کاردینالیتی بالا (High Dimensionality & High Cardinality) طراحی شده است.
نقطه قوت: بسیار مناسب برای داده‌های سری زمانی (Time Series Data) و داشبوردهای لحظه‌ای (Real-time Dashboards) که نیاز به پاسخگویی بسیار سریع دارند. موتور اصلی آن جاوا است.
@BIMining | 1 402 |
| 20 |  چگونه RAG کار می‌کند:
تولید تقویت‌شده با بازیابی یا RAG به مدل زبان اجازه می‌دهد تا پاسخ‌ها را بر اساس دانش خارجی ارائه دهد، نه فقط آنچه که روی آن آموزش دیده است:
1️⃣ کاربر یک سؤال می‌پرسد.
ممکن است ورودی فاقد زمینه کافی باشد، مثلاً: «آیا امکان خروجی PDF دارد؟»
2️⃣ مدل زبان بزرگ (LLM) سؤال را بازنویسی می‌کند.
با استفاده از تاریخچه گفتگو، سؤال را به یک پرسش مستقل تبدیل می‌کند:
«ویژگی‌های پلن Pro چیست؟ آیا می‌تواند PDF صادر کند؟»
3️⃣ جستجوی معنایی فعال می‌شود.
پرسش مستقل به صورت برداری تبدیل شده و با بخش‌های موجود در اسناد از طریق شباهت برداری مقایسه می‌شود.
4️⃣ پرامپت (ورودی مدل) ساخته می‌شود.
سیستم مرتبط‌ترین بخش‌ها را جمع‌آوری و آنها را در قالب پرامپتی ساختارمند قرار می‌دهد. این مرحله توسط یک زنجیره پرسش و پاسخ (QA Chain) انجام می‌شود که ترکیب می‌کند:
▪️ پرسش مستقل
▪️ زمینه بازیابی شده
▪️ قالب پاسخ
5️⃣ مدل زبان بزرگ پرامپت کامل را با دانش خارجی استدلال کند، حتی اگر روی آن آموزش ندیده باشد.
6️⃣ پاسخ نهایی تولید می‌شود.
پاسخ بر اساس اسناد بازیابی شده است، نه فقط حافظه داخلی مدل. | 1 030 |
