uz
Feedback

Firibgarlarga uchmang! Telemetrio bunday kanallarni topadi va belgilaydi 👉 Belgini ko‘rmoqchi bo‘lsangiz, obuna bo‘ling

مهندسی داده

مهندسی داده

Kanalga Telegram’da o‘tish

BigData.ir کانال رسمی وب سایت مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا ارتباط با ادمین: @smbanaei گروه تخصصی مهندسی داده 👇 https://t.me/bigdata_ir_discussions2 کانال یوتیوب 👇 https://www.youtube.com/@irbigdata

Ko'proq ko'rsatish
Mamlakat belgilanmaganToif belgilanmagan
1 153
Obunachilar
+124 soatlar
+57 kun
+1330 kun
Postlar arxiv
10 Noy, 15:09

نرمافزار GeoStream Maps که پروژه پایانی من در دوره «مبانی مهندسی داده» در «مدرسه مهندسی داده سپهرام» Sepahram Data Eng. School هست، در گیتهاب منتشر شد!  این پروژه در واقع شبیهساز سرویسهای نقشه و ترافیک لحظهای (مشابه Google Maps یا نشان) است که وضعیت ترافیک خیابانها را به صورت زنده روی نقشه نمایش میدهد. هدف اصلی من در این پروژه، پیادهسازی یک پایپلاین داده End-to-End با استفاده از ابزارهای مدرن مهندسی داده بود. 🔄 معماری و جریان داده در این پروژه به این صورت کار میکند: 🔸 تولید داده: یک شبیهساز پایتونی، دادههای زنده GPS کاربران (موقعیت مکانی و سرعت) را تولید و به Redpanda ارسال میکند. 🔸 انتقال رویدادها (Event Streaming): این بخش با استفاده از Redpanda انجام میشود که جایگزینی سبک، سریع و سازگار با پروتوکل Kafka است. 🔸 پردازش جریان (Stream Processing): با استفاده از Spark و موتور پردازش مکانی Sedona انجام میشود. در ابتدا، هر رویداد GPS به خیابان مربوطه متصل شده (Map Matching)، دادههای نامعتبر علامتگذاری میشوند و رویداد پردازششده به تاپیک جدیدی در Redpanda ارسال میشود. علاوه بر این، Spark در دو جاب مجزا، دادههای تجمیعشده خیابانها را هر ۱۵ ثانیه در PostgreSQL آپدیت میکند و هر ۶۰ ثانیه، رویدادهای پردازششده را از Redpanda به داخل Lakehouse تزریق (Ingest) میکند. 🔸 دیتابیس عملیاتی: در این بخش از PostgreSQL و افزونه مکانی PostGIS استفاده شده است. هندسه خیابانها، وضعیت لحظهای (سرعت و سطح ترافیک) و سرعت پیشبینیشده در اینجا ذخیره میشوند. این سرویس به تایلسرور نقشه سرویس میدهد و برای بهینهسازی مصرف منابع، به عنوان Metadata Database برای Airflow هم استفاده شده است. 🔸 دیتابیس تحلیلی: دیتابیس ClickHouse دادهها را مستقیماً از Redpanda میخواند. این سرویس وظیفه دارد تاریخچه سرعت خیابانها را به نقشه و دادههای تحلیلی را به داشبوردهای هوش تجاری در Superset ارسال کند. 🔸 ارکستریشن: Airflow مسئول زمانبندی و اجرای جابهای پیشبینی سرعت خیابانهاست. در این پایپلاین، دادههای تاریخی از Lakehouse خوانده شده، به وسیله Spark پردازش و مدلسازی میشوند و در نهایت، نتایج در دیتابیس عملیاتی ذخیره میشوند. 🔸 ذخیره بلندمدت دادهها (Data Lakehouse): این لایه با استفاده از MinIO (به عنوان Object Storage)، ابزار Apache Polaris (برای مدیریت کاتالوگ)، Iceberg (به عنوان Table Format)، فرمت ستونی Parquet برای ذخیرهسازی فایلها و Spark به عنوان موتور پردازش پیادهسازی شده است. 🔸 سرویس نقشه: وبسرور Nginx به عنوان Reverse Proxy، درخواستهای کتابخانه MapLibre GL JS از سمت فرانتاند (برای رسم نقشه و رنگبندی ترافیک خیابانها) را به تایلسرورِ Martin (متصل به PostGIS) و درخواستهای مربوط به تاریخچه سرعت را به ClickHouse هدایت میکند. 📓 محیط تحلیلی تعاملی: برای بررسی راحتتر دادهها، چند نوتبوک Jupyter در پروژه قرار داده شده که به Spark متصل میشوند. از این طریق میتوانید به صورت تعاملی به کاوش و تحلیل دادههای لحظهای در Redpanda و همچنین دادههای تاریخی ذخیرهشده در Lakehouse بپردازید. 🐳 تمام این سرویسها به صورت کامل Dockerize شدهاند و با تنظیم دقیق محدودیت منابع (CPU و Memory) در یک فایل Docker Compose، به راحتی روی یک سیستم لوکال قابل اجرا هستند. همچنین برای سرویسهای Spark و Airflow و تولیدکننده پایتونی دادهها، ایمیجهای سفارشی ساخته شده که Dockerfile آنها در پوشه هر سرویس موجود است. 🤖 بهینهسازی برای توسعه با هوش مصنوعی: در پوشه .github فایلهای دستورالعمل اختصاصی برای کل پروژه و تکتک سرویسها تعبیه شده است تا ایجنتهای هوش مصنوعی درک دقیقی از ساختار پروژه داشته باشند، پاسخهای دقیقتری بدهند و مصرف توکن بسیار کمتری داشته باشند. در پایان، از استاد عزیزم دکتر مجتبی بنایی Mojtaba Banaie بابت انتقال دانش و تجربیات ارزشمندشون در طول این دوره و راهنماییهایشان در پروژه نهایی، صمیمانه تشکر میکنم.  🔗 ریپو گیتهاب: https://lnkd.in/eUhgrhwd
10 Noy, 15:05

فایل PDF کتاب Practical Lakehouse Architecture . #book . @elmedadeir
28 Okt, 01:40

در یک اسپانسر پروکسی تلگرام دیدم یک کانال 770K دنبال کننده داره. گفتم بزار یکی از پست‌هاش رو ببینم. این پست آخری بود که یک پر
در یک اسپانسر پروکسی تلگرام دیدم یک کانال 770K دنبال کننده داره. گفتم بزار یکی از پست‌هاش رو ببینم. این پست آخری بود که یک پرامپت به ملت میداد. عااااخه (با همین ع) چرا باید کسی که چنین بدنی داره، بخواد شکل سمت راستی رو به کسی نشووووون بده؟ 🥺🥺🥺🥺 بقول دوستان؛ لاادری‌ی‌ی‌ی‌ی . @elmedadeir
28 Okt, 01:40
28 Okt, ~03:38

بتازگی سراغ کتاب Practical Lakehouse Architecture: Designing and Implementing Modern Data Platforms at Scale به قلم Gaurav As
بتازگی سراغ کتاب Practical Lakehouse Architecture: Designing and Implementing Modern Data Platforms at Scale به قلم Gaurav Ashok Thalpati رفتم. ارزش اصلی چنین منابعی در این است که از سطح تعاریف عبور می‌کنند و به سؤال‌های واقعی تیم‌های داده پاسخ می‌دهند، اینکه: 1- چطور یک پلتفرم داده را طراحی کنیم؟ 2- چه فرمت‌های جدولی و لایه‌های ذخیره‌سازی‌ای انتخاب کنیم؟ 3- چگونه کیفیت و حاکمیت داده را در مقیاس بزرگ حفظ کنیم؟ فصل اول کتاب با یک جمله‌ی زیبا آغاز می‌گردد که اهمیت تفکر را برجسته‌تر می‌نماید؛ تمام افرادی که در حوزه‌ی دیتا فعال هستند، دو فعالیت عمده دارند (باید داشته باشند)، پرسیدن سئوالات خوب و یافتن پاسخ مناسب برای آنها. اگر در حوزه‌ی مهندسی داده، تحلیل یا معماری پلتفرم‌های داده کار می‌کنید، مطالعه‌ی این کتاب ارزشمند می‌تواند دید روشن‌تری درباره‌ی تصمیم‌های معماری پایپ‌لاین‌های دیتایی به شما بدهد. نکته: یک مورد که تا به امروز در اکثر کتب دیتایی مشاهده کردم این است؛ هیچ‌گاه به اهمیت مباحث امنیتی در دنیای دیتا پرداخته نمی‌شود. تمام تمرکز روی انتخاب تکنولوژی و بهینه‌سازی است. . @elmedadeir
28 Okt, 01:40

‍ عصر جدید استریمینگ مبتنی بر S3، نگاهی به متن‌باز شدن پروژه‌های Ursa و UFK یکی از چالش‌های قدیمی و پرهزینه در مهندسی داده، ایجاد ارتباط یکپارچه میان داده‌های جریانی (Streaming) و داده‌های خام در معماری‌های تحلیلی مبتنی بر Lakehouse است. در معماری‌های رایج، پیام‌ها ابتدا وارد کافکا می‌شوند و سپس با ابزارهای واسطی مانند Kafka Connect به فضای ذخیره‌سازی منتقل می‌شوند؛ فرایندی که معمولاً به کپی داده‌ها، زیرساخت اضافی و پیچیدگی عملیاتی بیشتر منجر می‌شود. اما آیا می‌توان داده‌های جریانی را هم، مشابه جدول‌های تحلیلی، مستقیماً روی فضای ذخیره‌سازی شیءگرا (Object Storage) نگهداری کرد؟ بله! این ایده تازه نیست؛ طی چند سال گذشته، تیم‌های مختلف با رویکردهای معماری و محصولات متفاوت تلاش کرده‌اند وابستگی استریمینگ به دیسک‌های محلی را کاهش دهند و مسیر یکپارچه‌تری میان استریم‌ها و فضای ذخیره‌سازی تحلیلی ایجاد کنند. بیایید نگاهی به سیر تکامل این معماری بیندازیم: ۱. معماری کلاسیک Kafka: وابستگی شدید به دیسک‌های محلی بروکرها. با افزایش حجم، هزینه دیسک (مثل EBS) و ترافیک شبکه بالا رفته و فرآیند Rebalance بسیار پیچیده می‌شود. ۲. رویکرد Tiered Storage: با KIP-405، امکان انتقال سگمنت‌های قدیمی‌تر به S3 فراهم شد تا هزینه نگهداری کاهش یابد؛ اما مشکل ریشه‌ای حل نشد، چون داده‌های فعال همچنان به دیسک محلی وابسته‌اند. ۳. نسل جدید بروکرهای Diskless: در این مرحله معماری‌ها یک گام جلوتر رفتند: ▪️ پروژه‌هایی مثل WarpStream (مستقیم با آبجکت استوریج کار می‌کنند اما به Control Plane اختصاصی نیاز دارند) یا AutoMQ و Bufstream رویکردهایی برای کاهش وابستگی به دیسک ارائه دادند. ▪️ حتی Inkless و KIP-1150 تلاش کردند قابلیت Diskless Topics را به خود اکوسیستم کافکا اضافه کنند. 🚀 تحول جدید StreamNative در این حوزه چیست؟ اواخر ماه گذشته (۲۳ سپتامبر ۲۰۲۶)، شرکت StreamNative سه مؤلفه را متن‌باز (Open-Source) کرد که هدفشان چیزی فراتر از صرفاً «ذخیره‌سازی ارزان‌تر» است: 🔹 موتور Ursa: موتور ذخیره‌سازی استریم که از پایه‌ برای کار با Object Storage طراحی شده است. 🔹 توزیع UFK (Ursa for Apache Kafka): توزیعی از کافکا با پشتیبانی کامل از Diskless Topics؛ یعنی داده‌های تاپیک مستقیماً روی Object Storage می‌نشینند. 🔹 استاندارد Lakestream API: یک بستر و API باز برای ایجاد نقطه مشترک میان پروتکل‌های استریمینگ و لایه ذخیره‌سازی. 💡 چرا این تحول مهم است؟ ✔️ مقیاس‌پذیری ساده‌تر: کاهش وابستگی به دیسکِ بروکرها، نیاز به جابه‌جایی سنگین داده هنگام Scale-out را از بین می‌برد. ✔️ هزینه زیرساخت کمتر: استفاده از S3 به‌جای دیسک‌های گران‌قیمت، هزینه‌های ذخیره‌سازی و Replication را به‌شدت کاهش می‌دهد. ✔️ نزدیک‌تر شدن Streaming به Lakehouse: هدف فقط ذخیره پیام‌ها نیست؛ بلکه فراهم کردن یک مسیر استاندارد برای دسترسی به استریم‌ها و تبدیل آن‌ها به داده‌های تحلیلی است. ⚠️ نکته فنی: معماری Diskless لزوماً به معنی حذف کانکتورها یا تبدیل خودکار داده‌ها به جداولی مانند Iceberg نیست؛ این دو به یکپارچگی جداگانه نیاز دارند. بااین‌حال، یکپارچگی این دو لایه می‌تواند Object Storage را از آرشیو داده‌های قدیمی به زیرساخت اصلی داده‌های فعال تبدیل کند. 👉 اطلاعیه رسمی و جزئیات دقیق این معماری را اینجا بخوانید: https://streamnative.io/blog/open-sourcing-ursa-ufk-building-an-open-ecosystem-around-stream-storage #مهندسی_داده #معماری_داده #کافکا #پلتفرم_داده
27 Okt, 07:15

‍ وقتی می‌خواهیم Object Storage مثل یک درایو محلی رفتار کند... (و چرا معمولاً به مشکل می‌خوریم؟) در زیرساخت داده، عادت داریم یک دیسک را روی سرور ماونت کنیم و عملیات‌هایی مثل بکاپ‌گیری دیتابیس و ذخیره لاگ‌ها را با ابزارهایی مثل rsync، tar و cp درون آن انجام دهیم. اما در معماری‌های مدرن، Object Storageهایی مثل S3 و MinIO هم حضور دارند. چقدر خوب می‌شد اگر می‌توانستیم همین ابزارهای آشنا را مستقیماً به آن‌ها متصل کنیم! سال‌هاست راه‌حل‌هایی مثل s3fs-fuse، Goofys و JuiceFS تلاش کرده‌اند پلی میان فایل‌سیستم محلی و آبجکت استوریج بسازند؛ اما دو چالش مهم همچنان مطرح‌اند: تغییر مداوم فایل‌ها و طوفان درخواست‌های متادیتا روی آبجکت استوریج؛ کابوسی برای دستوراتی مثل ls و find. 🔍 مشکل کجاست؟ دیسک محلی برای تغییرات مکرر و درجا (In-place Mutation) بهینه شده، اما Object Storage با آبجکت‌های ثابت و تغییرناپذیر (Immutable) بهتر کار می‌کند. همگام‌سازی مداوم فایل‌های در حال تغییر با S3 می‌تواند کارایی را کاهش دهد و هزینه درخواست‌های API را افزایش دهد. 🔥 پروژه ZeroFS؛ راه‌حلی مبتنی بر ساختار LSM برای S3 پروژه ZeroFS به‌جای جنگیدن با ماهیت S3، معماری خود را با آن سازگار می‌کند: ۱- فایل‌ها را به قطعات ۳۲ کیلوبایتی (Extent) تقسیم می‌کند. ۲- هر قطعه را فشرده و رمزنگاری می‌کند. ۳- داده‌ها را در سگمنت‌هایی در حافظه بافر می‌کند. ۴- با رسیدن سگمنت به ۲۵۶ مگابایت یا دریافت دستور sync/flush از سیستم‌عامل، آن را می‌بندد و به‌صورت یک آبجکت Immutable به S3 می‌فرستد. به این ترتیب، عملیات پراکنده (Random I/O) به نوشتن ترتیبی (Sequential Append) تبدیل می‌شود؛ رویکردی سازگارتر با Object Storage که برای پایداری داده نیز طراحی شده است. 💡 یک مزیت مهم دیگر: مدیریت متادیتا بسیاری از راه‌حل‌های مشابه برای افزایش سرعت و دسترسی سریع به متادیتای فایلها، به دیتابیس خارجی مثل Redis یا TiKV نیاز دارند که عملیاتی مثل find یا ls را با سرعت بالا جواب روی S3 بتوانند پاسخ دهند. ZeroFS با کمک SlateDB، متادیتا شامل ساختار دایرکتوری‌ها، اشاره‌گرها و Inodeها را در یک درخت LSM روی همان باکت ذخیره می‌کند. نتیجه؟ وابستگی کمتر به سرویس‌های جانبی و امکان کش‌کردن متادیتا برای کاهش درخواست‌های API؛ بنابراین اجرای دستور ساده‌ای مثل ls لزوماً به موجی از درخواست‌های شبکه منجر نمی‌شود. ⚠️ محدودیت مهم پروژه ZeroFS معماری تک‌نویسنده (Single-writer) دارد. البته از سازوکار Leader/Standby برای دسترس‌پذیری بالا (HA) پشتیبانی می‌کند؛ اما اگر به نوشتن هم‌زمان از صدها نود نیاز دارید، بهتر است سراغ فایل‌سیستمی با متادیتای توزیع‌شده بروید. 🦀 چرا این پروژه ارزش بررسی دارد؟ پروژه ZeroFS با زبان Rust توسعه یافته و نمونه‌ای جالب از به‌کارگیری معماری Log-Structured برای حل یک مساله واقعی یعنی اتصال اپلیکیشن‌های مبتنی بر POSIX به S3 است. البته انتخاب آن باید با توجه به الگوی دسترسی، نیازهای هم‌زمانی و الزامات پایداری انجام شود. 🔗 گیت‌هاب: https://github.com/Barre/zerofs 🔗 مستندات: https://zerofs.net #مهندسی_داده #زیرساخت #معماری_نرم_افزار #کلاد #DataEngineering #ZeroFS #ObjectStorage #S3 #MinIO
25 Okt, 16:02

‍ وقتی SQL و هوش مصنوعی کنار هم قرار می‌گیرند: ساخت سریع داشبورد با Shaper حتماً برای شما هم پیش آمده که با پروژه‌ای مواجه شوید و با خودتان بگویید: «چه جالب! پس می‌شد این مسئله را این‌طوری هم حل کرد!» . یکی از پروژه‌هایی که اخیراً توجهم را جلب کرد، Shaper است؛ ابزاری متن‌باز که به شما اجازه می‌دهد فقط با نوشتن SQL، نمودار رسم کنید و داشبورد بسازید!
تصور کنید در حال نوشتن یک کوئری هستید و می‌خواهید خروجی آن را به شکل نمودار میله‌ای، خطی یا یک نمودار دسته‌بندی‌شده نمایش دهید. کافی است مشخص کنید کدام ستون محور افقی است، کدام ستون مقدار نمودار را تعیین می‌کند و کدام ستون برای تفکیک دسته‌ها استفاده شود. Shaper بقیهٔ کار را انجام می‌دهد.
🔍 کتابخانه Shaper دقیقاً چه کاری انجام می‌دهد؟ این پروژه بر پایهٔ DuckDB ساخته شده و SQL را از یک زبان صرفاً برای پرس‌وجو و استخراج داده، به ابزاری برای تعریف اجزای یک داشبورد تعاملی تبدیل می‌کند. با استفاده از آن می‌توانید: 📊 نمودارهای میله‌ای، خطی و انباشته بسازید. 🎛 فیلترهای تعاملی، انتخاب بازهٔ زمانی و فهرست‌های انتخابی به داشبورد اضافه کنید. 📋 نتایج را به شکل جدول، شاخص‌های عددی و گزارش نمایش دهید. 📤 خروجی‌هایی مانند CSV، Excel، JSON و PDF تولید کنید. 🔌 به منابع دادهٔ مختلف متصل شوید و با استفاده از قابلیت‌های DuckDB، داده‌ها را از منابعی مانند PostgreSQL و فایل‌های Parquet بخوانید. 🤖 ترکیب جالب‌تر: Shaper و هوش مصنوعی به نظرم یکی از جذاب‌ترین کاربردهای این رویکرد، در کنار ابزارهای کدنویسی مبتنی بر هوش مصنوعی است. وقتی داشبوردها با SQL تعریف می‌شوند، یک عامل هوش مصنوعی می‌تواند در نوشتن کوئری‌ها، ساخت نمودارها و توسعهٔ داشبوردها کمک کند. به‌جای تولید حجم زیادی از کدهای رابط کاربری، می‌توان از مدل خواست داده‌ها را تحلیل کند و خروجی را در قالب SQL سازگار با Shaper بسازد. از طرف دیگر، داشبوردها را می‌توان به‌صورت فایل نگهداری کرد، در Git نسخه‌بندی کرد و در فرایندهای توسعه و استقرار نرم‌افزار (CI/CD) قرار داد. این قابلیت می‌تواند ساخت سریع داشبوردهای تحلیلی را در اپلیکیشن‌های مختلف ساده‌تر کند؛ به‌خصوص زمانی که می‌خواهیم برای هر قابلیت جدید، از ابتدا یک لایهٔ کامل نمایش داده نسازیم. 🏠 نسخهٔ محلی و Self-hosted کتابخانه Shaper فقط یک سرویس ابری نیست؛ می‌توانید آن را روی سیستم خودتان یا زیرساخت سازمان اجرا کنید.نسخهٔ متن‌باز آن با مجوز MPL-2.0 منتشر شده و برای شروع، حتی می‌توانید با Docker آن را روی سیستم محلی اجرا کنید. در این حالت، رابط وب ابزار از طریق آدرس محلی در دسترس خواهد بود. 🎯 جمع‌بندی کتابخانه Shaper قرار نیست جای همهٔ ابزارهای BI یا سامانه‌های پیچیدهٔ تحلیل داده را بگیرد؛ اما برای ساخت داشبوردهای سبک، ابزارهای تحلیلی داخلی و قابلیت‌های گزارش‌گیری تعبیه‌شده در اپلیکیشن‌ها، ایدهٔ جالبی دارد. برای من، جذابیت اصلی پروژه فقط رسم نمودار با SQL نیست؛ بلکه این است که وقتی تعریف داشبورد هم به بخشی از کد تبدیل می‌شود، می‌توان آن را ساده‌تر توسعه داد، نسخه‌بندی کرد و با کمک هوش مصنوعی ساخت. 🔗 لینک‌های پروژه: گیت‌هاب: https://github.com/taleshape-com/shaper مستندات و راهنمای شروع: https://taleshape.com/shaper/docs/getting-started/ #DataEngineering #SQL #DuckDB #OpenSource #DataAnalytics #AI #DataVisualization
19 Okt, 06:35

‍ آیا همیشه برای دریافت داده‌های ورودی به یک سرویس اختصاصی نیاز داریم ؟ معرفی RudderStack به‌عنوان مهندس داده، یکی از اولین قدم‌ها در ساخت یک خط پردازش داده، دریافت رویدادها از کلاینت‌های مختلف و انتقال سریع و قابل‌اعتماد آن‌ها به زیرساختی مثل #Kafka است. بسیاری از تیم‌ها برای این کار سراغ توسعهٔ یک سرویس اختصاصی با زبان‌هایی مثل Go می‌روند؛ اما پیاده‌سازی و نگهداری SDKها، بافرگذاری، ارسال گروهی، تلاش مجدد و مقیاس‌پذیری، خودش به پروژه‌ای جداگانه تبدیل می‌شود. آیا واقعاً لازم است این بخش را از صفر بسازیم؟ 🧩معرفی #RudderStack؛ درگاه ورود رویدادها به خطوط پردازش داده رادراستک (RudderStack) در اصل یک پلتفرم مدیریت داده‌های مشتریان (CDP) است که برای جمع‌آوری، پردازش و انتقال داده‌های رفتاری از وب‌سایت‌ها، اپلیکیشن‌ها و سرویس‌های مختلف به کار می‌رود. بخشی از این پلتفرم به‌صورت متن‌باز ارائه شده است. در این پست، مشخصاً Rudder Server را معرفی می‌کنیم؛ موتور سمت سرور این پلتفرم که وظیفهٔ پردازش و مسیریابی رویدادها را بر عهده دارد و می‌توان از آن به‌عنوان لایهٔ ورود رویدادها به خط پردازش داده، برای مثال پیش از #Kafka، استفاده کرد. معماری پیشنهادی به کمک این ابزار، به شکل زیر خواهد بود : Client SDK → RudderStack → Kafka → Consumers → ClickHouse در این معماری، #RudderStack رویدادها را از کلاینت‌های مختلف دریافت می‌کند و به Kafka تحویل می‌دهد. سپس مصرف‌کنندگان Kafka مسئول پردازش و تبدیل داده‌ها هستند و در نهایت، داده‌ها می‌توانند در #ClickHouse ذخیره شوند. 💡 چه قابلیت‌هایی دارد؟ 🔹 پشتیبانی از SDKهای متنوع: پشتیبانی از پلتفرم‌هایی مانند JavaScript، iOS، Android، React Native و Flutter و زبان‌هایی مثل Python، Go، Java، .NET و Rust. 🔹 ارسال کارآمد: بافرگذاری و ارسال گروهی رویدادها برای کاهش سربار ارتباطات شبکه. 🔹 اتصال به Kafka: پشتیبانی از ارسال گروهی پیام‌ها، فشرده‌سازی و قابلیت‌های مرتبط با قالب و اعتبارسنجی داده‌ها. 🔹 مقیاس‌پذیری افقی: امکان اجرای چند نمونه پشت Load Balancer برای افزایش ظرفیت دریافت رویدادها. (هر چند نسخه رایگان آن تک نود هست اما می‌توان با اتخاذ راهکارهایی ، از چند نسخه آن پشت یک Load Balancer استفاده کرد) 🔹 میزبانی مستقل: امکان استقرار نسخهٔ متن‌باز در زیرساخت خودمان. ⚠️ چند نکتهٔ عملیاتی توان عملیاتی واقعی به سخت‌افزار، اندازهٔ رویدادها و تنظیمات وابسته است؛ بنابراین اعداد بنچمارک را باید در محیط خودمان آزمایش کنیم. همچنین اگر ترتیب رویدادهای هر کاربر اهمیت دارد، باید مسیریابی، رفتار مصرف‌کنندگان و کلید پارتیشن‌بندی Kafka را با دقت طراحی کنیم. اجرای چند نمونه به‌تنهایی تضمین‌کنندهٔ ترتیب رویدادها نیست. 🔭 یک نکتهٔ تکمیلی اگر مسئلهٔ ما دریافت داده‌های تله‌متری، مانند لاگ، متریک و تریس است، #OpenTelemetryCollector هم راهکار مهمی برای دریافت و انتقال این نوع داده‌هاست. اما برای رخدادهای محصول و کسب‌وکار، مانند کلیک کاربران، ثبت سفارش و فعالیت اپلیکیشن‌ها، RudderStack می‌تواند گزینه‌ای برای لایهٔ ورود رویدادها باشد. 🔗 کد منبع: https://github.com/rudderlabs/rudder-server
15 Okt, 04:45

‍ از #Polars تا #LakeSail؛ نگاهی به نسل جدید موتورهای پردازش داده روز گذشته پستی از Mimoune Djouallah دیدم که برای من بسیار جالب بود؛ هم به‌خاطر نتایج بنچمارک و هم به‌خاطر تصویری که از وضعیت ابزارهای متن‌باز پردازش داده ارائه می‌کرد. https://www.linkedin.com/feed/update/urn:li:share:7514279995414892544/ 🎯 موضوع آزمایش چیست؟ خواندن ۱۰۰۰ فایل CSV و نوشتن داده‌ها در یک جدول Apache Iceberg؛ سناریویی از جنس ETL سبک تا متوسط، با تمرکز بر مقایسهٔ عملکرد موتورهای پردازش داده. چند نکته از این نمودار - البته بخش Light ETL آن - برایم جالب بود : (نسخه زنده نمودار و سایر بنچمارک‌ها در این آدرس قابل مشاهده است: https://djouallah.github.io/lakehouse_benchmark/#etl ) 🥇سریع‌ترین گزینه در این آزمایش : Polars 2 پولارز با زمان ۴۷۱ ثانیه در رتبهٔ اول قرار گرفته است. این نتیجه بار دیگر نشان می‌دهد برای پردازش داده‌های محلی و سناریوهای ETL سبک، الزاماً به یک کلاستر توزیع‌شده نیاز نداریم. 🦆 دیتابیس بسیار سبک #DuckDB؛ نزدیک به Polars، با اکوسیستمی کاربردی داک‌دی‌بی با ۴۹۷ ثانیه، فاصلهٔ کمی با Polars دارد. ترکیب اجرای SQL، سادگی استفاده و قابلیت‌های تحلیلی آن، این ابزار را به گزینه‌ای جدی برای بسیاری از کارهای روزمرهٔ مهندسی داده تبدیل می‌کند. 🧊 پروژه‌ای که ارزش دنبال‌کردن دارد : LakeSail موتور پردازشی توزیع شده #LakeSail با زمان ۶۸۵ ثانیه در رتبهٔ سوم این آزمایش قرار گرفته است. این پروژه با رویکرد Rust و سازگاری با الگوی برنامه‌نویسی Spark، می‌خواهد تجربهٔ پردازش داده را با موتوری متفاوت ارائه کند. اگر با Spark کار می‌کنید، بررسی آن می‌تواند جالب باشد. ⚡️ شتاب‌دهنده Gluten/Velox؛ فرصتی برای بهبود Spark ترکیب شتاب‌دهنده اسپارک #Gluten و موتور اجرایی Velox در این نمودار، زمان ۷۲۹ ثانیه را ثبت کرده؛ درحالی‌که Spark متن‌باز ۹۸۲ ثانیه زمان برده است. یعنی در همین سناریو، حدود ۲۶ درصد کاهش زمان اجرا.این نتیجه یادآوری می‌کند که پیش از تعویض پلتفرم، شاید بتوان با بهینه‌سازی موتور اجرا عملکرد بهتری گرفت؛ البته سود واقعی به نوع کوئری‌ها و محیط عملیاتی بستگی دارد. 📊 رقابت نزدیک StarRocks، Trino و ClickHouse دیتابیس تحلیلی StarRocks با ۸۴۶ ثانیه، و سپس chDB و Trino با زمان‌های ۸۷۸ و ۸۹۲ ثانیه قرار گرفته‌اند. آینده استارراکز را بسیار روشن می بینم (در کنار آپاچی دوریس) هر چند برای این کارهای ساده، نیاز به این دیتابیس‌ تحلیلی سنگین نداریم. 🐢 و نکتهٔ بحث‌برانگیز پست اصلی: Spark متن‌باز نویسنده از وضعیت عملکرد موتور اجرای Spark متن‌باز انتقاد می‌کند و به این نکته اشاره دارد که Trino و بخش Frontend در StarRocks هم با Java کار می‌کنند؛ بنابراین نمی‌توان کندی را صرفاً به Java نسبت داد. البته یک بنچمارک محدود برای قضاوت کلی دربارهٔ Spark کافی نیست. 🧩 جمع‌بندی من بازار مهندسی داده پر از ابزارها و نوآوری‌های جدید است؛ اما یکی از روندهای جذاب، حرکت به سمت موتورهای سبک و سریع با قابلیت پردازش مستقیم داده روی Apache Iceberg است. در این میان، LakeSail بازیگر جدیدی در حوزهٔ پردازش توزیع‌شده است که ارزش دنبال‌کردن دارد. جای DataFusion هم در کنار DuckDB در این بنچمارک خالی است؛ مقایسه‌ای که می‌توانست تصویر کامل‌تری از موتورهای مدرن پردازش داده ارائه دهد. به‌نظرم رقابت جذاب امروز فقط بر سر سریع‌تر بودن یک موتور نیست؛ بلکه بر سر این است که چگونه می‌توان با پیچیدگی کمتر، پردازش کارآمدتری داشت
12 Okt, 14:20

‍ وقتی جست‌وجو و تحلیل در یک دیتابیس جمع می‌شوند - معرفی SereneDB سال‌هاست Elasticsearch یکی از گزینه‌های شناخته‌شده برای جست‌وجوی متنی است. من هم از اوایل دههٔ ۱۳۹۰ با آن کار کرده‌ام و می‌دانم در بسیاری از سامانه‌ها چقدر مفید است.اما در بعضی معماری‌ها، جست‌وجو و تحلیل در دو مسیر جدا انجام می‌شوند: 🔎 ابتدا Elasticsearch اسناد مرتبط را پیدا می‌کند؛ سپس برای نمایش جزئیات یا محاسبهٔ شاخص‌ها، سراغ دیتابیس اصلی یا یک موتور تحلیلی می‌رویم. این جداسازی گاهی به انتقال و نگهداری چندبارهٔ داده، همگام‌سازی و پیچیدگی عملیاتی منجر می‌شود. SereneDB ایدهٔ متفاوتی را دنبال می‌کند: ترکیب جست‌وجوی متنی، رتبه‌بندی نتایج و تحلیل SQL در یک موتور داده آنهم با واسط پستگرس. برای مثال، می‌توان محصولات مرتبط با «لباس‌های پاییزی» را پیدا کرد و هم‌زمان درآمد و تعداد فروش آن‌ها را در یک کوئری محاسبه کرد. یا وقتی قصد جستجوی لاگ‌های عظیم یک سازمان را داریم معمولا هم جستجوی متنی نیاز داریم و هم پارامترهایی مثل تاریخ یا زیرسیستم و ... البته اجرای چنین پرس‌وجویی به طراحی ایندکس‌ها، مدل داده و قابلیت‌های موتور بستگی دارد؛ نکته این است که جست‌وجو و تحلیل می‌توانند در یک مسیر SQL انجام شوند. 📊 بنچمارک SereneDB چه می‌گوید؟ در نتایج منتشرشده در وب‌سایت پروژه، به آدرس serenedb.com، دو مجموعه آزمایش دیده می‌شود: 🔹 ۱۰ میلیارد رکورد OpenTelemetry - دیتابیس SereneDB به ۹۲ پرس‌وجو از ۹۲ پرس‌وجو پاسخ داده است؛ ClickHouse در دو حالت گزارش‌شده به ۶۰ و ۴۸ پرس‌وجو پاسخ داده است. - میانهٔ زمان اجرا برای SereneDB حدود ۰٫۱۷ ثانیه و برای ClickHouse مرتب‌شده حدود ۱٫۹۱ ثانیه گزارش شده است. - فضای ذخیره‌سازی گزارش‌شده برای SereneDB حدود ۱٫۲۱ ترابایت و برای ClickHouse مرتب‌شده حدود ۱٫۸۰ ترابایت است. 🔹 یک میلیارد رکورد OpenTelemetry - میانهٔ زمان پرس‌وجو برای SereneDB برابر ۳۱ میلی‌ثانیه گزارش شده؛ در مقایسه با ۷۸ میلی‌ثانیه برای Quickwit، ۸۶ میلی‌ثانیه برای Elasticsearch و ۴۸۲ میلی‌ثانیه برای ClickHouse. - زمان بارگذاری یک میلیارد رکورد برای SereneDB حدود ۵ دقیقه و ۱۰ ثانیه گزارش شده است؛ در نمودار، این زمان برای ClickHouse حدود ۶ دقیقه و ۳۵ ثانیه است. - فضای ذخیره‌سازی SereneDB حدود ۱۲۰ گیگابایت و ClickHouse حدود ۲۰۴ گیگابایت گزارش شده است. ⚠️ این اعداد از بنچمارک منتشرشده توسط خود پروژه نقل شده‌اند. نوع پرس‌وجوها، تنظیمات، سخت‌افزار، شرایط اجرا و روش اندازه‌گیری بر نتیجه اثر می‌گذارند؛ بنابراین این نمودارها به‌تنهایی اثبات نمی‌کنند که SereneDB در همهٔ بارکاری‌ها سریع‌تر است. برای تصمیم عملیاتی، بازتولید آزمایش با داده و پرس‌وجوهای واقعی خودمان ضروری است. 💡 چرا این پروژه ارزش بررسی دارد؟ جذابیت SereneDB فقط سرعت ادعاشده نیست؛ ایدهٔ کاهش فاصلهٔ بین جست‌وجو و تحلیل است. این پروژه از موتور جست‌وجوی IResearch، ذخیره‌سازی ستونی و اجرای برداری استفاده می‌کند تا این دو نوع بارکاری را در یک سیستم پوشش دهد.
البته هر پروژه‌ای به دیتابیس جدید نیاز ندارد. اگر معماری فعلی شما با Elasticsearch و ClickHouse پایدار، قابل‌نگهداری و مقرون‌به‌صرفه است، دلیلی برای مهاجرت صرفاً بر اساس یک نمودار بنچمارک وجود ندارد.اما اگر با هم‌زیستی جست‌وجوی متنی و تحلیل داده، کپی‌کردن داده‌ها و پیچیدگی همگام‌سازی درگیر هستید، SereneDB گزینه‌ای است که می‌توان در یک آزمایش کنترل‌شده بررسی کرد.
11 Okt, 15:25

👆👆👆
02 Okt, 10:40

نگاهی به ساختار رایج LSM Trees در دنیای مهندسی داده اگر با RocksDB، Cassandra، HBase، ScyllaDB یا بعضی Storage Engineهای مدرن کار کرده باشید، احتمالاً اسم LSM Tree را دیده‌اید.LSM مخفف Log-Structured Merge-tree است؛ یک رویکرد برای ساخت Storage Engine که به‌ویژه برای Workloadهای Write-Heavy طراحی شده است. 🧠اما ایده اصلی این ساختار ذخیره سازی رایج چیست؟ فرض کنید قرار است مقدار یک رکورد را تغییر دهیم. در یک B-Tree، داده در ساختاری مرتب و معمولاً در صفحات مشخصی قرار دارد و Update می‌تواند نیازمند پیدا کردن صفحه، تغییر آن و در نهایت نوشتن تغییرات باشد. این مسیر، مخصوصاً در بارهای نوشتاری سنگین و تصادفی، می‌تواند I/O قابل‌توجهی ایجاد کند. ساختار LSM رویکرد متفاوتی دارد: به‌جای اینکه هر تغییر را همان لحظه در محل قبلی داده اعمال کنیم، تغییرات جدید را ابتدا به شکل Append در یک فایل فقط خواندنی ثبت می‌کنیم و بعداً فایل‌های ایجادشده را در پس‌زمینه با هم Merge می‌کنیم. 🔧 یک Write در LSM چه مسیری را طی می‌کند؟ به‌صورت ساده: 1️⃣ داده ابتدا در WAL ثبت می‌شود تا در صورت Crash امکان بازیابی وجود داشته باشد. (یک فایل لاگ) 2️⃣ سپس در Memtable، یک ساختار مرتب در حافظه، قرار می‌گیرد. 3️⃣ وقتی Memtable به اندازه مشخصی رسید، به یک فایل مرتب Immutable به نام SSTable روی دیسک تبدیل می‌شود. 4️⃣ در پس‌زمینه، فرآیندی به نام Compaction چند SSTable را با هم Merge می‌کند، نسخه‌های قدیمی‌تر را کنار می‌گذارد و Deleteها را نیز اعمال می‌کند. 5️⃣ هنگام Read، سیستم باید بتواند داده را در Memtable و SSTableهای مناسب پیدا کند؛ برای کاهش جست‌وجو از Index، Bloom Filter و سایر Metadata استفاده می‌شود. در نتیجه، مسیر کلی چیزی شبیه این است: Write → WAL → Memtable → SSTable → Compaction 🚀 چرا این طراحی مهم است؟ چون LSM تلاش می‌کند بخش زیادی از Writeها را به سمت Append و Sequential I/O ببرد و عملیات سنگین‌تر مرتب‌سازی و ادغام را به پس‌زمینه منتقل کند.
این ویژگی برای سیستم‌هایی که دائماً حجم زیادی از داده دریافت می‌کنند بسیار ارزشمند است.مثلاً تصور کنید یک سیستم در هر ثانیه ۵۰ هزار پیام سنسوری دریافت می‌کند. به‌جای اینکه برای هر پیام دائماً ساختارهای روی دیسک را تغییر دهیم، می‌توانیم Writeها را سریع در WAL و حافظه ثبت کنیم، آن‌ها را به‌صورت SSTable روی دیسک بنویسیم و سپس با Compaction، فایل‌ها را مرتب و یکپارچه کنیم.
⚖️ اما این کار هزینه هم دارد ساختار LSM یک Free Lunch نیست؛ یک Trade-off است: 🔸 Read Amplification: برای پیدا کردن یک مقدار ممکن است چند SSTable بررسی شود. 🔸 Write Amplification: در زمان Compaction، داده‌ها ممکن است چندین بار دوباره نوشته شوند. 🔸 Compaction Cost: مرتب‌سازی و Merge به CPU و I/O نیاز دارد و می‌تواند روی عملکرد سیستم اثر بگذارد. پس LSM در واقع بخشی از هزینه Write را از مسیر اصلی خارج می‌کند و آن را به Read و Compaction منتقل می‌کند. 📍 سخن آخر هر جایی که سرعت نوشتن بسیار بالایی دارد، ردپایی از این ساختار داده مفید را مشاهده خواهید کرد. البته جزئیات پیاده‌سازی و Compaction Strategy در این سیستم‌ها یکسان نیست. در یک کلام، LSM می‌گوید به‌جای اینکه برای هر تغییر، دائماً داده را در محل قبلی دستکاری کنیم، Writeها را سریع‌تر ثبت کنیم و مرتب‌سازی و ادغام را تا حد زیادی به پس‌زمینه بسپاریم.
02 Okt, 10:39

به‌نظرم یکی از اتفاق‌های جذاب سال‌های آینده در دنیای Data Engineering، ورود مدل‌های AI بسیار سریع به دل جریان داده است.🚀 این پست با الهام از مقاله زیر و با ترند شدن Jev به عنوان یک هوش مصنوعی تصمیم ساز بسیار سریع و ارزان، نوشته شده است : https://www.kai-waehner.de/blog/2026/09/30/why-jev-by-typesafe-ai-fits-apache-kafka-and-flink-better-than-llms/ تا امروز معمولاً مسیر را این‌طور می‌دیدیم: داده وارد می‌شود، Kafka آن را جابه‌جا می‌کند، Flink پردازش می‌کند و در نهایت اگر جایی به مدل هوش مصنوعی احتیاج داشتیم، آن را جداگانه صدا می‌زدیم. اما اگر مدل‌هایی مثل Jev بتوانند با سرعت بالا روی هر رویداد یک ارزیابی انجام دهند، داستان می‌تواند کاملاً متفاوت شود. 🤔 تصور کنید هر Event هنگام عبور از Pipeline فقط Transform نشود، بلکه بتواند یک «تصمیم» هم دریافت کند: 🟢 این مورد را خودکار ادامه بده 🟡 این یکی را برای بررسی بیشتر بفرست 🔴 این مورد را متوقف کن یا به انسان ارجاع بده در چنین معماری‌ای، AI دیگر یک سرویس جانبی در انتهای Pipeline نیست؛ می‌تواند تبدیل به یکی از مراحل پردازش Streaming شود. و اینجاست که ترکیب‌هایی مثل Kafka + Flink + مدل‌های سریع AI برای من بسیار جالب می‌شوند. ⚡️ فکر می‌کنم هنوز بخش بزرگی از این تغییر را ندیده‌ایم؛ مخصوصاً وقتی هزینه و زمان اجرای Inference آن‌قدر پایین بیاید که بتوانیم از AI نه برای چند درخواست خاص، بلکه برای تصمیم‌گیری روی حجم بسیار زیادی از Eventها استفاده کنیم. احتمالاً در سال‌های آینده، طراحی یک Data Pipeline فقط درباره‌ی این نخواهد بود که «داده را کجا ببریم و چطور پردازش کنیم»؛ بلکه باید بپرسیم: 🧠 در کدام نقطه از جریان داده، بهتر است تصمیم‌گیری هوشمند را هم وارد کنیم؟ کانال مهندسی داده: https://t.me/bigdata_ir
01 Okt, 14:12

‍ نگاهی به دستور کاربردی For Update Skip Locked و فلسفه مینی‌مالیسم در مهندسی داده با تجربه‌تر که می‌شویم، یاد می‌گیریم برای هر مسئله الزاماً ابزار جدیدی وارد معماری نکنیم. گاهی Database رابطه‌ای که همین حالا داریم، قابلیت‌هایی دارد که می‌تواند مسئله را ساده و تمیز حل کند. به عنوان نمونه بیایید این مورد را با هم بررسی کنیم : SELECT ... FOR UPDATE SKIP LOCKED 🏗 یک سناریوی واقعی فرض کنید سرویس Crawl، محصولات را در PostgreSQL ذخیره می‌کند و چند واحد باید روی آن‌ها کار کنند: 🏷 برچسب‌گذاری | 🧠 Embedding | ✍️ غنی‌سازی محتوا | 🔍 استخراج ویژگی راه کلاسیک معمولا استفاده از کافکا و کانسیومرهای مختلف برای هر واحد است . کافکا انتخاب مناسبی است وقتی به Replay، Retention، Fan-out، buffering، throughput بالا و جداسازی کامل Producer و Consumer نیاز داریم.اما اگر حجم کار مثلاً زیر ۱۰۰ هزار محصول در روز باشد و مسئله فقط این باشد که چند Worker به‌صورت همزمان Job بردارند، شاید به Kafka نیاز نداشته باشیم. 🔒 مسئله چیست؟ اگر چند Worker همزمان این Query را اجرا کنند:
SELECT id, title FROM products WHERE status = pending LIMIT 100
ممکن است چند Worker همان رکوردها را بردارند. اینجا FOR UPDATE SKIP LOCKED به کمکمان می‌آید:

SELECT id, title 

FROM products 

WHERE status = pending 

ORDER BY id 

FOR UPDATE SKIP LOCKED

 LIMIT 100;
عبارت FOR UPDATE رکوردهای انتخاب‌شده را در Transaction فعلی Lock می‌کند. SKIP LOCKED می‌گوید اگر رکوردی را Worker دیگری Lock کرده، منتظرش نمان؛ از آن عبور کن و رکورد آزاد بعدی را بردار. پس هر واحد می‌تواند Workerهای خودش را داشته باشد و هر گروه از Workerها، بدون تداخل، رکوردهای آزاد را برداشته و پردازش کند. برای تضمین صحت این کار، Claim کردن رکوردها و تغییر وضعیت آن‌ها باید درست و اتمیک داخل Transaction انجام شود (تصویر پست نمونه ای از این نوع کوئری را نمایش می دهد ) به این ترتیب هر Worker که می تواند یک برنامه ساده به زبان پایتون یا Go باشد، یک Batch را Claim کرده و Worker بعدی سراغ رکوردهای آزاد می‌رود بدون اینکه نگران همزمانی و همروندی پردازش ها باشیم . 🚀 مزیت این رهیافت چیست؟ • جلوگیری از پردازش تکراری • اجرای موازی چند Worker • استفاده از قابلیت‌های خود Database • بدون نیاز به افزودن ابزار جانبی برای یک Work Queue ساده • امکان نوشتن Workerها با Python، Go، Java، Rust و... ⚠️ البته SKIP LOCKED جایگزین Kafka در همه سناریوها نیست. اگر Replay، چند Consumer مستقل، حجم بسیار بالا، Retention طولانی یا Fan-out گسترده نیاز داریم، Message Broker انتخاب مناسب‌تری است. 🧠 نکته‌ای که به‌نظرم مهم‌تر از خود Query است مهندسی داده فقط شناختن ابزارهای بیشتر نیست. بخشی از بلوغ معماری این است که بدانیم:
کِی باید ابزار جدید اضافه کنیم و کِی نباید؟
گاهی اضافه کردن Kafka، Redis، یک Queue دیگر یا یک سرویس جدید، مسئله را حل می‌کند؛ اما همزمان سربارهای مدیریتی و نگهداری بیشتری به ما تحمیل می‌کند. اگر Database یا ابزار موجود بتواند مسئله را با قابلیت‌های Native خودش حل کند، شاید ساده‌ترین معماری، در عمل بهترین معماری باشد. برای همین، به‌نظرم یکی از مهارت‌هایی که با تجربه در Data Engineering به‌دست می‌آوریم این نیست که فقط بدانیم چه ابزارهایی وجود دارند؛بلکه یاد می‌گیریم تشخیص دهیم:
برای این مسئله، همین چیزهایی که داریم کافی است.
01 Okt, 06:33

‍ معرفی Apache SeaTunnel؛ وقتی انتقال داده دیگر ساده نیست 🚢 فرض کنید در یک سازمان، اطلاعات مشتریان در پایگاه‌داده PostgreSQL است، تراکنش‌ها در SQL Server ذخیره می‌شوند، رویدادها از Kafka می‌آیند و قرار است همه این داده‌ها در یک Data Lake یا Data Warehouse مانند کلیک‌هوس یا اوراکل تجمیع شوند. ایده اصلی در نگاه اول ساده است: داده‌ها را از مبدأ بخوان، آماده‌شان کن و در مقصد بنویس. اما همین جمله ساده، خیلی زود با ده‌ها سؤال روبه‌رو می‌شود: 🔹 داده را با چه ابزاری بخوانیم؟ 🔹 داده‌های موردنیاز را چطور فیلتر کنیم؟ 🔹 پایپ‌لاین را در زمان افزایش حجم داده‌ها چطور Scale کنیم؟ 🔹 تغییرات جداول مبدأ را چطور تشخیص دهیم؟ 🔹 استراتژی تغییرات (CDC) را چطور پیاده کنیم تا فقط داده‌های جدید را دریافت کنیم؟ 🔹 خطاهای فرآیند انتقال را چطور مدیریت کنیم؟ اینجاست که مسئله از یک پایپ‌لاین ساده، به یک مشکل یکپارچه‌سازی (Data Integration) تبدیل می‌شود و دقیقاً اینجاست که پلتفرم Apache SeaTunnel با پاسخ به دغدغه‌های فوق وارد داستان می‌شود. 🚢 https://seatunnel.apache.org این ابزار متن‌باز، یک لایه استاندارد بین منابع مختلف (با بیش از ۲۰۰ کانکتور آماده) و پلتفرم داده شماست. با آن می‌توانید: ✔️ یک دیتابیس را به دیتابیس دیگری منتقل کنید. ✔️ کل دیتابیس را یک‌باره منتقل کنید. برای Migration یا ساخت یک Initial Load. ✔️ بعد از Migration فقط تغییرات را منتقل کنید. با استفاده از CDC، تغییرات جدید Source به‌صورت مستمر به مقصد ارسال می‌شوند. ✔️ داده را از چند جدول یا چند سیستم جمع کنید. مثلاً اطلاعات مشتریان از PostgreSQL و تراکنش‌ها از SQL Server بیایند و وارد Data Platform شوند (مثلا وارد کلیک‌هوس شده و در فاز بعدی به کمک MV ها، جوین و آماده گزارش گیری شوند). ✔️ داده را قبل از ذخیره نهایی، به صورت سبک، پردازش کنید کارهایی مثل Filter کردن، تبدیل نوع داده، تغییر نام ستون‌ها یا Transformهای سبک را می‌توان در مسیر انجام داد. ✔️ داده را به Lakehouse منتقل کنید. یک نکته معماری بسیار مهم: نباید SeaTunnel را یک موتور عمومی برای پردازش‌های سنگین مانند JOIN بین منابع مختلف در نظر گرفت چون تنها یک موتور انتقال داده سازمانی و حرفه ای است و نه یک موتور پردازش و غنی سازی داده‌ها! می‌توان بخشی از آماده‌سازی‌های سبک را هنگام دریافت انجام داد و داده را در مقصد ذخیره کرد؛ سپس JOIN، غنی‌سازی (Enrichment) و پردازش‌های سنگین‌تر را به موتورهایی مثل Flink، Spark یا ClickHouse سپرد. این الگو در عمل به مفهوم ETLT نزدیک می‌شود: (استخراج Extract -> تبدیل سبک Transform -> بارگذاری Load -> تبدیل سنگین Transform) یعنی به‌جای اینکه لایه دریافت (Ingestion) را به یک موتور بزرگ پردازش تبدیل کنیم، ابتدا داده را با حداقل تغییرات لازم وارد پلتفرم می‌کنیم و پردازش‌های سنگین‌تر را بعد از ذخیره‌سازی، در لایه‌ی مناسب انجام می‌دهیم. ✔️ موتور اختصاصی Zeta در این پلتفرم برای بالاترین سرعت همگام‌سازی و اجرای خطوط ETL طراحی شده، اما در کنار آن پلتفرم SeaTunnel از موتورهای Flink و Spark هم پشتیبانی می‌کند. همچنین در سه حالت Batch/Streaming/CDC می‌تواند کار کند و مسایلی مانند Exactly-Once را هم تضمین می‌کند. سخن آخر: ابزارهای یکپارچه‌سازی داده قرار نیست جای تمام پلتفرم را بگیرند؛ بلکه این سؤال مهم را حل می‌کنند: وقتی ده‌ها منبع داده داریم، چطور انتقال داده را استاندارد، مدیریت‌پذیر و قابل توسعه کنیم؟ 🚀
24 Sen, 22:24

سلام دوستان، یک پروژه عملی Event-Driven Data Pipeline برای سناریوی Core Banking پیاده‌سازی کرده‌ام. معماری پروژه: Python Simulator → PostgreSQL → Airflow → Apache Kafka → Redpanda Connect → Raw Layer → Processing DAG → Stage Layer قابلیت‌های اصلی: استخراج Incremental با Watermark Kafka با سه Broker و سه Controller ورود Idempotent داده براساس Topic، Partition و Offset مدیریت Poison Event و ثبت خطا Orchestration کامل با Airflow ساخت خودکار Database، Schema، Watermark و Kafka Topic اجرای قابل‌تکرار با Docker Compose پروژه با تست کامل End-to-End بررسی شده و داده‌های استفاده‌شده کاملاً ساختگی هستند. GitHub: https://github.com/MehrdadMHM/core-banking-event-driven-pipeline خوشحال می‌شوم درباره معماری و پیشنهادهای بهبود آن نظر بدهید.
20 Sen, 07:02

👆👆
08 Sen, 09:22

‍ مروری بر کتاب کوتاه عامل‌های هوشمند در پلتفرم‌های داده . کتاب ۵۰ صفحه ای تازه منتشر شده AI Agents in Data Platforms For Dummies - Cloudera Special Edition نوشته Dipankar Mazumdar به تغییر پلتفرم های نوین داده می‌پردازد. جایی که عامل‌های هوشمند، نیازمندیهای جدیدی با خود به ارمغان آورده اند که در طراحی دیتاپلتفرم‌ها، باید حواسمان به آنها باشد. نکات اصلی این کتاب مفید و مختر را با هم مرور می‌کنیم: 1️⃣ عامل‌های هوشمند فقط Query اجرا نمی‌کنند؛ Data را کشف می‌کنند یک Agent ممکن است قبل از اجرای Transformation نهایی، مجموعه‌ای از عملیات کوچک انجام دهد: 🔹 بررسی Schema و Metadata 🔹 بررسی Nullability و نوع داده‌ها 🔹 اجرای EXISTS و Anti-Join برای اعتبارسنجی 🔹 فیلترهای با Cardinality بالا 🔹 امتحان کردن چند مسیر مختلف Join 🔹 استفاده از Errorهای SQL به‌عنوان Feedback برای تغییر استراتژی بنابراین Agent یک Query ثابت را اجرا نمی‌کند؛ یک Search Process روی فضای داده انجام می‌دهد. 2️⃣ امکان Isolation برای Agentها دیگر یک قابلیت جانبی نیست اگر Agent مستقیماً روی Production یک Transformation را آزمایش کند، یک خطا می‌تواند Data و Lineage را تحت تأثیر قرار دهد. قابلیت‌هایی مانند Snapshot، Branch و Versioned State در Lakehouseهای مدرن اجازه می‌دهند Agent آزمایش‌ها را در محیطی جدا انجام دهد، داده‌های مشکوک را Quarantine و در صورت شکست، تغییرات را Rollback کند. یعنی: Experimentation بدون ریسک برای Production. در دیتابیس‌های سنتی، چنین Isolationی معمولاً به ایجاد Sandbox، Sampling داده و اجرای Queryها در محیطی جداگانه نیاز دارد. 3️⃣ کانتکست فقط Prompt نیست! یکی از نکات جالب کتاب، نگاه چندلایه به Context است: 🔥 Hot Context: اطلاعات پرامپت جاری شامل Prompt، Tool Calls و نتایج فوری 🟡 Warm Context: اطلاعات Session، نتایج و Insightهای موقتی ❄️ Cold Context: داده‌های تاریخی، Catalog، Metadata، Lineage و دانش سازمانی بنابراین مسئله فقط این نیست که Agent را به «داده بیشتر» متصل کنیم. مسئله مهم‌تر این است: Agent در هر لحظه باید به چه Contextی دسترسی داشته باشد؟ و اینجاست که Data Catalog و Metadata از یک ابزار مدیریتی ساده، به بخشی از Reasoning Infrastructure تبدیل می‌شوند. 4️⃣ آینده فقط یک Agent نیست؛ Multi-Agent است عامل هوشمند تحلیل‌گر لازم نیست مستقیماً SQL اجرا کند و Agent اجراکننده هم نباید مسئول Reasoning نهایی باشد. یعنی :Execution از Reasoning جدا می‌شود. 5️⃣ سرورهای MCP می‌توانند Data Platform را به Agent متصل کند یکی از قطعات مهم این معماری، Model Context Protocol (MCP) است. MCP می‌تواند یک Interface استاندارد برای دسترسی Agentها به Data، Metadata و ابزارهای مختلف ایجاد کند. در این مدل، Agent به‌جای اینکه برای هر Data System یک Integration اختصاصی داشته باشد، از Interfaceهای استاندارد برای تعامل با Data Platform استفاده می‌کند. در کنار آن، Governance باید همچنان برقرار باشد. Agent نباید صرفاً به دلیل Autonomous بودن، دسترسی بیشتری از یک انسان داشته باشد. 📌سخن آخر امروزه Data Platform دیگر فقط محل ذخیره و پردازش داده نیستند؛ بخشی از حلقه Reasoning و اجرای Agent هستند.
08 Sen, 09:22

‍ نگاهی به خرید تیم توسعه‌دهنده #DuckDB توسط AWS؛ سیگنالی برای آینده Data Architecture در دنیایی هستیم که AI و Agentهای هوشمند با Data Platformها ترکیب شده‌اند و هم‌زمان مفاهیمی مثل #ObjectStorage، #Lakehouse، #OpenTableFormats و Embedded Analytics در حال تغییر دادن مرزهای سنتی Storage و Compute هستند. اما با این حجم از تکنولوژی و ترند، از کجا بفهمیم جامعه فنی و بازار واقعاً به کدام سمت حرکت می‌کنند؟ یکی از راه‌ها، نگاه کردن به سرمایه‌گذاری‌ها و خریدهای شرکت‌های بزرگ روی پروژه‌های Data است؛ چون این تصمیم‌ها معمولاً فقط خرید یک محصول نیستند، بلکه می‌توانند نشانه‌ای از معماری آینده باشند.
وقتی یک شرکت مثل #AWS تصمیم می‌گیرد تیم پشت یک Query Engine مثل #DuckDB را خریداری کند، موضوع فقط یک Acquisition در دنیای Data نیست. این اتفاق می‌تواند سرنخ مهمی درباره این باشد که معماری #DataPlatform ها در سال‌های آینده به چه سمتی حرکت خواهد کرد و خرید DuckLabs توسط AWS را می‌توان دقیقاً از همین زاویه نگاه کرد.
https://ducklabs.com/news/2026/08/26/ducklabs-to-join-aws اما سؤال مهم این نیست که: «AWS چرا #DuckDB را خرید؟» سؤال مهم‌تر این است: «این اتفاق درباره آینده #DataArchitecture چه می‌گوید؟» بیایید کمی دقیق‌تر به این خرید نگاه کنیم و ببینیم چه سیگنال‌هایی برای معماری Data Platformهای آینده می‌توان از آن استخراج کرد. 1️⃣ داده را کمتر جابه‌جا کنیم معماری سنتی معمولاً شامل چندین سیستم است: OLTP → ETL → Data Warehouse → Search / Analytics یعنی Data دائماً بین سیستم‌ها Copy و Sync می‌شود. اما معماری جدید به سمت Query مستقیم روی Object Storage حرکت می‌کند؛ جایی که Engineهایی مثل DuckDB می‌توانند مستقیماً روی Parquet و داده‌های Lakehouse کار کنند. 2️⃣ همه Workloadها Big Data نیستند برای بسیاری از Queryهای روزمره، Provision کردن یک Cluster بزرگ منطقی نیست. DuckDB با اجرای In-Process و بدون نیاز به Cluster سنگین، برای Queryهای کوچک و تعاملی بسیار مناسب است. 3️⃣ دستیاری برای عامل‌های هوشمند عامل‌های هوشمند برای تحلیل Data به یک ابزار سریع، سبک و در دسترس نیاز دارند تا بتوانند به منابع مختلف متصل شوند، Query اجرا کنند و سریع به Context موردنیاز برای تصمیم‌گیری برسند. اینجاست که DuckDB می‌تواند به یک ابزار دم‌دستی برای Agentها تبدیل شود؛ یک Query Engine سبک و Embedded که می‌تواند Data را مستقیماً Query کند. 4️⃣ تغییر ماهیت Object Storage و تبدیل شدن به یک لایه فعال زمانی S3 و Object Storage فقط محل نگهداری Data Lake بودند. اما ترکیب: Object Storage + Parquet/Iceberg + Query Engine مرز بین Storage و Compute را کم‌رنگ‌تر می‌کند. به‌جای Copy کردن داده به چند سیستم، می‌توانیم Engine مناسب را مستقیماً روی همان Data اجرا کنیم. 🎯 خلاصه کلام خرید DuckLabs توسط AWS را نباید فقط یک معامله درباره DuckDB دید. سیگنال بزرگ‌تر، جهت معماری است: Object Storage + Open Table Formats + Embedded Query Engines + AI Agents همه در یک جهت حرکت می‌کنند: «داده را کمتر جابه‌جا کن؛ Query را به داده نزدیک‌تر کن.» #DataEngineering #DataArchitecture #DuckDB #AWS #DataPlatform #Lakehouse #ApacheIceberg #ObjectStorage #AI #AgenticAI
07 Sen, 18:34