مهندسی و علم داده

🔺ورود چین به عصر ایجنت‌های هوش مصنوعی 🔹شرکت چینی بایت‌ دنس با معرفی مدل Doubao 2.0 رسماً به عصر ایجنت‌ها وارد شده و تلاش دارد جایگاه خود را در بازار رقابتی هوش مصنوعی حفظ کند. این مدل فراتر از یک چت‌بات است و برای انجام وظایف پیچیده دنیای واقعی طراحی شده است. نسخه Pro آن با مدل‌هایی مانند OpenAI و گوگل رقابت می‌کند. 🔹بایت‌دنس می‌گوید هزینه استفاده از Doubao 2.0 حدود ۱۰ برابر کمتر از رقبا است و این موضوع برای پردازش‌های پرمصرف مزیت مهمی به شمار می‌رود. این شرکت پس از غافلگیری از ظهور DeepSeek حالا می‌خواهد از تکرار آن تجربه جلوگیری کند. در بازار چین، Doubao با ۱۵۵ میلیون کاربر هفتگی در صدر قرار دارد و سایر رقبا نیز با سرعت در حال رشد هستند. @BIMining

برگزاری پنل هوش مصنوعی با عنوان سنجش داده تا سناریوسازی ،زیرساخت های فناورانه،داده کاوی و طراحی مدل های پیش بینی با هوش مصنوعی دوشنبه 24 آذرماه 1404 پاویون هوش مصنوعی مصلی امام خمینی ساعت 11-12:15

سخنرانی با عنوان افزایش کارایی هوش مصنوعی با معماری توزیع شده کلیک هاوس در الکامپ تاکز @BIMining

مقایسه پلتفرم های بیگ دیتا LICKHOUSE ، Apache Druid , Apache Doris بر اساس سایت معتبر DBEngines ClickHouse : به وضوح بر کارایی فوق‌العاده بالا و پردازش کوئری‌های OLAP با حداقل زمان ممکن تمرکز دارد. استفاده از C++ و معماری ستونی (Column-oriented) این امکان را فراهم می‌کند. نقطه قوت: بهترین عملکرد را برای تجمیع‌های پیچیده و کوئری‌های تحلیلی بر روی داده‌های عظیم ارائه می‌دهد. پشتیبانی گسترده از زبان‌های برنامه‌نویسی و انواع API، آن را بسیار انعطاف‌پذیر می‌کند. نقاط متمایز: تنها پلتفرمی است که در این مقایسه قابلیت‌های In-memory و DBaaS (سرویس ابری مدیریت شده) را ارائه می‌دهد و از replication فیزیکی همزمان و غیرهمزمان با پشتیبانی از ذخیره‌سازهای ابجکت بهره می‌برد. Apache Druid: به صورت خاص برای کوئری‌های OLAP زیر ثانیه بر روی داده‌های با ابعاد بالا و کاردینالیتی بالا (High Dimensionality & High Cardinality) طراحی شده است. نقطه قوت: بسیار مناسب برای داده‌های سری زمانی (Time Series Data) و داشبوردهای لحظه‌ای (Real-time Dashboards) که نیاز به پاسخگویی بسیار سریع دارند. موتور اصلی آن جاوا است. @BIMining

چگونه RAG کار می‌کند: تولید تقویت‌شده با بازیابی یا RAG به مدل زبان اجازه می‌دهد تا پاسخ‌ها را بر اساس دانش خارجی ارائه دهد، نه فقط آنچه که روی آن آموزش دیده است: 1️⃣ کاربر یک سؤال می‌پرسد. ممکن است ورودی فاقد زمینه کافی باشد، مثلاً: «آیا امکان خروجی PDF دارد؟» 2️⃣ مدل زبان بزرگ (LLM) سؤال را بازنویسی می‌کند. با استفاده از تاریخچه گفتگو، سؤال را به یک پرسش مستقل تبدیل می‌کند: «ویژگی‌های پلن Pro چیست؟ آیا می‌تواند PDF صادر کند؟» 3️⃣ جستجوی معنایی فعال می‌شود. پرسش مستقل به صورت برداری تبدیل شده و با بخش‌های موجود در اسناد از طریق شباهت برداری مقایسه می‌شود. 4️⃣ پرامپت (ورودی مدل) ساخته می‌شود. سیستم مرتبط‌ترین بخش‌ها را جمع‌آوری و آنها را در قالب پرامپتی ساختارمند قرار می‌دهد. این مرحله توسط یک زنجیره پرسش و پاسخ (QA Chain) انجام می‌شود که ترکیب می‌کند: ▪️ پرسش مستقل ▪️ زمینه بازیابی شده ▪️ قالب پاسخ 5️⃣ مدل زبان بزرگ پرامپت کامل را با دانش خارجی استدلال کند، حتی اگر روی آن آموزش ندیده باشد. 6️⃣ پاسخ نهایی تولید می‌شود. پاسخ بر اساس اسناد بازیابی شده است، نه فقط حافظه داخلی مدل.

در سال ۲۰۳۰ واقعاً چه چیزی اهمیت خواهد داشت؟ این نمودار یک تغییر چشمگیر را نشان می‌دهد: راهبرد، سازگاری و تسلط بر فناوری به سرعت در حال رشد هستند ، در حالی که مهارت‌های سنتی مانند کنترل کیفیت، آموزش و حتی برنامه‌نویسی در اولویت پایین‌تری قرار می‌گیرند. چرا؟ چون هوش مصنوعی در حال بازنویسی قواعد بازی است. کارفرمایان دیگر فقط به دنبال «مهارت» به معنای سنتی آن نیستند آن‌ها به دنبال افرادی هستند که در این موارد برجسته باشند: → تفکر تحلیلی → تاب‌آوری، انعطاف‌پذیری و چابکی → رهبری و تأثیرگذاری اجتماعی → انگیزه و خودآگاهی → تفکر خلاق → تفکر سیستمی → کنجکاوی و یادگیری مادام‌العمر این دقیقاً همان جایی است که چارچوب شایستگی جدید ما با عنوان «پنج‌گانه بزرگ راهبردی» وارد می‌شود. این فقط یک چارچوب یا مجموعه‌ای از مهارت‌های نرم و سخت نیست—بلکه مجموعه‌ای متمرکز از مهارت‌های قدرت‌مند است که برای دنیای پر از عدم قطعیت و تغییر طراحی شده‌اند. @BIMining

#استخدام #دعوت_به_همکاری #بانک

#استخدام #دعوت_به_همکاری #bi #هوش_تجاری

✅تحلیل‌گر داده (Data Analyst) شرح وظایف: تحلیل داده‌های موجود برای استخراج اطلاعات و پشتیبانی از تصمیم‌گیری مبتنی بر داده. ✅دانشمند داده (Data Scientist) شرح وظایف: توسعه و پیاده‌سازی مدل‌های آماری و الگوریتم‌های یادگیری ماشین برای استخراج بینش و انجام پیش‌بینی‌های مبتنی بر داده. ✅تحلیل‌گر کسب‌وکار (Business Analyst) شرح وظایف:تحلیل و مستندسازی فرآیندهای کسب‌وکار برای شناسایی فرصت‌ها، نیازمندی‌ها و ارائه پیشنهادات برای بهبود. ✅مهندس یادگیری ماشین (ML Engineer) شرح وظایف: طراحی، توسعه و پیاده‌سازی سیستم‌های یادگیری ماشین برای تضمین مقیاس‌پذیری، عملکرد و قابلیت اطمینان در محیط تولید. مهارت‌ها: یادگیری ماشین- مهندسی داده (ETL، پایپ‌لاین‌ها)-پایتون / جاوا-SQL-ابزارهای داده حجیم-مهندسی نرم‌افزار ✅مهندس هوش مصنوعی مولد (GenAI Engineer) شرح وظایف: توسعه و پیاده‌سازی مدل‌ها و برنامه‌های هوش مصنوعی مولد برای تولید محتوا، خودکارسازی و ارائه تجربه‌های شخصی‌سازی‌شده. مهارت ها: پایتون (Transformers، PyTorch، TensorFlow)-HuggingFace-LangChain-LangAPIها-مدل‌های LLMs @BIMining

در نسخه 25.0.4 DBeaver ، پشتیبانی از پایگاه داده ClickHouse با دو تغییر مهم بهبود یافته است: 1. به‌روزرسانی درایور ClickHouse به نسخه 0.8.5 ابزار DBeaver برای اتصال به ClickHouse از درایور JDBC استفاده می‌کند. در نسخه25.0.4 این درایور به نسخه 0.8.5 ارتقا یافته است. مزایای این به‌روزرسانی: •افزایش سازگاری با نسخه‌های جدیدتر ClickHouse. •رفع باگ‌ها و بهبود عملکرد ارتباط با سرور. •پشتیبانی بهتر از ویژگی‌ها و قابلیت‌های جدید ClickHouse. •امنیت و پایداری بیشتر در ارتباطات پایگاه داده. درایور جدید را می‌توانید از طریق تنظیمات اتصال (Connection Settings) در DBeaver انتخاب یا به‌روزرسانی کنید. همچنین امکان ویرایش تنظیمات پیشرفته درایور (مانند پارامترهای JDBC) وجود دارد. 2. رفع مشکل نمایش نوع داده‌ها (Data Type Display) در نسخه‌های قبلی DBeaver، برخی کاربران با مشکل نمایش نادرست یا ناقص نوع داده‌ها (Data Types) در جدول‌ها و ستون‌های ClickHouse مواجه بودند. این مشکل در نسخه 25.0.4 برطرف شده است. @BIMining

راهی ساده و سرگرم‌کننده برای یادآوری اجزای کلیدی یک استک داده مدرن: 1- انبار داده (Data Warehouse) مانند یک اتاق ذخیره‌سازی منظم. ✅ داده‌های تمیز و ساختار یافته را ذخیره می‌کند ✅ مناسب برای گزارش‌ها، داشبوردها و تحلیل‌های کسب‌وکار 💡 مثال: Azure Synapse Analytics 2- دریاچه داده (Data Lake) مانند یک دریاچه بزرگ که همه چیز در آن ریخته می‌شود. ✅ داده‌های خام، نیمه‌ساختاریافته و غیرساختاریافته را نگه می‌دارد ✅ عالی برای علم داده و اکتشاف یادگیری ماشین 💡 مثال: Azure Data Lake Storage 3- کارخانه داده (Data Factory) مانند یک کارخانه که مواد خام را جابجا و پردازش می‌کند. ✅ داده‌ها را جابجا، تمیز و تبدیل می‌کند ✅ مدیریت جریان‌های ETL/ELT 💡 مثال Azure Data Factory: 4- دیتا بریکس( ATABRICKS) مانند یک کارگاه قدرتمند آجر. ✅ از Apache Spark برای پردازش داده‌های کلان استفاده می‌کند ✅ برای یادگیری ماشین و تحلیل‌های پیشرفته طراحی شده است 💡 مثال: Azure Databricks @BIMining

دنیای داده بسیار گسترده است، اما دانستن تفاوت این نقش‌ها می‌تواند ماه‌ها سردرگمی را از شما دور کند : ۱. تحلیل‌گر داده (Data Analyst) شما داده‌های خام را به بینش‌های واضح برای تصمیم‌گیری تبدیل می‌کنید. مناسب برای: افراد کنجکاوی که به الگوها و داشبوردها علاقه دارند. ۲. دانشمند داده (Data Scientist) شما مدل‌های پیش‌بینی می‌سازید و روندها را با استفاده از آمار و یادگیری ماشین کشف می‌کنید. مناسب برای: حل‌کنندگان مسئله که به کدنویسی و ریاضیات علاقه دارند. ۳. تحلیل‌گر کسب‌وکار (Business Analyst) شما پل ارتباطی بین داده و اهداف کسب‌وکار هستید. مناسب برای: ارتباط‌گیرندگانی که از تحلیل و استراتژی لذت می‌برند. ۴. مهندس یادگیری ماشین (ML Engineer) شما مدل‌های یادگیری ماشین را در مقیاس وسیع و به‌صورت قابل اطمینان پیاده‌سازی می‌کنید. مناسب برای: برنامه‌نویسانی که عاشق اتوماسیون، سیستم‌ها و بهره‌وری هستند. ۵. مهندس GenAI شما اپلیکیشن‌های مبتنی بر هوش مصنوعی را برای خلاقیت، اتوماسیون و شخصی‌سازی کاربر توسعه می‌دهید. مناسب برای: جویندگان ماجراجو که مشتاق ساخت آینده با هوش مصنوعی هستند. @BIMining