Data Science

نقدی بر مسابقه داده کاوی فناورد مرحله اول مسابقه داده کاوی تمام شد و برای مرحله دوم افرادی انتخاب شدند. اول باید اعتراف کنم که انتخاب نشدگانی هم سطح با انتخاب شدگان وجود داشت که تعدادشان کم نبود. انتخاب بین انها مثل بازی حذفی فوتبال بود که بعد از 120 دقیقه در ضربات پنالتی آنهم بعد از پنالتی 5ام که یک تیم توپ را به دیرک می زند و یکی بعد از برخورد با دست دورازه بان گل می شود شده بود. تیمی که افراد مرحله اول را انتخاب کردند بر اساس روش های ارزیابی روی داده آزمون بوده است. البته باید اعتراف کنم که کیفیت داده و نوع سوال هم در دقیق تر مشخص نشدن تیم مرحله دوم موثر بود. رویکرد حل چالش های کسب و کار بومی با استفاده از داده بومی است که کیفیت آن به نسبت داده غیر آن پایین تر بود. همچنین نوع سوالات کمتر به مسائل داده کاوی شبیه بود و به خاطر نیاز حامی این سوالها مطرح شده بود. به نظر بنده دوستانی که تجربه کار با داده بومی و غیر پاکسازی شده را داشتند در این مسابقه بیشتر توانستند موفق باشد. امیدوارم در سالهای آتی استاندارد این مسابقات به سطح بالاتری ارتقا پیدا کند همانطور که امسال به نسبت سال پیش ارتقا پیدا کرد. استاندارد بیشتر در نوع سوال، مناسب تر بودن داده، استاندارد بهتر ارزیابی در تقسیم داده آزمایشی و آزمون و .... ارادتمند مهدی نصیری

همانطور که از نمودارهای سایت Kdnuggets قابل مشاهده می باشد رشد 53 درصدی زبان پایتون در حوزه علم داده طی یک سال گذشته این زبان را به زبان اول این حوزه تبدیل کرده است. در حوزه تحلیل های پیش بینانه نیز همچنان زبان R و SAS با توجه به وجود کتابخانه های غنی و قدرتمند در حوزه یادگیری ماشین و الگوریتم های پیش بینی بیشترین کاربرد را داشته اند.

مقایسه کاربردهای میان زبان های پایتون، R و SAS @dataanalysis

مقایسه کاربردهای میان زبان های پایتون، R و SAS @dataanalysis

با سلام یکی از راه های تبدیل شدن به دانشمند علم داده شرکت در دوره آنلاین دانشگاه های برتر جهان در سایت هایی مانند Coursera, Edx, bigdataUniversity و... می باشد. در ادامه برخی از دوره های برتر حوزه علم داده را طبق تجربیاتی که با شرکت در این دوره ها بدست آوردم, بیان خواهم کرد. 1- دوره علم داده دانشگاه John Hopkins: این دوره جز کاملترین دوره های حوزه علم داده می باشد که در ۹ بخش تدریس می شود. در این دوره تمامی نیازمندی های تبدیل شدن به یک دانشمند علم داده بیان می گردد. زبان تخصصی این دوره زبان R می باشد و در طول دوره این زبان نیز تدریس می گردد. https://www.coursera.org/specializations/jhu-data-science 2- دوره های یادگیری ماشین: یکی از برترین دوره های یادگیری ماشین دوره آقای Andrew Ng می باشد که توسط دانشگاه استنفورد ارائه می گردد. ابزار اصلی این دوره Octave می باشد. سطح این دوره از لحاظ تئوری بسیار بالا می باشد. https://www.coursera.org/learn/machine-learning دوره بعدی مناسب حوزه یادگیری ماشین، دوره دانشگاه واشنگتن می باشد که در پنج بخش تدریس می گردد. در این دوره مباحث با زبان برنامه نویسی پایتون تدریس می گردد. https://www.coursera.org/specializations/machine-learning 3- دوره کلان داده : بهترین مرجع دوره های مرتبط با حوزه Big Data دوره های آنلاین سایت BigdataUniversity می باشد که در تمامی حوزه های کلان داده و پلتفرم های مرتبط همچون آپاچی هدوپ، اسپارک و.... دوره های مناسب و کوتاهی دارد. bigdataUniversity.com به صورت تخصصی در پلتفرم آپاچی اسپارک دوره تخصصی دانشگاه برکلی که شامل پنج بخش می باشد جز برترین دوره های آپاچی اسپارک می باشد. تمرکز این دوره بر پایتون و کتابخانه Pyspark می باشد. از مزیت های این دوره وجود کارگاه های بسیار قوی می باشد https://www.edx.org/course/introduction-apache-spark-uc-berkeleyx-cs105x @dataanalysis ارادتمند محمدرضا محتاط

اخیرا درس داده‌های حجیم رو در دانشگاه KTH سوئد ارائه کردم که تمام مطالب رو آنلاین گذاشتم. اگر علاقمند باشید می‌تونید مطالب درس رو در لینک زیر دنبال کنید: https://www.sics.se/~amir/id2221/

برای کسانی که در SQL می خواهند با R کار کنند لینک زیر می تواند مفید باشد http://www.datasciencecentral.com/profiles/blogs/r-for-sqlistas-1-forecasting-the-future https://telegram.me/dataanalysis

تقسیم بندی الگوریتم های یادگیری ماشین https://telegram.me/dataanalysis

تفاوت مهندس داده، عالم داده و مهندس نرم افزار https://telegram.me/dataanalysis

10 الگوریتم برتر داده کاوی 1. C4.5 2. k-means 3. Support vector machines 4. Apriori 5. EM 6. PageRank 7. AdaBoost 8. kNN 9. Naive Bayes 10. CART https://telegram.me/dataanalysis http://www.kdnuggets.com/2015/05/top-10-data-mining-algorithms-explained.html

Cloud Native Landscape @dataanalysis

کانال علم داده @dataanalysis کانال معرفی کلان داده ها و فناوری مرتبط @BigDataTechnology گروه علم داده https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g گروه متن کاوی https://telegram.me/joinchat/BCuwFj7gB2aeH_76bNz5dQ گروه Big Data https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA گروه علم داده در سلامت https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA

عرض تسلیت خدمت همه مسلمین جهان

علم داده و زبان پایتون @dataanalysis

گوگل خدمات جدیدی به محصول یادگیری ماشین ابر خود اضافه کرد. APIهایی برای ‍‍‍‍‍NLP و ... http://www.computerworld.com/article/3142014/cloud-computing/google-adds-new-services-to-its-cloud-machine-learning-products.html?idg_eid=d66ee879fd37a6d7005331e3b2009f41&token=%23tk.CTWNLE_nlt_computerworld_data_management_2016-11-23&utm_source=Sailthru&utm_medium=email&utm_campaign=Computerworld%20Data%20Management%202016-11-23&utm_term=computerworld_data_management#tk.CW_nlt_computerworld_data_management_2016-11-23 https://telegram.me/dataanalysis

قرار گیری تیم MrMining در بین 10 تیم برتر رویداد کارآفرینی محتوا و خدمات جویشگر بومی چندی پیش رویدادی با عنوان رویداد کارآفرینی محتوا و خدمات جویشگر بومی برگزار گردید. هدف اصلی این رویداد شناسایی ایده‌های برتر، کارشناسان، متخصصان و تیم‌های کاری علاقه‌مند به فعالیت در زمینه محتوا و خدمات موتور جستجوهای بومی تعریف شده بود. ایده محوری تیم MrMining بهبود جستجوی مقالات با استفاده از تکنیک های داده کاوی و متن کاوی است. در روش پیشنهادی علایق کاربر (از همه مهمتر سطح دانش کاربر نسبت به یک موضوع) به عنوان یک پارامتر مهم در جستجوی کاربر لحاظ شده و سعی می شود این علایق در نمایش بهتر مقالات و مطالب علمی مورد استفاده قرار بگیرید. تیم MrMining و 9 تیم دیگر توانستند در مرحله اول داوری امتیاز لازم را کسب کنند و وارد مرحله دوم بشوند. توی این مرحله، رقابت سخت تر و نفس گیر تر است و تیم ها باید یک MVP (نمونه اولیه) از محصول شون رو توی زمان تعیین شده پیاده سازی کنن. تیم MrMining امیدوار است بتواند در مرحله دوم نیز امتیاز لازم را برای قرار گیری در بین ایده ها برتر کسب نماید و بتواند طرح خود را به صورت عملیاتی درآورد. جویشگر چیست؟ جویشگر تنها یک ابزار جستجو و ارائه داده نیست.جویشگر مجموعه ای از ابزارها است که با ارائه خدمات متنوع و جذاب در قالب یک وبگاه منجر به جذب بیشتر کاربران و تاثیر در زندگی آنان گردیده و از طریق تعامل با کاربران آنان در رایا فضا ضمن کسب درآمدهای بالا، می‌تواند موجب تغییر سبک زندگی آنان گردد. اطلاعات بیشتر در لینک زیر http://l1l.ir/lho اولین مرجع داده کاوی، فرآیند کاوی، هوش مصنوعی و نقش آنها در کارآفرینی @MrMiningChannel آدرس سایت MrMining.ir

مهارت های مورد نیاز در تیم علم داده @dataanalysis

اربعین حسینی تسلیت

برترین ابزارها و تکنولوژی های Big Data @dataanalysis

وب سایت Dataquest.io یادگیری پویا علم داده با زبان پایتون @dataanalysis