Big Data Science

🥳Впереди продолжительные выходные, а значит можно посвятить это время тому, до чего долгое время не доходили руки. Например, изучить Data Science или посмотреть фильмы из давно сохраненной подборки! Расширяем подборку фильмов для айтишников и программистов:

😱Наглядная шпаргалка по операциям с DataFrame в pandas для data wrangling и не только: https://tproger.ru/articles/pandas-data-wrangling-cheatsheet/

Объяснимый ИИ, блокчейн и фабрики данных: исследовательское бюро Gartner прогнозирует самые перспективные на 2020 год тренды в аналитике данных: https://www.gartner.com/smarterwithgartner/gartner-top-10-data-analytics-trends/

🏂Как обычно, в конце месяца мы публикуем дайджест интересных событий в мире Data Science: научные конференции, практические митапы, хакатоны и бизнес-форумы. Итак, в марте нас ждут: • 03.03.2020 - Intelligent Automation Exchange (Майами, США) - Практический форум и выставка профессиональных достижений в сфере DS, ML, AI https://ecoadmin.iqpc.com/?event_id=5d3827e131202579a874b106 • 05.03.2020 - DS + Prod = One Love (Санкт-Петербург) - Профессиональная ИТ-встреча, где эксперты из Одноклассников, Вконтакте и Сбербанка расскажут о реальных кейсах внедрения DS в production https://dsprodone-love.timepad.ru/event/1259508/ • 10.03.2020 - AI Hardware Summit Europe (Мюнхен, Германия) - Научно-практический саммит по аппаратному обеспечению ИИ-приложений https://aihardwaresummiteu.com/events/ai-hardware-summit-europe • 11.03.2020 - Big Data & AI World (Лондон, Великобритания) - Крупная научно-практическая конференция по вопросам DS, ML, AI с привлечением вендоров Big Data систем и бизнес-экспертов https://www.bigdataworld.com/ • 16.03.2020 - Кому нужен ваш креатив, или переводим с бизнесового на человеческий (Москва) - Практический митап по бренд-маркетингу в категории B2C: эксперты Яндекса и приглашенные специалисты расскажут, что такое CJM и креативность в рекламе https://events.yandex.ru/events/brand-marketing-meetup-2020 • 17.03.2020 - AI & Big Data Expo Global (Лондон, Великобритания) - Международная выставка научно-технических достижений в сфере больших данных, DS, ML, AI https://www.ai-expo.net/global/ • 19.03.2020 - Data Innovation Summit 2020 (Стокгольм, Швеция) - Международный научно-практический саммит по аналитике данных и ее приложениям в бизнесе https://datainnovationsummit.com/ • 20.03.2020 - Дзен-митап: рекомендательные системы (Москва) - Разработчики ВКонтакте и Яндекс.Дзена расскажут о своих подходах к проектированию рекомендательных систем https://events.yandex.ru/events/zen-meetup/20-03-2020 • 21.03.2020 - International Conference on Applied Mathematics & Computional Science (ICAMCS 2020) – Венеция, Италия - Международная конференция по применению математических методов и моделей в различных отраслях промышленности и бизнеса: от медицины до маркетинга - https://www.icamcs.net/ • 21-22.03.2020 - Хакатон от Яндекс.Недвижимости (Москва) - Командное соревнование для разработчиков, анлитиков и дизайнеров с призовым фондом 500 тысяч рублей. Прием заявок на готовые задачи или презентацию собственных стартапов до 10 марта -https://yandex.ru/promo/realty/hacktherealty • 23.03.2020 - Gartner Data & Analytics Summit (Техас, США) - Практический саммит от самого авторитетного исследовательского бюро - аналитической компании Gartner: современная аналитика данных для аналитиков, менеджеров, руководителей и ИТ-архитекторов https://www.gartner.com/en/conferences/na/data-analytics-us • 26.03.2020 - Machine Learning School (Севилья, Испания) - Школа машинного обучения для начинающих и профессионалов: от основ к рабочим ML-приложениям https://bigml.com/events/machine-learning-school-in-seville-2020 • 28.03.2020 - International Conference on Mathematics, Statistics and Economics (Бангкок, Таиланд) - Международная научно-практическая конференция по математическим методам и статистике в экономике: модели ML и темы Big Data и DS также будут обсуждаться https://waset.org/mathematics-and-statistical-science-conference-in-february-2020-in-bangkok Напомню, некоторые из этих мероприятий можно посетить бесплатно по предварительной регистрации. Участвуйте и повышайте свой профессиональный уровень в Big Data Science!🎯

CCMatrix - самый большой на сегодня датасет для машинного перевода, в 50 раз больше WikiMatrix: около 4,5 миллиардов параллельных предложений в 576 языковых парах. При создании использовались методы массивно-параллельной обработки информации и библиотека FAISS для быстрого поиска по сходству. Автоматизированный и распараллеленный процесс интеллектуального анализа битов обрабатывал сразу несколько пакетов с данными по 50 миллионов примеров одновременно на сервере с 8 графическими процессорами. Благодаря этому удалось быстро извлекать предложения на разных языках из множества общедоступных текстов. Ожидается, что CCMatrix улучшит системы машинного перевода и поможет разработать новые способы создания крупномасштабных мультиязыковых датасетов. Подробную статью на английском читайте здесь: https://ai.facebook.com/blog/ccmatrix-a-billion-scale-bitext-data-set-for-training-translation-models/

📹Netflix open sources data science management tool Metaflow (инструмент, разработанный внутри компании) полностью управляет проектами в области данных Python, работает с любой библиотекой машинного обучения и интегрируется с облачными сервисами AWS. Читаем больше об этом сервисе по ссылке: https://www.infoworld.com/article/3488796/netflix-open-sources-data-science-management-tool.html Также на habr есть довольно подробная статья (и даже на русском): https://habr.com/ru/company/ruvds/blog/482462/

Машинное обучение обучает не только машины: в университете Северной Каролины (США) AI помогает студентам лучше усвоить материал с помощью индивидуального тестирования в игровой форме. Подробнее читайте тут: https://www.sciencedaily.com/releases/2020/02/200205132409.htm

🌎Изменения, происходящие в среде Data Science и Data Engineering Tooling Environment - кто сейчас нужен компанииям: Data Scientist или Data Engineer - может ли Data Scientist быть также и Data Engineer'ом - какие инструменты им нужны в работе, насколько они разные Об этом и даже больше можно почитать в статье (правда на английском): https://www.forbes.com/sites/cognitiveworld/2019/12/01/why-data-scientists-arent-data-engineers/#2d92d7bf3445

Абсолютно бесплатный вебинар для тех, кто давно хотел узнать про анализ данных с Python-библиотеками Pandas и Numpy: https://geekbrains.ru/events/869 P.S. Бесплатный, только не забудьте зарегистрироваться 🙂 Всем хорошего и продуктивного Data Science дня!

🤩БЕСПЛАТНАЯ КОНФЕРЕНЦИЯ ПО DATA SCIENCE И РАЗРАБОТКЕ 29 февраля в ЦДП состоится конференция X5 Retail Hero, посвященная Data Science и разработке в сфере ритейла. Мероприятие включает в себя 3 соревнования и конференцию. Участие бесплатное, необходима предварительная регистрация. Ссылку оставляем! Среди спикеров будут выступать специалисты из крупных компаний: • Георг Гаал (X5) расскажет о DevOps в видеоаналитике. • Юрий Юрченко (X5) выступит с темой «Валидация эффектов цифровых проектов». • Валерий Бабушкин (X5) расскажет, как скрестить аплифт-деревья и RL для рекомендательной системы, а в следующем выступлении объяснит, почему вы никогда не найдете дата-сайентиста. • Александр Фонарев (Rubbles) представит доклад на тему «Искусственный интеллект для предсказания спроса: как это работает на самом деле». • Асхат Уразбаев (ScrumTrek) представит доклад на тему «Гибкое управление DS-проектами». • Адам Елдаров (YouDo) выступит с докладом «Scrum или Kanban? Процессные фреймворки лучше работают в Data Science проектах». Ссылка на конфу: https://retailhero.ai

😍Data Scientist'ам на заметку в честь 14 февраля:

Meena - новый нейроассистент от Google, который будет разговаривать с вами лучше Siri и Alexa: https://artificialintelligence-news.com/2020/01/29/meena-google-truly-conversational-ai/

DataLearner - карманный DS-вычислитель под Андроид - новое мобильное приложение от Google. Локальная программа для относительно простых операций Data Mining: деревья решений, байесовские алгоритмы и другие методы классификации. https://play.google.com/store/apps/details?id=au.com.darrenyates.datalearner

LaserTager - новая ИИ-модель от Google, чтобы сделать перевод и редактирование текстов ещё проще и приятнее https://m.habr.com/ru/news/t/486748/

Немного новостей из мира Big Data Science: с 2020 года OpenAI, американская компания в сфере ИИ, перешла на PyTorch от FB вместо ранее используемого TensorFlow от Google. Аргументы в пользу PyTorch: эффективность, масштабируемость и адаптивность этой библиотеки. https://openai.com/blog/openai-pytorch/ А что используете вы в своих ML-проектах?

• 22.02.2020 - 4th International Conference on Mathematical Models & Computational Techniques in Science & Engineering - Международная конференция по математическим моделям и их практическому приложению с помощью информатики, включая ML и DS. Лондон (Великобритания), http://www.mmctse.org/index.html • 27.02.20 - 15th International Conference on Computer Vision Theory and Applications - Международная конференция по компьютерному зрению: теория и практика - ML и DS в действии. Валлета (Мальта), http://www.visapp.visigrapp.org/ Напомню, некоторые из этих мероприятий можно посетить бесплатно по предварительной регистрации. Участвуйте и повышайте свой профессиональный уровень в Big Data Science!

💥Закончились новогодние праздники, и DS-сообщество постепенно отходит от январской спячки и веселых каникул. В феврале нас ждет множество интересных событий по всему миру: от научных конференций до практических митапов и бизнес-форумов: • 01.02.2020 - PyData Moscow Meetup - в московском офисе Mail.ru Group состоится очередная PyData - практическая конференция с докладами и мастер-классами по хранению, визуализации, обработке и анализу данных с применением языка программирования Python. https://corp.mail.ru/ru/press/events/698/ • 01.02.2020 - Тренировка по машинному обучению от Mail.ru - Открытый ML-митап в Москве, где выступят успешные участники последних соревнований на Kaggle и других платформах, чтобы познакомиться, рассказать про задачи, обменяться опытом участия и пообщаться. https://corp.mail.ru/ru/press/events/713/ • 05.02.2020 - Конференция «Качество данных 2020» - практическая конференция в Москве с экспертами бизнеса и DS-специалистами о том, как обеспечить качество данных в соответствии с целями их использования, гарантировав полноту, точность, корректность и актуальность. https://www.osp.ru/iz/dataquality2020/ • 05.02.2020 - Forum.Digital AI - Международный бизнес-форум с участием правительства "Будущее искусственного интеллекта": обсуждение национальной стратегии развития искусственного интеллекта, внедрение новых технологий до 2030 года, перспективы и экономический̆ рост России. Москва, https://forum.digital/ai • 07.02.20 - День Российской науки 2020 от Mail.ru - Национальный медицинский исследовательский центр имени Дмитрия Рогачева, Фонд «Наука – детям» и компания Mail.ru Group проводят увлекательную научно-популярную конференцию в стиле TED. Вас ждут интересные практические лекции и дискуссии про передовые научные знания, приложения DS в медицине и не только. Москва, https://corp.mail.ru/ru/press/events/714/ • 18.02.20 - Конференция CNews «Искусственный интеллект 2020: опыт, технологии, прогнозы» - ИТ-специалисты, представители правительства и бизнеса поделятся собственным опытом разработки и внедрения решений на базе ИИ, результатами и дальнейшими планами. Москва, https://events.cnews.ru/events/iskusstvennyi_intellekt_2020__opyt__tehnologii__prognozy.shtml • 19.02.20 - AI в диалогах. Эволюция разговорных роботов для бизнеса: от хайпа к результатам - Эксперты из Яндекса, Ростелекома, ДИТ г. Москвы, Тинькофф, АпексБерг и ЦРТ расскажут о задачах и результатах роботов в клиентском сервисе, подходах к измерению конверсии, обработке естественного языка и речевых технологиях. Москва, https://www.naumen.ru/products/erudite/ai_in_dialogs/ • 19.02.20 - Научно-образовательная школа-конференция Math of Machine Learning 2020 - Три мини-курса от ведущих мировых специалистов и серии мастер-классов от представителей индустрии. Мероприятие от образовательного Фонда «Талант и успех», НИУ ВШЭ и Яндекса для студентов, аспирантов и молодых ученых в области теоретической и прикладной математики, DS и искусственного интеллекта. Сочи, https://sochy.mml2020.ru/ • 20.02.20 - OpenTalks.AI Открытая конференция по искусственному интеллекту - 20 и 21 февраля ведущая независимая открытая конференция по искусственному интеллекту в России представит доклады лучших российских спикеров со всех топовых международных конференций по ML/DL на одной площадке. 2 дня, 4 блока: NLP & speech, Computer vision, Predictive analytics & recommendation systems, Reinforcement learning. Обзорные доклады по науке, бизнесу и разработке, параллельные секции и большая постерная сессия. И множество опыта и прикладных кейсов от ведущих DS-специалистов. Москва, https://opentalks.ai/ • 21.02.20 - PyConfBy'20 - 6-я конференция по языку программирования Python и его применению в DS: практические мастер-классы и пленарные доклады от топовых ML-специалистов и руководителей отделов по разработке ПО, анализу данных и Business Intelligence. Минск (Беларусь), https://by.pycon.org/