Data Science | Machinelearning [ru]

​​Подсчет количества пар товаров в продуктовых чеках с помощью трех инструментов: Python, Spark, SQL Читать...

​​⚡️ В OTUS стартовал набор на курс «Rust Developer» для разработчиков на системных языках. 📚На курсе вы изучите сильные и слабые стороны Rust, научитесь избегать ошибки по работе с памятью и многопоточностью и освоите проектирование высокопроизводительного ПО. Пройдите вступительный тест и проверьте, насколько вы готовы к обучению на курсе «Rust Developer». 👉🏻Пройдите вступительный тест: https://otus.pw/5gKM/ Сможете сдать — пройдёте на продвинутый курс для для разработчиков и специалистов ИБ по специальной цене.

​​Сказки от TENSORFLOW и LSTM Разбор применения алгоритмов машинного обучения с использованием технологий LSTM для создания текстов. Читать...

​​⚠️Крупные компании, такие как Microsoft, Яндекс, Mail.Ru, Сбербанк в приоритет ставят безопасность своих продуктов. Разработка безопасных решений становится первостепенным требованием к IT-специалистам. Поэтому знание подхода DevSecOps — серьезное конкурентное преимущество. Этот навык можно получить на онлайн-курсе «Внедрение и работа в DevSecOps» от OTUS. 📚Оцените свои знания на вступительном тестировании - https://otus.pw/HcnK/ Пройдете вступительный тест, займете место в группе и получите бонусную скидки на курс! Бесплатные вебинары курса: 🔸Роль ИБ в современном мире — https://otus.pw/FSHA/ 🔸Почему безопасность должна быть на всех этапах CI/CD — https://otus.pw/Me00/ 🚀Регистрируйтесь сейчас

Структуры данных: двусвязный (двунаправленный) список Двусвязный (двунаправленный) список — это разновидность связного списка, при которой переход по элементам возможен в обоих направлениях (как вперед, так и назад), в отличие от односвязного (однонаправленного) списка. Читать... Предыдущая статья: Структуры данных: связный список

​В открытом море можно ориентироваться по звёздам, но лучше — иметь навигатор. Бесплатный курс Нетологии — и есть такой навигатор в море Data Science. Вместе с преподавателями-энтузиастами вы на простых примерах разберёте, как алгоритмы принимают решения, и напишите первый код на языке SQL. Всё, чтобы вы могли погрузиться в данные и вынырнуть с понимаем, куда плыть дальше.  Регистрируйтесь → https://netolo.gy/hLD

​Путеводитель по основным трендам 2021 года в области обработки естественного языка и не только Число исследований в области машинного обучения с каждым годом растет. Конечно, приятно было бы прогуляться по каждой статье или ветке исследований отдельно, но времени на это просто может не хватить, а «посетить» 2021 год еще раз, увы, не удастся. Следовательно, необходимо также искать «путеводители» - статьи, подсвечивающие некоторые тренды, понимание которых важно для будущих направлений исследований. В начале года одна из таких статей «гуляла» по различным каналам и чатам. Мне захотелось перевести ее на русский и поделиться с вами. Далее приведу перевод этой статьи с моими комментариями. Читать...

​МТС проведет онлайн-митап для дата-саентистов, дата-инженеров и специалистов, интересующихся машинным обучением Виртуальная встреча состоится 24 марта в 18:00 по московскому времени. Участие бесплатное. Зарегистрироваться можно тут. Спикеры из МТС и ivi.ru расскажут про PU Learning и разберут принципы сортировки блоков с фильмами на главной странице IVI. После этого Виктор Кантор, Валерий Бабушкин и Павел Мягких поделятся опытом использования Data Science в разных сферах бизнеса.

Настройка Data Science окружения на вашем компьютере После прохождения различных курсов и обучения на различных образовательных платформах, вроде Datacamp, вашим следующим шагом станет использование полученных знаний о Python, R, Git или Unix Shell на персональном компьютере. Однако, многие из нас затрудняются с тем, какие пакеты и программное обеспечение нужно установить, чтобы начать работу с различными технологиями. Именно об этом эта статья Читать...

Что в глубинах Data Lake? На Хабр вышел отличный текст от технического руководителя Core Data Lake центра Big Data МТС о том, какие слои находятся внутри Data Lake, как построить архитектуру базы данных и чем распределенный Data Mesh-подход отличается от монолитного хранения данных. В статье автор рассказал о задачах, архитектуре и проблемах развития Data lake, а также представил способы решения возникающих проблем, специфику процессов и перспективы развития. Читать тут.

​​На курсе «Инженер данных» мы учим проектировать хранилища и пайплайны данных, а ещё — помогаем сменить профессию. → Приходите учиться, если вы хотите развить свои компетенции или перейти на должность Data Engineer. Курс подойдет разработчикам, аналитикам и специалистам по Data Science, начинающим инженерам данных.  Выпускники смогут работать с полным циклом данных и использовать нужные инструменты, создавая пайплайны. В Практикуме мы обучаем в уникальной образовательной среде, которая объединяет технологии и людей. Вот, что будет на учёбе: ⬛️Теория в интерактивном тренажёре, который доступен 24/7.  ⬛️Упражнения на написание кода с быстрой обратной связью.  ⬛️ Обучение на реальных рабочих задачах из исследования JMF и на командных проектах. ⬛️ Код-ревью и персональные советы от действующих инженеров данных. ⬛️ Чат с преподавателями в слаке, где можно задать вопрос по сложной теме. ⬛️ Вебинары и продакшн-опыт от экспертов в инженерии данных.  ⬛️ Кураторы, команда поддержки и дедлайны, которые не дадут прокрастинировать. Мы помогаем выпускникам сменить работу, если они этого хотят. 71,1% наших выпускников начинают карьеру в новой сфере. После курса в вашем арсенале будут: резюме, сопроводительное письмо, портфолио, пробное интервью, практика по нетворкингу с работодателями.  → Старт потока — 21 марта. Учёба длится шесть с половиной месяцев. → Спроектируйте свой первый процесс обработки данных с помощью Python — это бесплатно.

Корпоративный мессенджер Slack стер рабочие пространства российских компаний. Кризис облачных решений и что делать бизнесу? В субботу 12 марта Slack удалил проекты и рабочие пространства некоторых компаний из России. Пострадали в том числе и разработчики Сбера. Никаких предупреждений и возможности сделать резервную копию данных не было: пользователи узнали о произошедшем, зайдя в приложение и не обнаружив своих переписок. Инцидент вызвал шок и шквал негатива, а также окончательно подорвал доверие к облачным решениям для корпоративных коммуникаций. Самый актуальный на сегодня вопрос - что делать всем тем, кто использует зарубежные облачные решения или задумывается об этом? Инцидент окончательно дал понять, что в сложившейся ситуации SaaS решения – не вариант. Информация, которая хранится и обрабатывается за пределами ИТ-инфраструктуры компании, принадлежит вам только формально: в любой момент в доступе к вашим данным могут отказать или вообще их уничтожить. Единственно безопасным и надежным на сегодня решением для бизнеса являются корпоративные мессенджеры российских разработчиков, которые (это важно!) размещаются на собственном сервере заказчика. Мессенджер eXpress, который до недавнего времени был в арсенале только крупных отечественных корпораций, готов предоставить всему российскому бизнесу стабильный и защищенный инструмент коммуникации. https://clck.ru/dxixN

​Вы уверенны в безопасности своих данных? Solar JSOC заявили о беспрецедентных по масштабу кибератаках за последние недели. Многие владельцы бизнеса также объявили о краже данных. Юристам компаний придется столкнуться с рисками, вызванными кибератаками. Но многие ли из них знают и умеют работать с данными? На фоне последних событий остро встает вопрос о должном уровне защиты данных, и о юристах, работающих с ними. На курсе Moscow Digital School «Юрист по работе с данными» вы узнаете, как правильно и эффективно осуществлять юридическую защиту данных. Рассмотрите нормативные требования и правоприменительную практику в области сбора, хранения и обработки всех видов данных (персональные данные, Big Data, IоT, ноу-хау, коммерческая тайна и др.). Узнаете, как безопасно продавать и покупать, а также зарабатывать на их использовании. Старт обучения: 24 марта 2022. Скидка на обучение 10% по промокоду: DATASCIENCE. Акция действует 3 дня.

Вакансия Архитектора по ML-платформе в МегаФон Мы ищем архитектора в команду BigData, который будет разрабатывать архитектуру одной из крупнейших в России ML-платформ. Готовы рассмотреть продвинутого Data-инженера, который хочет двигаться дальше.  Нам важно:  экспертные знания Hadoop, Spark, системное мышление, четкое понимание процесса разработки. Подробнее о вакансии

Интересные проекты искусственного интеллекта  Искусственный интеллект используют для создания интересных проектов, развлекаясь с которыми можно пропасть на долгое время. Например, вы можете играть с ИИ в ассоциации или же рассматривать изображения котов, созданные нейронной сетью. Или же, если вы любите рисовать, но не умеете, то к вашим услугам сервис AutoDraw, где любые ваши каракули Искусственный интеллект превратит в более-менее ровную и приятную картинку. Читать...

Как data science помогает угадывать цены на рынке Считается, что практически все технологические инновации в области инвестиций появляются именно в хедж-фондах. Будущее хедж-фондов зависит от data science и искусственного интеллекта, но без человека все равно не обойтись, уверен аналитик банка MUFG в Лондоне и выпускник «Школы анализа данных» «Яндекса» Артур Мешковский. Читать...

​​​​Сделайте шаг к профессии DevOps-специалиста! Изучите базовые инструменты на бесплатном онлайн-интенсиве Skillbox, который пройдёт 14–16 марта в 21:00 по московскому времени. Регистрируйтесь: 👉 https://clc.to/PK08zA Под руководством опытного Lead DevOps-специалиста в ВТБ Константина Брюханова вы: 💻 поймёте, что такое DevOps и почему эта специальность так востребована; 💻 узнаете подробнее о профессии специалиста DevOps; 💻 выясните основные задачи DevOps и инструменты их решения. К концу интенсива упакуете небольшое приложение в Docker и автоматизируете его сборку. Это высоко оценят будущие работодатели.  🎁 Всем дошедшим до конца интенсива дарим электронную книгу Пола Доэрти и Джеймса Уилсона «Человек + машина» издательства МИФ. А тем, кто выполнит практическую работу, — сертификаты на 10 тысяч рублей. Их можно потратить на любой курс Skillbox.   Регистрируйтесь прямо сейчас и получите в подарок полезный материал о профессии, зарплатах и карьерных перспективах.

Преимущества периферийного зрения для машин Исследователи находят сходство между тем как некоторые системы компьютерного зрения обрабатывают изображения, и тем, как люди видят краем глаза. Исследования Массачусетского технологического института показывают, что определенный тип надежной модели компьютерного зрения воспринимает визуальные представления так же, как люди делают это с помощью периферийного зрения. Читать...

Как постичь машинное обучение, если ты не великий математик Будем честны: все мы слышали о зарплатах инженеров по машинному обучению.  Но машинное обучение еще нужно освоить — и вот тут начинается мрак. Много споров по поводу того, насколько хорошо нужно знать математику для освоения машинного обучения. Но знать точно нужно. Читать...

​​Расскажем про старт карьеры в инженерии данных и что делать, чтобы получить новую профессию. Для кого: -Аналитиков -Разработчиков -Начинающих инженеров данных 11 марта в 19.00 по мск Зарегистрироваться по ссылке