Data Science Notes

​Как изменится Spark и работа дата-инженера в новых реалиях? 🔥 OTUS приглашает 14 июня в 20:00 мск на бесплатный вебинар «Дата инженер и Spark в новых реалиях» онлайн-курса "Spark Developer" 📚На вебинаре мы ответим на вопросы: ✔️ Как изменятся источники и получатели данных, объемы данных, языки для ETL, кластера, облака и IDE? ✔️ Насколько будет востребован дата-инженера на рынке и к чему нужно быть готовым? А также обсудим open source технологии и примеры миграционных проектов. 👉🏻Регистрация на вебинар: https://otus.pw/6bXV/ 💎Бонус: пройдите вступительный тест и получите демо-ролик о занятиях на курсе.

​Аналитик данных от нуля до трудоустройства Хотите получить навыки необходимые для анализа и работы с данными? Не знаете как попасть в новую профессию? Приглашаем вас на курс «Профессия «Аналитика данных» от Moscow Digital School. Во время обучения вы освоите логические операторы SQL, работу с дашбордами BI, визуализации данных в Python, инструменты Excel и создадите свой аналитический проект. Научитесь строить прогнозы на основе данных и помогать бизнесу принимать решения. На курсе вас ждет большой объем практических заданий, а эксперты аналитики будут сопровождать вас на каждом этапе обучение, доступным языком объясняя сложные вещи и отвечая на все ваши вопросы. Лучшие студенты получат возможность попасть на стажировку в Ozon, Data Sfera, Agima. Старт потока: 31 мая 2022. Скидка 10% на обучение по промокоду: DSNOTES Акция действует 3 дня.

Планируете переезд или остаётесь в России? Если вы разработчик и у вас есть минута времени, поделитесь планами в анонимном опросе. Там всего 7 вопросов. Ваши ответы помогут крупному IT-работодателю понять, в каких странах стоит открывать офисы и как условия нужны разработчикам.

​🚀 Готовы сделать первый шаг к карьере дата-инженера? 23 и 24 мая в 20:00 пройдет открытый интенсив «Extract - Load с помощью SaaS-сервиса vs. Cобственное решение. Поиск баланса и дзен». Мероприятия проведет Артемий Козырь, Analytics Engineer в компании Wheely. ✅ На интенсиве мы рассмотрим следующие темы: ✔️ Extract-Load через SaaS решения. Возможности готовых сервисов, их надежность и ограничения. ✔️ Extract-Load через API-вызовы, обращения к СУБД и CDC — оптимальные способы реализации. ✔️ Автоматизация выгрузки, повторные попытки (retries), получение уведомлений в Slack (notifications) с помощью Airflow. ✔️ Накопление истории выгрузок и организация Data Lake в S3 перед DWH. 🔥 Еще больше полезных знаний будет ждать вас на онлайн-курсе «Data Engineer» от OTUS. По результатам обучения лучшие студенты смогут получить оффер от партнера курса — SberAutoTech. ⚡️ Хотите совершить рывок в карьере и решать интересные задачи в сфере Big Data? 👉 Тогда проходите вступительный тест и регистрируйтесь на вебинар

​🚀 Data Engineering — перспективная сфера на стыке дата-аналитики и дата-сайенс. Эта профессия может стать мощным рывком в карьере для разработчиков, администраторов СУБД и другим техническим специалистам, которые хотят решать интересные задачи в сфере Big Data. Освоить эту специальность поможет онлайн-курс «Data Engineer» от OTUS. ✅ За 4 месяца вы научитесь: ✔️ Работать с Architecture, Data Lake, DWH и MLOps ✔️ Адаптировать датасеты для дальнейшей работы и аналитики ✔️ Работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформам ✔️ Строить и управлять архитектурой данных в компании и многое другое В новом потоке вас ждет актуализированная программа, реальные кейсы, отработка навыков на виртуальных стендов и практика в Yandex.Cloud. 👉 Чтобы оценить подойдет ли вам курс, нужно пройти вступительный тест https://otus.pw/nzRY/ 🎁 Все, кто пройдут тест до 10 мая получит скидку 30%. Промокод: dataEng2022

Сетевые диски в Selectel с поддержкой бэкапов по расписанию Организовать хранение данных на облачных серверах в Selectel — быстро и безопасно! Подключите к сетевым дискам бэкапы по расписанию, чтобы регулярно делать резервные копии, а в случае ошибки или сбоя не потерять нужные вам данные. Цены: ⚈ Сетевой диск — от 7,28 ₽ за 1 Гб, ⚈ Услуга по резервному копированию — 3,7 ₽ за 1 Гб бэкапов в месяц. Вы можете сделать расчет под нужный объем и количество копий. Ссылка: https://slc.tl/gGkJe

​Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python — перед стартом необходимо пройти тест. Авторы и преподаватели – практикующие эксперты ведущих российских IT-компаний. Длительность — 6,5 месяцев. Курс на 75% состоит из практических занятий – по окончании программы в вашем портфолио будет не менее 10 проектов. Вы научитесь: - работать с технологиями Python, SQL, Metabase, Airflow, PostgreSQL, MongoDB, ClickHouse, Celery, Kafka, Hadoop, Apache Spark, Spark Streaming и Yandex.Cloud - извлекать, очищать и сохранять данные - создавать и поддерживать хранилища типов Data Warehouse и Data Lake - работать со стриминговой обработкой данных и облаками Претендовать на работу по новой специальности студенты курса смогут уже в ходе обучения – с поиском вакансии помогут специалисты карьерного центра Яндекс Практикум. Запись на курс открыта, старт занятий для ближайшего потока студентов – 18 апреля. Стоимость курса: 95 000 рублей при разовой оплате, при оплате в рассрочку – 17 000 рублей в месяц. По завершении программы студенты получат диплом о профессиональной переподготовке. Запись на бесплатную вводную часть и подробности по ссылке.

​Сменить профессию трудно. Но с поддержкой это по силам каждому. Яндекс Практикум придумал акцию «Ученье, свет», чтобы сделать ваш путь к новой профессии проще. → Купите курс до 4 мая и получите набор подарков. Полезные вещи сделают учёбу комфортнее, а забота команды Практикума поможет дойти до цели. (1) Умный браслет, чтобы научиться успевать все важные дела. И поддержка кураторов, которые напомнят о дедлайнах. (2) Настольная лампа, чтобы читать онлайн-учебник или писать код по вечерам. И советы наставников, чтобы применить теорию на практике. (3) Ночник, чтобы отдыхать от учёбы уютно. И обратная связь от ревьюеров, чтобы сделать проекты лучше. (4) Кофеварка или чайник с подсветкой, чтобы заряжаться энергией, пока ищете первую работу в новой профессии. И консультации с карьерными специалистами, чтобы вы чувствовали себя уверенно на рынке труда. Как получить подарки: → Зарегистрируйтесь в акции. → Выберите курс. → Оплатите продолжение с 4 апреля по 4 мая 2022 года. Включите свет этой весной! → Узнать больше об акции

​Точка ищет IT-специалистов в штат Кого мы очень ждём: Аналитик-исследователь, который умеет анализировать данные, находить в них интересные инсайты и может визуализировать их в понятном широкой аудитории формате. Оплата: до 180 000₽ Data Scientist, чтобы вместе строить и улучшать модели машинного обучения для усовершенствования продукта и внутренних процессов. Оплата: до 380 000₽ Аналитик, который будет анализировать и визуализировать метрики сервисов, созданных для разных сегментов бизнеса. Оплата: до 220 000₽ Что вас ждет в Точке: Удобный график: работать можно откуда угодно — из дома, офиса или другой страны. У нас пятидневная рабочая неделя с гибким началом дня ДМС со стоматологией и корпоративный психолог, курсы за счёт компании, своя библиотека и платформа с онлайн-курсами. И всё это в комфортных условиях без необходимости согласовывать каждый шаг, без бюрократии и дресс-кода. Точка создает продукты для предпринимателей, которые помогают им эффективнее вести дела, не думать о рутине и больше зарабатывать. Это лидирующая компания на финтех-рынке, которая задает тон на рынке продуктов. Присылайте резюме!

​Хотите освоить профессию ML-инженера, но устали проходить десятки мини-курсов по машинному обучению? Ищете способ структурировать знания и закрепить их на практике? На курсе Start ML за 7 месяцев вы получите все знания и навыки, необходимые сильному ML-специалисту. Вы научитесь разрабатывать приложения на Python, обучать модели и нейронные сети, а также оценивать их влияние на бизнес с помощью статистики и A/B-тестов — всё под руководством практиков из топовых компаний. К концу обучения у вас будет готовый сервис по ранжированию и выдаче релевантных постов в социальной сети, о котором вы сможете рассказать будущему работодателю. На отдельных занятиях вы разберёте типовые задачи с собеседований на Junior позицию, а наш HR обязательно поможет с трудоустройством — в течение трёх месяцев работу находят 90% наших выпускников. Переходите по ссылке и записывайтесь на курс до 15 апреля — по промокоду DSNOTES дарим скидку 10%. А ещё для всех желающих на сайте доступна бесплатная демоверсия.

​​Аналитический митап от СберМаркета «Тележка данных» СберМаркет приглашает 14 апреля поговорить аналитике эффективности, борьбе с опозданиями и о планировании времени доставки. Спикеры поделятся, как работает аналитика в СберМаркете: «Борьба с опозданиями», Алексей Раскин, Руководитель отдела операционной аналитики в СберМаркете Поговорим об опозданиях и их причинах. Как искать заказы, из-за которых опаздываем, если в среднем все работает хорошо? Сравним сборку и доставку: когда курьер ждет заказ и когда заказ ждет курьера. И поделимся своими гипотезами, как победить опоздания – окончательно и бесповоротно. «Планируем время быстрой доставки», Гарри Дасаев, Продуктовый аналитик в СберМаркете Расскажем о том, как продуктовый аналитик может помогать бизнесу на стыке продуктовой и операционной аналитики. Доклад будет построен на примере тестов и исследований о влиянии ЕТА (estimated time of arrival) на продуктовые и операционные метрики. Как пользователи воспринимают опоздания? Одинаково ли пользователи воспринимают одну и ту же разницу по времени? Встреча состоится 14 апреля в 18:00 Регистрация

Как роботы распознают наши эмоции – Анатолий Бобе (ru) 2018 Доклад от главы отдела машинного обучения компании Neurobotics. В нём рассказывается о различных подходах к распознаванию эмоций. Подробно рассмотрен метод оценки базовых эмоций по П. Экману — на основе расчёта 20 информативных признаков по изображению лица. Часть доклада посвящена алгоритму, разработанному в компании Neurobotics на базе этого метода. Он предназначен для использования в приложениях нейрокомпьютерного интерфейса в системах сервисной робототехники и психологической диагностики. Смотреть #video #beginner

​✅ Где осваивать MLOps-практики? 📚 29 марта в OTUS стартует практический онлайн-курс «MLOps». Во время обучения вы освоите актуальные инструменты и технологии: Kubernetes, Spark, Python, Docker. Вас ждет общение с преподавателями-экспертами, профессиональное комьюнити, разбор рабочих кейсов и многое другое. Партнёром курса является Сбер. 🚀 Не упустите возможность проложить себе путь в крупнейшие IT-компании! 👉 Пройдите вступительный тест, чтобы присоединиться к группе по спец.цене https://otus.pw/ZDY0/

​🤔 Hadoop устарел? Или все-таки актуален? Чтобы выяснить судьбу популярной технологии, команды VK Cloud Solutions и Karpov.Courses устроят онлайн-батл. ⏰ 22 марта, 19:00 (мск) 📍 Регистрация Спикеры: 🔹 Александр Волынский, технический менеджер продукта ML Platform, VK Cloud Solutions, преподаватель Karpov.Courses 🔹Сергей Михалев, руководитель группы Data Platform, Одноклассники 🔹Александр Крашенинников, руководитель направления хранения и обработки данных (BI), Ozon 🔹Модератор: Александр Боргардт, лидер сообщества DuckStax О чем будут спорить: - Актуален ли Hadoop на самом деле? - Правда ли, что Hadoop чаще выполняет роль Data Swamp, а не Data Lake? - Почему компании не спешат отказываться от Hadoop? Может быть, все не так уж плохо? - Какую роль предстоит сыграть облакам: вдохнут ли они в Hadoop новую жизнь или предложат альтернативу? В конце мероприятия эксперты ответят на ваши вопросы во время Q&A-сессии.

​28 марта Newprolab запускает обновленный 10-й поток программы Data Engineer. Присоединяйтесь: https://clck.ru/dYCue Приглашаем аналитиков данных, дата-инженеров, бэкенд-разработчиков и менеджеров систематизировать свои знания и разобраться с практиками и инструментами дата-инжиниринга раз и навсегда. 7-недельная программа включает: - 21 тематическое занятие в зуме - 10+ инструментов по работе с данными: Kafka, HDFS, ClickHouse, ELK, Spark, Airflow, Apache Flink, Docker, Grafana, Kubernetes и др. - 6 лаб для полноценного погружения и работы с облачным кластером (практические задачи, максимально приближенных к реальных задачам дата-инженеров) - помощь координатора (по технической части) и ментора (опытного дата-инженера) во время всей программы 👥На программе преподают Андрей Титов (NVIDIA), Егор Матешук (ГПМ Дата), Игорь Мосягин (Klarna), Николай Марков (Aligned Research Group) и другие эксперты-практики в сфере работы с данными. После нашей программы вы будете ориентироваться в карте инструментов и технологий и легко сможете понять, куда развиваться дальше в своей карьере и по праву сможете называть себя дата-инженером. Участники, которые успешно пройдут программу, получат сертификат с подтверждением результатов. По промокоду "DS_NOTES_0322" вы можете получить скидку 15% до 25 марта.

​🔥 Быстрая проверка гипотез — это одна из главных стратегий, способных сделать стартап успешным. Она позволяет чаще получать обратную связь от инвесторов за счет возможности быстро разрабатывать простые прототипы сервисов, частично реализующих функционал проекта. 👉 Как быстро прототипировать сервисы, использующие глубокое обучение? 📌 В OTUS, 24 марта в 20:00 (мск), в рамках онлайн-курса «MLOps» состоится бесплатный вебинар для тех, кто занимается машинным обучением. На занятии с практикующем преподавателем мы рассмотрим полный цикл разработки прототипа ML-сервиса, начиная от обучения модели на собранном датасете, заканчивая развертыванием его в виде web-приложения. ✅ Чтобы зарегистрироваться на встречу, пройдите вступительный тест - https://otus.pw/HvgU/

​​МТС запускает Школу аналитиков данных За девять месяцев студенты научатся продвинутому программированию на Python, освоят инструменты работы с Big Data и познакомятся с принципами построения ML-моделей в самых распространенных сферах использования: геоаналитике, рекомендательных системах, финтехе и рекламе. Обучение бесплатное, кандидатам нужно пройти только вступительные испытания. Подать заявку можно до 15 марта. Обучение начнется 1 апреля 2022 года.

​​🚀 S3 или Databases? Как снизить нагрузку на текущие мощности и сэкономить на хранении данных? Расскажем на бесплатном вебинаре. ⏰ Когда: 10 марта, 17:00 (мск) 📍 Регистрация: https://cutt.ly/0As3vfJ 🔹Спикер: Александр Волынский, архитектор VK Cloud Solutions На вебинаре обсудим: 🔸 S3-хранилище и принципы его работы; 🔸 S3 vs Databases: ключевые различия; 🔸 где стоит и где не стоит использовать базы данных; 🔸 как выбрать подходящее решение — S3 или DBaaS. Разберем, когда на практике выгодно использовать объектное хранилище, а когда — Databases as a Service. 👉 Зарегистрироваться: https://cutt.ly/0As3vfJ

10 Simple hacks to speed up your Data Analysis in Python (en) 2019 Автор в короткой статье делится советами по автоматизации и ускорению процессов анализа данных на python. Читать #article #beginner

​​Яндекс.Практикум — сервис онлайн-образования. Мы помогаем людям расти — на работе и в жизни. Если у вас есть знания и опыт в области Data Engineering — вы можете стать наставником для наших студентов. Что делает наставник? Наставник помогает студентам учиться: отвечает на вопросы по предметной области и помогает с трудностями. Каждый наставник курирует группу из 60-90 студентов: общается с ними в Slack, проводит групповые вебинары и индивидуальные консультации на протяжении 6 месяцев обучения. Я хочу стать наставником. Меня возьмут? Скорее всего — да, если вы: — Data Engineer с опытом работы от 3 лет. — Умеете работать с Kafka, Spark, RabbitMQ, Docker, Kubernetes, Helm, AWS. — Работаете с распределёнными хранилищами, нормализацией данных и настройкой потока данных. — На продвинутом уровне знаете SQL и NoSQL. — Готовы посвящать проекту до 10 часов в неделю. — Мы также ценим опыт преподавания и наставничества. Я подхожу. Что вы можете мне предложить? — Возможность совмещать участие в проекте с основной работой — получать дополнительный опыт и деньги. — Возможность работать вместе с нами над личным брендом — писать статьи с нашей поддержкой, выступать в мероприятиях под брендом Практикума. — Каждый наставник проходит обучение в Школе наставников Яндекс Практикума — это возможность прокачать навыки преподавания и работы со студентами. — Обмен опытом и нетворкинг с другими специалистами в нашем сообществе — среди них есть и специалисты по анализу данных, Data Science. Откликнуться по ссылке Контакты: ТГ @HelenaTrishkina, trishkina-ev@yandex-team.ru