Анализ данных (Data analysis)

📈Профессиональное интервью: как успешно пройти собеседование на позицию аналитика? Авито выпустили видео с полезными советами для всех, кто собирается проходить собеседование на аналитика в digital-сфере. Ира, руководитель аналитики в IT и недвижимости в Авито, поделится ценными советами и деталями самого процесса собеседования, а также расскажет, как успешно пройти его и получить желаемую должность. Что будет в видео: 🔹Этапы отбора: Ира расскажет о многоэтапном отборочном процессе в компании. Важные шаги, начиная с репрезентации через резюме и до последующих технических интервью и встреч с командами. 🔹Ключевые аспекты резюме: Что должно присутствовать в резюме аналитика? Почему важно указать стек используемых инструментов и рассказать, как решения конкретных задач повлияло на работу в предыдущей компании. 🔹Вопросы HR-специалисту: О чем нужно не забыть спросить и как это поможет принять решение о дальнейшем устройстве и деятельности на новом месте. 🔹Технический скоринг: Как подготовиться, какие вопросы задают кандидаты, почему стоит вспомнить матстат и теорию вероятности. 🔹Кейсы и открытые задачи: A/B эксперименты, решения сложных кейсов и как заранее потренироваться их решать. Рекомендуем к просмотру всем желающим углубиться в процесс найма и ознакомиться с ключевыми моментами. Реклама.ООО "КЕХ ЕКОММЕРЦ" ИНН 7710668349 erid: 2SDnjd5yksa

🔥 The Data Engineering Handbook бесплатно! В этом справочнике собраны все ресурсы, необходимые для того, чтобы стать отличным инженером по данным! В том числе проекты, которые вы сможете добавить в свое резюме. 📌Ссылка на справочник @data_analysis_ml

🔥 Live-интенсив: разбираем тестовое задание в OZON на junior-аналитика! 📣 Всем привет! Хотим пригласить вас на интенсив, где мы в прямом эфире будем разбирать настоящее тестовое задание в OZON на аналитика данных! Нам предстоит провести аналитику продаж и доставок с помощью Pandas в Python, а также проиллюстрировать это все графиками. 📅 Дата: 22 ноября 🕘 Время: 19:00 по Мск Что будем делать на интенсиве: ◾️ Проанализируем заказы пользователей по retention, времени доставки, сумме заказа т.д. ◾️ Научимся легко генерировать большой DataFrame с синтетическими данными ◾️ Посчитаем описательные статистики ◾️ Изучим полезные фичи Pandas: apply, map, pct_change и др. ◾️ Построим интерактивные графики с помощью Plotly ◾️ Научимся строить и читать необычные графики - например, violinplot Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python. В прямом эфире мы также расскажем о частых ошибках новичков и поделимся лайфхаками — как достойно пройти собеседование и удивить ревьюера крутыми фишками 🤩 А вы готовы бустануть свои знания и скиллы в аналитике? 👉🏻 Зарегистрироваться на интенсив Реклама. ООО "Айти Резюме". ИНН 4025460134. Erid:LjN8KZJ9q

🚀 Если вы хотите усовершенствовать свои навыки в области машинного обучения, ознакомьтесь с этими репозиториями 1️⃣ Многомесячный учебный план по машинному обучению 2️⃣ План подготовки к собеседованиям по Machine Learning 3️⃣ Машинное обучение с Tensorflow 4️⃣ Список примеров машинного обучения 5️⃣ Список замечательных фреймворков и библиотек машинного обучения 6️⃣ ML для начинающих от Microsoft 7️⃣ Изучение основ машинного обучения с помощью интуитивно понятных объяснений, чистого кода и визуализаций. 8️⃣ Машинное обучение своими руками @machinelearning_interview

В Авито работают более 230 аналитиков, и число команд постоянно растет. Искать тимлидов с нужными для компании качествами и навыками — сложный, дорогой и долгий процесс. Чтобы решить этот вопрос, в Авито открыли школу Analytics Manager School и начали самостоятельно готовить тимлидов. О том, с чего все начиналось, рассказал руководитель направления аналитики в Авито Недвижимости Стас Косилов. ✅Сперва собрали команду и разработали программу обучения. В нее включили вебинары, теорию и практику — это помогает ученикам понять, что значит быть тимлидом. Чтобы обучение можно было поставить на поток, программу нужно было тщательно продумать. ✅Затем нашли учеников, составили расписание занятий и начали учебу. Обучение шло три месяца: за это время в школе подготовили 15 будущих руководителей. ✅После завершения обучения оценили результаты: трое исполняющих обязанности тимлида стали тимлидами, четверо senior-аналитиков стали acting тимлидами. Проводить школу тимлидов решили два раза в год. А всем выпускникам предложили поддержку и консультации по карьерному росту. Реклама.ООО "КЕХ ЕКОММЕРЦ" ИНН 7710668349 erid: 2SDnjcnJHQt

🪁Продвинутый Python: оператор dot Казалось бы, что может быть тривиальнее оператора dot? Большинство из вас многократно пользовались этим оператором, не задаваясь вопросом, как именно он действует. Этот оператор очень удобен для решения повседневных задач. Вы обращаетесь к нему практически каждый раз, когда используете Python для чего-то большего, чем “Hello World”. Именно поэтому вам наверняка хочется копнуть глубже, и я готов стать вашим гидом. Начнем с банального вопроса: что такое оператор dot? Вот пример: hello = 'Hello world!' print(hello.upper()) # HELLO WORLD! Конечно, это пример простейшего “Hello World”, хотя я с трудом представляю, что кто-то начнет учить Python именно с этого примера. В любом случае, оператор dot — это часть “.” в строке hello.upper(). Вот более сложный пример: class Person: num_of_persons = 0 def __init__(self, name): self.name = name def shout(self): print(f"Hey! I'm {self.name}") p = Person('John') p.shout() # Hey I'm John. p.num_of_persons # 0 p.name # 'John' Оператор dot может использоваться в нескольких случаях. Чтобы было легче представить общую картину, кратко опишем два случая его использования: 🟡для доступа к атрибутам объекта или класса; 🟡для доступа к функциям, заданным в определении класса. Очевидно, что оба случая встречаются в нашем примере и кажутся интуитивно понятными и ожидаемыми. На самом деле все не так просто! Взгляните на этот пример повнимательнее: 📌 Смотреть @data_analysis_ml

❗️ Какие инструменты нужны для эффективного машинного обучения? 👉 Узнайте на бесплатном открытом уроке «Bagging, Random Forest, стекинг - ансамбли моделей для решения ML-задач» от OTUS и Марии Тихоновой – Senior Data Scientist в «SberDevices» и преподавателя ВШЭ. 🔹 На вебинаре узнаете, как применять ансамбли моделей для решения задач ML и изучите основные подходы к ансамблированию моделей 🔹 Разберем методы ансамблирования Bagging, Random Forest и стекинг Занятие пройдёт 23 ноября в 18:00 мск и будет приурочено к старту курса «Machine Learning. Professional» 📌 Результаты урока: Вы освоите такие популярные методы как Bagging, Random Forest и Стекинг  👉 РЕГИСТРАЦИЯ https://otus.pw/AA7m/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🔥 Используйте MLlib для решения задач распределенного машинного обучения и работы с большими массивами данных. MLlib предоставляет инструменты для: 🔹 Классификации, регрессии, кластеризации и коллаборативной фильтрации 🔹 Извлечения, преобразования данных и методы отбора признаков 🔹 Построение и настройка конвейеров ML и многое другое 📌 MLlib: https://spark.apache.org/docs/latest/ml-guide.html @data_analysis_ml

🔥 Дайджест полезных материалов из мира Data Science за неделю Почитать: — Разработка алгоритмов обработки данных в реальном времени на Python — Как автоматизировать проверки данных в Airflow с Great Expectations — Нейронные сети для новичков и профи: топ бесплатных курсов по ИИ — 5 уровней зрелости MLOps — Лучшие ресурсы чтобы выучить Git и Github — Парк юрского периода глазами нейросети: как развернуть Diffusers для генерации изображений за 10 минут — Как найти приватный ключ в бинарном коде от Bitcoin Lightning Wallet уязвимость в Quasar Framework — Использование Insightface для быстрого поиска и сравнения лиц на изображениях — OpenAI DevDay – ещё 5 видео про то, как работает компания, и как AI применять разработчикам — Understanding the Process of Running Metabase on Docker for the First Time 📊🐋 — What is the data science?And Why it is important ? — Equipping yourself with Excel increase job opportunities — Simplifying Data Streaming — Mastering data formatting in excel — Applications of Data Science in Cybersecurity — Introducing NumPy, a hero in Pythonland — Debugging Python Code in Amazon SageMaker Locally Using Visual Studio Code and PyCharm: A Step-by-Step Guide — How to Scrape Walmart Prices Easily — Unraveling the Power of Random Forest Algorithm in Data Science Посмотреть: 🌐 Пишем генератор Shorts видео на Python для заработка на YouTube. (⏱ 11:50) 🌐 Озвучка и генерации контента с помощью #Python и AI (⏱ 00:44) 🌐 Замена лица на любой фотографии с помощью #python БЕСПЛАТНО! (⏱ 00:59) 🌐 Lightning Interview “Large Language Models: Past, Present and Future” (⏱ 01:00:00) 🌐 Thomas Scialom, PhD - Large Language Models: Past, Present and Future (⏱ 34:45) 🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24) 🌐 AI Art: How is This Quality Even Possible? (⏱ 05:29) Хорошего дня! @data_analysis_ml

LangChain + Streamlit + LlaMA: установка диалогового бота с ИИ на локальный компьютер LLM — это модели машинного обучения, способные создавать тексты на языке, близком к человеческому, и воспринимать промпты (запросы) естественным образом. Эти модели проходят обучение на обширных массивах данных, включающих книги, статьи, сайты и другие источники. Выявляя в предоставляемых данных статистические закономерности, LLM предсказывают наиболее вероятные слова и фразы, которые должны следовать за введенным текстом. LangChain — это фреймворк, находящийся в свободном доступе. Он помогает разработчикам создавать приложения на основе языковых моделей, в частности LLM. В данной статье мы рассмотрим пошаговый процесс создания с нуля личного помощника по работе с документами. Будем использовать LLaMA 7b и Langchain, библиотеку с открытым исходным кодом, специально разработанную для бесшовной интеграции с LLM. 📌 Читать @data_analysis_ml

Нижний Новгород, готовьтесь узнать всё о рекомендательных системах! Приглашаем на RecSys Meetup by Sber — будем много общаться, обмениваться опытом, ловить инсайты от экспертов и получать приятные подарки. Когда: 30 ноября, 18:30 Формат: офлайн Локация: коворкинг Гараж, г. Нижний Новгород, Октябрьская, 35 Мы расскажем, как устроены рекомендательные системы в e-commerce, раскроем секреты GPT-like трансформеров и поделимся опытом моделей рекомендаций от Мегамаркета. А ещё – пригласим вас тестировать наши ML-библиотеки! ● Алексей Васильев — исполнительный директор по исследованию данных Sber AI Lab — расскажет о рекомендациях на последовательностях: действительно ли BERT4Rec лучше SASRec? ● Александр Немальцев — руководитель направления по исследованию данных — поделится опытом улучшения качества рекомендаций и роста конверсии, а также деталями, как были устроены наши модели на разных этапах: от базовой коллаборативной фильтрации до нейросетевых подходов. ● Артём Хусаенов — руководитель направления по исследованию данных — рассмотрит кросс-доменные модели рекомендаций для «холодных» пользователей Мегамаркета. Будет интересно, приходите! Зарегистрироваться на RecSys Meetup by Sber

🔥Ускорение генеративного ИИ с помощью встроенного PyTorch. В этом посте рассказывается о новых возможностях производительности PyTorch и о том, как их можно использовать для создания в 8 раз более быстрой, PyTorch-реализации Segment Anything. ▪Читать @data_analysis_ml

OpenAI выложила на GitHub проект OpenCopilot - ИИ-помощник в ранней бета-версии. ➕ Интегрируется с базовыми API, использует большую языковую модель для определения вызовов API и их выполнения. ➕ Поддерживает Swagger OpenAPI 3.0. ➕ Позволяет взаимодействовать с платформами через текстовые промпты и обеспечивает 24/7 поддержку. ➕ Инструменты для настройки сложных сценариев и интеграция функций OpenChat. OpenAI представила также дорожную карту развития OpenCopilot. 🐱 GitHub @data_analysis_ml

Хотите разобраться в языковых моделях? Учитесь у профессионалов и получайте знания из первых рук — на интенсиве GPT Week Школы анализа данных Яндекса! Эксперты ШАДа, разрабатывающие YandexGPT, подготовили насыщенную 5-дневную программу. Вы узнаете, как запустить генеративную модель на ограниченных ресурсах, какие вызовы есть в сборе гигантских датасетов и в чём особенности предобучения и alignment. Каждый участник сможет задать вопросы спикерам, а также познакомиться с устройством YandexGPT — от деталей создания до сложных инженерных аспектов. Что ещё нужно знать? Интенсив пройдёт онлайн с 27 ноября по 1 декабря. Участие бесплатное, но потребуется регистрация. Записаться и посмотреть программу можно на сайте. Реклама. ООО «ЯНДЕКС», ИНН 7736207543

🚀 Команда разработчиков только что сделала OpenAI Whisper в 6 раз быстрее, на 49% меньше, сохранив при этом 99% точности. Модель уже доступна в библиотеке HuggingFace Transformers: model_id = "distil-whisper/distil-large-v2". Вы также можете попробовать демо в веб-интерфейсе. ⏩ Модель: https://huggingface.co/distil-whisper/distil-large-v2 🛠 Демо: https://huggingface.co/spaces/Xenova/distil-whisper-web 📕 Статья: https://arxiv.org/abs/2311.00430 @data_analysis_ml

🎮Одним из самых увлекательных направлений, в котором широко используется обучение с подкреплением, является киберспорт. 🔥В программе курса Reinforcement Learning в OTUS подробно разбираются одни из самых интересных кейсов применения RL в игровой индустрии. 21.11 в 20.00 мск. приглашаем на открытый урок “Игры c человеком и компьютером” 📌На занятии: - узнаем историю противостояния человека и компьютера в настольных и компьютерных играх; - познакомимся с основными идеями и подходами при создании игровых интеллектуальных агентов с помощью обучения с подкреплением; - покажем как обучить модель эффективно управлять группой юнитов в одной из популярных игр. После урока вы будете понимать как разрабатываются интеллектуальные агенты для различных игр и какие шаги необходимо пройти для реализации собственного игрового бота. 👉Регистрация https://otus.pw/tb0b/ При поступлении в группу возможны разные способы оплаты и рассрочка платежа. Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K22Ec

⚡️ Data Warehouse vs Data Lake vs Data Mesh 📌Data Warehouse — это единое корпоративное хранилище архивных данных из разных источников (систем, департаментов и прочее). Цель Data Warehouse — обеспечить пользователя (компанию и ее ключевых лиц) возможностью принимать верные решения в ключе управления бизнесом на основе целостной информационной картины. DWH — не только склад важных данных компании, но еще и основа бизнес-аналитики (BI). Именно из корпоративного хранилища компания получает сведения, необходимые для принятия управленческих и стратегических решений. 📌Data Lake (Озеро данных) — это метод хранения данных системой или репозиторием в натуральном (RAW) формате, который предполагает одновременное хранение данных в различных схемах и форматах. Обычно используется blob-объект (binary large object) или файл. Идея озера данных в том чтобы иметь логически определенное, единое хранилище всех данных в организации (enterprise data) начиная от сырых, необработанных исходных данных (RAW data) до предварительно обработанных (transformed) данных, которые используются для различных задач: отчеты, визуализация, аналитика и мо. Data Lake включает структурированные данные из реляционных баз данных (строки и колонки), полуструктурированные данные (CSV, логи, XML, JSON), неструктурированные данные (почтовые сообщения, документы, pdf) и даже бинарные данные (видео, аудио, файлы). 📌Data Mesh - дословно можно перевести как «сеть данных», — это децентрализованный гибкий подход к работе распределенных команд и распространению информации. Главное в нем — междисциплинарные команды, которые публикуют и потребляют Data-продукты, благодаря чему существенно повышают эффективность использования данных. Традиционно архитектура данных монолитна. Потребление, хранение, преобразование и вывод управляются через одно центральное хранилище (как правило, озеро данных). Data Mesh же позволяет упростить работу с распределенными пайплайнами, поддерживая отдельных потребителей, рассматривающих данные как продукт. @data_analysis_ml

💡 Список самых популярных алгоритмов машинного обучения вместе с кодом на Python и R для их запуска. #python #r #MachineLearning https://www.analyticsvidhya.com/blog/2017/09/common-machine-learning-algorithms @data_analysis_ml

Не упустите возможность начать карьеру в одной из самых востребованных IT-профессий! На курсе Data Scientist с нуля до Junior с трудоустройством вы: ✅ Изучите одно из 3 востребованных направлений на выбор — дата-аналитику, дата-инженерию или машинное обучение. ✅ Освоите Python, библиотеки для анализа данных и машинного обучения, SQL, Git, научитесь работать с Power BI и другими актуальными для дата-сайентиста инструментами. ✅ Попрактикуетесь на задачах с реальными данными. ✅ Добавите до 9 проектов в портфолио. ✅ С вами будет работать личный наставник. Он не только укажет на ошибки, но и поможет разобраться в сложных темах и ответит на вопросы. Подробнее по ссылке https://epic.st/aiFvo Оставьте заявку на курс сейчас и получите 3 месяца бесплатного обучения и год английского в подарок! 🎁В ЧЕРНУЮ ПЯТНИЦУ на курс действует скидка до 60% и при покупке вы получаете ВТОРОЙ КУРС в подарок Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🛡 Как автоанализ кода с помощью ИИ повышает безопасность приложений AppSec-инженеры занимаются безопасностью приложений, но им приходится делать много работы. Они должны быть экспертами по разным приложениям и разбираться во всем коде. Они также должны встречаться с разработчиками, чтобы узнать о внесенных изменениях. В небольших организациях это возможно, но для крупных организаций это сложно. Мы считаем, что инструменты Gen AI, такие как ChatGPT, могут помочь AppSec-инженерам в их работе. Они могут помочь масштабировать работу и сделать ее более эффективной. В этой статье мы расскажем, как ChatGPT может повысить эффективность AppSec-инженеров. Начнем с главного Как уже было сказано, наиболее значимыми рабочими процессами, выполняемыми AppSec-инженерами, являются моделирование угроз и проверка безопасности кода. Оба этих процесса всегда были ручными, требующими участия разработчиков и приличного количества знаний/времени/мотивации. Это, на наш взгляд, реальная возможность для Gen AI. Чтобы не быть голословными, углубимся в детали и посмотрим, как это осуществить на практике. Обратим внимание на важнейшие сферы применения ИИ: 🟡Непрерывный анализ изменений кода приложений. 🟡Интерактивное моделирование и решение проблем, связанных с угрозами. 🟡Дополнительные области, на которые, по нашему мнению, инструменты ИИ могут повлиять в ближайшей перспективе. И последнее уточнение: для иллюстрации рабочих процессов будем использовать ChatGPT (3.5). Стоит отметить, что между версиями 3.5 и 4 существуют различия, поэтому советуем рассмотреть и альтернативные варианты. Итак, приступим к делу! 📌 Читать @data_analysis_ml