Анализ данных (Data analysis)

🖥 Полезный интсрумент Класс ChainMap() модуля collections в Python. Обновляемый, производительный контейнер словарей dict(). Класс ChainMap() предназначен для быстрого объединения нескольких словарей, чтобы их можно было рассматривать как единое целое. Такой контейнер объединяет словари и ищет ключи намного быстрее, чем создание нового словаря и выполнение объединения при помощи вызовов dict.update(). Класс ChainMap() может использоваться для имитации вложенных областей и полезен при создании шаблонов. Смотрите примеры использования ChainMap Синтаксис: import collections d = collections.ChainMap(*maps) Параметры: *maps - один или несколько словарей. Возвращаемое значение: собственный тип ChainMap. Описание: Класс ChainMap() модуля collections группирует несколько словарей или других сопоставлений для создания единого обновляемого представления. Если словари maps не указаны, то будет создан один пустой словарь. >>> from collections import ChainMap >>> first = {'two': 22, 'three': 3} >>> last = {'one': 1, 'two': 2} >>> d = ChainMap(first, last) >>> d # ChainMap({'two': 22, 'three': 3}, {'one': 1, 'two': 2}) При добавлении словарей, одинаковые ключи не затираются новыми значениями, вместо этого словари добавляются и хранятся в обновляемом списке. Доступ к этому списку можно получить используя атрибут d.maps. Класс поддерживает все основные методы словарей dict(). Операции добавления, обновления и удаления значений могут быть произведены только со словарем, который был добавлен первым. Через атрибут maps можно изменять ВСЕ словари. Доступ к конкретному словарю осуществляется по индексу в списке атрибута d.maps[i], а изменения осуществляются через их методы dict(). # доступ к словарям >>> d.maps[0] # {'one': 1, 'two': 2, 'four': 4} >>> d.maps[1]['three'] # 3 # изменяем словари и не забываем, что мы # поменяли их местами - 'd.maps.reverse()' >>> d.maps[0]['five'] = 5 >>> del d.maps[0]['four'] >>> d.maps[1]['four'] = 4 >>> d # ChainMap({'one': 1, 'two': 2, 'five': 5}, {'three': 3, 'one': 11, 'four': 4}) # исходные словари то же изменились >>> first # {'three': 3, 'one': 11, 'four': 4} >>> last # {'one': 1, 'two': 2, 'five': 5} # изменяем список словарей >>> d.maps.pop() # {'three': 3, 'one': 11, 'four': 4} >>> d # ChainMap({'one': 1, 'two': 2, 'five': 5}) # добавляем в экземпляр `ChainMap()` новый словарь >>> new_dict = {'a': 10, 'b': 20, 'c': 30} >>> d.maps.append(new_dict) >>> d # ChainMap({'one': 1, 'two': 2, 'five': 5}, {'a': 10, 'b': 20, 'c': 30}) >>> del d.maps[1]['c'] >>> d.maps[0]['one'] = 0 >>> d # ChainMap({'one': 0, 'two': 2, 'five': 5}, {'a': 10, 'b': 20}) # исходные словари >>> last {'one': 0, 'two': 2, 'five': 5} >>> new_dict {'a': 10, 'b': 20} ▪Подробнее @data_analysis_ml

🔍 Где искать работу Дата Саентисту? Собрали для вас список площадок для поиска работы или фрланс-проекта в области Data Science. 1. Toptal Toptal - один из крупнейших фриланс сайтов для специалистов по анализу данных. В отличие от многих других бирж фриланса в Toptal соискатели проходят тестирование в различных областях, включая знание английского языка и технические навыки, в области SQL и Python для data science. 2. Open Data Science Jobs Open Data Science Jobs - одна из крупнейших площадок вакансий, посвященных только науке о данных. Такие компании, как Bose, использовали эту доску объявлений для поиска специалистов по науке о данных для оптимизации своей бизнес-аналитики. 3. Kaggle Kaggle - одно из крупнейших сообществ датасаентистов. Kaggle предоставляет наборы данных, проводит соревнования и вообще способствует процветанию сообщества специалистов по анализу данных. Доска вакансий Kaggle - один из лучших вариантов для начала поиска проекта для рабрты. Ее услугами пользуются крупнейшие компании (Amazon, Capital One и AIG и тд). 4. Scalable Path Если у вас есть готовая команда датасаентистов и вы хотите найти интерсный проект , Scalable Path - отличный вариант. 5. Gigster Еще одина крупная фриланс площадка с проектами ds. 6. iCrunchData - это доска объявлений c вакансиями в области науки о данных. 7. X-Team X-Team - рынок фриланса, где можно работать, как одному, так и в команде. 8. Gun.io Gun.io очень похож на Toptal, быстро и эффективно подбирая для компаний квалифицированных инженеров по науке о данных. С тысячами зарегистрированных членов Gun.io является восходящей звездой в индустрии фриаланса. 9. R-users Простой поиск по сайту R-users позволяет найти десятки вакансий в области науки о данных, в которых используется язык программирования R. 10. AngelList AngelList - это место, где встречаются ит- предприниматели и инвесторы. 11. Engineering Jobs Если вы ищете ds проект Engineering Jobs может стать отличным местом для поиска интересной работы. 12. Dice Dice - доскоа объявлений о карьере в сфере технологий и ИТ. Эта доска известна тем, что привлекает архитекторов программного обеспечения, инженеров, QA-тестеров и инженеров по анализу данных. 13. SimplyHired SimplyHired - это еще одна крупная доска объявлений о работе, похожая на Indeed или Monster. 14. Папка с каналами для поиска работы в телеграме. Телеграм каналы и чата, где публикуются вакансии ds, python и не только. Очень полезная папка (папки поддерживаются только в последних версиях тг), где можно найти вакансию на любой ЯП. Ставьте 👍 , если полезно. @data_analysis_ml

Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны? Александр Ледовский, тимлид команды аналитики и DS в Авито, делится опытом использования Apache Spark для работы с поисковыми логами. Всё, что нужно знать аналитикам, дата-инженерам, специалистам по обработке больших данных и тимлидам команд, чтобы задавать параметры Spark-сессии и получать ресурсы. Переходите и читайте по ссылке. Реклама. ООО «Авито Тех». LdtCKLU3N

🔥 Бесплатные курсы и ресурсы для подготовке к алгоритмической части собеседования ▪the-algorithms.com/ru ▪www.piratekingdom.com/leetcode/cheat-sheet ▪www.programiz.com/dsa/algorithm ▪stepik.org/course/1547/promo ▪stepik.org/course/217/promo ▪https://t.me/addlist/2Ls-snqEeytkMDgy ▪https://discopal.ispras.ru/img_auth.php/f/f4/Book-advanced-algorithms.pdf @data_analysis_ml

❗️Как пройти техническое собеседование на ML-специалиста? ⚠️ Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS! На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию. 👉 Для удачного прохождения этого этапа не достаточно только знания алгоритмов машинного обучения. Также проверяются навыки проектирования ML систем, которые могут успешно работать в промышленной среде. Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения. 👉 Готовьте вопросы и записывайтесь на вебинар! https://otus.pw/OOzA/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 Изучаем базы данных Большой сборник теоретического материала по работе с базами данных. ▪основы: http://phpclub.ru/mysql/doc/tutorial.html ▪отношения между таблицами в БД: http://jtest.ru/bazyi-dannyix/sql-dlya-nachinayushhix-chast-3.html ▪внешние ключи: http://denis.in.ua/foreign-keys-in-mysql.htm ▪большой учебник по SQL: http://www.pyramidin.narod.ru/rusql/index.htm ▪sql канал с практичесикми задачами: @sqlhub ▪сборник запросов на все случаи жизни (англ): http://www.artfulsoftware.com/infotree/queries.php ▪таблицы отличий в диалектах SQL в разных СУБД (англ): http://en.wikibooks.org/wiki/SQL_dialects_reference ▪манга-учебник про SQL в картинках: http://www.nostarch.com/mg_databases.htm @data_analysis_ml

🚀 DIS Group при поддержке компании Юниверс Дата приглашает Вас принять участие в Дата Саммите «Вселенная Ваших данных». 📅 Саммит пройдет 25 мая в офлайн + онлайн формате. Вы услышите доклады о перспективах российской цифровой трансформации на основе данных от ведущих экспертов Минцифры РФ, ФКУ «ГосТех», «Росатома», РКС, Счетной палаты РФ, СУЭК, Яндекс Cloud других крупных организаций. Также среди спикеров: 💫 Сюткина Мария, заместитель директора по развитию общекорпоративных сервисов и автоматизированных систем управления технологическим процессом ООО «РусГидро ИТ сервис» 💫 Абакарова Ольга, начальник отдела «Нормативно-справочной информации» ПАО «РусГидро» 💫 Владислав Шишмарев, заместитель руководителя Департамента информационных технологий города Москвы 💫 Ринат Абдурахманов, CDO, вице-президент по работе с данными, «ВымпелКом» Для оффлайн-участников подготовлена развлекательная программа. Самых активных участников онлайн-формата также ждут призы. 👉 Узнать подробности и зарегистрироваться

🤖 Роботы-эмпаты, миф или реальность? Необходимо быстро, качественно и в короткие сроки обработать большое количество данных, но у вас нет ни примерного алгоритма для написания своей модели, ни данных для её обучения? Выход есть! Можно использовать предобученные модели трансформеры. Модели трансформеры (transformers) пришли на смену рекуррентным нейронным сетям, из-за своего специального механизма внимания (self-attention), который позволяет хранить связи между всеми словами в тексте. Существует множество моделей для решения различных задач, которые находятся в открытом доступе, но как понять, какая модель больше подходит для решения поставленной перед вами задачи? Передо мной стояла задача провести анализ отзывов пользователей. Это задача сентиментного анализа текста или же задача мультиклассовой классификации, где необходимо отнести текст к одному из этих трёх классов. Основная цель – это найти как можно больше негативных отзывов, чтобы узнать, на что жалуются люди и решить эти проблемы. ▪Читать дальше @data_analysis_ml

10 Python Itertools, которые сделают ваш код аккуратнее, чище и лучше Красота Python заключается в его простоте. Не только потому, что синтаксис Python элегантен, но и потому, что он имеет множество хорошо спроектированных встроенных модулей, которые помогают нам эффективно реализовывать общие функции. Модуль itertools, который является хорошим примером, предоставляет нам много мощных инструментов для управления итерируемыми объектами Python в более сокращённом коде. ▪Читать @data_analysis_ml

В самом разгаре приём заявок на конкурсный отбор в магистратуру Сколтеха «Современные вычислительные методы» по двум образовательным трекам: — математическое моделирование; — высокопроизводительные вычисления и большие данные. На программе вы научитесь обрабатывать доступную информацию в реальных задачах и строить на этой основе эффективно решаемые математические модели, разрабатывать новые вычислительные подходы и алгоритмы для задач с большим объёмом данных, использовать методы высокопроизводительных вычислений на Python, C и C ++ для разработки и оптимизации. Если успеете подать заявку до 29 мая — у вас будет 2 попытки пройти отбор! Реклама. Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий», ИНН 5032998454

🗣Подборка статей для подготовки к собеседованиям по машинному обучению. 1. Вопросы для собеседования по ML 1.1 2. Вопросы с собеседовании по машинному обучению uproger. 3. @machinelearning_interview - телеграм канал с разбором вопросов с собеседований мл. 4. 20 основных вопросов для собеседования по машинному обучению 5. Разберитесь в 40 популярных вопросах для собеседования по машинному обучению 6. Ресурсы для собеседования : ML/Data Science/AI Research Engineer 7. Вопросы и ответы на интервью по ML 8. A Guide To Machine Learning Interview Questions And Answers 9. 6 лучших алгоритмов машинного обучения 10. Подготовка к собеседованию по машинному обучению - алгоритмы ML 11. Машинное обучение IP - EDUREKA - Вопросы и ответы 12. 100 распространенных вопросов для интервью по ML 13. Вопросы для собеседования по машинному обучению - Криш Наик 14. Data Science Interviewer Pro By Emma Ding 15. Вопросы для собеседования по науке о данных Краткий обзор от Simplilearn 16. Наиболее часто задаваемые вопросы на собеседовании по AI/ML 17. Вопросы для собеседования по машинному обучению. 18. @python_job_interview - вопросы с собеседований python, ds. Сохраняем себе, чтобы не потерять @data_analysis_ml

Mojo: язык программирования для ИИ, который в 35000 раз быстрее, чем Python Совсем недавно был выпущен новый язык программирования для разработчиков ИИ: Mojo. Я знаю, о чём вы могли подумать — новый язык программирования для изучения с нуля… Что ж, у меня есть хорошие новости: Mojo разработан как надмножество Python, поэтому, если вы уже знаете Python, изучение Mojo не должно вызвать затруднений. Читать @data_analysis_ml

⚡Хотите освоить анализ данных и сменить профессию? Или, может быть, вы уже сталкиваетесь с огромным количеством таблиц данных и хотите научиться продвинутой аналитике? Приглашаем на программу «Специалист по Data Science» Центра непрерывного образования ФКН. Обучение очное, ведется онлайн-трансляция и рассылаются видеозаписи каждого занятия. ✅Вы изучите программирование на Python, математику для анализа данных, прикладную статистику, классические модели машинного обучения и нейронные сети, а также основы обработки текстов, звука и изображений. ✅Освоите инструменты SQL, Python, Jupyter Notebook, Spark, Tensorflow/Pytorch. ✅Выполните три проекта: напишете чат-бот, выполните проект по машинному обучению и финальный проект. Это хорошая возможность пополнить портфолио, особенно для начинающих. Старт уже 15 мая!🔥 Где: Москва, Покровский бульвар, 11 Стоимость: 465 000₽, оплату можно разделить на 8 частей без переплат Продолжительность: 1,5 года Программа курса и регистрация по ссылке.

🖥 Подборка курсов по статистике и теории вероятностей Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных. ▪«Математическая статистика» курс CS центр. ▪«Основы статистики» курс Bioinformatics Institute. ▪Университетский курс математического анализа ▪«Основы статистики. Часть 2» курс Bioinformatics Institute. ▪«Основы статистики. Часть 3» курс Bioinformatics Institute. ▪Основы работы с векторными величинами в физике ▪«Современная комбинаторика» курс МФТИ. ▪«Теория вероятностей для начинающих» курс МФТИ. «Теория вероятностей» курс CS центр. ▪«Теория вероятностей - II (дискретные случайные процессы)» курс CS центр. ▪«Теория вероятностей – наука о случайности» курс ТГУ. ▪«Дискретный анализ и теория вероятностей» курс А.М.Райгородского в Академии Яндекса. @data_analysis_ml

⁉️ Начните изучать инструменты MLOps с библиотеки DataFrame API! ⚠️ Приглашаем 15 мая в 20:00 мск на открытый урок «DataFrame API: от Dask к PySpark» в OTUS. DataFrame API — это библиотека для обработки данных в Python, которая часто используется в задачах машинного обучения. ✅ На этом занятии мы рассмотрим ситуацию, когда данные уже не помещаются на дисковый массив, а для быстрой обработки требуется большое количество ядер. ⬆️ Покажем на практике как деплоить модели в production Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения. 👉 Готовьте вопросы и записывайтесь на вебинар! https://otus.pw/0gwU/ Нативная интеграция. Информация о продукте www.otus.ru

⭐️ Бесплатные курсы по визуализации данных Список из несколько курсов по визуализации, которые дают азы, понимание базовых прицнипов. Но стоит также учитывать, с помощью какого именно инструмента вы хотите визуализировать (Power BI, Google Data studio, Python и тд). И как правило у каждого инструмента есть своя бесплатная обучающая база на их же сайте. ▪Data Science: Visualization (Harvard university) ▪Data Visualization (Kaggle) ▪Data Visualization and Building Dashboards with Excel and Cognos (IBM) ▪Data Analytics and Visualization Capstone Project (IBM) ▪Наука о данных: визуализация (Harvard university) ▪Анализ и визуализация данных с помощью Power BI (Davidson) ▪Визуализация данных и создание информационных панелей с помощью Excel и Cognos (IBM) @data_analysis_ml

⚙️ Выпещен проект GPT4Free с бесплатным доступом к ChatGPT Разработчик xtekky создал проект GPT4Free, который позволяет нелегально использовать ChatGPT, обходя ограничения от OpenAI. Для этого используются уязвимости в API. Получить доступ к платным функциям удалось хитростью: сервис подключён к API через данные тех клиентов OpenAI, которые приобрели платные учётки. Среди таких компаний — poe.com, phind.com, writesonic.com, sqlchat.ai, t3nsor.com и you.com. Использовать при этом можно как GPT-4, так и GPT-3.5. Напомним, что сейчас получить ключ для использования GPT-3.5 можно бесплатно, а для GPT-4 нужно приобретать платный доступ. При этом GPT-4 — это последняя версия языковой модели, которая превосходит 3.5 в несколько раз. Выдача данных в GPT4Free практически не ограничена никакими искусственными барьерами, как это выполнено в ChatGPT из-за морально-этических аспектов. ЧерезGPT4Free языковой модели можно задать любой вопрос. Разработчик настаивает, что использовать GPT4Free стоит исключительно для образовательных целей. 🖥 Github @data_analysis_ml

📚 Подборка бесплатных и актуальных книг по всем языкам программирования. Книги датасаентиста Golang библиотека Python библиотека Крупнейший склад ит-книг C++ книги C# книги Frontend книги Книги по базам данных Топ книги по Linux Java книги Библиотека машинного обучения Сохраняем себе, чтобы не потерять

Курс Data Analysis with Python, Анализ данных на python, коллекция весна 2022 и весна 2023 ▪sem01 Тратим полтора часа на то, чтобы запустить анаконду. Вводимся в python, git и делаем import this. ▪sem02 Говорим про циклы, условия, списки, что такое range (концепция генераторов на пальцах). ▪sem03 Говорим про изменяемые и незименяемые типы данных: списки, кортежи, строки и методы работы с ними. Обсуждаем как питон работает с памятью и где можно из-за этого накосячить. ▪sem04 Говорим о функциях и рекурсии. Решаем задачи на циклы и оформляем их в виде функций. ▪sem05 Говорим про словарики и множества ▪sem06 Решаем задачи на словари и множества. Немного говорим про collections. sem07 Полезный функционал: list comprehension, map, lambda-функции, all, any, max, sorted, lambda внутри них как key и т.п. Мб про operator, collections и itertools ▪sem08 Чтение и запись в файлы. Типы файлов: txt, json, csv, tsv, pickle. Введение в pandas: подгрузили табличку и сделали минимальное её шатание. Сразу забыли про пандас до следующего года. На экзамене им пользоваться нельзя. ▪sem09 Учимся собирать данные, пишем парсеры. ▪sem10 Работа с API 🖥 Github @data_analysis_ml

Перед аналитиками часто стоит задача классифицировать пользователей, предсказать их поведение. Вы знали, что в этом могут помочь методы машинного обучения? На вебинаре «Машинное обучение в аналитике: как работают деревья решений» мы: ● познакомимся с decision tree и random forest; ● подробно разберём, как работают эти методы; ● узнаем, какие задачи аналитики можно решать при помощи машинного обучения. Вебинар проведёт Анатолий Карпов — ведущий аналитик и тот самый автор бесплатных курсов по анализу данных на stepik. Встречаемся 11 мая в 19:00 по Москве. [Зарегистрироваться на вебинар]