Анализ данных (Data analysis)

В сервисе Yandex Data Proc стало доступно создание управляемых кластеров Hive Metastore (Public Preview) Hive Metastore связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развёртывание. Кластеры Metastore управляют табличными метаданными объектов, которые находятся в бакетах Object Storage. Теперь решать задачи подготовки и очистки данных, создания хранилищ и предметно-ориентированных витрин данных стало проще. ➡️ Подробнее о новинке и о том, как первым получить доступ по ссылке

📌 Предлагаем вам подборку бесплатных курсов по аналитике и визуализации данных ▪Digital-аналитика — This is Data ▪Визуализация данных - Онлайн-школа ILYN ▪Microsoft Power BI — Microsoft Learn ▪Power Bi для интернет-маркетинга — NeedForData ▪Основы работы с DataLens — Яндекс Практикум ▪Google Data Studio (2022) — Яков Осипенков ▪Google Data Studio (2022) — Школа аналитики "Байкал" @data_analysis_ml

В международных IT-командах вы можете встретить непривычные акценты, например, шотландский, испанский или индийский, — и будет сложно понять собеседников. В таких условиях непросто уловить, о чем все в итоге договорились, или принять активное участие в обсуждении. Чтобы подготовиться к этому, советуем курсы «Английский для работы в IT» в Яндекс Практикуме. Вам помогут с тем: — Что говорить. Личный преподаватель расскажет про грамматические конструкции и фразы, которые уместно применять на стендапах, собеседованиях и ревью. — Как говорить. Иностранцы из IT и преподаватель будут регулярно тренировать разговорные навыки на примере рабочих ситуаций. — Как слушать. На разговорной практике с иностранными IT-специалистами вы быстрее привыкнете к разным акцентам. Послушайте подробнее про курс в подкасте «Запуск завтра». Выпуск «Как учить английский», с 40-ой минуты. Если хотите узнать, подойдёт ли вам обучение — запишитесь на бесплатную консультацию. Куратор определит ваш уровень языка и ответит на вопросы. Реклама АНО ДПО "Образовательные технологии Яндекса», ИНН:7704282033, erid: LjN8JvxZU

📌 Полезные бесплатные курсы от Google. ▪Ускоренный курс Google машинное обучение — база машинного обучения, включает видеолекции от исследователей из Google. ▪Основы Python для анализа данных — программирование на Python. ▪Введение в Data Science и аналитику — курс по Data Science и Data Science Life Cycle. @data_analysis_ml

⚡️Стартовал прием заявок на Технологический конкурс НТИ Up Great «Экстренный поиск»! Участникам предстоит преодолеть комплексный технологический барьер, предусматривающий разработку технологий и технических решений, объединенных в единую систему, позволяющую эффективно использовать техническое зрение при поиске пропавших людей с применением беспилотных воздушных судов (БВС). На первом этапе (Сателлит №1) участникам необходимо разработать программное решение для поиска объектов (людей) на изображениях, полученных с БВС. Призовой фонд Сателлита №1 составляет 5 млн руб. Лучшим командам, удовлетворяющим требованиям технического регламента, организаторами будут предоставлены БВС для участия во втором этапе (Сателлит №2) и финале конкурса. Призерами и победителями могут стать только налоговые резиденты РФ. 📲Заявки на Сателлит № 1 принимаются до 12 июня 2023 г. по ссылке: https://goo.su/hkgUM Конкурс организуется совместно МФТИ, Фондом НТИ и добровольческим поисково-спасательным отрядом «ЛизаАлерт». Общий призовой фонд составляет 135 млн руб. Подробнее: https://goo.su/hkgUM

🖥 dtreeviz: инструмент визуализации и интерпретации деревьев решений Если вы хотите найти простой способ визуализации и интерпретации модели дерева решений, используйте dtreeviz. На изображении выше показан результат работы dtreeviz при применении инструмента к DecisionTreeClassifier. ▪Github @data_analysis_ml

✅ Покажем на практике как деплоить модели в production Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам. 📌 Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на курсе «MLOps» от OTUS. Время прохождения теста ограничено 30 минут ПРОЙДИТЕ ТЕСТ — сможете занять место в группе по спец.цене 👉 https://otus.pw/1i9N/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 Полезая подборка бесплатных курсов по Python и R 1. Автоматизация тестирования с помощью Selenium и Python - Stepik (INT) 2. Добрый, добрый Python - обучающий курс от Сергея Балакирева - Сергей Балакирев (Stepik) (BEG) 3. Основы программирования на Python - Coursera (BEG) 4. Питонтьютор: Бесплатный курс по программированию с нуля - Виталий Павленко, Владимир Соломатин, Д. П. Кириенко, команда Pythontutor (BEG) 5. "Поколение Python": курс для начинающих - Тимур Гуев, Руслан Чаниев, Анри Табуев (Stepik) (BEG) 6. "Поколение Python": курс для продвинутых - Тимур Гуев, Руслан Чаниев, Благотворительный фонд "Айкью Опшн" (Stepik) (INT) 7. Программирование на Python - Тимофей Бондарев, Павел Федотов (Stepik) (BEG) 8. Python: быстрый старт - Дмитрий Фёдоров (BEG) 9. Python для начинающих (BEG) 10. Python для тех, у кого лапки - Мария Чакчурина, Дмитрий Колосов (Stepik) (INT) 11. Python: основы и применение - Константин Зайцев, Антон Гардер (Stepik) (INT) 🖊 Курсы по R 1. Анализ данных в R - Stepik (INT) 2. Анализ данных в R. Часть 2 - Stepik (INT) 3. Основы программирования на R - Stepik (BEG) @data_analysis_ml

Создай цифровой продукт вместе с государством и бизнесом и улучши качество жизни в Арктике 🏆 Участвуй в технологическом конкурсе «АРКТЕК ДАТА 2023» и создай цифровой продукт в области устойчивого развития за 2 месяца. Направления: экология, туризм, урбанизация. Подать заявку можно с готовым продуктом или создать с нуля. У тебя будут: ✅ Реальные данные по Арктической зоне ✅ Встречи с экспертами ✅ Трекеры ✅ Онлайн-участие и оффлайн-финал Принять участие могут студенты, молодые профессионалы и отраслевые эксперты, Data Science лаборатории, студии разработки IT-продуктов и стартапы. Состав команд от 3 до 5 человек. 💸 Призовой фонд 3 000 000 рублей. Конкурс организован при поддержке Минвостокразвития России, МИД России, ФАНУ «Востокгосплан», госкорпорации «Росатом», компании МегаФон и геомаркетингового сервиса «Геоинтеллект». ❗️Регистрация открыта до 23:59 8 июня. https://clck.ru/34YDvE

Полезные инструменты: RATH — альтернатива Tableau с открытым исходным кодом RATH относительно новый инструмент, который имеет одно из самых быстрорастущих сообществ на GitHub. Благодаря передовым технологиям и новаторскому подходу к анализу и визуализации данных, RATH быстро завоевала популярность среди профессионалов по работе с данными. Сообщество RATH быстро растет: разработчики, специалисты по данным и бизнес-аналитики вносят свой вклад в его развитие и делятся идеями о том, как максимально использовать его потенциал. Независимо от того, являетесь ли вы опытным аналитиком данных или только начинаете, RATH является обязательным инструментом для всех, кто хочет улучшить свои навыки анализа и визуализации данных. ▪Kanaries(k6s) RATH ▪Больше информации о RATH @data_analysis_ml

⚡️ Стартовал прием заявок на Технологический конкурс НТИ Up Great «Экстренный поиск»! Участникам предстоит преодолеть комплексный технологический барьер, предусматривающий разработку технологий и технических решений, объединенных в единую систему, позволяющую эффективно использовать техническое зрение при поиске пропавших людей с применением беспилотных воздушных судов (БВС). На первом этапе (Сателлит №1) участникам необходимо разработать программное решение для поиска объектов (людей) на изображениях, полученных с БВС. Призовой фонд Сателлита №1 составляет 5 млн руб. Лучшим командам, удовлетворяющим требованиям технического регламента, организаторами будут предоставлены БВС для участия во втором этапе (Сателлит №2) и финале конкурса. Призерами и победителями могут стать только налоговые резиденты РФ. 📲 Заявки на Сателлит № 1 принимаются до 12 июня 2023 г. по ссылке. Конкурс организуется совместно МФТИ, Фондом НТИ и добровольческим поисково-спасательным отрядом «ЛизаАлерт». Общий призовой фонд составляет 135 млн руб.

🗺 Создание географической карты с интерактивными маркерами: руководство по Plotly Dash Хочу поделиться с вами решением задачи наглядного представления большого объёма данных с возможностью детального просмотра информации по интересующим объектам. ▪Читать @data_analysis_ml

🖥 faker: Create Fake Data in One Line of Code Чтобы быстро создать фейковые данные для тестов, попробуйте использовать faker. В приведенном коде показаны некоторые возможности быстрой генерации данных с faker. pip install Faker from faker import Faker fake = Faker() fake.name() # 'Lucy Cechtelar' fake.address() # '426 Jordy Lodge # Cartwrightshire, SC 88120-6700' fake.text() # 'Sint velit eveniet. Rerum atque repellat voluptatem quia rerum. Numquam excepturi' 🖥 Github @pythonl

🔥 Data scientist и другие digital-специалисты! Открыта регистрация на онлайн-чемпионат по анализу данных SIBUR CHALLENGE 2023 // ГЕНЕРАЛИЗАЦИЯ. Участникам предстоит поработать с реальными кейсами крупной нефтехимической компании Сибур и решить две задачи на выбор. Вы получите поддержку от экспертов индустрии, доступ к сообществу единомышленников и дополнительные вознаграждения за активности. А еще — шанс получить приглашение на работу или стажировку! 🏆 Призовой фонд — 1 млн рублей. На каждую из двух задач приходится по 3 места: 1 место — 250 тысяч рублей. 2 место — 150 тысяч рублей. 3 место — 100 тысяч рублей. Основная работа будет проходить в онлайне на платформе AI Today. Можно участвовать индивидуально или в команде. Присоединиться к соревнованию можно до 7 июня. Успейте подать заявку и побороться за призовой фонд в 1 млн рублей. 👨‍💻 Регистрация и подробности: https://clck.ru/34WAyY Организаторы: Сибур Диджитал, AI Community и AI Today.

🖥 snoop : Интеллектуальная печать для отладки вашей функции Python Если вы хотите понять, что происходит в вашем коде, без использования множества операторов print, попробуйте использовать snoop. Вы увидите журнал работы вашей функции, включая то, какие строки выполнялись и когда, и что происходит с каждой из переменных. Чтобы использовать библиотеку, просто добавьте декоратор @snoop в свою функцию. import snoop @snoop def factorial(x: int): if x == 1: return 1 else: return (x * factorial(x-1)) if __name__ == '__main__': num = 2 print(f'The factorial of {num} is {factorial(num)}') 🖥 Github @pythonl

Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security. Открыты позиции: ➡️ Команда жилой недвижимости ➡️ Команда модерации ➡️ Команда рейтингов и отзывов Из приятного: • Много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо — всё готово для продуктивной работы; • Возможность влиять на бизнес и развитие продукта; • Прозрачная система премий, достойная зарплата — размер обсудим на собеседовании; • Личный бюджет на обучение — книги, курсы и конференции; • ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; • Возможность совмещать работу из дома и комфортного офиса в 2 минутах от «Белорусской» с панорамным видом на центр города, местами для уединенной работы, двумя спортивными залами, зонами отдыха и гамаками. Не откладываем (а то мы вас знаем), а сразу переходим по ссылкам и откликаемся!

📖wordfreq: оценка частоты слова на 40 языках Если вы хотите определить частоту употребления определенного слова в вашем тексте, попробуйте использовать wordfreq. wordfreq поддерживает 40 языков. Библиотека охватывает даже слова, которые встречаются хотя бы один раз на 10 миллионов слов. Пример использования приведен выше. pip3 install wordfreq Пример работы: import matplotlib.pyplot as plt import seaborn as sns from wordfreq import word_frequency print(word_frequency("eat", "en")) # 0.000135 print(word_frequency("the", "en")) # 0.0537 sentence = "There is a dog running in a park" words = sentence.split(" ") word_frequencies = [word_frequency(word, "en") for word in words] sns.barplot(words, word_frequencies) plt.show() ▪Ссылка на wordfreq @data_analysis_ml

nbdime: Полезная библиотека для контроля версий для Jupyter Notebook Если вы хотите сравнить предыдущую и текущую версии ноутбука, используйте nbdime. На картинке выше показано, как сравниваются две версии ноутбука с помощью nbdime. Так же инструмент позволяет удобно мерджить ноутбуки. pip install nbdime 🖥 Github @data_analysis_ml

Как начинающему Data Science-специалисту получить опыт для старта карьеры? Можно пройти стажировку. Будьте готовы к тому, что вы охватите узкий пул несложных задач, а ваше развитие будет ограничено спецификой компании. И не забывайте, что даже на этапе отбора есть конкуренция, а её выдержит не каждый. Есть и другой вариант — пройти «Симулятор аналитика». Это тренажёр реальной работы, где за 4 недели вы научитесь решать максимально разнообразные задачи: ▪️ Разрабатывать интерактивные дашборды ▪️ Автоматизировать поиск аномалий в данных ▪️ Строить ETL-пайплайны ▪️ Анализировать продуктовые метрики ▪️ Планировать и запускать A/B-тесты Суть симулятора — создать приближенные к реальным условия и подготовить вас к первой работе. Вы сможете безопасно ошибаться, не боясь увольнения, и наберётесь опыта. А в конце наши HR помогут получить оффер. Записывайтесь на симулятор, старт уже сегодня!

Я попробовал 84 плагина на ChatGPT. Вот лучшие из них! Плагины — это новые модули, доступные пользователям ChatGPT Plus, которые навсегда изменят ChatGPT, поскольку они добавляют множество функций к тому, что искусственный интеллект может делать изначально. На сегодняшний день в магазине плагинов их насчитывается около 84. Я попробовал их все, и в этой статье я поделюсь с вами теми, которые я считаю лучшими. Читать @data_analysis_ml