Анализ данных (Data analysis)

⭐️Новость дня: генеративные нейросети Яндекса включили в международный рейтинг самых перспективных ИИ-разработок - В рейтинг попали две нейросети компании: текстовая YandexGPT и мультимодальная YandexART - Это первый международный рейтинг Global Generative AI Landscape 2024, который опубликовал AIPort (сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ) - Яндекс стал одной из 11 компаний со всего мира, разрабатывающих более одного типа GenAI-моделей - Исследование охватило продукты из 62 стран, которые, согласно глобальному индексу искусственного интеллекта Tortoise, больше всего инвестируют в развитие ИИ 📌 Новость @data_analysis_ml

📌Линейная, логистическая и регрессия Пуассона На этой схеме детально видно отличие этих распространённых видов регрессии, даже нечего комментировать. Разве что совсем чуть-чуть. ▶️Линейная регрессия имеет много практических применений. Большинство приложений попадают в одну из двух широких категорий: — Если целью является прогнозирование, линейную регрессию можно использовать для подгонки модели к наблюдаемому набору данных. — Если цель заключается в том, чтобы объяснить изменчивость выходной переменной, можно применить линейный регрессионный анализ для количественной оценки силы взаимосвязи между выходной и входными переменными. ▶️Логистическая регрессия: — Применяется: когда мы хотим оценить связь между бинарной зависимой переменной и одной или несколькими независимыми переменными. — Проверяет: есть ли связь между бинарной переменной и каждой из независимых переменных. — Данные: зависимая переменная, которая принимает два значения, и независимые переменная. — Нулевая гипотеза: коэффициент при каждой из независимых переменных равен нулю (т.е. нет связи между зависимой и независимой переменной). ▶️Регрессия Пуассона — это особый тип регрессии, в котором переменная отклика состоит из «данных подсчета». Регрессию Пуассона можно использовать, к примеру, для изучения количества студентов, окончивших определенную программу колледжа, на основе их среднего балла при поступлении на программу и их пола. В этом случае «количество выпускников» — это переменная ответа, «средний балл успеваемости при поступлении на программу» — непрерывная предикторная переменная, а «пол» — категориальная предикторная переменная. Подробнее про каждый из видов регрессии можно почитать тут: 📎 линейная 📎 логистическая 📎 Пуассона @data_analysis_ml

HOSTKEY – международный хостинг-провайдер предлагает в аренду выделенные и виртуальные GPU-серверы с почасовой или месячной оплатой.  🔥Доступны конфигурации с игровыми картами RTX4090 и профессиональными RTX A500 24Gb и Tesla H100 / A100 80Gb.  Дата-центры в России, Нидерландах и Исландии.  Скидки до 30%. Стоимость от 10 руб./ч или 7 500 руб. в месяц. HOSTKEY предлагает гранты для перспективных проектов в области Data Science и для победителей конкурсов по исследованию данных на платформе Kaggle и других площадках. Спрос на серверы высокий, количество серверов ограничено. 🔥Закажите сервер сегодня или оставьте заявку на предзаказ. erid: LjN8K97ZZ

⚡️ReviewNB Интерфейс #Jupyter_notebook на #GitHub имеет ограничения, в том числе невозможность отображения интерактивных графиков, математических выражений и открытия больших ноутбуков. Интеграция ReviewNB с GitHub снимает все эти ограничения. https://www.reviewnb.com @data_analysis_ml

Кто круче нейросети? Только тот, кто ее обучает. Примите участие в бесплатном интенсиве «Погружение в Data Science: обучите свою первую нейросеть за два дня» от онлайн-школы Skillfactory. С 19 по 20 марта будете знакомиться с: – сферой Data Science и ее направлениями; – элементарным анализом данных на Python; – алгоритмами машинного обучения. А за лучшее решение домашнего задания вы сможете получить подарок — мини-курс по аналитическому мышлению. Регистрируйтесь: https://go.skillfactory.ru/&erid=2VtzqxZU1vB Реклама. ООО «Скилфэктори», ИНН: 9702009530

🦆 Оптимизатор запросов Duckdb объединяет фильтры и агрегации в одну операцию, считывая только релевантные столбцы. Эта оптимизация делает DuckDB эффективнее для агрегаций данных по сравнению с pandas. 📌 DuckDb @data_analysis_ml

Как организовать безоблачное долгосрочное хранение неструктурированных данных на серверах компании? ⏰ 21 марта в 16:00 МСК ⚡️ Регистрация: https://bit.ly/49Qu1tS Обсудим реализацию архитектуры растянутого хранилища на несколько ЦОДов на примере продукта Cloud Storage. Рассмотрим кейс миграции более 150 ТБ хранимых данных в объектное хранилище от VK, в контуре компании, с протоколом доступа S3 API. Расскажем: 🔹Как обеспечить надежность хранения данных и удовлетворить требованиям регуляторов, 🔹Какие есть плюсы, минусы и подводные камни существующих типов систем хранения данных, 🔹Какие варианты хранения доступны в текущих условиях и как выбрать наиболее подходящий. Регистрация: https://bit.ly/49Qu1tS

🔥 Годный сайт, описывающий реализации нейросетей Нереально полезный сайт, тут содержится много полезностей по ML и DS, например, реализация различных нейронных сетей. На скрине показана имплементация LSTM, каждый шаг подробно описан со всеми нужными формулами. Если нажать на название переменной, то она подсветится везде, что тоже очень удобно 📎 Сайт @data_analysis_ml

У Тинькофф открылась стипендиальная программа для студентов на 2024 год! В отборе могут участвовать студенты бакалавриата, специалитета и магистратуры (кроме выпускного курса) из всех городов и ВУЗов. Стипендия выдаётся на один учебный год и составляет 25 000 ₽ в месяц. Кроме этого: — доступ к лекциям; — общение с менторами; — отложенный оффер на стажировку или работу в Тинькофф. Более подробная информация и форма подачи заявки 👉 по ссылке Переходите и подавайте заявку на одну из крупнейших в стране частных стипендий для студентов! erid:2VtzqwmWK5n Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

📊 Uniplot Uniplot легковесная библиотека, которая генерирует графики в терминале. Эта библиотека была нужна для того, чтобы использовать графики как часть вашего конвейера CI / cd для анализа данных / машинного обучения - всякий раз, когда что-то идет не так, вы получаете не только ошибку и трассировку, но и графики, которые показывают, в чем заключалась проблема. ▪Github @data_analysis_ml

Екатеринбург, 21 марта приглашаем на митап IT Talk by Sber! 😉 Поговорим о том, как сделать правильную анимацию в браузере, обсудим управление UI через backend и узнаем о проблемах наследования кода. А после — ответим на все вопросы, пообщаемся и просто отлично проведём время. Спикеры и темы: - Михаил Прядун, Frontend Developer, «Правильная анимация и хороший CSS» - Алексей Кардашов, Java Developer, «Управление UI через backend в стеке jvm с использованием composite screen platform» - Ирина Шахтарина, аналитик, «Это всё, что останется после меня: проблемы наследования кода и передачи права на него» Встречаемся 21 марта в 18:30 в Технохабе Сбера по адресу ул. Розы Люксембург, 56а. Ждём всех крутых разработчиков Урала! Регистрируйтесь по ссылке 💚

🌟 Открытая книга для специалистов в области AI и ML Книга состоит из 3 глав. ⏩Глава 1: Освоение OpenAI API Первая глава знакомит читателей с API ChatGPT. Предоставлена дорожная карта для понимания ключевых стратегий, включая модерацию, Machine Reasoning и Prompt Chaining. ⏩Глава 2: LangChain Вторая глава посвящена практике использования LangChain. Описан процесс разработки, от настройки среды до внедрения передовых методик извлечения информации (Document Loaders, Text Splitters, Semantic Search, RAG Systems). ⏩Глава 3: ML Ops для LLMs, или LLMOps Третья глава представляет собой руководство по интеграции LLM в рабочие процессы. Описываются ключевые этапы от выбора модели до ее развертывания и мониторинга. Стоит учитывать, что книга не может охватить много аспектов, по-большей части всё вокруг прикручивания готового чат-бота для своих целей Но при всё при этом можно найти для себя много всего полезного 📎 Книга @data_analysis_ml

📌Годная статья по кластеризации в Machine Learning Что освещается в статье? • Алгоритмы кластеризации — K-means, Spectral Clustering и DBSCAN • На чём основан K-means • О работе Spectral Clustering, как он работает с нелинейно разделимыми данными, устойчив ли к выбросам • Как DBSCAN группирует точки на основе плотности и самостоятельно определяет количество кластеров. • Как работает Affinity Propagation; соотношение между данными и выбором репрезентативных образцов • Подводные камни алгоритмов кластеризации, такие как выбор оптимальных параметров и высокая вычислительная сложность 📎 Статья @data_analysis_ml

🌐 Хочешь быть в числе крутых аналитиков данных? Тогда присоединяйся к онлайн-соревнованию Data Fusion Contest 2024 от ВТБ и Т1 и покажи лучшим экспертам отрасли, на что ты способен! Более 1000 аналитиков уже приняли вызов и вступили в борьбу за призовой фонд в 2 млн рублей. 📈💡Используй новые ML/DS подходы и решай задачи по геоаналитике и по моделям оттока клиентов. Ты в деле? Не упусти возможность применить в работе самые передовые технологии для анализа данных. Участвуй в онлайн-встречах и обменивайся ценным опытом с единомышленниками. Соревнование уже началось, но ты еще успеваешь запрыгнуть в последний вагон. Регистрируйся по ссылке — https://vk.cc/cvlpkk *ML - машинное обучение *DS - анализ данных

⭐️Что такое алгоритм ADD-DEL и где используется? Алгоритм ADD-DEL используется для определения наиболее значимых признаков и улучшения производительности модели. ADD-DEL является одним из методов отбора признаков, основанных на пошаговом поиске. Он работает так: ⏩Начальная точка: Начальное множество признаков пустое. ⏩Добавление признаков (ADD): Алгоритм просматривает все признаки, которые еще не были добавлены в множество, и добавляет тот признак, который приводит к наибольшему увеличению критерия оценки. Этот процесс повторяется, пока добавление новых признаков не перестанет улучшать критерий оценки. ⏩Удаление признаков (DEL): После того, как невозможно улучшить критерий оценки путем добавления новых признаков, алгоритм начинает удалять признаки. Он просматривает все признаки, которые уже были добавлены в множество, и удаляет тот признак, который приводит к наименьшему ухудшению критерия оценки. Этот процесс повторяется, пока удаление признаков не перестанет улучшать критерий оценки. ⏩Процесс продолжается до достижения определенного критерия остановки, например, до достижения определенного числа признаков или улучшения производительности модели. В целом алгоритм ADD-DEL используется довольно часто, для подробного ознакомления вот ниже полезные ссылки 🖥 Код с объяснением алгоритма 📎 Лекции МГУ 📎 Лекция Воронцова К.В. @data_analysis_ml

Привет! Это команда Концепт-Разработка. Мы занимаемся развитием и внедрением продуктов в сфере больших данных, корпоративных хранилищ данных, BI и систем управления данными. У себя в канале развиваем сообщество бизнес и системных аналитиков, разработчиков и data-инженеров. + Актуальные вакансии; + Интересные разработки; + Проекты федеральных заказчиков; + Новости индустрии и многое другое. Подписывайся на канал, мы будем рады и экспертам, и начинающим специалистам. Реклама. ООО "КОНЦЕПТ РАЗРАБОТКА". ИНН 7703471165. erid: LjN8KPCGN

🔺 Полезные ссылки для специалиста по Data Science Эти источники помогут освежить знания по DS, особенно полезно будет полистать перед собеседованием Изучение основ Python ⏩ Питонтьютор — понятный и удобный курс для освоения базы. Там много задач для практики, которые попадаются на собеседованиях. ⏩ Основы Python-разработки — ещё один бесплатный курс: за 20 часов вы изучите основы и напишете простой код. ⏩ Основы программирования и анализа данных на Python — короткий видеокурс. Особенно рекомендую лекции 7—10 про полезные библиотеки Pandas, NumPy, Matplotlib и Seaborn. Основы SQL ⏩ Интерактивный тренажёр по SQL — курс с множеством практических заданий на создание SQL-запросов. Рекомендую начать с него. ⏩ Основы работы с базами данных и SQL — ещё один курс с интерактивным тренажёром. ⏩ Упражнения на SQL-EX — тренажёр написания запросов SELECT. Регулярно решайте задачи, чтобы уверенно чувствовать себя на собеседованиях. Библиотеки Python ⏩ Python PANDAS, полный курс для начинающих — библиотека Pandas помогает удобно работать с табличными данными и похожа логикой на SQL. Основные операции стоит знать наизусть: чтение таблиц, редактирование, работа с пропусками, изменение типов данных. После изучения теории возьмите какой-нибудь датасет и вручную «покрутите» его в Jupyter Notebook ⏩ Основы NumPy — библиотека NumPy помогает быстро и удобно производить математические операции. Она используется во многих других библиотеках. Необязательно знать все операции наизусть, главное — уметь быстро в них сориентироваться при необходимости. ⏩ Matplotlib — библиотеки для визуализации данных. В Seaborn графики выглядят красивее, а Matplotlib гибко настраивается. Заучивать все функции и методы необязательно. ⏩ 50 оттенков Matplotlib — статья с примерами графиков, чтобы построить что-то подобное для своих данных. Алгоритмы и структуры данных ⏩ Тренировки по алгоритмам — лекции с теорией, домашними заданиями и разборами. Сдавайте задания вовремя, чтобы получить сертификат. Лучших участников готовят к прохождению алгоритмических собеседований. ⏩ LeetCode — сайт с задачами для подготовки к собеседованиям. Решайте уровни Easy и Medium перед интервью. Математика для анализа данных ⏩ Бесплатный курс «Основы математики для цифровых профессий» поможет закрыть пробелы в базовой математике, чтобы перейти к более сложным темам. ⏩ Теория вероятностей поможет проанализировать данные и отличить случайности от закономерностей. Смотрите лекции от МФТИ и других крутых универов по теорверу на YouTube. ⏩ Основы математической статистики — курс связан с теорвером, и с его помощью можно научиться делать достаточно точные выводы о данных по их выборке. Курс ведёт Анатолий Карпов — ex-тимлид команды аналитики в отделе бизнеса и рекламы VK. Он крутой специалист, рекомендую его вебинары на YouTube Продуктовая аналитика ⏩ Публичное собеседование по продуктовой аналитике ⏩ ML для оптимизации цен на основе эластичности по цене ⏩ Как мы не сделали рекомендательную систему в банке Этого должно быть вполне достаточно, чтобы начать проходить собеседования по чистой продуктовой аналитике. Используйте все эти ресурсы по максимуму 🔥 @data_analysis_ml

🚀 GPM AdTech Challenge  от «Газпром-Медиа» и Getintent Когда: 18-30 марта Формат: гибридный Призовой фонд: 1 000 000 рублей Ты можешь стать победителем независимо от своего технического бэкграунда. Выбирай один из трех треков, создавай прототип и выигрывай 1 000 000 рублей. Регистрация до 13 марта: https://cnrlink.com/gpmdataa 🎙 Frontend Мeetup от Росбанка Когда: 22 марта Формат: очный, Казань Вас ждут доклады специалистов Росбанка, СберМаркета и VK Добра.  Авторы лучших вопросов получат мерч.  Регистрация до 18 марта: https://cnrlink.com/rbkazandataa 💢 «Халява, приди!»‎ от Codenrock Когда: весь март Формат: онлайн Реши несложные, но увлекательные задачи по программированию и получи возможность стать обладателем промокода на любой маркетплейс. Это ли не халява? Регистрация до 20 марта: https://cnrlink.com/halyavadataa Реклама. ООО "ЦУКЕР СТУДИЯ". ИНН 7751071015. erid: LjN8JxK2o

🔅Секреты успешного анализа данных: 10 принципов, которые работают Эти 10 принципов — подборка практических и довольно очевидных правил, главное — придерживаться их. Начнём! 1️⃣Определите цель анализа данных. Подумайте о том, что для вас на данный момент важнее всего: выявить скрытые закономерности в данных, предсказать будущие тренды или что-то другое. 2️⃣Обеспечьте качество данных. Подготовка данных к анализу - это ваш первый шаг к созданию шедевра аналитики. 3️⃣Применяйте разнообразные методы анализа. Уверенность в владении разнообразными методами анализа поможет вам принимать обоснованные решения и открывать новые перспективы. 4️⃣Используйте современные инструменты для обработки данных. Открывайте новые горизонты современных технологий, обогащайте свои навыки и возможности в области обработки данных и становитесь настоящим профи данных. 5️⃣Создавайте эффективные модели прогнозирования. Используя эффективные модели прогнозирования, вы вооружаетесь сильным инструментом, позволяющим вам принимать осознанные решения и идти впереди конкурентов. 6️⃣Осуществляйте визуализацию данных для наглядного представления информации. Визуализация делает данные живыми и наглядными, что поможет вам принимать обоснованные решения. 7️⃣Учитывайте контекст и особенности данных. Это позволит вам строить глубокие и точные модели, учитывая все нюансы и особенности, что помогает принимать обоснованные и эффективные решения. 8️⃣Используйте машинное обучение и искусственный интеллект. ML и AI — это ваш мощный арсенал в битве за понимание и прогнозирование данных. 9️⃣Проводите регулярную проверку и обновление данных. Это поможет вам принимать обоснованные решения, опираясь на достоверные и актуальные факты. 0️⃣Извлекайте практическую пользу из результатов анализа. Это поможет вам использовать данные не только как информацию, но и как мощный инструмент для достижения целей и реализации задач. В общем, данные — это не просто цифры и факты, это ключ к принятию обоснованных решений. Используйте их на полную! @data_analysis_ml

🚀 Датасет Amazon Reviews получил четвертое обновление! Amazon Reviews, один из крупнейших и наиболее широко используемых наборов данных отзывов, насчитывающий более 500 миллионов отзывов пользователей, более 48 миллионов товаров, более 60 миллионов токенов, из 33 категорий. https://amazon-reviews-2023.github.io @data_analysis_ml