Data Analysis / Big Data

Как быстро развернуть хранилище и аналитику данных для бизнеса История запуска небольшого хранилища данных российской инвестиционной площадки по финансированию малого и среднего бизнеса Читать: «Как быстро развернуть хранилище и аналитику данных для бизнеса» #ru @big_data_analysis | Другие наши каналы

Дайджест Python #9: PandasAI, Телеграм-бот на Django и языковые модели на Python Собрали лучшие материалы по Python с 1 по 15 мая. Узнайте, что такое PandasAI и как сделать языковую модель на Python. Читать: «Дайджест Python #9: PandasAI, Телеграм-бот на Django и языковые модели на Python» #ru @big_data_analysis | Другие наши каналы

Дайджест Python #5: как сделать свой Copilot и работать с данными в Pandas Собрали дайджест из лучших статей и новостей о Python с 1 по 15 марта. Дайджест включает статьи и видео на русском и английском языках. Читать: «Дайджест Python #5: как сделать свой Copilot и работать с данными в Pandas» #ru @big_data_analysis | Другие наши каналы

Как работали с данными с древних времён: краткая история Data Science Наука о данных стала популярна лишь в 2010-е, но история Data Science началась чуть ли не 40 000 лет назад. Рассказываем, с чего именно. Читать: «Как работали с данными с древних времён: краткая история Data Science» #ru @big_data_analysis | Другие наши каналы

Дайджест Python #4: версия 3.12 и свой GPT за 60 строк кода Собрали дайджест из лучших статей и новостей о Python с 14 по 28 февраля. Дайджест включает статьи и видео на русском и английском языках. Читать: «Дайджест Python #4: версия 3.12 и свой GPT за 60 строк кода» #ru @big_data_analysis | Другие наши каналы

Набор инструментов, чтобы сделать аналитику на R максимально комфортной Инструменты, которые наверняка пригодятся, если вы будете заниматься Data Science и аналитикой на языке R. Читать: «Набор инструментов, чтобы сделать аналитику на R максимально комфортной» #ru @big_data_analysis | Другие наши каналы

Дайджест Python #8: обновления Django и обучение GPT-4 Собрали дайджест из материалов по Python с 15 по 30 апреля. Узнайте, как подключить AutoGPT проекту, как изменился Django и как обучить GPT-4. Читать: «Дайджест Python #8: обновления Django и обучение GPT-4» #ru @big_data_analysis | Другие наши каналы

Чего компании ждут от специалистов по Data Science в 2023 году Проанализировали несколько десятков вакансий и выяснили, что должен знать и уметь специалист по Data Science в 2023 году. Читать: «Чего компании ждут от специалистов по Data Science в 2023 году» #ru @big_data_analysis | Другие наши каналы

Основные инструменты для работы с данными: от сбора до анализа Работа с данными помогает бизнесу принимать верные решения. Собрали главные инструменты для анализа данных, которые используют специалисты. Читать: «Основные инструменты для работы с данными: от сбора до анализа» #ru @big_data_analysis | Другие наши каналы

Почему дата-аналитики должны перестать работать «дворниками» Дата-аналитики приносят пользу, когда извлекают из данных полезные инсайты. Но зачастую им не до этого, ведь данные ещё нужно очистить. Читать: «Почему дата-аналитики должны перестать работать «дворниками»» #ru @big_data_analysis | Другие наши каналы

YouTube-видео превратили в бесконечное хранилище данных Энтузиасты написали алгоритм AKA ISG, который превращает видео на YouTube в бесплатное бесконечное хранилище данных. Читать: «YouTube-видео превратили в бесконечное хранилище данных» #ru @big_data_analysis | Другие наши каналы

Дайджест Python #7: аналоги ChatGPT и обновления фреймворков Собрали лучшие новости о Python с 1 по 15 апреля. Узнайте, как написать свой Duolingo и как изменились фреймворки для работы с Big Data. Читать: «Дайджест Python #7: аналоги ChatGPT и обновления фреймворков» #ru @big_data_analysis | Другие наши каналы

Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами Собрали лучшие материалы по Python с 1 по 14 февраля: как создать ИИ-плеер, как предсказать лесные пожары и как быстро прокачать код. Читать: «Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами» #ru @big_data_analysis | Другие наши каналы

Собеседование по Data Science: что нужно знать и где это изучить Leon Chlon, специалист из Facebook, рассказывает, какие знания и подход нужны, чтобы успешно пройти собеседование по Data Science. Читать: «Собеседование по Data Science: что нужно знать и где это изучить» #ru @big_data_analysis | Другие наши каналы

Наташ, вставай, мы ещё не все данные о трендах обработали %%excerpt%% Сможете ли вы назвать главных героев трендов только по исходной информации? Оцените свои навыки работы с данными, пройдя тест. Читать: «Наташ, вставай, мы ещё не все данные о трендах обработали» #ru @big_data_analysis | Другие наши каналы

Дайджест Python #2: чем плох Django и как создать бота на GPT-3 Собрали дайджест из лучших новостей и статей по Python с 15 по 31 января про Data Science, веб-разработку, нейросети и приложения. Читать: «Дайджест Python #2: чем плох Django и как создать бота на GPT-3» #ru @big_data_analysis | Другие наши каналы

Открываем ПВЗ с умом: интеграция Геоинтеллекта и DataLens Мы в Геоинтеллекте любим геоданные и геоаналитику. Часто миксуем технологии. Вот, например, мы попробовали генерировать графики BI системы DataLens внутри платформы для Геоаналитики “Геоинтеллект”. Что из этого вышло, посмотрим на реальном кейсе, которая выполняла наша сотрудница. Задача Предположим вы, как аналитик, хотите понять, где выгоднее всего искать помещение для открытия пункта выдачи заказов маркетплейса. Для этого нужно обратить внимание на ряд факторов, которые влияют на выбор: Читать: https://habr.com/ru/articles/985490/ #ru @big_data_analysis | Другие наши каналы

Embedding — как машины понимают смысл текста Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Цифровой объект можно представить числом: картинку, текст, аудио или видеофайл — практически всё что угодно. Для того чтобы ввести этот объект в нашу ML модель как некое понятие, мы должны преобразовать его в определённый набор чисел. По этому набор чисел мы сможем определить, что, например, этот объект «яблоко», а не «груша». С картинками все просто. В чёрно-белом изображении (в градациях серого) самый яркий пиксель имеет значение 1, самый тёмный — 0, а оттенки серого имеют значения от 0 до 1. Такое числовое представление упрощает обработку изображений. Преобразовав изображение в цифровую форму на основе значений пикселей, мы можем использовать его в качестве входных данных для обучения нашей модели, позволяя нейронной сети обучаться на значениях пикселей. Однако что делать с текстом? Как спроецировать буквы в числа? Читать: https://habr.com/ru/companies/ruvds/articles/983958/ #ru @big_data_analysis | Другие наши каналы

Анимированные визуализации потоков данных: движение товаров, денег и пользователей В современном мире данным кроме накапливания ещё присуще такое свойство как двигаться. Причём они движутся постоянно. Пользователи переходят между страницами и приложениями, товары перемещаются по глобальным логистическим сетям, а деньги циркулируют между счетами, банками и платёжными системами. В таких условиях традиционные инструменты аналитики — таблицы, статические графики и отчёты, хорошо отвечают на вопросы сколько? и ему подобные, но плохо показывают как именно это происходит. Чтобы понять динамику процессов, выявить узкие места и увидеть реальные взаимосвязи, всё чаще используют анимированные визуализации потоков данных. Именно о них предлагаю поговорить сегодня. В этой статье разберёмся: зачем вообще нужна анимация данных, какие типы потоковых визуализаций существуют, какие технологии используются для их создания и в каких задачах они дают реальную пользу. Читать: https://habr.com/ru/companies/timeweb/articles/981392/ #ru @big_data_analysis | Другие наши каналы

Соискатель получил отказ в работе от Авито после фидбэка из Яндекса Предисловие: вся информация находится в открытом доступе. Статья написана с целью привлечения внимания к общественно важной теме. Я хочу всесторонне разобраться в ситуации, услышать комментарии всех участников (особенно компаний «Яндекс» и «Авито») и только после этого делать какие-либо выводы, и вас к этому тоже призываю. Недавно вышло интервью HR из Яндекса основателю сообщества «Осознанная меркантильность». В нём говорилось о найме, «красных флагах» в резюме соискателей и другом булщите о найме, от которого уже тошнит... Примерно сутки спустя в том же сообществе появился комментарий от девушки. Она увидела на YouTube интервью с сотрудницей Яндекса (конкретно из Финтеха, если ссылаться на содержание). Девушка вспомнила, что эта сотрудница когда-то писала о ней пост в своём Telegram. Я чекнула, там 1500+ подписчиков, включая, скорее всего, HR, так как наша HR из этой истории является публичным лицом, активно участвует в конференциях для HR и ведёт подкаст о HR-сфере на YouTube. По словам девушки-соискателя, пост HR был обезличен, но содержал много деталей, и её команда, скорее всего, поняла, что речь идёт о ней. Затем девушка пошла на собеседование в Авито, где получила отказ с формулировкой «нам дали плохой фидбэк в Яндексе». Кто дал — неясно. На каком основании вообще запрашивали этот фидбек — тоже неясно. Кто передал информацию о бывшем сотруднике — опять же непонятно. Такое часто бывает на рынке труда. HR могут собирать информацию друг у друга по знакомству. Не факт, что запрос идёт к вашему бывшему руководителю или коллеге, ведь неизвестно, кто входит в круг общения конкретного рекрутера. Гипотетически возможна ситуация: у вас есть коллега, которая по своим причинам вас недолюбливает или даже ненавидит. HR случайно обратился за реферс, и вуаля, вы не только получаете отказ, но и в системе отслеживания кандидатов (ATS) потенциального работодателя появляется пометка «предыдущие коллеги дали плохой референс». Далее эта метка остаётся в системе, и даже спустя 2–3–4 года новый HR, не вникая в детали, может сделать по ней выводы и отказать вам. Читать: https://habr.com/ru/articles/984172/ #ru @big_data_analysis | Другие наши каналы