Data Analysis / Big Data

Python Essentials for Data Engineers Read: https://www.startdataengineering.com/post/python-for-de/ @big_data_analysis ___ Другие наши проекты

Книга: «Антипаттерны SQL. Как избежать ловушек при работе с базами данных» Привет, Хаброжители! Язык SQL необходим для работы со структурированными данными. Программисты, прекрасно знающие свой любимый язык (Java, Python или Go), не могут разбираться во всем, и часто не являются экспертами в SQL. Это приводит к появлению антипаттернов — решений, которые на первый взгляд кажутся правильными, но со временем создают все больше проблем. Научитесь выявлять и обходить многие из этих распространенных ловушек! Проведите рефакторинг унаследованного кошмара и превратите его в жизнеспособную модель данных! Примеры SQL-кода основаны на версии MySQL 8.0, но в тексте также упоминаются другие популярные РСУБД. В примерах кода используется Python 3.9+ или Ruby 2.7+. Читать: https://habr.com/ru/companies/piter/articles/819423/ @big_data_analysis ___ Другие наши проекты

Unlock the Power of Your Data: Seamlessly Create and Refresh Datasets from Files Stored in OCI Object Storage In this post, I provide an overview and examples of creating datasets from files stored in Oracle Cloud Infrastructure (OCI) Object Storage. Read: https://blogs.oracle.com/analytics/post/unlock-the-power-of-your-data-seamlessly-create-and-refresh-datasets-from-files-stored-oci-object-storage @big_data_analysis ___ Другие наши проекты

Incremental Migration of Catalog Objects in Oracle Analytics This blog describes how you can migrate catalog objects incrementally using Oracle Analytics Web services and a handy Python script. Read: https://blogs.oracle.com/analytics/post/incremental-migration-of-catalog-objects-in-oracle-analytics @big_data_analysis ___ Другие наши проекты

Building Oracle Machine Learning Models with OML4Py and Deploying in Oracle Analytics Cloud This article guides you through the second approach (Oracle Machine Learning Models). Specifically, how to use Oracle Machine Learning for Python (OML4Py) to train and test models in the database and deploy them in OAC. Read: https://blogs.oracle.com/analytics/post/building-oracle-machine-learning-models-with-oml4py-and-deploying-in-oracle-analytics-cloud @big_data_analysis ___ Другие наши проекты

Usage Insights for Oracle Analytics Cloud using OCI Logging Read this article to gain insights about Oracle Analytics Cloud usage with OCI Logging. Read: https://blogs.oracle.com/analytics/post/insights-of-oracle-analytics-cloud-usage-via-oci-logging @big_data_analysis ___ Другие наши проекты

[Туториал] Пишем собственные Spark Native Functions (Часть 2) В предыдущей своей статье Почему стоит начать писать собственные Spark Native Functions? (Часть 1), которая является переводом и которая вдохновила меня на собственные изыскания, был разобран пример, как написать свою Spark Native Function по генерации UID. Это, конечно, здорово, но вот только данная функция не принимает аргументы на вход, в то время как в реальной практике нам требуются обычно функции, которым надо передать на вход 1, 2 или 3 аргумента. Такие случаи не рассматриваются в упомянутой выше переводной статье - ну что ж, попробуем восполнить этот пробел! Ниже я предлагаю вашему вниманию результаты своих изысканий по созданию собственных Spark Native Functions, которые бы принимали на вход несколько аргументов. Читать: https://habr.com/ru/articles/816997/ @big_data_analysis ___ Другие наши проекты

Оптимизация настроек Kafka кластера. Часть 2. Механизмы управления задержкой, надежностью и доступностью Привет, Хабр! Представляю вам вторую часть из серии статей, посвященных оптимизации развертывания Kafka кластера (ссылка на первую часть). Это перевод руководства от Confluent. Сегодняшняя статья посвящена тому, как уменьшить задержку и повысить надежность и доступность. Заключительная третья часть будет посвящена мониторингу и бенчмаркингу. Читать: https://habr.com/ru/articles/819243/ @big_data_analysis ___ Другие наши проекты

Как аналитику визуализировать данные максимально эффективно?  Эксперты покажут на открытом практическом уроке от OTUS, где вы: — познакомитесь с основными библиотеками визуализации данных; — рассмотрите различные типы графиков и поймёте, в каких случаях стоит их использовать; — поймете, как добавить сложные подписи на данные, как сделать несколько осей или оси различных масштабов, как сложить несколько кривых в одном отображении. После занятия никакая фича не сможет спрятаться от вас в большом датасете!  Встречаемся 6 июня в 20:00 мск в преддверии старта курса «Python для аналитики». Все участники вебинара получат специальную цену на обучение и консультацию!  Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/R4nI/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: LjN8KHUho

Наташ, вставай, мы ещё не все данные о трендах обработали %%excerpt%% Сможете ли вы назвать главных героев трендов только по исходной информации? Оцените свои навыки работы с данными, пройдя тест. Читать: «Наташ, вставай, мы ещё не все данные о трендах обработали» @big_data_analysis ___ Другие наши проекты

Facebook выложила исходный код нейросетей, которые прогнозируют распространение COVID-19 Facebook сделала модель машинного обучения на нейросетях, которые предсказывают распространение COVID-19. Они должны помочь органам здравоохранения грамотнее распределять ресурсы. Читать: «Facebook выложила исходный код нейросетей, которые прогнозируют распространение COVID-19» @big_data_analysis ___ Другие наши проекты

Скрапинг сайта с помощью Python: гайд для новичков Пишем простой скрапер на Python для сайта с объявлениями о недвижимости. Получаем готовый очищенный готовый к экспорту датасет. Читать: «Скрапинг сайта с помощью Python: гайд для новичков» @big_data_analysis ___ Другие наши проекты

Исследование: размер коммьюнити у 14 самых популярных языков программирования Если кратко: приверженцы практически любого языка найдут собеседника по интересам. При этом наибольший шанс у JS, Python и Java разработчиков. Читать: «Исследование: размер коммьюнити у 14 самых популярных языков программирования» @big_data_analysis ___ Другие наши проекты

Топ-10 Python библиотек для Data Science Рассказываем, на какие популярные Python библиотеки для Data Science стоит обратить внимание начинающему дата-сайентисту. Читать: «Топ-10 Python библиотек для Data Science» @big_data_analysis ___ Другие наши проекты

YouTube-видео превратили в бесконечное хранилище данных Энтузиасты написали алгоритм AKA ISG, который превращает видео на YouTube в бесплатное бесконечное хранилище данных. Читать: «YouTube-видео превратили в бесконечное хранилище данных» @big_data_analysis ___ Другие наши проекты

Данные и где они обитают: 10 вопросов о ЦОДах, облаках и Big Data Мы собрали 10 правдивых (и не очень) фактов и готовы проверить вашу эрудицию! Читать: «Данные и где они обитают: 10 вопросов о ЦОДах, облаках и Big Data» @big_data_analysis ___ Другие наши проекты

SQL задачка: напишите запрос для обработки больших данных Как рационально вытащить нужные данные, когда в распределённой системе хранятся петабайты различной информации. Читать: «SQL задачка: напишите запрос для обработки больших данных» @big_data_analysis ___ Другие наши проекты

Собеседование по Data Science: что нужно знать и где это изучить Leon Chlon, специалист из Facebook, рассказывает, какие знания и подход нужны, чтобы успешно пройти собеседование по Data Science. Читать: «Собеседование по Data Science: что нужно знать и где это изучить» @big_data_analysis ___ Другие наши проекты

Практика Data Science: где искать датасеты и что с ними делать — отвечают эксперты Начинающие специалисты в Data Science порой не знают, где искать датасеты и что с ними делать. Узнали у экспертов, что они могут посоветовать. Читать: «Практика Data Science: где искать датасеты и что с ними делать — отвечают эксперты» @big_data_analysis ___ Другие наши проекты

IoT, информационная безопасность и облачные технологии — за чем ещё следить айтишнику в 2020 году? В IT постоянно появляются новые тренды и иногда возвращаются старые. Айтишникам нужно следить за ними, чтобы знать, в каком направлении стотит развиваться. Читать: «IoT, информационная безопасность и облачные технологии — за чем ещё следить айтишнику в 2020 году?» @big_data_analysis ___ Другие наши проекты