Data Analysis / Big Data

Data Engineering Weekly #93 Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-93

Глубокое погружение в рекомендательную систему Netflix Как Netflix добился 80 процентов от всего своего стримингового времени благодаря персонализации Читать: https://habr.com/ru/post/677396/

Пишем первую программу по машинному обучению до 50 строк с помощью Scikit-Learn Сегодня мы воспользуемся возможностями машинного обучения для анализа шоколадного печенья. Читать о печеньках и ML Читать: https://habr.com/ru/post/677274/

Работа над неразмеченными данными с QGIS и opentripmap на практике В этом посте я хочу поделиться интересным опытом работы с неразмеченными данными при помощи открытого ресурса opentripmap. Задача По исходным данным определить является ли конкретное фото, сделанное пользователем туристическим или нет. А так же масштабировать и автоматизировать алгоритм решения на любой регион Российской Федерации, избегая ручную работу. Читать: https://habr.com/ru/post/677298/

Migrate a large data warehouse from Greenplum to Amazon Redshift using AWS SCT – Part 2 Read: https://aws.amazon.com/blogs/big-data/part-2-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/

Migrate a large data warehouse from Greenplum to Amazon Redshift using AWS SCT – Part 1 Read: https://aws.amazon.com/blogs/big-data/part-1-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/

What is AB testing? 2 Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/07/what-is-ab-testing-2.html

Обучение алгоритма генерации текста на основе высказываний философов и писателей Наверняка вы мечтали поговорить с великим философом: задать ему вопрос о своей жизни, узнать его мнение или просто поболтать. В наше время это возможно за счет чат-ботов, которые поддерживают диалог, имитируя манеру общения живого человека. Подобные чат-боты создаются благодаря технологиям разработки естественного языка и генерации текста. Уже сейчас существуют обученные модели, которые неплохо справляются с данной задачей. Узнать больше! Читать: https://habr.com/ru/post/677032/

Accelerate resize and encryption of Amazon Redshift clusters with Faster Classic Resize Read: https://aws.amazon.com/blogs/big-data/accelerate-resize-and-encryption-of-amazon-redshift-clusters-with-faster-classic-resize/

​Это приглашение на «быстрое свидание» с работой мечты в команде Сбера. One Day Offer — самый короткий путь до оффера. Пройти собеседование и получить ответ в тот же день можно 16 и 17 июля по двум вакансиям: Data Engineer в ИТ-команду «Комплаенс» и Java Developer в ИТ-подразделение «Сеть продаж». Как это работает? Шаг 1. 16 июля или 17 июля (в зависимости от вакансии) подключитесь к онлайн-интервью. Шаг 2. Получите предложение о работе, о которой мечтали, в тот же день. Шаг 3. А дальше — вместе со своей командой разрабатывайте крутые и важные продукты Сбера. Прочитать подробнее о вакансиях и отправить заявку на участие в One Day Offer можно здесь. Это #партнёрский пост

Custom packages and hot reload of dictionary files with Amazon OpenSearch Service Read: https://aws.amazon.com/blogs/big-data/custom-packages-and-hot-reload-of-dictionary-files-with-amazon-opensearch-service/

​Машинное обучение на основе данных сквозной аналитики - улучшаем маркетинг на 30% Data Mining, Feature Engineering и Machine Learning - три столпа новой системы предиктивной аналитики, разработанной в партнерстве с ЛитРес. Десятки разработанных коннекторов, написанных ETL процессов и сотни протестированных моделей позволили предсказывать будущие покупки пользователя. Вы купите новую книгу с вероятностью 74% в течение семи дней. Откуда мы это знаем? Рассказываем в новой статье: https://vc.ru/services/460975-ugaday-namerenie-ili-kak-my-sozdali-predikt-kotoryy-uvelichil-prodazhi-litres-na-33 Это #партнёрский пост

Выявление и сбор требований к ПО — ultimate guide Какие бывают требования к ПО и как их собирать. Пост полностью освещает все аспекты сбора и структурирует информацию для тестировщиков. Читать: «Выявление и сбор требований к ПО — ultimate guide»

Национализация ваших данных происходит прямо сейчас Национализация ваших данных государством продолжается семимильными шагами. Ожил "замерший" новый законопроект Минцифры и летит к принятию. Это один из самых радикальных подходов к данным со стороны государства, который я когда-либо видел. Он заберёт все ваши данные у компаний, не спросив вас, и раздаст всем желающим. Согласно ему государство вправе бесплатно забрать у бизнеса любые персональные данные граждан в некую "информационную систему". Потом их "обезличат" чтобы с ними могли работать "ведомства и разработчики ИИ". Прямо так и написано. Разрешения гражданина не потребуется - хотя ещё в апреле Минцифры явно говорило, что оно будет нужно. Разрешение, как предполагали в первых версиях проекта, нужно будет спрашивать только у силовиков. Поражает здесь то, что государство просто собирается признать своим всё, что крупные компании строили за деньги инвесторов, неся риски, столько лет - например, тот же "Яндекс". Весь его бизнес - это данные и продажа таргетинга на основе них. Это был барьер от конкурентов, создаваемое годами технологическое преимущество, ценнейший актив компании. Если Яндексу придётся передать все подобные данные государству - это принципиальный удар по бизнес-модели. Его данные, даже в обезличенном виде, теперь будут доступны сотням компаний. Кстати, дальше эти данные "защищает" государство. Утечки, проблемы - теперь наказывать государство будет само себя. Горелкин из айти-комитета госдумы подтверждает смысл закона: мол, несправедливо, когда у гигантов столько данных, пусть ими пользуются все. А в обмен гиганты, типа, получат доступ к обезличенным данным друг друга. Государство же даст возможность развивать технологии и гораздо менее крупным ИТ-компаниям, обеспечив им доступ к дата-сетам, которые сегодня они себе просто не могут позволить. - пишет он То есть "отберём у всех больших и раздадим всем желающим". Нихрена ж себе революция. Это может привести к полному изменению бизнес-моделей при активном вмешательстве государства. И это продолжение курса на национализацию данных - неважно сколько сил и средств было вложено компаниями. Я уже писал про уже принятых новых закона - один позволяет государству забирать ваши биометрические данные у любого бизнеса без вашего разрешения, второй запрещает бизнесу без разрешения РКН отдавать данные куда-либо за рубеж, даже в системы аналитики. Их уже подписали и приняли. Третий закон, если будет принят в таком виде, принудит бизнес просто отдавать всё, что он собирает. Это радикальная национализация пользовательских данных и полное перекраивание рынка. И плевок в приватность пользователей. Читать: https://habr.com/ru/post/676778/

The Data Founder Story: Singularity Data Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-singularity

В чем проблема с базами данных «ключ-значение» и как ее решают Wide-column-хранилища Базы данных «ключ-значение» великолепные — ультрабыстрые, простые, почти линейно масштабируемые по количеству узлов. Но с ними все не так просто. Команда VK Cloud Solutions перевела статью о том, какие у таких баз есть проблемы и как их решить с помощью Wide-column-хранилищ. Проблемы с базами данных «ключ-значение» Основная концепция базы данных «ключ-значение» в том, что сами значения ее не беспокоят. Ее работа основана на некоторых допущениях, например, как у Redis, но на структуру данных она вообще не обращает внимания. Из-за этого могут возникнуть три проблемы. Читать: https://habr.com/ru/post/675556/

Converting Columns to DateTime in Oracle Analytics Cloud Oracle Analytics Cloud (OAC) offers powerful in-house data profiling capabilities. This blog describes how to convert a column from an attribute field to a DateTime field. Read: https://blogs.oracle.com/analytics/post/converting-text-columns-to-datetime-in-oac

Introducing Embedded Analytics Data Lab to accelerate integration of Amazon QuickSight analytics into applications Read: https://aws.amazon.com/blogs/big-data/introducing-embedded-analytics-data-lab-to-accelerate-integration-of-amazon-quicksight-analytics-into-applications/

Optimize your Amazon Redshift query performance with automated materialized views Read: https://aws.amazon.com/blogs/big-data/optimize-your-amazon-redshift-query-performance-with-automated-materialized-views/

Achieve fine-grained data security with row-level access control in Amazon Redshift Read: https://aws.amazon.com/blogs/big-data/achieve-fine-grained-data-security-with-row-level-access-control-in-amazon-redshift/