Data Analysis / Big Data

Какой вы аналитик? Холмс, Фрейд или Аристотель: определяем, на кого из известных аналитиков вы похожи. Читать: «Какой вы аналитик?» @big_data_analysis ___ Другие наши проекты

«Ведомости»: ВТБ и «Ростелеком» создают площадку для обмена данными о клиентах Предполагается, что получится нечто вроде WeChat. Данные помогут оценивать кредитоспособность людей и создавать для них персональные предложения. Читать: ««Ведомости»: ВТБ и «Ростелеком» создают площадку для обмена данными о клиентах» @big_data_analysis ___ Другие наши проекты

Почему дата-аналитики должны перестать работать «дворниками» Дата-аналитики приносят пользу, когда извлекают из данных полезные инсайты. Но зачастую им не до этого, ведь данные ещё нужно очистить. Читать: «Почему дата-аналитики должны перестать работать «дворниками»» @big_data_analysis ___ Другие наши проекты

Почему Elasticsearch — хороший выбор для сбора и анализа данных среднего объёма Elasticsearch — это одновременно NoSQL-хранилище дкументов и поисковая система. Рассказываем, где это может пригодиться. Читать: «Почему Elasticsearch — хороший выбор для сбора и анализа данных среднего объёма» @big_data_analysis ___ Другие наши проекты

Собеседование по Data Science: что нужно знать и где это изучить Leon Chlon, специалист из Facebook, рассказывает, какие знания и подход нужны, чтобы успешно пройти собеседование по Data Science. Читать: «Собеседование по Data Science: что нужно знать и где это изучить» @big_data_analysis ___ Другие наши проекты

ФРИИ: россияне могут зарабатывать на продаже своих данных до 60 тысяч рублей в год Эксперты считают, что проект разработан «к откровенной выгоде российских держателей big data» в ущерб интересам субъектов данных — простых людей. Читать: «ФРИИ: россияне могут зарабатывать на продаже своих данных до 60 тысяч рублей в год» @big_data_analysis ___ Другие наши проекты

Влияние коронавируса на рынок стартапов: сокращения затрат и преимущества B2C Вторая часть отчёта Startup Genome о ситуации в экосистеме стартапов по всему миру. В этом материале — финансовое состояние компаний, положение на рынке труда и помощь государства. Читать: «Влияние коронавируса на рынок стартапов: сокращения затрат и преимущества B2C» @big_data_analysis ___ Другие наши проекты

Влияние коронавируса на рынок стартапов: Китай просел на половину, а количество сделок в Европе выросло Специалисты из Startup Genome опубликовали отчёт о влиянии коронавирусного кризиса на рынок стартапов по всему миру и сравнили его с кризисами прошлых лет. Читать: «Влияние коронавируса на рынок стартапов: Китай просел на половину, а количество сделок в Европе выросло» @big_data_analysis ___ Другие наши проекты

Как построить AI-сервис и не прогореть на этом Всем привет! Меня зовут Дима Савелко, я лид команды нейро-сети.рф. Зачастую на старте создания сервисов люди концентрируются на вещах, которые стоит делать в самую последнюю очередь, после чего теряют кучу времени на расхлёбывание проблем. В нашей статье мы рассказываем о том, как построить сервис с AI, а именно с диффузионной моделью, когда нужно обучать модель, как нужно обучать, и что делать если не можете обучить модель, также делимся ценным опытом предобработки данных и практическими советами, как начать с базовых решений и только при необходимости переходить к более сложным методам. Узнайте, как существующие ИИ-инструменты могут уже сейчас удовлетворить ваши потребности, сохраняя высокое качество продукта. Читать: https://habr.com/ru/articles/818825/ @big_data_analysis ___ Другие наши проекты

dbt(Data Build Tool) Tutorial Read: https://www.startdataengineering.com/post/dbt-data-build-tool-tutorial/ @big_data_analysis ___ Другие наши проекты

Разработка системы отчётности и BI: вопросы производительности Мы в компании «Магнит» много лет строим и эксплуатируем корпоративное хранилище данных и занимаемся различными задачами, связанными с этим. В частности, разрабатываем инструмент для конечного пользователя — систему отчётности и BI. В статье рассмотрим вопросы оптимизации производительности системы. Читать: https://habr.com/ru/companies/magnit/articles/815667/ @big_data_analysis ___ Другие наши проекты

Reformer на TRAX? Что такое Reformer и почему он круче Transformer’a (GPT-4...)? Давайте предварительно начнем с того, что же такой Reformer и почему благодаря ему мы можем рассчитывать на расширение контекстов вплоть до десятков тысяч слов. В классической архитектуре Transformer механизм внимания работает со сложностью, которая масштабируется квадратично с увеличением длины последовательности. Это происходит потому, что каждый токен в последовательности должен вычислять оценки внимания со всеми другими токенами, что приводит к плотной матрице внимания, размер которой растет с квадратом длины последовательности – мрак для вычислительных способностей наших TPU и GPU. Читать: https://habr.com/ru/articles/818521/ @big_data_analysis ___ Другие наши проекты

Building cost effective data pipelines with Python & DuckDB Read: https://www.startdataengineering.com/post/cost-effective-pipelines/ @big_data_analysis ___ Другие наши проекты

Midjourney и пиксельные арты Привет, чемпионы! Часто ли вы обращаетесь к Midjourney или Stable Diffusion, чтобы нарисовать фантастический арт? Я да - нравится позалипать пару минут на фантастический арт. Давайте сегодня учиться генерировать подобные пикчи за пару кликов: Посмотреть промпты Читать: https://habr.com/ru/articles/818345/ @big_data_analysis ___ Другие наши проекты

Оптимизация настроек Kafka кластера. Часть 1. Механизмы управления пропускной способностью Привет, Хабр! Представляю вам перевод технического документа от Confluent, который посвящен тому, как определить, что именно нужно оптимизировать (пропускная способность, задержка, надежность или доступность), как настроить развертывание Kafka в соответствии с этими целями и убедиться в их достижении с помощью мониторинга. Сегодня я выкладываю первую часть, в которой обсуждается, как определить цели оптимизации и улучшить пропускную способность Kafka. Последующие статьи будут посвящены задержке, надежности, доступности, мониторингу и бенчмаркингу. Читать: https://habr.com/ru/articles/818007/ @big_data_analysis ___ Другие наши проекты

Кто такой Head of Profession и зачем он нужен компании Head of Profession — это суперквалифицированный инженер. У него достаточно знаний по теме, большой опыт, есть определённые успехи, он уже запускал какие-то крупные продукты. И что важно — готов и умеет делиться опытом и знаниями с другими.   Если вы обладаете вышеописанными качествами и вас интересует такой трек развития, рекомендуем ознакомиться с этой статьёй. Там детально разобрали его роль и навыки. А также показали на примере команды системных аналитиков, насколько появление такого специалиста повлияло на рабочие процессы.  #советы

A Pepsi Challenge for Analytics & BI? Gartner’s 2024 Analytics & BI Bake-Off Find out why Oracle Analytics Cloud got such a positive reaction from Gartner BI Bake-off attendees in Orlando and London. Read: https://blogs.oracle.com/analytics/post/a-pepsi-challenge-for-analytics-bi-gartners-2024-analytics-bi-bakeoff @big_data_analysis

Migrating Initialization Block Security Models used in OBIEE 12c to Fusion Middleware Security Models for Oracle Analytics Server This post describes how to migrate the Initialization Block Security Model used in OBIEE 12c to Fusion Middleware Security Model for Oracle Analytics Server Read: https://blogs.oracle.com/analytics/post/oas-init-block-security-to-fmw-security-model @big_data_analysis

Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP Automation to Configure SAML Single Sign-On for Oracle Analytics Server using Oracle HTTP Server and Shibboleth-SP Read: https://blogs.oracle.com/analytics/post/oas-saml-sso-ohs-shibd-sp @big_data_analysis

Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments Configuring Multiple Docker Containers for SAML and Kerberos SSO on a Single Host to Support Multiple OAS Environments Read: https://blogs.oracle.com/analytics/post/oas-saml-kerb-docker-host-scalability @big_data_analysis