Data Analysis / Big Data

НЕЙРОННАЯ СЕТЬ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ С TENSORFLOW: КАК С НЕЙ РАБОТАТЬ Привет, Хабр! В сегодняшней статье хотим поделиться опытом, как можно начать использовать TensorFlow в целях распознавания образов. Напомним, что TensorFlow — открытая программная библиотека для машинного обучения, разработанная компанией Google для решения задач построения и тренировки нейронной сети с целью автоматического нахождения и классификации образов, достигающая качества человеческого восприятия. Цель статьи — привлечь этот инструмент для распознавания боковых зубов (маляров) на рентгеновских снимках с использованием нейронной сети. Для того чтобы этого достичь, нужно выполнить несколько важных этапов, о чём и поговорим под катом. Читать: https://habr.com/ru/post/703130/

Выбросьте блокноты, или почему заниматься Data Science нужно так, будто вы разработчик Большинство дата-сайентистов использовали или до сих пор используют notebooks. В чем-то это здорово, но кажется, что дата-сайентисты должны действовать как разработчики. И поэтому с notebooks надо переходить на скрипты, разрабатываемые в IDE. Читать: https://habr.com/ru/post/702798/

Query your OAC semantic model from an OCI Data Science environment Use your semantic model in Oracle Analytics Cloud as a metrics store to query verified measures from a data science notebook session in Oracle Cloud Infrastructure. Read: https://blogs.oracle.com/analytics/post/query-your-oac-semantic-model-from-oci-data-science-environment

Five new features in the Dataset Editor to improve your data preparation productivity! This post covers five new features in the Oracle Analytics Dataset Editor that help you spend less time preparing your data and more time analyzing and finding insights. Read: https://blogs.oracle.com/analytics/post/five-new-features-in-dataset-editor-to-improve-your-data-preparation-productivity

Top 5 Tips for Optimal Oracle Database Performance of Data Warehouse Queries Achieving optimal performance of data warehouse queries takes planning. This article provides the top 5 tips to achieve the consistent, reliable performance of your Oracle Analytics reports that you desire. Read: https://blogs.oracle.com/analytics/post/top-5-tips-for-optimal-oracle-database-performance-of-data-warehouse-queries

Дельта BI глазами (и руками) разработчика Tableau Уже больше полгода назад крупнейшие BI вендоры прекратили работу в России. Мы в компании Vizuators, имея многолетний опыт разработки и консалтинга в Tableau, столкнулись с необходимостью тестировать альтернативные инструменты, которые подошли бы нашим клиентам. Одним из наиболее привлекательных для нас вариантов стала платформа визуальной аналитики Дельта BI. Под катом мы говорим о том, что получит и потеряет «таблошник», перейдя на Дельта BI. Читать: https://habr.com/ru/post/702660/

Поиск инновационных приложений для работы с большими данными. Кейс Банка Даляня Привет, Хабр! Команда Business Intelligence GlowByte уже рассказывала, что в этом году стала партнёром китайского разработчика ПО для бизнес-аналитики FanRuan. В рамках сотрудничества вендор любезно поделился статьёй, в которой подробно рассказывает об успешном внедрении платформы FineBI в крупном коммерческом банке Китая. Мы перевели материал, нашли этот кейс полезным и показательным и хотим рассказать о нём вам. Для желающих взглянуть на первоисточник – ссылка на оригинал. Итак, дальше по тексту – кейс Банка Даляня: “Поиск инновационных приложений для работы с большими данными в рамках усиления технологического и операционного взаимодействия”. Читать перевод статьи Читать: https://habr.com/ru/post/702182/

​Сообщество пользователей Trino / CedrusData Trino — это популярная распределённая система для выполнения сложных аналитических SQL-запросов к озёрам данных и другим источникам (OLTP, OLAP, NoSQL). Компания Querify Labs занимается развитием CedrusData — форка Trino для российского рынка с дополнительным функционалом, улучшениями производительности и мониторинга, а также профессиональной поддержкой. Присоединяйтесь к их каналу и чату для обсуждения любых вопросов, связанных с Trino. Реклама ООО «КВЕРИФАЙ ЛАБС» LjN8K2zqz

Data Engineering Weekly #109 Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-109

Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse BigQuery и другие аналитические хранилища в сочетании с современными BI инструментами перевернули работу с данными за последние годы. Возможность обрабатывать терабайты информации за секунды, интерактивные дашборды в DataStudio и PowerBI, сделали работу очень комфортной. Однако если посмотреть глубже, можно увидеть - выиграли от этих изменений в основном профессионалы, владеющие SQL и Python и бизнес пользователи на руководящих позициях, для которых разрабатываются дашборды. А как быть с сотнями миллионов сотрудников, для которых главным инструментом анализа был и остается Microsoft Excel? Читать: https://habr.com/ru/post/701794/

Структура команды Data Science: ключевые модели и роли Если вы следили за мнениями специалистов в data science и прогностической аналитики, то, скорее всего, сталкивались с рекомендациями использовать машинное обучение. Как рекомендует Джеймс Ходсон в Harvard Business Review, умнее всего будет стремиться к решению самой лёгкой задачи, а затем масштабировать процессы на более сложные операции. Недавно мы обсуждали платформы machine-learning-as-a-service (MLaaS). Основной вывод из современных тенденций прост: машинное обучение становится более доступным для средних и мелких бизнесов, постепенно превращаясь в массовый товар. Ведущие поставщики (Google, Amazon, Microsoft и IBM) предоставляют API и платформы для выполнения основных операций ML без собственной инфраструктуры и большого опыта в data science. На первых этапах самым умным шагом будет выбор такого гибкого и экономного подхода. С ростом возможностей аналитики можно изменять структуру команды для ускорения её работы и расширения арсенала аналитики. В этот раз мы поговорим о структуре команд data science и их сложности. Читать: https://habr.com/ru/post/697630/

Парсинг Яндекс Карт или как найти целевую аудиторию Как написать парсер Яндекс Карт? А также аналитика данных организаций. Поиск целевой аудитории Читать: https://habr.com/ru/post/701478/

Как составить резюме Junior-аналитику, чтобы на него обратили внимание: секреты от Х5 Tech Привет, Хабр! Авторы этой статьи работают в команде больших данных в Х5 Tech. Мы решили объединить в статье наш личный опыт отбора кандидатов на позицию начинающего аналитика и дать несколько рекомендаций по составлению качественного резюме. Надеемся, что они окажутся полезными для тех, кто ищет работу своей мечты, и будет совсем здорово, если мы в итоге встретимся в X5 Tech. Читать: https://habr.com/ru/post/701442/

​Highload++ 2022 в самом разгаре и прямо сейчас команда ВКонтакте рассказывает про техстратегию и архитектуру своих highload-проектов Любому высоконагруженному и развивающемуся проекту нужна стратегия технологического развития. И прямо сейчас команда ВКонтакте поделится принципами построения техстратегии и методами принятия стратегических решений на примере проекта с 16-летней историей, 100 млн пользователей в месяц и 8 млн строк кода бизнес-логики. А ещё расскажут про: — портерианский и ресурсный подходы к стратегированию; — отказоустойчивость и балансировку нагрузки более чем 20 000 серверов; — решения, которые позволяют делать 3,5 тысячи деплоев в год с winrate 97,7%; — систему сборки, которая позволяет собрать 8 млн строк кода и раскатать на 10 000 серверов за 7 минут. Подключайтесь, будет интересно: https://tprg.ru/QofR Реклама ООО «В Контакте» LjN8KazvP

Ambrosia – Open Source-библиотека для работы с A/B-тестами Всем привет! На связи Аслан Байрамкулов и Артем Хакимов из Big Data МТС. Мы вывели в OpenSource первую версию библиотеки под названием Ambrosia. Ее назначение – работа с A/B тестами и экспериментами. В этой статье мы расскажем о функционале библиотеки и напомним о ключевых этапах А/Б-тестирования. Читать: https://habr.com/ru/post/700992/

Alexa и Echo — на выход. Идут сокращения, бизнес-модель не оправдалась. «Салюту», «Марусе», прочим — приготовиться Голосовые ассистенты были любимым проектом лично Безоса. Он в них отчаянно верил, тратил любые бюджеты. А компания жгла прилично - в 2018 убыток был $5 млрд, в 2022 уже $10 млрд. Подразделение набрало больше 10 000 человек. Безос выверял каждую рекламную кампанию сам.Но теперь он прекратил следить за проектом. В подразделении - сокращения, уволились даже топ-менеджеры, ветераны. Умные колонки с голосовым ассистентом были хитом 2018 года. Сейчас в США почти 210 миллионов устройств с голосовыми ассистентами, у Amazon - 71 млн. Окей, вы поставили их у людей дома, а что с заработком? Большинство умных колонок продавались по себестоимости или в убыток. В Amazon эта стратегия была официальной. Цель была - не отдать пользователей конкурентам, "встать" в большинстве домов, а дальше зарабатывать на пользовательских потребностях. Увы, похоже, долгожданная монетизация никак не наступает и уже не наступит.В чём дело? И почему эти причины - общие для других флагманов, в том числе российских? 1) Идея была в том, что ассистент реально будет выполнять кучу задач. Но юзеры, оказалось, используют ассистентов не для тех вещей, где компания может заработать. На проигрывании музыки или погоде не заработать. 2) Сторонние разработчики не верят в экосистему и не создают для неё приложения, так как не видят отдачи. Интересно, как поживает экосистема "Салют" Сбера, если даже Амазон не вывез? 3) Огромный страх потери privacy, в том числе после скандалов о несанкционированной прослушке и потерях данных. Он мешает сделать ассистента реальным помощником во всём. Заказывать лекарства или переводить деньги через него - стрёмно. Доверите свои сокровенные заказы Яндексу и Сберу? В целом, сегодня voice assistant сегодня выглядят как прикольная, но так и не ставшая бизнесом игрушка. Безос перестал в него верить и тратить время. И, кажется, не зря. Написано для моего тг канала про дата-этику и технологии. Использован материал Business Insider Читать: https://habr.com/ru/post/701158/

ClickHouse: как обрабатывать big data в 800 раз быстрее Рассказываем о ClickHouse — инструменте, который позволяет в 800 раз быстрее оценивать big data в метрике сайтов. Читать: «ClickHouse: как обрабатывать big data в 800 раз быстрее»

Собрать за 60 секунд: кейс автоматизации получения данных из десятков подразделений Привет, Хабр! Меня зовут Сергей Корнеев, и я хочу рассказать о том, как мы организовали сбор данных в компании “Россети”. На момент запуска проекта я работал в “Россети.Цифра” и руководил внедрением BI-платформы. Нам с командой удалось решить проблему ручного сбора данных на базе Visiology Smart Forms, и именно об этом я расскажу сегодня. Читать: https://habr.com/ru/post/700900/

Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census Сегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать. В этой публикации я резюмирую свой опыт выбора решения класса reverse ETL: — Место reverse ETL в схеме потоков данных — Потребность в решении задач операционной аналитики — Различные способы организации reverse ETL — Кейс: Census для синхронизации данных в Pipedrive CRM Читать: https://habr.com/ru/post/700910/

Магнит ИТ на конференции Highload++ 2022: доклады экспертов, игры и воркшоп, розыгрыш классных подарков Ждём участников конференции HighLoad++ 2022 на стенде Магнит ИТ, мы приготовили много интересного. Читать: https://habr.com/ru/post/700924/