Data Analysis / Big Data

Выбор лучших облачных BI инструментов В статье исследуются преимущества облачной бизнес-аналитики и их влияние на процессы в компании. Рассматриваются лучшие облачные BI-инструменты, такие как Power BI, Qlik Sense и Tableau, выделяя их основные функции, стоимость и особенности. Узнайте больше о выборе подходящего решения здесь. Контактная информация компании ScienceSoft: на сайте компании доступна форма для связи. Введите ваше имя, компанию и номер телефона, чтобы получить обратную связь. Ознакомьтесь с политикой конфиденциальности и условиями использования на сайте ScienceSoft USA Corporation. Читать подробнее ___ Другие наши проекты

Что такое облачная аналитика и почему она важна? Облачная аналитика — это способ обработки данных с использованием облачных технологий. Она позволяет компаниям сократить расходы на оборудование, легко масштабировать ресурсы и обеспечивать высокую доступность данных. Подходит как для крупных, так и для малых предприятий. Облачная аналитика: будущее обработки данных Облачная аналитика предлагает быстрое получение ценности, гибкость и широкое использование аналитики в вашей компании. Это позволяет большему количеству сотрудников принимать обоснованные решения в реальном времени. Хотите повысить эффективность? Специалисты из ScienceSoft готовы помочь! Читать подробнее ___ Другие наши проекты

Почему аналитика продаж важна для вашего бизнеса? Аналитика продаж помогает улучшить производительность и эффективность отдела продаж, предлагая глубокое понимание процессов, улучшая клиентский опыт и выявляя новые возможности для роста. Узнайте, как ScienceSoft может помочь вам внедрить эффективные решения для анализа продаж. Обновление конфиденциальной политики от ScienceSoft ScienceSoft USA Corporation обновила свою политику конфиденциальности и условия использования. Подробности изменений, а также новые положения можно найти на официальном сайте компании. Это важное чтение для всех клиентов и партнеров. Читать подробнее ___ Другие наши проекты

Услуги Data Warehouse от ScienceSoft ScienceSoft с 2005 года предоставляет услуги по дата-вахтингам: консультации, разработка, поддержка и миграция. Компания помогает клиентам объединять данные в эффективные DWH решения для улучшения аналитики и отчетности. Узнайте больше о возможностях и обратитесь за консультацией. ScienceSoft: Преимущества построения DWH решений ScienceSoft помогает компаниям строить эффективные DWH решения, снижая проектные и эксплуатационные затраты до 80%. Примеры успешных проектов включают построение хранилищ данных для авиакосмической, автомобильной, банковской и других отраслей. Убедитесь сами в их эффективности! ScienceSoft помогает bioAffinity Technologies в диагностике рака легких bioAffinity Technologies выбрала ScienceSoft для разработки ПО автоматизированного анализа данных для выявления рака легких. Проект потребовал внедрения сложной отраслевой методологии и интеграции с медицинскими системами, что ScienceSoft успешно реализовала благодаря глубокому пониманию лабораторного ПО. Читать подробнее ___ Другие наши проекты

Преимущества и недостатки NoSQL баз данных NoSQL базы данных отличаются гибкостью и горизонтальной масштабируемостью, что снижает затраты на разработку. Однако они часто уступают SQL в консистентности данных и требуют больше места для хранения. Хотите узнать больше о NoSQL? Ознакомьтесь со статьей! Качество больших данных: какие проблемы и вызовы стоят перед нами? Исследуем, что стоит за качеством больших данных: это путь к успешному анализу или источник проблем? Узнайте, как справляться с вызовами и выбирать между Cassandra и HBase для эффективной работы с данными. Читать подробнее ___ Другие наши проекты

Создание голосового ассистента на Python с классификацией пользователей на основе нейронных сетей (аналог FaceID) Всем привет! Возвращаюсь к теме применения нейронных сетей в личных целях. На этот раз будем запускать долгий проект, по созданию голосового ассистента (ГА). Создать свою Алису или Siri довольно просто, есть уже много статей на Хабр (и не только), которые подробно описывают основные принципы, но чтобы было действительно профессионально и интересно мы углубимся в эту тему и «прикрутим» нейронные сети к нашему ГА. И в первой части начнем с того, что научим нашего голосового ассистента распознавать человека, который в данный момент пользуется компьютером. Такой проект отлично будет смотреть в любом портфолио, тут будет присутствовать, как и общее программирование на Python, так и взаимодействие с нейронными сетями. Я считаю, что любой начинающий или практикующий питонист (аналитик, специалист по машинному обучению) разобрав, поняв, доработав (нужное подчеркнуть) данный проект, отлично прокачает свои навыки. Первую часть нашего большого проекта поделим на несколько этапов: Читать: https://habr.com/ru/articles/827216/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

Инфраструктура для data engineer S3 S3 – это один из сервисов, который используется для построения Data Lake и обмена файлами. В этой статье рассказывается о технологии S3 со стороны дата-инженерии. Мы в статье рассмотрим как развернуть сервис, как им пользоваться и зачем он нужен в дата-инженерии Читать: https://habr.com/ru/articles/827052/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

Графовые сети в рекомендательных системах Всем привет! Меня зовут Александр Тришин, я работаю DS в команде персональных рекомендаций Wildberries и занимаюсь графовыми нейросетями. Это был мой первый опыт работы с графовыми сетями, и мне пришлось погрузиться в изучение статей и проведение собственных экспериментов. В процессе я нашел много интересного и полезного, поэтому решил поделиться своими находками с вами. В результате графовая нейросеть используется в качестве кандидатной модели для увеличения exploration. В этой публикации я расскажу вам о LightGCN и не только. Вспомним, что такое сверточные графовые сети, их основные компоненты и принципы работы: подробно разберем модель на user-item графе, после перейдём к item-item графу. Затем познакомимся с моделью LightGCN: рассмотрим архитектуру, процесс обучения, недостатки (медленная сходимость и смещение в популярное) и варианты их устранения. А в конце посмотрим, как это всё применять на практике: обучим сетку на датасете Movielens-25m, замерим метрики, столкнёмся с проблемами LightGCN и вместе их решим! Ноутбук прилагается 🤓 Читать: https://habr.com/ru/companies/wildberries/articles/826422/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

SQL или Python для трансформаций данных? Статья рассматривает выбор между SQL и Python для трансформаций данных. Обсуждаются критерии выбора движка выполнения и интерфейса кодирования, такие как производительность, тип данных и потребности проекта. Важно учитывать рабочую нагрузку, расход ресурсов и удобство сопровождения. Читать подробнее ___ Другие наши проекты

51 канал в Telegram для тех, кто интересуется бизнес-аналитикой Cобрала 51 канал для специалистов в BI и анализе данных и делюсь с вами этой подборкой. Здесь вы найдете площадки, где можно погрузиться в сложные темы, узнать новости, посмеяться, поспорить, найти работу, подсмотреть решения конкурентов и др. Если вы не встретили в списке свои любимые каналы, оставляйте ссылки в комментариях под статьей. Да и вообще делитесь мнением об этой подборке. Читать: https://habr.com/ru/companies/sapiens_solutions/articles/826468/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

Настройка собственных имен хостов для доступа к Oracle Fusion Analytics Узнайте, как подготовить сетевые компоненты с пользовательскими именами хостов для доступа к конечным точкам службы Oracle Fusion Analytics. Обеспечьте бесперебойное соединение и безопасность вашего корпоративного анализа. В статье подробно описаны все шаги настройки. Читать подробнее ___ Другие наши проекты

Графы в рекомендательных системах [часть 1] Привет, ХАБР! Недавно я писал научную статью с AIRI по графовым рекомендательным системам. Это был мой первый практический опыт работы с этой технологией, поэтому пришлось углубиться в исследования и изучение доступных материалов. Я решил, что пока я разбираюсь в этой теме, было бы полезно поделиться своими находками с вами. Эта статья будет частью серии, состоящей из двух или трех частей. В первой части мы рассмотрим базовые понятия, концепции и простые модели, а также выделим их ключевые особенности. Вторую часть напишут мои знакомые из WildRecSys, где они расскажут о lightGCN и поделятся своим опытом использования этой модели. Все остальные части можно будет найти в моем телеграм канале, поэтому приглашаю подписаться что бы не пропустить, а вам приятного чтения. 📖 Идем разбираться! Читать: https://habr.com/ru/articles/825896/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

PandasA — кратно ускоряем работу аналитика данных в одну строчку Ускоряем написание кода при работе с таблицами и библиотекой Pandas с помощью PandasAI в несколько раз за пару строк. Хитрецы уже используют ... Читать: https://habr.com/ru/articles/825572/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

GigaChat + RAG: как гига нам инструкции для разметки пишет в 3 раза быстрее Почти за всем хорошим ML стоят хорошие данные. И так получилось, что таких данных часто нет и их приходится добывать, а даже добыв, из них нужно сделать что-то подходящее, и (если сильно огрубить) такой процесс называется разметкой. Разметка — такая штука, когда все в индустрии делают примерно одно и то же, но чуть-чуть или сильно по разному. Разметка — очень нудная штука сама по себе, и потому ее запуском, отладкой и настройкой инженеры заниматься вот совсем не любят. Сам процесс довольно монотонен, но когда у тебя мультимодальный конвейер из поступающих данных, то делать всяческие инструменты для разметки и предлагать инженерам решения без их участия — это весело! Одна из наших важнейших метрик, помимо качества результата, это позаимствованный у бизнеса термин ttm (time to market), что в нашем случае — время от момента прихода клиента с идеей по момент продуманного запуска его задачи в разметку. В этой статье — пошагово о том, как мы не только ускорили написание инструкций, но и даже попутно повысили их качество. Идея — гениально проста, рецепт — повторяем, эффект — огонь. Расчехляйте вашу LLM, закатайте рукава, тут есть много работки! Читать: https://habr.com/ru/articles/825606/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

Как упаковать бэкенд-код на Go для аналитики на базе Spark Всем привет! Я Ваня Ахлестин, занимаюсь поддержкой и развитием аналитической платформы кластера Search&Recommendations на базе Spark и Hadoop в Авито. Сегодня расскажу, как начать использовать ваш код из Python или PySpark и не тратить много времени дорогих разработчиков. Читать: https://habr.com/ru/companies/avito/articles/824746/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

Ускорение Python в 2 раза с помощью multiprocessing, async и MapReduce Python действительно может считаться относительно медленным языком программирования по сравнению с некоторыми другими языками, такими как C++ или Java. Однако, существуют различные библиотеки и инструменты, которые позволяют ускорить выполнение счетных задач в Python. Рассмотрим как можно ускорить анализ данных в 2 раза! Читать: https://habr.com/ru/articles/825206/ @big_data_analysis ___ Другие наши проекты | Чат аналитиков данных

Как начать анализировать данные? Факультет компьютерных наук НИУ ВШЭ запускает аналитический интенсив. Регистрируйтесь, если заинтересованы в старте карьеры в аналитике.  Интенсив сочетает теорию с практикой. На первом вебинаре вы изучите основную теорию по Pandas, а на втором уже сможете решить аналитическую задачу: 1. Основы Pandas После вебинара вы разблокируете навык базовой и продвинутой визуализации данных, который необходим для аналитика. 2. Решение аналитической задачи На вебинаре слушатели будут анализировать датасет с данными клиентов и предсказывать отклик пользователей на маркетинговую компанию. Когда: 26 и 28 июня в 19:00 (МСК) Формат: онлайн Для участия необходимо зарегистрироваться по ссылке. Реклама НИУ ВШЭ ИНН 7714030726 2SDnjd1TkiW

🔴 Разработали библиотеку, чтобы быстрее обучать нейросети YaFSDP оптимизирует использование ресурсов графических процессоров (GPU). Нейросети обучаются быстрее, а требования к вычислительным ресурсам снижаются. Это особенно важно для небольших компаний и научных проектов. Библиотека рассчитана в первую очередь на большие языковые модели, но также может ускорять и обучение других типов нейросетей, например, рисующих картинки. Исходный код YaFSDP опубликован на GitHub, а на Хабре можно подробнее узнать о разработке библиотеки. ↗️ А зачем вообще большие компании делятся своими разработками с сообществом? Поговорили об этом в одном из выпусков yet another podcast — смотрите на YouTube. Подписывайтесь ✨ @yandex

Oracle Analytics признан лидером 2024 года! Поздравляем сообщество Oracle Analytics с достижением значительного успеха. Благодаря их усилиям Oracle Analytics был признан лидером в Magic Quadrant от Gartner по аналитике и бизнес-интеллекту за 2024 год. Читать подробнее ___ Другие наши проекты