Data Analysis / Big Data

Что такое Teradata? Предисловие: По работе мне пришлось изучать устройство базы данных Teradata, и оказалось, что в интернете почти нет информации, особенно на русском языке. Поэтому я решила собрать в кучу всю доступную информацию. Стремительное увеличение объемов носителей информации и удешевление стоимости хранения данных привело к появлению методов, способных обеспечить более быстрый доступ к необходимым данным – индексы, хранение данных в отсортированном виде и т.п. Эти методы вполне успешно справляются со своей задачей, однако возрастающая конкуренция в мире заставляет искать новые, более быстрые, способы доступа к информации. «Кто владеет информацией, тот владеет миром». Основной интерес вызывают базы данных с традиционной реляционной моделью данных, отвечающие требованиям ACID (Atomicity, Consistency, Isolation, Durability — атомарность, согласованность, изолированность, надежность) и предназначенные для аналитики Больших Данных (Big Data). Teradata – это параллельная реляционная СУБД, которая работает на операционных системах: * MP-RAS UNIX * Microsoft Windows 2000/2003 Server * SuSE Linux Разнообразие поддерживаемых ОС — одна из причин, почему Teradata имеет открытую архитектуру. Читать: https://habr.com/ru/articles/209078/ #ru @big_data_analysis | Другие наши каналы

Параллельные и распределенные вычисления. Лекции от Яндекса для тех, кто хочет провести праздники с пользой Праздничная неделя подходит к концу, но мы продолжаем публиковать лекции от Школы анализа данных Яндекса для тех, кто хочет провести время с пользой. Сегодня очередь курса, важность которого в наше время сложно переоценить – «Параллельные и распределенные вычисления». Что внутри: знакомство с параллельными вычислениями и распределёнными системами обработки и хранения данных, а также выработка навыков практического использования соответствующих технологий. Курс состоит из четырех основных блоков: concurrence, параллельные вычисления, параллельная обработка больших массивов данных и распределенные вычисления. Лекции читает Олег Викторович Сухорослов, старший научный сотрудник Центра грид-технологий и распределенных вычислений ИСА РАН. Доцент кафедры распределенных вычислений ФИВТ МФТИ. Кандидат технических наук. Содержание и тезисы лекций Читать: https://habr.com/ru/companies/yandex/articles/208244/ #ru @big_data_analysis | Другие наши каналы

Machine Learning. Курс от Яндекса для тех, кто хочет провести новогодние каникулы с пользой Новогодние каникулы – хорошее время не только для отдыха, но и для самообразования. Можно отвлечься от повседневных задач и посвятить несколько дней тому, чтобы научиться чему-нибудь новому, что будет помогать вам весь год (а может и не один). Поэтому мы решили в эти выходные опубликовать серию постов с лекциями курсов первого семестра Школы анализа данных. Сегодня — о самом важном. Современный анализ данных без него представить невозможно. В рамках курса рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами. Читает курс лекций Константин Вячеславович Воронцов, старший научный сотрудник Вычислительного центра РАН. Заместитель директора по науке ЗАО «Форексис». Заместитель заведующего кафедрой «Интеллектуальные системы» ФУПМ МФТИ. Доцент кафедры «Математические методы прогнозирования» ВМиК МГУ. Эксперт компании «Яндекс». Доктор физико-математических наук. Содержание и видео всех лекций курса Читать: https://habr.com/ru/companies/yandex/articles/208034/ #ru @big_data_analysis | Другие наши каналы

Часть 1: ResNet-18 — Архитектура, покорившая глубину Разбор "на пальцах": Как из изображения получается предсказание? Разберем как устроена классическая сеть ResNet. Читать: https://habr.com/ru/articles/921608/ #ru @big_data_analysis | Другие наши каналы

«Облачные хранилища: как выбрать идеальное решение для бизнеса» (2 часть) В первой части нашего исследования мы провели сравнительный анализ облачных хранилищ, рассматривая предложения различных провайдеров, включая крупные компании и менее известные игроки на рынке. Мы изучили ключевые аспекты, такие как уровень технической поддержки, доступные конфигурации серверов и дополнительные услуги, что позволило оценить сильные и слабые стороны различных решений в контексте конкурентной среды. Теперь мы переходим ко второй части нашего анализа, в которой сосредоточимся на ценовой политике облачных хранилищ. Мы сравним тарифные планы различных провайдеров, чтобы выяснить, как они позиционируются на рынке с точки зрения стоимости услуг. Этот анализ поможет понять, насколько конкурентоспособны цены и как они соотносятся с качеством предоставляемых услуг. Читать: https://habr.com/ru/articles/921518/ #ru @big_data_analysis | Другие наши каналы

База про юнит-тесты в C# на xUnit v3 Привет, Хабр! Сегодня разберёмся с юнит‑тестами в C# на основе xUnit v3 — библиотеки, которая стала практически стандартом де‑факто в.NET‑среде. Почему именно xUnit? Всё просто: его создали Джим Ньюкирк и Брэд Уилсон — разработчики NUnit. Они решили выкинуть всю архаику вроде [SetUp], [TearDown] и прочих рудиментов и построили фреймворк с нуля, строго под TDD. Весной вышла xUnit v3 2.0.2, в которой завезли Assert.MultipleAsync, полностью обновили сериализацию. А в.NET 9 уже штатно продвигается Microsoft.Testing.Platform (MTP) — сверхлёгкий тестовый рантайм, с которым xUnit v3 работает прямо из коробки. Короче говоря, это самый нативный выбор под.NET 9 на сегодня. Читать: https://habr.com/ru/companies/otus/articles/918942/ #ru @big_data_analysis | Другие наши каналы

MCP и будущее AI: что стоит знать сегодня, чтобы не отстать завтра С тех пор как OpenAI внедрила функцию function calling в 2023 году, я всё чаще задумываюсь о том, что потребуется, чтобы по-настоящему разблокировать экосистему агентов и инструментов. По мере того как базовые модели становятся всё более интеллектуальными, возможности агентов взаимодействовать с внешними инструментами, данными и API всё больше фрагментируются: разработчики вынуждены реализовывать агентов с индивидуальной бизнес-логикой под каждую отдельную систему, в которой агент работает или с которой интегрируется. Очевидно, что необходим единый стандартный интерфейс для исполнения, извлечения данных и вызова инструментов. API стали первым универсальным стандартом для Интернета — общим языком, с помощью которого взаимодействуют программные системы. Но у AI-моделей до сих пор нет эквивалента такого унифицированного протокола. Model Context Protocol (MCP), представленный в ноябре 2024 года, привлек большое внимание в сообществе разработчиков и AI-энтузиастов как потенциальное решение этой проблемы. В этой статье мы разберем, что такое MCP, как он меняет способ взаимодействия AI с инструментами, что уже создают разработчики на его основе и какие задачи еще предстоит решить. Поехали. Читать: https://habr.com/ru/articles/920972/ #ru @big_data_analysis | Другие наши каналы

Как бег помогает навести порядок в голове и в коде Личный опыт о том, как бег помогает держать ум в тонусе, находить фокус, идеи и энергию — и в работе, и в жизни. Читать: https://habr.com/ru/articles/920730/ #ru @big_data_analysis | Другие наши каналы

Путь к современному MDM на примере клиентского домена данных Путь к современному MDM на примере клиентского домена данных Привет, Хабр! На связи команда российского вендора Data Sapience. Наши специалисты в течение многих лет занимались внедрением и адаптацией различных ИТ-решений, в том числе MDM-систем: как российских, так и зарубежных. Объединив накопленные знания, мы выпустили собственный высокопроизводительный мультидоменный продукт Data Ocean Governance MDM. Data Sapience стремилась сделать Data Ocean Governance MDM гибким, комфортным и производительным решением, поэтому внимательно изучала рынок и его потребности. Сегодня хотим поделиться с вами результатами анализа и порассуждать, зачем MDM-решения нужны современному бизнесу, какую роль они выполняют и какие задачи закрывают на примере клиентского домена данных. Читать: https://habr.com/ru/companies/datasapience/articles/920306/ #ru @big_data_analysis | Другие наши каналы

Как мы сделали полезным крупнейший русскоязычный датасет запросов к LLM Привет! Меня зовут Роман Куцев, я основатель LLM Arena. У нас каждый день сотни людей общаются с языковыми моделями, тестируют, сравнивают, задают вопросы. В какой-то момент стало ясно: в этих логах — не просто сессии пользователей. Это — живая картина того, как люди используют LLM в реальности. Так родилась идея: собрать открытый, структурированный датасет промптов и дать AI-комьюнити инструмент, с которым можно не просто смотреть, но и исследовать, фильтровать, понимать логику запросов юзеров к LLM. Изучая Arena Explorer от LMSYS, мы сначала хотели взять их путь за основу. Но быстро стало понятно — мы можем и должны пойти дальше. И построили систему, которая обусловлена русскоязычным контекстом, с другим уровнем прозрачности и внимания к качеству. Читать: https://habr.com/ru/articles/920150/ #ru @big_data_analysis | Другие наши каналы

Oracle признан лидером в Gartner Magic Quadrant 2025 по аналитике и BI, благодаря инновациям и интеграции AI. Новые функции на базе генеративного ИИ и Fusion Data Intelligence помогают компаниям эффективнее использовать данные для принятия решений. Читать подробнее #en @big_data_analysis | Другие наши каналы

Oracle представила новый AI-агент для Oracle Analytics Cloud. Этот постоянно активный помощник помогает быстро решать задачи и повышает эффективность работы с аналитикой. Инновационное решение упрощает поддержку и делает анализ данных удобнее. Читать подробнее #en @big_data_analysis | Другие наши каналы

Сколько зарабатывает айтишник и как на это живёт: сравниваем 5 стран Cобрали опыт зарплат айтишников из пяти стран и узнали, как вписаться в местную культуру и где комфортнее жить. Читать: «Сколько зарабатывает айтишник и как на это живёт: сравниваем 5 стран» #ru @big_data_analysis | Другие наши каналы

Как мы обучали ML-модель для выявления подозрительных ставок в системе DoseSports Привет, Хабр. Меня зовут Виктор, я Big Data Engineer в antifraud-направлении. В этом посте хочу рассказать о том, как мы выстраивали процесс обнаружения подозрительных паттернов поведения в ставках на зарубежной БК-платформе DoseSports — без воды и маркетинга. Только архитектура, фичи, модели и выводы. Читать: https://habr.com/ru/articles/919774/ #ru @big_data_analysis | Другие наши каналы

Как мы решили проблему батчевых загрузок в реляционные СУБД, или Немного хорошего о «худших практиках» в Spark Всем привет! Меня зовут Алексей Николаев, я работаю дата-инженером в команде ETL-платформы MWS Data (ex DataOps). Часто сталкиваюсь с тем, что в сложной инфраструктуре и больших проектах простые, на первый взгляд, задачи по работе с данными очень сильно усложняются. В результате возникают ситуации, когда хорошие практики превращаются в плохие решения, а плохие практики как раз могут дать хороший результат. Мои коллеги уже рассказывали про нашу платформу, ее внедрение внутри экосистемы и наши инструменты для работы с данными. В процессе развития продукта перед нами встала проблема массовых регламентных загрузок данных из реляционных источников. Для этого мы создали внутренний инструмент — библиотеку d-van. В качестве движка в ней используется Apache Spark, с которым она взаимодействует через библиотеку onETL. На примере d-van я покажу нестандартный подход к использованию возможностей Apache Spark. Расскажу, какие задачи можно решить с помощью режима master=local и как свой инструмент может стать альтернативой Apache Nifi или Debezium. Читать: https://habr.com/ru/companies/ru_mts/articles/919490/ #ru @big_data_analysis | Другие наши каналы

Вселенная на ладони: крупнейший релиз данных JWST открывает космос для всех В июне 2025 года астрономы всего мира получили доступ к огромному массиву данных от телескопа Джеймс Уэбб (JWST). Проект COSMOS-Web, поддерживаемый NASA, выложил в открытый доступ 1,5 терабайта информации со снимками, фотометрическими каталогами и интерактивными инструментами для изучения глубокого космоса. Open-source-модель исследований, которая лежит в основе проекта, обещает «сделать звезды ближе» для всех нас. Разберемся, что это за данные, почему они важны и как меняют подход к науке. Читать: https://habr.com/ru/companies/ru_mts/articles/919582/ #ru @big_data_analysis | Другие наши каналы

Обнаружение аномалий в данных временных рядов с помощью статистического анализа Настройка оповещений для различных метрик не всегда представляет из себя тривиальную задачу. В некоторых случаях может быть вполне достаточно простого порогового значения, например, для отслеживания свободного места на диске устройства. Вы можете просто установить оповещение о том, что осталось 10% свободного места, и все готово. То же самое касается и мониторинга доступной памяти на сервере. Однако что делать, если необходимо отслеживать поведение пользователей на веб‑сайте? Представьте, что вы управляете интернет‑магазином, где продаете товары. Одним из подходов может быть установка минимального порога для ежедневных продаж и проверка его раз в день. Но что, если вам нужно выявить проблему гораздо раньше, в течение нескольких часов или даже минут? Статичный порог не позволит этого сделать, так как активность пользователей может меняться в течение дня. Именно здесь на помощь приходит обнаружение аномалий. Читать: https://habr.com/ru/companies/otus/articles/919248/ #ru @big_data_analysis | Другие наши каналы

​10 телеграм-каналов, которые реально читают сеньоры Собрали топ-10 каналов для опытных разработчиков, с которыми у вас точно будет что обсудить на дейлике. Читать: «​10 телеграм-каналов, которые реально читают сеньоры» #ru @big_data_analysis | Другие наши каналы

5 техник, применяемых в анализе временных рядов, которые должен знать каждый. Часть 1 В этом руководстве мы будем разбираться, как повысить качество прогнозирования с помощью машинного обучения, используя точные методы разделения данных, перекрестную проверку временных рядов, конструирование признаков и многое другое. Читать: https://habr.com/ru/companies/otus/articles/919156/ #ru @big_data_analysis | Другие наши каналы

Управление обувным заводом: от аналогии с автомобилем к рекомендательной системе на основе ИИ В предыдущей статье мы сравнили управление производством с управлением автомобилем. Сегодня углубимся в детали и покажем, как настроить рекомендательную систему на примере обувного производства. Основными выгодоприобретателями будут начальник цеха и мастер участка. Читать: https://habr.com/ru/articles/919118/ #ru @big_data_analysis | Другие наши каналы