Нейросеть | Эстетика

Дайджест статей Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса https://habr.com/ru/companies/yandex/articles/822321/ Хранители данных: как устроена работа с DWH в Lamoda https://habr.com/ru/companies/lamoda/articles/595811/ A Recap of the Data Engineering Open Forum at Netflix https://netflixtechblog.com/a-recap-of-the-data-engineering-open-forum-at-netflix-6b4d4410b88f Интеграция LLM в корпоративное хранилище данных https://habr.com/ru/articles/822771/ Повышаем Data Quality: щепотка Soda для ваших данных https://habr.com/ru/companies/banki/articles/822601/ Дата-центр ЦЕРН на 1 эксабайт: как хранят данные https://habr.com/ru/companies/ruvds/articles/822681/ Открытые инструменты для бизнес-аналитики — когда нужно построить дашборды и работать с потоковыми данными https://habr.com/ru/companies/mws/articles/822757/ Нужна ли нам Lakehouse архитектура? https://habr.com/ru/companies/otus/articles/823336/ Миграция в облако глазами инженера: как мы строили гибрид для 144 виртуальных машин и 104 ТБ данных https://habr.com/ru/companies/oxygendc/articles/822355/ Минутка истории: Откуда пришла идея централизации и единого источника актуальных данных https://habr.com/ru/companies/rshb/articles/823558/ Он победил LLM RAG: реализуем BM25+ с самых азов https://habr.com/ru/articles/823568/ Миграция Big Data на практике: как мы готовили напильники https://habr.com/ru/companies/vtb/articles/816325/

Интригующее название :)

Страничка истории. На фото - оригинал IBM Quantum System One — первый в мире коммерческий квантовый компьютер на основе схем, представленный IBM в январе 2019 года. Он интегрирован в герметичный куб из боросиликатного стекла размером 2,7 метра с каждой стороны, который поддерживает контролируемую физическую среду. В центре куба находится разбавляющий холодильник с 20-кубитным транзмонным квантовым процессором. Система разработана IBM Research при участии Map Project Office и Universal Design Studio. Она предназначена для научного и коммерческого использования, обеспечивая стабильные и предсказуемые кубиты благодаря криогенной инженерии и высокоточной электронике.

🚀 Исследуем данные с помощью ydata-profiling Сегодня расскажу про инструмент, который вы можете использовать для первичного анализа данных (EDA) и оценки их качества (Data Quality Check) - это библиотека ydata-profiling. Этот инструмент позволяет в считанные минуты получить полный отчёт о ваших данных, исследовать их основные характеристики и выявить потенциальные проблемы до глубокого погружения в анализ. Основные возможности ydata-profiling: 1. Генерация отчётов С помощью библиотеки можно быстро подготовить отчет , который включает в себя статистику по каждой переменной, распределения, корреляций, пропущенных значений и многое другое. 2. Оценка качества данных Этот же отчет поможет обратить внимание на проблемы в ваших данных, такие как пропущенные значения, дубликаты или неоднозначные форматы, что позволит оперативно перейти к очистке данных. 3. Интерактивные визуализации Можно визуально посмотреть на распределения и корреляции благодаря встроенным графикам и интерактивным элементам. Как начать ...

В копилку

просто интересная картинка

Дайджест статей Data Quality Score: The next chapter of data quality at Airbnb https://medium.com/airbnb-engineering/data-quality-score-the-next-chapter-of-data-quality-at-airbnb-851dccda19c3 Relational Databases to Data Lakehouses: A Brief History of Data Management https://lukianovihor.medium.com/a-brief-history-of-data-management-from-relational-databases-to-data-lakehouses-b76edcafe866 Why Is dbt So Popular？dbt + RisingWave: The Ultimate Real-Time Data Warehouse Combination https://towardsdev.com/why-dbt-is-so-popular-8f957c945106 How Retrieval Augment Generation (RAG) makes LLMs smarter than before https://www.datasciencecentral.com/how-retrieval-augment-generation-rag-makes-llms-smarter-than-before/ Миграция витрины данных с СУБД Teradata в СУБД Greenplum https://habr.com/ru/companies/oleg-bunin/articles/821045/ Качество данных и роботы: как мы высвободили 5 рабочих часов в день сотрудника DQ https://habr.com/ru/companies/tele2/articles/820991/ Открытые инструменты визуализации данных https://habr.com/ru/companies/mws/articles/820959/ Машинное обучение в ЦОД: Можно ли доверить ИИ управление инфраструктурой? https://habr.com/ru/companies/jetinfosystems/articles/820951/ Метрики оценки качества моделей и анализ ошибок в машинном обучении. Подробное руководство https://habr.com/ru/articles/821547/ Как сделать дашборд в FineBI за 15 минут? Инструкция по созданию визуализаций https://habr.com/ru/articles/821893/ Бизнес-сериал: формируем BI-систему в строительстве почти в прямом эфире. Часть I https://habr.com/ru/companies/sminex_developer/articles/821807/ Простая документация с dbt: Упрощение документирования хранилищ данных https://habr.com/ru/articles/821503/

TechWeek London 24 Хочу поделиться не большим отзывом о посещении TechWeek London 24. В целом мероприятие было посвящено инновациям в целом, без сильной фокусировки на каких-то отдельных областях бизнеса или технологиях. Масштаб мероприятия далек от того же WebSummit, а основная экспозиция состояла из стендов стран, поэтому можно сказать что это было прям выставка стран, а не компаний. Каждая страна рекламировала свою приверженность инновациям, инвестиционный климат и, кажется, ставила своей задачей привлечение как стартапов и компаний в свою локацию, так и инвесторов. На каждом стенде страны присутствовал сет местных стартапов. Самый масштабный стенд был у Дубай, так же очень большой стенд и интересные стартапы были привезены Турцией. Так же были представлены Кипр, МАльта, Палестина (внезапно), Пакистан и тд. Если говорить о технологических трендах и инновациях, то я бы сказал, что 80% информационной повестки и выступлений спикеров были посвящено Искусственному Интеллекту и проблеме использования корп...

Мы рады объявить о премии Support Awards 2024 – Оскаре для команд технической поддержки! Специалисты техподдержки каждый день справляются с трудными задачами, оставаясь в тени. Присоединяйтесь к нам, чтобы выразить признательность этим незаметным героям, благодаря которым наша жизнь становится легче! Номинации: 1. Лучший кейс внедрения чат-бота в поддержку. 2. Лучший хелпдеск для совместной работы ИИ и человека. 3. Лучший саппорт проект. 4. Человек года. 5. Личный опыт - любая личная история про саппорт. До 1 октября 2024 года отправьте заявку на гугл форму. Подведение итогов и награждение победителей 1 ноября 2024. Структура заявки: 1. Один-два обзаца о компании. 2. О вашей команде поддержки. 3. Описание проблемы или задачи. 4. Описание решения, желательно с цифрами и деталями преодоления трудностей. 5. Итоги и планы. Все заявки будут опубликованы в блоге и соцсетях Wikibot. Каждый участник получит крутой приз. - Точно, каждый? - Точно, каждый. Ждем ваши заявки. По всем вопросам пишите Ваш Вики...

Коллеги, делюсь приглашением от участника нашего канала принять участие в премии!

Книга «Охота на электроовец: большая книга искусственного интеллекта» Друзья, не могу пройти мимо и не порекомендовать новую книгу моего коллеги, Сергея Маркова (), «Охота на электроовец: большая книга искусственного интеллекта». Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно (ссылка ниже) но я призываю всех поддержать автора и сделать заказ печатного издания (можно сделать там же на сайте)! «Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта» https://markoff.science/

🔥 #Яндекс разработал и открыл для всех библиотеку YaFSDP, которая значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым с исходным кодом. Как утверждают в компании, в зависимости от архитектуры и параметров нейросети библиотека дает ускорение до 25%. Кроме того, благодаря YaFSDP можно экономить до 20% ресурсов графических процессоров при обучении моделей. Исходный код YaFSDP уже выложен на GitHub.

Всем привет от создателя Википедии, только благодаря которой некоторые из нас смогли закончить институт :)))

Пока все переваривают фееричный прорыв Apple в области AI, редакция канала участвует в конференции TechWeek London 24. Отдельно напишу впечатления в течении недели, а пока несколько зарисовок о происходящем снятые через запретные очки.

Ждём умную Сирю?

Весь смысл про ИИ и людей в одной фразе :)

Дайджест статей Фишки и «грабли» использования машинного обучения от спикеров ML2Business https://habr.com/ru/companies/yandex_cloud_and_infra/articles/819735/ How To Build a Basic RAG App https://dzone.com/articles/how-to-build-a-basic-rag-app AI Risk Management Framework: A Technical Deep Dive for AI Developers https://dzone.com/articles/ai-risk-management-framework-a-technical-deep-dive Building Robust ML Systems: Best Practices for Production https://dzone.com/articles/building-robust-ml-systems-best-practices Master Data Management (MDM) and CRM: Ensuring data quality for enhanced customer relationships https://www.datasciencecentral.com/master-data-management-mdm-and-crm-ensuring-data-quality-for-enhanced-customer-relationships/ When Should You Use Distributed PostgreSQL for Gen AI Apps? https://dzone.com/articles/when-should-you-use-distributed-postgresql-for-gen The Role of Data Engineering in Building Scalable AI Systems https://dzone.com/articles/the-role-of-data-engineering-in-building-scalable

## Открой дверь в мир технологий с Технобутик! 🗝️ Технобутик - твой проводник в бескрайнюю вселенную: * 💫 Новейших технологий: будь в курсе последних разработок и инноваций. * 🌐 Интернет-культуры: погрузись в мир мемов, трендов и онлайн-сообществ. * 🧠 Умных нейросетей: узнай, как искусственный интеллект меняет нашу жизнь. * 🚀 И многого другого! Подписывайся и расширяй свои горизонты вместе с нами! ➡️ @Technobutik