Клуб CDO

Это шедевр: известное австралийское медиа, которое снимает колкую политическую сатиру, опубликовало видео про ИИ В ролике пародийный ИИ-ассистент GovGPT, "сделанный компанией ClosedAI", с сарказмом и пасхалками прожаривает тех-гигантов и отвечает на вопрос "Будет ли SkyNet?". Ничего лучше вы сегодня не увидите

Если вы строите экономику данных, то этот отчет о совместном использовании ИИ и блокчейна для вас Ключевые сферы внимания в докладе: 1. обеспечение экономики данных децентрализованными фреймворками ИИ, использование блокчейна для безопасного и эффективного обучения моделей ИИ, а также использование ИИ для автоматизированного маркет-мейкинга и торговых стратегий в децентрализованных финансах (#DeFi ). 2. представлены тематические исследования по выявлению мошеннических схем на основе ИИ, сохранение #privacy в DeFi и использование обработки естественного языка (#NLP ) для анализа тональности и анализа данных. 3. обсуждается применение цифровых двойников #digitaltwin в управлении активами. 4. рассматриваются этические, социальные и управленческие принципы, подчеркивая необходимость глобального отрудничества и надежной нормативно-правовой базы для обеспечения положительного воздействия этих конвергентных технологий на общество.

Друзья! У нас есть неожиданное и очень приятное предложение от редакции канала CDO Club и команды CleverData: давайте повторим наш оффлайн формат и соберемся в августе в Москве, чтобы обсудить рынок данных, монетизацию, тренды и поделиться новостями? Мы видим, что интерес к теме на рынке растет, и чувствуем, что накопилось достаточно информации для продуктивного разговора и обмена идеями. Это будет уютная камерная встреча без записи и трансляций, в кругу единомышленников и экспертов. С этим постом мы хотим получить вашу обратную связь: насколько вам интересно принять участие, какие у вас есть идеи и предложения. Кто хочет что-то рассказать? Какие пожелания по формату, повестке и организации мероприятия? На данный момент у нас есть ориентировочная дата – 13 августа. Давайте вместе создадим незабываемое событие! Ваши идеи и предложения можно оставить в комментариях или прислать в личные сообщения. Ждем отклика!

Друзья! У нас есть неожиданное и очень приятное предложение от редакции канала CDO Club и команды CleverData: давайте повторим наш оффлайн формат и соберемся в августе в Москве, чтобы обсудить рынок данных, монетизацию, тренды и поделиться новостями? Мы видим, что интерес к теме на рынке растет, и чувствуем, что накопилось достаточно информации для продуктивного разговора и обмена идеями. Это будет уютная камерная встреча без записи и трансляций, в кругу единомышленников и экспертов. С этим постом мы хотим получить вашу обратную связь: насколько вам интересно принять участие, какие у вас есть идеи и предложения. Кто хочет что-то рассказать? Какие пожелания по формату, повестке и организации мероприятия? На данный момент у нас есть ориентировочная дата – 13 августа. Давайте вместе создадим незабываемое событие! Ваши идеи и предложения можно оставить в комментариях или прислать в личные сообщения. Ждем отклика!

Дайджест статей Базовое руководство для улучшения качества продуктов с LLM https://gopractice.ru/skills/improving-products-with-llm/ Как влияет искусственный интеллект на управление данными https://cio.osp.ru/articles/270624-Kak-vliyaet-iskusstvennyy-intellekt-na-upravlenie-dannymi Build an Advanced RAG App: Query Rewriting https://dzone.com/articles/build-an-advanced-rag-app-query-rewriting Инфраструктура для data engineer S3 https://habr.com/ru/articles/827052/ Phased Approach to Data Warehouse Modernization https://dzone.com/articles/phased-approach-to-data-warehouse-modernization Knowledge Graph Enlightenment, AI, and RAG https://dzone.com/articles/knowledge-graph-enlightenment-ai-and-rag-the-year Generative Search: Practical Advice for Retrieval Augmented Generation (RAG) https://www.infoq.com/presentations/vector-embedding-llm/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global Как справиться с нехваткой открытых данных для обучения и тестирования ML-моделей https://habr.com/ru/companies/selectel/articles/826266/ 17 продвинутых RAG-техник: как превратить прототип LLM-приложения в готовое решение https://habr.com/ru/companies/bothub/articles/825850/ Графы в рекомендательных системах [часть 1] https://habr.com/ru/articles/825896/ Хранилища данных. Обзор технологий и подходов к проектированию https://habr.com/ru/articles/822669/ Визуализация данных: четыре простых способа быстро улучшить диаграмму https://habr.com/ru/companies/vk/articles/824260/

⚡️ Microsoft только что был опубликовали Graph RAG! Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs. Эо методология использования структур памяти knowledge graph для улучшения работы LLM. ▪ Github ▪ Docs ▪ Blog @data_analysis_ml

Опыт команды LinkedIn по внедрению GenAI в свой продукт: - "главное выбрать правильного агента" - короче распознать что конкретно хочет пользователь так и остается одной из важных задач в диалоговых системах и просто кидать запросы в LLM не помогает решить конкретную пользовательсксую проблему 🙂 - Retrieval - а еще агент должен не только знать но и уметь ходить в нуные сервисы за информацией, а не просто выдавать ответы на основе обучающих данных. Поэтому нужна интегарция и гереация запросов. А еще агент должен уметь делать дейвия в системах, тогда он рельно будет приносить пользу, а не просто давать советы из области "вам надо стать ежиками" 🙂 Реально клиентский опыт меняет не ответы а дейтвия: отпишись от всех "друзей" с должность "business developer", например (коли речь идет о LinkedIn, там это просто боль) What worked for us: - Fixed 3-step pipeline - Small models for routing/retrieval, bigger models for generation - Embedding-Based Retrieval (EBR) powered by an in-memory database as our 'poor man's fine-tuning' to inject response examples directly into our prompts - Per-step specific evaluation pipelines, particularly for routing/retrieval What we are working on: a unified skill registry to dynamically discover and invoke APIs/agents packaged as LLM friendly skills across our generative AI products. А еще интересные компромисы подсвечиваются: Quality vs Latency - ну понятно, надо либо бытсро либо хорошо. А пользователь хочет и быстро и хорошо 🙂 https://www.linkedin.com/blog/engineering/generative-ai/musings-on-building-a-generative-ai-product

Новый рекорд скорости передачи данных через стандартную оптику - 402 Tb/s

Интересный tool в коллекцию: https://quickview.email/ просто даете ему ссылку на youtube ролик и получаете на почту кракое саммари. вот что получилось по докладу из поста выше: Как создать платформу для обработки данных в IT-компании / Александр Артёменко | duration 2537s Докладчик рассказал о построении платформы управления данными в Яндексе, начиная с объяснения термина DMP (Data Management Platform). DMP представляет собой платформу для сбора и обработки данных, необходимую практически любой IT-компании для аналитики и управления данными о заказах, клиентах и поставщиках. Он поделился опытом работы над платформой в Яндексе, где сначала использовали крон для запуска процессов, затем перешли на декларативный фреймворк для типовых задач. Он описал эволюцию платформы, начиная с примитивных процессов и перехода к более сложным с использованием Luigi для построения графов задач. Рассказал о разработке собственного оркестратора для эффективного управления процессами и расширения возможностей платформы. Он также упомянул использование триггеров для запуска задач по событиям и мониторинга качества данных. Вопросы из аудитории касались различных аспектов работы с данными, таких как консистентность данных, обработка ошибок, масштабирование процессов, передача данных и мониторинг. Докладчик поделился советами по выбору инструментов для маленьких компаний, упомянув о возможности использования готовых решений, таких как Airflow Manager. Также были заданы вопросы о работе с конкурентным доступом к данным, обработке ошибок и забавных случаях при работе с данными. В целом, доклад представил интересный путь развития платформы управления данными в Яндексе, подчеркнув важность эффективного управления процессами сбора и обработки данных для компаний любого масштаба. Он также подчеркнул необходимость постоянного развития и адаптации платформы к растущим потребностям компании.