Нейросеть | Эстетика

Using Federated Machine Learning to Overcome the AI Scale Disadvantage Статья не новая, прошлого года, но любопытная. Рассказывается кейс использования Federated Learning в исследовательских задачах в фарминдустрии. Ряд довольно крупных компаний, таких как AstraZeneca, Bayer, GSK, Janssen Pharmaceutica, Merck, and Novartis в 2017 году организовали консорциум Melloddy в рамках которого проводили эксперимент по создания общей платформы для работы с данными в децентрализованном режиме. В качестве базы для платформы использовали стартап Owkin (https://www.owkin.com/substra). Инновации в фармацевтике - дело очень дорогое и трудоемкое. Средняя стоимость вывода нового препарата на рынок составляет около 2,3 миллиарда долларов по состоянию на 2022 год, а сам процесс может занять более 10 лет. Одна из основных трудностей при открытии лекарств связана с чрезвычайно большим количеством возможных молекул (порядка 10⁶⁰) и связанной с этим проблемой поиска молекул с перспективными свойствами в этом огромном пространстве. Фармацевтические компании также сталкиваются с давлением, поскольку такие крупные технологические игроки, как Alphabet, используют свои глубокие знания в области искусственного интеллекта и машинного обучения для открытия лекарств. Melloddy - представлял собой трехлетний пилотный проект, целью которого было проверить FedML на целесообразность и эффективности. Проект финансировался совместно с Европейским союзом; Еврокомиссия рассматривала Melloddy как тестовый пример для получения информации для бизнес-секторов за пределами фармацевтики. Используя данные друг друга, но не делясь ими, участвующие фармацевтические компании могли обучать свои модели машинного обучения на самом большом в мире наборе данных об открытии лекарств, что позволяло делать более точные прогнозы относительно перспективных молекул и повышало эффективность процесса открытия лекарств. Результаты пилотного проекта Melloddy, который завершился в 2022 году, показали, что создание безопасной многосторонней платформы для совместного ИИ с использованием децентрализованных данных вполне осуществимо и что производительность моделей машинного обучения действительно повышается при использовании подхода FedML. Но вот про дальнейшие шаги что то в статье не очень много деталей 🙂

Это шедевр: известное австралийское медиа, которое снимает колкую политическую сатиру, опубликовало видео про ИИ В ролике пародийный ИИ-ассистент GovGPT, "сделанный компанией ClosedAI", с сарказмом и пасхалками прожаривает тех-гигантов и отвечает на вопрос "Будет ли SkyNet?". Ничего лучше вы сегодня не увидите

Друзья! У нас есть неожиданное и очень приятное предложение от редакции канала CDO Club и команды CleverData: давайте повторим наш оффлайн формат и соберемся в августе в Москве, чтобы обсудить рынок данных, монетизацию, тренды и поделиться новостями? Мы видим, что интерес к теме на рынке растет, и чувствуем, что накопилось достаточно информации для продуктивного разговора и обмена идеями. Это будет уютная камерная встреча без записи и трансляций, в кругу единомышленников и экспертов. С этим постом мы хотим получить вашу обратную связь: насколько вам интересно принять участие, какие у вас есть идеи и предложения. Кто хочет что-то рассказать? Какие пожелания по формату, повестке и организации мероприятия? На данный момент у нас есть ориентировочная дата – 13 августа. Давайте вместе создадим незабываемое событие! Ваши идеи и предложения можно оставить в комментариях или прислать в личные сообщения. Ждем отклика!

Дайджест статей Базовое руководство для улучшения качества продуктов с LLM https://gopractice.ru/skills/improving-products-with-llm/ Как влияет искусственный интеллект на управление данными https://cio.osp.ru/articles/270624-Kak-vliyaet-iskusstvennyy-intellekt-na-upravlenie-dannymi Build an Advanced RAG App: Query Rewriting https://dzone.com/articles/build-an-advanced-rag-app-query-rewriting Инфраструктура для data engineer S3 https://habr.com/ru/articles/827052/ Phased Approach to Data Warehouse Modernization https://dzone.com/articles/phased-approach-to-data-warehouse-modernization Knowledge Graph Enlightenment, AI, and RAG https://dzone.com/articles/knowledge-graph-enlightenment-ai-and-rag-the-year Generative Search: Practical Advice for Retrieval Augmented Generation (RAG) https://www.infoq.com/presentations/vector-embedding-llm/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global Как справиться с нехваткой открытых данных для обучения и тестирования ML-моделей https://habr.com/ru/companies/selectel/articles/826266/ 17 продвинутых RAG-техник: как превратить прототип LLM-приложения в готовое решение https://habr.com/ru/companies/bothub/articles/825850/ Графы в рекомендательных системах [часть 1] https://habr.com/ru/articles/825896/ Хранилища данных. Обзор технологий и подходов к проектированию https://habr.com/ru/articles/822669/ Визуализация данных: четыре простых способа быстро улучшить диаграмму https://habr.com/ru/companies/vk/articles/824260/

⚡️ Microsoft только что был опубликовали Graph RAG! Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs. Эо методология использования структур памяти knowledge graph для улучшения работы LLM. ▪ Github ▪ Docs ▪ Blog

Опыт команды LinkedIn по внедрению GenAI в свой продукт: - "главное выбрать правильного агента" - короче распознать что конкретно хочет пользователь так и остается одной из важных задач в диалоговых системах и просто кидать запросы в LLM не помогает решить конкретную пользовательсксую проблему 🙂 - Retrieval - а еще агент должен не только знать но и уметь ходить в нуные сервисы за информацией, а не просто выдавать ответы на основе обучающих данных. Поэтому нужна интегарция и гереация запросов. А еще агент должен уметь делать дейвия в системах, тогда он рельно будет приносить пользу, а не просто давать советы из области "вам надо стать ежиками" 🙂 Реально клиентский опыт меняет не ответы а дейтвия: отпишись от всех "друзей" с должность "business developer", например (коли речь идет о LinkedIn, там это просто боль) What worked for us: - Fixed 3-step pipeline - Small models for routing/retrieval, bigger models for generation - Embedding-Based Retrieval (EBR) powered by an in-memory database as our 'poor man's fine-tuning' to inject response examples directly into our prompts - Per-step specific evaluation pipelines, particularly for routing/retrieval What we are working on: a unified skill registry to dynamically discover and invoke APIs/agents packaged as LLM friendly skills across our generative AI products. А еще интересные компромисы подсвечиваются: Quality vs Latency - ну понятно, надо либо бытсро либо хорошо. А пользователь хочет и быстро и хорошо 🙂 https://www.linkedin.com/blog/engineering/generative-ai/musings-on-building-a-generative-ai-product

Новый рекорд скорости передачи данных через стандартную оптику - 402 Tb/s

Интересный tool в коллекцию: https://quickview.email/ просто даете ему ссылку на youtube ролик и получаете на почту кракое саммари. вот что получилось по докладу из поста выше: Как создать платформу для обработки данных в IT-компании / Александр Артёменко | duration 2537s Докладчик рассказал о построении платформы управления данными в Яндексе, начиная с объяснения термина DMP (Data Management Platform). DMP представляет собой платформу для сбора и обработки данных, необходимую практически любой IT-компании для аналитики и управления данными о заказах, клиентах и поставщиках. Он поделился опытом работы над платформой в Яндексе, где сначала использовали крон для запуска процессов, затем перешли на декларативный фреймворк для типовых задач. Он описал эволюцию платформы, начиная с примитивных процессов и перехода к более сложным с использованием Luigi для построения графов задач. Рассказал о разработке собственного оркестратора для эффективного управления процессами и расширения возможностей платформы. Он также упомянул использование триггеров для запуска задач по событиям и мониторинга качества данных. Вопросы из аудитории касались различных аспектов работы с данными, таких как консистентность данных, обработка ошибок, масштабирование процессов, передача данных и мониторинг. Докладчик поделился советами по выбору инструментов для маленьких компаний, упомянув о возможности использования готовых решений, таких как Airflow Manager. Также были заданы вопросы о работе с конкурентным доступом к данным, обработке ошибок и забавных случаях при работе с данными. В целом, доклад представил интересный путь развития платформы управления данными в Яндексе, подчеркнув важность эффективного управления процессами сбора и обработки данных для компаний любого масштаба. Он также подчеркнул необходимость постоянного развития и адаптации платформы к растущим потребностям компании.

Дайджест статей TacticAI: an AI assistant for football tactics https://deepmind.google/discover/blog/tacticai-ai-assistant-for-football-tactics How Data Mesh Platforms Connect Data Producers and Consumers https://www.infoq.com/news/2024/06/data-mesh-platforms/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global LLM Orchestrator: The Symphony of AI Services https://dzone.com/articles/llm-orchestrator-the-symphony-of-ai-services ИИ познает женскую красоту https://habr.com/ru/articles/824390/?utm_source=habrahabr&utm_medium=rss&utm_campaign=824390 Рекомендательная система для интернет-магазина: графы, векторы и генеративный ИИ https://habr.com/ru/companies/lad_/articles/824516/?utm_source=habrahabr&utm_medium=rss&utm_campaign=824516 База по базам данных. Для всех интересующихся https://habr.com/ru/articles/825104/?utm_source=habrahabr&utm_medium=rss&utm_campaign=825104 Качество данных в М.Видео-Эльдорадо https://habr.com/ru/companies/mvideo/articles/825314/?utm_source=habrahabr&utm_medium=rss&utm_campaign=825314 Кратко про Multi-Head RAG: решение многоаспектных задач с помощью LLM https://habr.com/ru/companies/otus/articles/821943/?utm_source=habrahabr&utm_medium=rss&utm_campaign=821943

Довольно неплохой доклад про платформу управления данными. https://youtu.be/jYOWpcwfyTI?si=PsZWK4YGnpVfu3g8

И еще одна небольшая персональна новость :) извините за офф топик https://www.prnewswire.com/news-releases/crossover-markets-raises-12-million-series-a-funding-round-led-by-illuminate-financial-and-drw-venture-capital-302182278.html

🎉 CleverData 10 лет!🎉 В этом году наша компания отмечает юбилей!  Образовавшись как небольшой стартап мы развиваемся, растем, усиливаемся, крепнем, учимся, решаем сложные задачи, принимаем вызовы и достойно выдерживаем все испытания на протяжении 10 лет🧑🏻‍💻👩🏼‍💻! И, конечно, не останавливаемся на достигнутом, а рвемся только вперед! 🚀 CleverData - это, прежде всего, люди💓. Это команда профессионалов, объединенных одной идеей: Вместе меняем мир, анализируя данные!  💚 Спасибо каждому человеку, кто с нами за ваше доверие и выбор! 💚 Мы не будем подводить итоги, а просто отметим основные этапы развития нашей компании. Конечно, все это случилось только благодаря нашим основателям, руководителям, сотрудникам, клиентам и партнерам, которые рядом с нами все это время 🙏🏻.  Спойлер: только посмотрите, какие мы крутые 😎 (ниже).  Не всех клиентов мы отрыто можем раскрывать, но поверьте, вы точно их знаете ;) 💫 Поздравления принимаем в комментариях ;)

Как говорится - всех причастных с праздником! Знаю, что в канале много людей, кто стоял у истоков этой истории, сотрудников, клиентов, конкурентов или просто неравнодушных людей, которые так или иначе пересекались с нашей командой и продолжают помогать 🙂

Коллеги, анонс от наших друзей: До ухода компании SAP из России ее решения использовали около полутора тысяч клиентов из государственных и коммерческих структур. Что интересно, многие продолжают работать с ними независимо от ограничений – найти качественный аналог бизнес-критичной системы непросто. Часть бизнеса пошло по пути замещения части решений, без изменения текущей экосистемы. Чтобы разобраться, как обстоят сегодня дела с качеством мастер-данных в экосистеме SAP, коллеги проводят любопытный вебинар «MDM в среде SAP – как это выглядит на практике?», который состоится 4 июля. Важно - вебинар не теоретический, приглашенный гость - Алена Быкова, Объединенные пивоварни Хайнекен. Разговор будет строиться исключительно на основе опыта. Что планируется обсудить: - Сценарии взаимодействия MDM и SAP - Архитектура взаимодействия MDM и SAP - Настройка workflow для обработки данных и ролевой модели - Специфика реализации проекта, на что обратить внимание Участие в вебинаре будет интересно CIO, CDO, архитекторам, руководителям отделов аналитики, а также менеджерам по аналитике и работе с данными. Присоединяйтесь и делитесь впечатлениями! https://harmony4data.ru/events/040724/?utm_source=TG&utm_medium=CDO&utm_campaign=04_06_MDM_SAP

Про квантовые вычисления По мотивам семинара на этой неделе, подборка про квантовые вычисления и алгоритмы от докладчика Сергея Усманова: ▫️ Научно популярное введение в тему: S. Aaronson - Quantum Computing Since Democritus (есть перевод), 2013 (~400 стр.); ▫️ Канонический учебник по квантовым вычислениям: M.A. Nielsen, I.L. Chuang - Quantum Computation and Quantum Information (перевод тоже где-то есть), 2010 (~700 стр.); ▫️ Современный обзор приложений и алгоритмов (главы 4 и 5 - про комбинаторную и непрерывную квантовую оптимизацию, глава 9 - про квантовый ML): A.M. Dalzell et al. - Quantum algorithms: A survey of applications and end-to-end complexities, 2023 (~330 стр.); ▫️ Ресурс с каталогом квантовых алгоритмов: Quantum Algorithm Zoo; ▫️ Ландшафт рынка в области квантовых вычислений: Quantum Computing Companies: A Full 2024 List. P.S.: С автором книги “Квантовые вычисления со времен Демокрита” Скоттом Ааронсоном есть два выпуска подкаста Лекса Фридмана: ▫️ Scott Aaronson: Quantum Computing, 2020 (1 час 35 минут); ▫️ Scott Aaronson: Computational Complexity and Consciousness, 2020 (1 час 50 минут). P.P.S: Материалы по теме от других участников сообщества: ▫️ - учебник А. Китаев, А. Шень, М. Вялый - Классические и квантовые вычисления, 1999 (~190 стр.); ▫️ - статья на Хабре: Механический квантовый компьютер, 2024 (15 минут); ▫️ - библиотека от IBM: Qiskit Optimization: A library for optimization applications using quantum computing. Кстати, в блогах Qiskit много постов про квантовые вычисления и оптимизацию простыми словами, например: ▫️ A Walkthrough of Qiskit’s New Optimization Module, 2020 (6 минут); ▫️ Cutting Through the Hype of Quantum Optimization, 2021 (13 минут).

Раз уж тут речь зашла про квантовые вычисления, коллеги из NoMLCommunity напомнили что у них недавно был вебинар на эту тему и поделились интересной подборкой материалов

Немного о квантовой механики Я тут на выходные немного почитал про квантовую механику - неожиданно звезды так сложились, что мне попалось сразу несколько материалов, которые наконец-то немного позволили сделать шаг в перед в понимании того, что под этим термином понимают физики :) Все знают, что этот раздел физики настолько контр-интуитивен, что вообще не понятно “где” оно все друг относительно друга, а область квантовой механики изобилует такими понятиями как “мультивселенные” (еще ими сейчас изобилуют фильмы про супергероев Марвел) и “теории струн” и вообще непонятно как эти все противоречащие друг-другу концепции продолжают иметь место быть :) В общем если хотите немного разобраться - вот мои рекомендации: По первых очень рекомендую книгу Джона Гриббина “Шесть невозможностей: Загадки квантового мира” - про шесть современных интерпретаций квантовой механики. Очень доступно и понятно. Книга очень небольшая, можно за пару дней освоить, но прям очень неплохо раскладывает все по полочкам. - https://www.goodreads.com/book/show/59634283 По вторых серия статей на хабре от Диониса Диметора: - https://habr.com/ru/users/dionisdimetor/publications/articles/ И в третьих, смотрите на YouTube материалы и лекции от Алексея Семихатова, например (имхо отличная лекция): - https://www.youtube.com/watch?v=4iAkAT7mhnw