Клуб CDO
Сообщество профессионалов в области работы с данными и искуственным интеллектом
Ko'proq ko'rsatish2 698
Obunachilar
Ma'lumot yo'q24 soatlar
+147 kunlar
+4330 kunlar
Post vaqtlarining boʻlagichi
Ma'lumot yuklanmoqda...
Find out who reads your channel
This graph will show you who besides your subscribers reads your channel and learn about other sources of traffic.
Nashrni tahlil qilish
| Postlar | Ko'rishlar | Ulashishlar | Ko'rish dinamikasi |
01 THE 2024 MAD (MACHINE LEARNING, ARTIFICIAL INTELLIGENCE & DATA) LANDSCAPE | 376 | 22 | Loading... |
02 Конечно, никто смотреть не будет, но все добавят в закладки :))) | 473 | 1 | Loading... |
03 ❗️Более 300+ лекций бесплатно по прикладной математике от MIT
- Математика для информатики, - Разработка и анализ алгоритмов,
- Матричные методы анализа данных,
- Обработка сигналов и машинного обучения,
- Вычислительные науки и инженерия,
- Математические методы для инженеров II,
- Прикладная теория категорий, - Темы математики с приложениями в финансах. | 456 | 25 | Loading... |
04 Дайджест статей
Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции
https://habr.com/ru/articles/809427/
Проектирование DWH с помощью Data Vault
https://habr.com/ru/companies/otus/articles/816219/
Быстрая Data Quality проверка на базе алгоритма adversarial validation
https://habr.com/ru/companies/ru_mts/articles/817483/
Enhancing data lineage and metadata management in ELT pipelines
https://www.datasciencecentral.com/enhancing-data-lineage-and-metadata-management-in-elt-pipelines/
Разработка системы отчётности и BI: вопросы производительности
https://habr.com/ru/companies/magnit/articles/815667/
Красиво и понятно: какие инструменты для визуализации данных нужны дата-аналитику
https://habr.com/ru/companies/skillfactory/articles/818375/
Сквозная аналитика: комплексный подход к эффективности бизнеса
https://habr.com/ru/articles/818283/
Meta and Google researchers’ new data curation method could transform self-supervised learning
https://venturebeat.com/ai/meta-and-google-researchers-new-data-curation-method-could-transform-self-supervised-learning/
Использование генеративного ИИ для автоматизации дата инжиниринга
https://habr.com/ru/articles/818811/ | 590 | 17 | Loading... |
05 Небольшая мтодичка с базой про Data Lake | 654 | 20 | Loading... |
06 тревожные новости | 638 | 2 | Loading... |
07 Статус всех публичных репозиториев GPDB (международный проект с открытым исходным кодом Greenplum) на GitHub изменён на архивный. Это означает, что разработка Greenplum в рамках open source, скорее всего, будет приостановлена и дальнейшее развитие проекта силами нового правообладателя проекта — компании Broadcom — будет происходить в рамках коммерческой версии VMware Tanzu Greenplum. Arenadata даёт свой комментарий относительно сложившейся ситуации для пользователей как продукта Arenadata DB (ADB), так и ванильной open source версии Greenplum. https://t.me/arenadata/445 | 1 494 | 83 | Loading... |
08 Любопытная статья от Facebook про их платформу работы с данными.
Если коротко - мы не хотим пилить монолит, мы хотим быть гибкими, поэтому у нас зоопарк технологий под любые нужды. Но пользователи хотят единый интерфейс к данным поэтому мы напилил новый монолит над зоопарком - назвали Velox.
Это такой движок SQL запросов который их выполняет обращаясь к разным другим платформам. Но что бы обращаться было проще он похоже еще много всего сам хранит «под ногами» :)
А еще придумали новый формат фалов для BD - Nimble. Интересно будет потом глянуть подробнее его.
https://engineering.fb.com/2024/05/22/data-infrastructure/composable-data-management-at-meta/ | 791 | 19 | Loading... |
09 Коллеги, несмотря на отмену конференции OpenTalk.AI в Тбилиси, организаторам удалось собрать несколько оффлайновых митапов с докладчиками, которые приехали в Тбилиси. И главное — они собрали 2-х дневную микроконференцию из всех ключевых докладчиков и записали все эти доклады.
Это получилась удивительная камерная суперинтересная конференция, где получилось больше внимания уделить каждому докладу и вопросам/ответам.
Теперь наконец вы можете посмотреть все записи, включая интереснейшую заключительную сессию Эмерджентность, в которой, после выступлений, было еще прекрасное 2-х часовое обсуждение!)
Все записи на русском, мы позднее добавим английские субтитры.
https://ipaccelerator.timepad.ru/event/2879723/ | 776 | 7 | Loading... |
10 А вы пробовали Perplexity? Приложение «поверх» нескольких LLM (включая свою) которая умеет извлекать данные из интернета в реальном времени и отвечать на вопросы о настоящем времени.
Очередная попытка убить поиск. И в целом очень неплохая при умении задавать правильные вопросы :) | 854 | 6 | Loading... |
11 https://www.perplexity.ai/page/GPT4-Beats-Analysts-nVgZu5u1SXi6bcE8pzbR.Q | 843 | 6 | Loading... |
12 Для пользователей и интересующихся - уже 5 июня пройдет техревью «Применение искусственного интеллекта в Дельта BI".
Ребята расскажут, что такое генеративный BI (Gen BI) и покажут:
- как выполнять переводы на различные языки с помощью инструментов искусственного интеллекта
- как преобразовывать данные с помощью ИИ
- как искусственный интеллект поможет при написании кода Python, R, SQL, а также формул Excel и др.
- как создавать визуализации в автоматическом режиме
- как анализировать слайды презентаций
- как строить эффективный диалог с чат-ботом
Как всегда, нужна регистрация | 45 | 1 | Loading... |
13 Интересное мероприятие запланировали KEPT (бывший KPMG) и Navicon - вебинар "Санкции ЕС в отношении зарубежного ПО – риски, нюансы, возможности" состоится 6 июня.
Насколько правомерно приобретение ПО через зарубежные «дочки» или представительства? Работают ли «серые схемы» приобретения лицензий? Каковы реальные перспективы для продавцов и покупателей? Есть ли прецеденты правоприменения по предыдущим пакетам санкций?
Особенно актуально для пользователей Power BI, Qlik и Tableau. Вебинар коллег, традиционно, бесплатный, но важно заранее зарегистрироваться. | 1 | 0 | Loading... |
14 Коллеги, несколько анонсов новых мероприятий | 1 | 0 | Loading... |
15 Коллеги, делюсь контентом от подписчиков и призываю всех так же делиться материалами! | 799 | 1 | Loading... |
16 Добрый день! Коллеги из ВТБ на Хабре рассказали, как мигрировали озеро данных с Oracle на Arenadata Hadoop. Очень интересный материал получился. Посмотрите, пожалуйста, получится ли опубликовать в канале? https://habr.com/ru/companies/vtb/articles/816325/ | 1 038 | 23 | Loading... |
17 Дайджест статей
Apache Superset 2024. Лучшие практики
https://habr.com/ru/companies/otpbank/articles/815689/
LLM Leaderboard за май 2024
https://habr.com/ru/articles/816519/
Миграция Big Data на практике: как мы готовили напильники
https://habr.com/ru/companies/vtb/articles/816325/
Как правильно визуализировать данные, чтобы принимать эффективные решения?
https://habr.com/ru/articles/816191/
Зачем и как проектировать пользовательский опыт в B2B BI-проектах
https://habr.com/ru/articles/816945/
The Modern AI Stack: Design Principles for the Future of Enterprise AI Architectures
https://menlovc.com/perspective/the-modern-ai-stack-design-principles-for-the-future-of-enterprise-ai-architectures/
Искусственный интеллект спотыкается о данные
https://www.kommersant.ru/doc/6509461
Анатомия визуализации. Часть первая: от задачи к исполнению
https://habr.com/ru/companies/securityvison/articles/817011/ | 858 | 17 | Loading... |
18 Вот и Алекса поумнела :)
https://gizmodo.com/amazon-alexa-generative-ai-upgrade-prime-cost-1851493383 | 865 | 2 | Loading... |
19 Коллеги, анонс от наших друзей. В июне этого года будет проходить очередной кэмп для C-level в IT на Красной Поляне в Сочи⛰️
В этом году в повестке и аудитории мероприятия сделан упор, в том числе, и на CDO, так что обратите внимание на мероприятие.
South HUB 2024 — это кэмп для C-level в IT с акцентом на work-life balance. В программе: насыщенный микс из обучения, спорта, нетворкинга, семейных активностей, медитаций и саморазвития.
📍 Когда и где: 8-12 июня, на территории курорта «Гранд Отель Поляна» 5*
🙌 Для кого: на кэмпе соберутся 400 руководителей IT-направлений.
📝 Деловая программа: конференция и доклады спикеров на нескольких площадках. За пределами главных сцен – бизнес-игры, воркшопы и дискуссионные клубы от партнёров-создателей.
Среди спикеров:
🔘 Роман Маресов, руководитель e-com сервисов Яндекса (Маркет, Еда, Лавка)
🔘 Денис Баранов, Генеральный директор Positive Technologies
🔘 Максим Гришаков, CEO Lamoda
🔘 Анатолий Панов, СТО Авито Товары
🔘 Александр Ложечкин, CIO, член правления, Райффайзен Банк
В неформальной программе: турниры по плаванию, большому теннису, шахматам и волейболу. А ещё медитации, утренние пробежки, хайкинг, мастер-классы по биохакингу, развитию памяти и концентрации внимания.
Подробности — на сайте South HUB 2024 | 1 027 | 12 | Loading... |
20 Европейский Союз официально утвердил первый в мире всеобъемлющий правовой акт по искусственному интеллекту, известный как Закон об ИИ.
Думаю, что тут может быть такая же история как с GDPR - все страны спишут +/- в свои законы, поэтому интересно изучить заранее 🙂
Основные аспекты Закона об ИИ
Регулирование на основе рисков: Системы ИИ регулируются в зависимости от уровня их риска. Высокорисковые системы ИИ, такие как те, что используются в критической инфраструктуре или медицинских устройствах, будут подлежать строгим требованиям, включая оценку рисков, прозрачность использования данных и человеческий надзор.
Запрещенные приложения
Некоторые приложения ИИ, угрожающие правам граждан, запрещены. К ним относятся биометрическая категоризация на основе чувствительных характеристик, нецелевое сканирование лицевых изображений, распознавание эмоций на рабочих местах и в школах, социальное рейтингование и предсказательная полицейская деятельность, основанная исключительно на профилировании.
Нарушения Закона об ИИ могут привести к штрафам до 35 миллионов евро или 7% от мирового дохода компании, в зависимости от того, что больше.
Закон об ИИ вступит в силу в следующем месяце, а полная реализация ожидается через два года. Конкретные положения, такие как запреты на запрещенные практики и обязательства для высокорисковых систем, будут иметь поэтапные сроки реализации от шести месяцев до трех лет после вступления закона в силу.
Глобальное влияние
Пионерский шаг ЕС ставит его в авангарде глобальных усилий по регулированию ИИ, устанавливая прецедент для других регионов, рассматривающих аналогичные рамки. Ожидается, что Закон об ИИ станет де-факто мировым стандартом для надежного ИИ, влияя на регулирование в других регионах, включая Великобританию и США.
Этот всеобъемлющий регуляторный акт направлен на баланс между инновациями и безопасностью, обеспечивая, чтобы системы ИИ, разработанные в ЕС, были как передовыми, так и соответствовали европейским ценностям и стандартам.
https://www.investorsobserver.com/news/qm-news/8166188027232006 | 1 160 | 27 | Loading... |
21 Data Awards 2024
Коллеги, 16 мая состоялась церемония награждения Data Awards 24. От имени редакции этого канала хочу выразить благодарность организаторам, которые выполняют замечательную работу. На самом деле, я не знаю другой ИТ-премии в РФ, которая была бы организована так прозрачно и профессионально, и где статуэтки вручаются исключительно за профессиональные достижения.
Я знаю много премий, где идет борьба за маркетинговые бюджеты и компании, но могу с уверенностью сказать, как член экспертного совета, что в Data Awards побеждают исключительно хорошие кейсы и профессионально выполненная работа.
Уверен, что многие участники премии читают этот канал, и хочу им выразить большую благодарность за их вклад в развитие индустрии работы с данными! В этом году было много нетипичных для общей информационной повестки кейсов, которые меня особенно порадовали, такие как:
• Оптимизация размещения базовых станций 5G с помощью машинного обучения
• Прогнозирование ML в аптечной сети
• Data-driven подходы в кадровой службе
• Комплекс для оптимизации прокатки стали
• Система индивидуального учета животных на агрофермах
• Физически информированное машинное обучение на "Карельском окатыше"
• Аналитическая подсистема "Системы-112" Московской области
• Система поддержки коммуникаций со специалистами здравоохранения
• Платформа управления ценностью клиентов (CVM)
• Персонализированные коммуникации на основе психотипирования
• Выявление людей с болезнью Паркинсона по голосу
• Система цифрового контроля дорожной инфраструктуры и городских территорий
• Цифровые продукты с использованием ИИ в медицине
• Управление технологическими данными с датчиков
И, конечно, все проекты, связанные с качеством данных и платформами управления данными.
Мы, от имени компаний CleverDATA и Ланит, были рады поддержать это мероприятие и вручить премию в номинации "За интеллектуальную работу с клиентами".
Вот тут можно почитать полный обзор мероприятия: www.osp.ru/articles/2024/0520/13058401
И посмотреть фотографии: https://vk.com/album-18661021_303017306
Увидимся на следующем мероприятии! | 922 | 4 | Loading... |
22 Media files | 1 046 | 0 | Loading... |
23 Если вы работаете в интернациональной команде, то некоторые рекомендации и ситуации, описанные в этой статье, явно будут вам полезны и интересны.
https://habr.com/ru/companies/raft/articles/802141/ | 1 139 | 13 | Loading... |
24 Воскресный шопинг | 1 244 | 2 | Loading... |
25 Дайджест статей
Data Management in 2024
https://dzone.com/articles/what-data-management-looks-like
The Data Mesh Strategy Behind Intuit’s Global Financial Technology Platform
https://medium.com/intuit-engineering/the-data-mesh-strategy-behind-intuits-global-financial-technology-platform-db862fd45e0b
Netflix Uses Metaflow to Manage Hundreds of AI/ML Applications at Scale
https://www.infoq.com/news/2024/03/netflix-metaflow/
Как пользоваться Claude: знакомство с главным конкурентом ChatGPT и базовые правила его использования
https://habr.com/ru/companies/bothub/articles/812659/
Миграции схемы данных YDB с Flyway и распределенные блокировки
https://habr.com/ru/companies/ydb/articles/815085/
CDC на примитивах
https://habr.com/ru/articles/812797/
10 признаков, что пора пересмотреть систему сбора и анализа данных
https://habr.com/ru/companies/click/articles/814319/
Apache Airflow: преимущества и недостатки
https://habr.com/ru/articles/811807/
Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД
https://habr.com/ru/companies/postgrespro/articles/811041/
Шардирование баз данных и проектирование систем
https://habr.com/ru/companies/piter/articles/813133/
Comparative Analysis of Two Top Big Data Transfer Services
https://www.smartdatacollective.com/comparative-analysis-of-two-top-big-data-transfer-services/ | 1 093 | 14 | Loading... |
26 Andrew Ng вместе с crewAI выпустили новый бесплный курс Multi AI Agent System про агентские системы
Рекомендуется на выходные, а что еще делать?
https://learn.deeplearning.ai/courses/multi-ai-agent-systems-with-crewai/lesson/1/introduction | 1 169 | 43 | Loading... |
27 Вопрос к аудитории - кто какие знает тулы для того, что бы сохранять статьи на "почитать" потому? Я очень долго пользовался Pocket - но что то он совсем плох стал последнее время и превращается из списка на прочтение в какой то агрегатор статей которые мне не нужны.
Я тут посмотрел быстро и нашел: https://raindrop.io/
Может быть у кого то есть рекомендации? | 1 104 | 7 | Loading... |
28 Доклад Александра Ермакова, технического директора и сооснователя компании Arenadata, на тему «Технологический цикл решений для обработки данных».
https://youtu.be/i_3_DdB4pk4?si=mU6IZhwFoDMPMNcL | 1 066 | 21 | Loading... |
29 📣Уже 16 мая станут известны лауреаты премии Data Award 2024.
🏆 Награды организациям и командам вручаются в номинациях:
✅За повышение эффективности бизнеса
✅За реализацию инновационной идеи
✅За обеспечение качества данных
✅За достижения в подготовке специалистов по управлению данными
✅За реализацию социально значимых инициатив на основе данных
✅За реализацию антикризисного проекта
✅За клиентоцентричность
✅ Кроме того, учредители Data Award 2024 традиционно вручают специальную премию «За вклад в популяризацию профессии» номинанту, активно проявившему себя в продвижении роли директора по данным и в повышении значимости управления данными для бизнеса и общества в профессиональном медиапространстве, на профильных мероприятиях и в социальных сетях.
✅ Приз лауреату в специальной номинации «Данные без границ» вручит премиум-партнер церемонии — компания «Сбер». | 994 | 4 | Loading... |
30 Ну что, попробуем :) | 952 | 1 | Loading... |
31 Дайджест статей
Data Governance: Key takeaways from the Gartner Data & Analytics Summit
https://medium.com/selectstar/data-governance-key-takeaways-from-the-gartner-data-analytics-summit-41572285a7d9
Data Engineer :Overview of Data Governance
https://premvishnoi.medium.com/data-engineer-overview-of-data-governance-769117297c1c
DBT in a Nutshell
https://blog.devgenius.io/dbt-data-build-tool-in-a-nutshell-29028bc4e164
5 Brilliant Lakehouse Architectures from Tencent, WeChat, and More
https://starrocks.medium.com/5-brilliant-lakehouse-architectures-from-tencent-wechat-and-more-dd069facf532
Как пользоваться Claude: знакомство с главным конкурентом ChatGPT и базовые правила его использования
https://habr.com/ru/companies/bothub/articles/812659/
Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов
https://habr.com/ru/companies/sberbank/articles/812775/
Выбираем инструмент проектирования интерфейсов для аналитика
https://habr.com/ru/articles/813037/
Обзор бесплатных чат-ботов ChatGPT в телеграме 2024
https://habr.com/ru/companies/bothub/articles/813193/
Зачем компаниям ML? Разбираемся на примере Netflix
https://habr.com/ru/companies/selectel/articles/811585/ | 1 198 | 21 | Loading... |
32 Извините за оффтопик, но о наболевшем 🙂 Вот я всегда говорю, что главно в управлении проектом и компании это даже не столько понять что надо делать, а правильно определить что НЕ НАДО делать. Особенно это важно на ранних стадиях, когда ресурсов мало и каждый неверный шаг может вас направить по дороге в неудаче.
Существует очень хорошая методология для продуктов: HADI-циклы которые используются для того, что бы определить СТЕПЕНЬ УВЕРЕННОСТИ в необходимости реаилзации. Концепция очень простая: берете “фичу” и определяете для нее следующие параметры:
⁃ Hypothesis (постановка гипотезы). На этом этапе собираются все возникающие теории и определяются метрики, на которые влияет изменение. Например, новая версия заголовка может повысить конверсию на целевой странице компании.
⁃ Action. (проверка гипотезы) - ключевым моментом метода HADI является возможность проверить гипотезу. Как только принято решение проверить определенную гипотезу, это нужно сделать как можно быстрее.
⁃ Data. (сбор данных). На этом этапе собираются данные, необходимые для проверки гипотезы, чтобы подтвердить или опровергнуть ее.
⁃ Insights. (заключение) На этом этапе оценивается, как была проверена гипотеза и достигнуты ли поставленные цели.
Посмотрите статью для деталей.
Если вы имеете мало опыта в той области, в которой делаете продукт/компанию (тут не важна степень масштаба, работает везде) - делайте физические эксперименты, если есть большой опыт - делайте хотя бы мысленные эксперименты.
https://productstar.ru/hadi-cycles
Правда для того, что бы проводить “мысленные” эксперименты, еще надо иметь достаточно мыслетоплива (https://habr.com/ru/companies/oleg-bunin/articles/348714/) - но это отдельная история | 1 119 | 21 | Loading... |
33 Фрейморки, борды, темплейты, сколько можно 😵💫
За год я произвел какое-то количество тулов для data/bi менеджеров.
Поток этого "творчества" не унять, это побочный продукт основной работы. Но нужно хотя бы структурировать. Вот последние:
- Data & Analytics Maturity Canvas
- BI Adoption guide и темплейт, PDF версия
- Data & Analytics Strategy & Tactics Guide 2.0
- Борд - Почему Data Catalogs не взлетают?
- BI Leader Ramble
- Info Design Songbooks (вместе с Настей)
- Some Dashboards Roasting (вместе с Ромой)
Удачные из них останутся, остальные переродятся во что то другое. Все надо касдевить в этой жизни - напишите в коментах кто чем пользовался.
Не только вам, но и мне требуется усилие, чтобы переварить эти борды, подружить с новыми мыслями и c задачами в работе, убедиться что они реально помогают решать
проблемы. Сложно не скатываться в итоге в инфо-продукты формата so-what и спасибо-кэп.
В том числе для этого я использую свой курс по BI стратегии. Кстати логичнее его переназвать в Разработка Data&Analytics стратегии и тактики, чтоб соответствовало содержанию.
Старт 15 мая, можем взять еще 2-3 человека, кому интересно, пишите. Если коротко - это 3-недельный марафон с длинными встречами по вечерам, "лекциями и домашками", tg-чатом и общением.
🤱Сейчас в работе есть еще несколько новых исследований - будущих Miro бордов, на разных стадиях:
- BI about BI: контент менеджмент гайд о том, что имеет смысл трекать в своей BI системе + примеры дашбордов
- Карта d&a болей: типология проблем разных дата и бизнес ролей + шаблон для воркшопа
- Коллекция шаблонов упражнений для воркшопа по дата/BI стратегии (полноценный экстеншн к этому гайду)
- Data Governance Program Guide 2.0 - сильно переосмысленный и дополненный
- Типология Оргструктур дата команд
- Tableau Report Optimization Guide
- ...
✍️Напишите в коменты, как думаете - в какие темы вложить больше усилий и продвинуть к готовности в первую очередь?
Часть добью и покажу на курсе в мае и потом выведу в паблик. Остальные будут созревать дальше.
#cамореклама | 831 | 30 | Loading... |
34 Немного про ChatGTP-5
Если вы интересуетесь перспективами ChatGPT, но у вас нет времени изучать всё, что появляется в информационном пространстве по поводу грядущей версии ChatGPT-5 - вот статья для вас на выходные, где автор собрал и проанализировал всё, что так или иначе касается перспектив и информации по этой версии LLM.
Статья интересная, но супердлинная - её объем составляет 14 000 слов. Поэтому я сделал анализ анализа и ниже привожу краткое изложение некоторых моментов, которые показались интересными мне. В комментариях в посту я размещу её текст с моими пометками - потому что сама статья закрыта за paywall - не считайте это нарушением авторских прав, автору большой респект, работа проделана колоссальная, поэтому давайте считать, что делюсь только с узкой аудиторией этого канала.
Самые важные выводы из материала:
⁃ Разработка лучших в своем классе больших языковых моделей (LLM) уровня ChatGPT 4 - решенная на данный момент индустрией проблема.
⁃ ChatGPT-5 скорее будет коллаборацией GPT и Q* архитектур, нежели их слиянием, плюс мощный MoE.
⁃ Не ожидается, что ChatGPT-5 будет иметь возможности агента, но тем не менее будет иметь мощные возможности для рассуждения.
Об общем положении OpenAI сейчас:
⁃ Они находятся под сильным давлением, и на рынке очень высокие ожидания от ChatGPT-5.
⁃ OpenAI в своё время обогнала индустрию минимум на 1-2 года, но несмотря на год преимущества в работе над моделью по сравнению с конкурентами, простыми методами увеличения размера и объёма данных сейчас уже не обойтись, нужны новые архитектуры сети. Такие архитектуры уже сейчас появляются в конкурирующих моделях, в частности Q*, перспективы которой лежат не столько в области решения математических задач, что является демонстрацией от Meta, сколько в способности имитировать рассуждения и делать логические выводы.
⁃ Также надо отметить, что скорость, с которой конкуренты получают модели, близкие к ChatGPT-4, все возрастает и возрастает.
⁃ При этом ещё важно понимать, что OpenAI - коммерческая компания, и от неё ожидают одновременно и качественную новую модель и экономический успех - что сложно сделать просто увеличивая объём модели, бюджет на GPU и данные - так что тут вдвойне у них сложная задача.
Что мы можем предположить о модели ChatGPT-5:
⁃ Самое основное ожидаемое отличие GPT5 - способность к рассуждению и логическому выводу.
⁃ Интересно, что само название GPT - название архитектуры модели. С учётом того, что новая модель может быть не совсем GPT класса, не факт, что они назовут её ChatGPT-5 - тем не менее с другой стороны, это очень сильный бренд, от которого сложно отказаться. Так что тут OpenAI находится в некоторой ловушке.
⁃ Относительно качества модели, то тут можно поделиться ожиданиями Сэма Альтмана:
⁃ “GPT2 was very bad. GPT3 was pretty bad. GPT4 was pretty bad. But GPT5 will be good.”
⁃ “I expect that the delta between 5 and 4 will be the same as between 4 and 3.”
⁃ Размер модели: ChatGPT-5 может иметь 2-5T параметров (против 1.8T у ChatGPT-4).
⁃ Данные для обучения: для увеличения объёма данных для обучения предполагается, что OpenAI делает большую ставку на синтетические данные + данные, полученные от модели Whisper - распознанные диалоги и ролики с YouTube.
⁃ Архитектура:
⁃ Основной модели остаётся модель GPT.
⁃ Следует ожидать, что это будет ансамбль Mixture of Experts (MoE), а не просто большая плотная модель - при этом есть цифра 200, которую можно отнести к количеству “экспертов” (тут надо отметить, что мы опять переизобретаем ансамбль моделей, который стал промывным для известного кекса Netflix Prize).
⁃ Ожидается активное применение архитектуры Q* с применением RL для обучения рассуждениям.
⁃ OpenAI ещё не готова сделать окончательный прыжок к ИИ-агентам со своим самым большим релизом. Предстоит проделать ещё много работы. TPA, несмотря на то, что на данный момент являются единственным потенциальным решением, сами по себе не будут достаточными для достижения искомых агентских возможностей таким образом, чтобы люди рассматривали их использование для серьёзных проектов. | 825 | 12 | Loading... |
35 Про цели OpenAI и GAI:
Для реального прорыва в области ИИ модели должны иметь возможность быть агентами. Для достижения человеческого уровня необходимо понимание социально-экономических структур мира и применения этих знаний в неопределённых ситуациях с множеством вариантных деталей. Такая прикладная способность к обобщению выходит за рамки того, что можно описать в любом тексте. Нужно понимание негласных знаний (ноу-хау), которому можно научиться только на практике и непосредственно у тех, кто уже знает, как это делается. Ни один ИИ не может быть полезным агентом и достигать целей в мире без способности приобретать ноу-хау/тактильные знания, каким бы великим он ни был в чистом рассуждении.
Чтобы приобрести ноу-хау, люди “делают вещи” - живут и получают опыт. Поэтому ИИ должен стать полноценным “агентом” - должен иметь возможность планировать и выполнять действия и использовать это для обучения.
Но надо отметить, что основные исследователи в OpenAI продолжают верить в то, что TPA сможет обладать эмерджентными свойствами для дедукции “негласных знаний” из текста.
Когда выйдет модель:
⁃ С учетом всех слухов и намеков автор предполагает очень 24 года (октябрь-ноябрь).
⁃ При этом автор считает, что сама модель уже готова, и обучение было завершено в ноябре прошлого года, и сейчас идет “упаковка, тюнинг и написание обвязки”.
https://www.thealgorithmicbridge.com/p/gpt-5-everything-you-need-to-know | 880 | 8 | Loading... |
THE 2024 MAD (MACHINE LEARNING, ARTIFICIAL INTELLIGENCE & DATA) LANDSCAPE
🔥 7
Конечно, никто смотреть не будет, но все добавят в закладки :)))
😁 17💯 6❤ 2🫡 2👍 1
Repost from Все о блокчейн, мозге и WEB 3.0 в России и мире
❗️Более 300+ лекций бесплатно по прикладной математике от MIT
- Математика для информатики, - Разработка и анализ алгоритмов,
- Матричные методы анализа данных,
- Обработка сигналов и машинного обучения,
- Вычислительные науки и инженерия,
- Математические методы для инженеров II,
- Прикладная теория категорий, - Темы математики с приложениями в финансах.
Applied Mathematics - MIT Open Course
Share your videos with friends, family, and the world
❤ 6🔥 2👍 1
Дайджест статей
Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции
https://habr.com/ru/articles/809427/
Проектирование DWH с помощью Data Vault
https://habr.com/ru/companies/otus/articles/816219/
Быстрая Data Quality проверка на базе алгоритма adversarial validation
https://habr.com/ru/companies/ru_mts/articles/817483/
Enhancing data lineage and metadata management in ELT pipelines
https://www.datasciencecentral.com/enhancing-data-lineage-and-metadata-management-in-elt-pipelines/
Разработка системы отчётности и BI: вопросы производительности
https://habr.com/ru/companies/magnit/articles/815667/
Красиво и понятно: какие инструменты для визуализации данных нужны дата-аналитику
https://habr.com/ru/companies/skillfactory/articles/818375/
Сквозная аналитика: комплексный подход к эффективности бизнеса
https://habr.com/ru/articles/818283/
Meta and Google researchers’ new data curation method could transform self-supervised learning
https://venturebeat.com/ai/meta-and-google-researchers-new-data-curation-method-could-transform-self-supervised-learning/
Использование генеративного ИИ для автоматизации дата инжиниринга
https://habr.com/ru/articles/818811/
Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции
Недавно на Practical Data Engineering Substack вышла статья, посвященная общемировому развитию Open Source дата-инжиниринга, которая может оказаться полезной и для российских специалистов. Мы перевели...
👍 3
Photo unavailableShow in Telegram
Статус всех публичных репозиториев GPDB (международный проект с открытым исходным кодом Greenplum) на GitHub изменён на архивный. Это означает, что разработка Greenplum в рамках open source, скорее всего, будет приостановлена и дальнейшее развитие проекта силами нового правообладателя проекта — компании Broadcom — будет происходить в рамках коммерческой версии VMware Tanzu Greenplum. Arenadata даёт свой комментарий относительно сложившейся ситуации для пользователей как продукта Arenadata DB (ADB), так и ванильной open source версии Greenplum. https://t.me/arenadata/445
👍 4😱 3🤬 1
Любопытная статья от Facebook про их платформу работы с данными.
Если коротко - мы не хотим пилить монолит, мы хотим быть гибкими, поэтому у нас зоопарк технологий под любые нужды. Но пользователи хотят единый интерфейс к данным поэтому мы напилил новый монолит над зоопарком - назвали Velox.
Это такой движок SQL запросов который их выполняет обращаясь к разным другим платформам. Но что бы обращаться было проще он похоже еще много всего сам хранит «под ногами» :)
А еще придумали новый формат фалов для BD - Nimble. Интересно будет потом глянуть подробнее его.
https://engineering.fb.com/2024/05/22/data-infrastructure/composable-data-management-at-meta/
Composable data management at Meta
In recent years, Meta’s data management systems have evolved into a composable architecture that creates interoperability, promotes reusability, and improves engineering efficiency. We’re sharing …
👍 5😁 2
Коллеги, несмотря на отмену конференции OpenTalk.AI в Тбилиси, организаторам удалось собрать несколько оффлайновых митапов с докладчиками, которые приехали в Тбилиси. И главное — они собрали 2-х дневную микроконференцию из всех ключевых докладчиков и записали все эти доклады.
Это получилась удивительная камерная суперинтересная конференция, где получилось больше внимания уделить каждому докладу и вопросам/ответам.
Теперь наконец вы можете посмотреть все записи, включая интереснейшую заключительную сессию Эмерджентность, в которой, после выступлений, было еще прекрасное 2-х часовое обсуждение!)
Все записи на русском, мы позднее добавим английские субтитры.
https://ipaccelerator.timepad.ru/event/2879723/
OpenTalks.AI 2024 - Micro-conference video / События на TimePad.ru
Видеозаписи микро-конференции, которая прошла в 2024 году в Тбилиси, несмотря на отмену основной конференции.
👍 5😁 1
А вы пробовали Perplexity? Приложение «поверх» нескольких LLM (включая свою) которая умеет извлекать данные из интернета в реальном времени и отвечать на вопросы о настоящем времени.
Очередная попытка убить поиск. И в целом очень неплохая при умении задавать правильные вопросы :)
🔥 4