Data Secrets

Вышел Claude Engineer 2.0 – теперь с агентами Еще один программист из коробки к вашим услугам: система на основе Claude 3.5 может редактировать файлы, исполнять код (и на основе этого редактировать динамически), дебажить проект. За каждое действие, что интересно, отвечает отдельный агент. Ну и вишенка на торте: проект опенсорсный. Код лежит здесь.

Ну количество пальцев нужное. А в чем собственно проблема?

Грязный секрет scikit learn заключается в том, что на самом деле predict_proba возвращает НЕ вероятности Десять лет в документации Scikit-learn было написано, что эта функция якобы возвращает вероятности (а это не так). Только несколько дней назад разработчики наконец исправили соответствующую страницу. Давайте разбираться, что же на самом деле возвращает эта загадочная функция. Спойлер: если собираетесь участвовать в нашем свежем ML-соревновании, то для вас пост особенно полезен. Читайте полное описание задачи и регистрируйтесь вот тут.

Как автоматизировать любой ETL-процесс? Излечение данных из различных источников, преобразование и приведение к единому виду, очистка пропусков, ошибок и выбросов, загрузка в другую среду... Все это этапы ETL-процесса, с ними встречался каждый из нас. Если источник один и случай разовый, ETL можно автоматизировать с помощью Python. Но когда у вас много различных сорсов данных и пайплайнов, поддерживать кучу скриптов становится сложно и трудозатратно. Есть другой, более удобный вариант: использовать специальные программы. Например, Loginom. Этой платформой пользуются Альфа Капитал, ВСК, Инвитро и другой российский бизнес. Она действительно очень удобная: ➡️В Loginom интуитивный интерфейс с графическим конструктором, в котором можно в формате low-code формировать сложные процессы ETL. ➡️Широкий спектр инструментов для любого этапа обработки информации и масштабируемость, которая позволяет работать как с небольшими данными, так и с настоящей Big Data. ➡️И, конечно, безопасность. Данные хорошо защищены благодаря возможностям контроля доступа и шифрования. В общем, если искали современный инструмент, который будет отвечать всем хотелкам ваших процессов, то Loginom – верный выбор. Узнать подробнее о продукте можно по ссылке.

Microsoft и Apple в последние дни в статейном ударе. Подборка свежих интересных папир от них: ➡️ SpreadsheetLLM. Первое место в разделе Daily Papers на HF cегодня. Модель для работы с электронными таблицами. Основным достижением стал энкодер, который помогает эффективно скармливать LLM-ке таблицу в сжатом виде. С помощью такого энкодера можно обрабатывать большие таблицы, а перформанс при этом на 25,6 % выше стандарта GPT4. ➡️ MUSCLE. Топ-4 в Daily Papers. Вы замечали, что когда обновляются LLM, они могут начинать отвечать бредово на вопросы, с которыми легко справлялась предыдущая версия? Это потому что разработчики фокусируются на общем перформансе, а не на совместимости. Эта работа предлагает решение в виде: а) новой метрики, которая оценивает вот такую совместимость; б) стратегии обучения со "встроенной" моделью совместимости, которая не дает новой версии регрессировать относительно предыдущей. ➡️ Arena Learning. Что-то на GANском. Модель X (послабее, та, которую мы хотим затюнить) конкурирует в ответах с какой-нибудь SOTA, а третья модель (тоже какая-нибудь сильная) выступает в роли судьи и выбирает победителя. Каждый такой "диалог" – это данные для RL для обучения модели X, то есть предложенная схема это ничто иное как замена дорогого и долгого RLHF. Обновляем статейный бэклог 🕺

⚙️ Там вышла интересная библиотека gpu.cpp для проведения GPU-вычислений на С++. По сути, это набор удобных инструментов, которые помогают легким движением руки добавить код на GPU в проекты. Поддерживаются модули Nvidia, Intel, AMD. Ожидается, что сборки с gpu.cpp будут выполняться не более двух секунд даже на среднем железе. Либа опенсурсная, код лежит тут.

В далеком 2019 году чемпион мира по Go Ли Седоль проиграл алгоритму AlphaGo. Прошло 5 лет, и теперь Ли читает лекции об опасностях ИИ В 2019 Седоль так и не смог справиться с горечью поражения машине, и закончил свою карьеру из-за AlphaGo. "Весь мой мир тогда рухнул" – сказал 41-летний кореец в своем свежем интервью с New York Times. Сейчас он занимается тем, что читает лекции школьникам и студентам о потенциальных опасностях ИИ. Он говорит, что из-за ИИ мировая система ценностей поворачивает не туда, и советует молодым людям осваивать только те профессии, которые труднее всего автоматизировать. Вот такая история. Кстати, шахматисты Гарри Каспаров и Магнус Карлсен тоже проигрывали AlphaGo, но оказались менее обидчивыми. Они, наоборот, утверждают, что AlphaGo не только не вредит шахматам, но и очень полезен.

⚡️ Xiaomi открывает новую фабрику вообще без людей. Xiaomi Smart Factory первая такая в своем роде, она будет находиться в Чанпине. Завод будет работать круглосуточно, скорость сборки составит один смартфон в секунду (86к/сутки!). Контроль качества полностью ляжет на ИИ. С – смелость

Кстати про llama3: там TogetherAI выпустили классный кодовый туториал по файнтюнингу В примере они дотюнили Llama-3-8B для математических задач и в итоге увеличили точность с 47% до 65%, а это почти что GPT-4o. Туториал пошаговый, весь код уже готов, останется только загрузить свои данные. Вот за что мы любим опенсорс

На видео любитель запускает Llama3 8B на домашнем кластере, состоящем из iPhone 15 Pro Max, iPad Pro, MacBook Pro, NVIDIA GeForce 3080 и 2x NVIDIA Titan X Pascal. Весь код тут, включая код для iOS, так что можно повторить 😏