Machine learning Interview

🌟 MMSearch: бенчмарк мультимодальных моделей по способности поиска. MMSearch — это тест мультимодального поиска, созданный для оценки возможностей LMMs как систем для поиска информации. Этот тест включает тщательно отобранный датасет из 300 запросов из 14 различных областей. Чтобы обеспечить сложность бенчмарка, запросы классифицируются по двум основным категориям: новости и знания. Область новостей состоит из недавних событий на момент сбора данных (август 2024 года), это гарантирует, что ответы на запросы не будут содержаться в обучающих данных для LMM. В области знаний собраны запросы, требующие редких знаний - те, на которые не могут ответить современные LMM, такие как GPT-4o и Claude-3.5. Оценка выполняется по 4 задачам, итог выполнения сравнивается с результатом аннотаторов, в роли которых выступали люди : 🟢запрос (requery): интерпретация запроса о содержимом или об объекте на изображении; 🟢ранжирование (rerank): выбор наиболее релевантного ответа запросу; 🟢обобщение (summarization): анализ результатов задач requery и rerank и формирование ответа на запрос; 🟢сквозной запрос (End-to-End): тест полного цикла, который включает в себя все три задачи сразу (requery+rerank+summarization). ▶️ Локальное выполнение бенчмарка возможно 3 способами: 🟠в VLMEvalKit. Пакет поддерживает более 150 VLM и MMLM моделей; 🟠путем запуска скриптов оценки MMSearch; 🟠в lmms-eval. Пока поддерживается только одна модель для теста MMSearch - LLaVA-OneVision, расширение возможностей - в процессе, настройка среды - тут. ⚠️ Среднее время выполнения самого сложного теста (End-to-End) на одном GPU A100 - 3-5 часов. Лидерборд MMSearch 16 моделей, включая результат выполнения тестов человеком можно посмотреть на странице проекта. 🟡Страница проекта 🟡Arxiv 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #Benchmark

🌟 MMSearch: бенчмарк мультимодальных моделей по способности поиска. MMSearch — это тест мультимодального поиска, созданный для оценки возможностей LMMs как систем для поиска информации. Этот тест включает тщательно отобранный датасет из 300 запросов из 14 различных областей. Чтобы обеспечить сложность бенчмарка, запросы классифицируются по двум основным категориям: новости и знания. Область новостей состоит из недавних событий на момент сбора данных (август 2024 года), это гарантирует, что ответы на запросы не будут содержаться в обучающих данных для LMM. В области знаний собраны запросы, требующие редких знаний - те, на которые не могут ответить современные LMM, такие как GPT-4o и Claude-3.5. Оценка выполняется по 4 задачам, итог выполнения сравнивается с результатом аннотаторов, в роли которых выступали люди : 🟢запрос (requery): интерпретация запроса о содержимом или об объекте на изображении; 🟢ранжирование (rerank): выбор наиболее релевантного ответа запросу; 🟢обобщение (summarization): анализ результатов задач requery и rerank и формирование ответа на запрос; 🟢сквозной запрос (End-to-End): тест полного цикла, который включает в себя все три задачи сразу (requery+rerank+summarization). ▶️ Локальное выполнение бенчмарка возможно 3 способами: 🟠в VLMEvalKit. Пакет поддерживает более 150 VLM и MMLM моделей; 🟠путем запуска скриптов оценки MMSearch; 🟠в lmms-eval. Пока поддерживается только одна модель для теста MMSearch - LLaVA-OneVision, расширение возможностей - в процессе, настройка среды - тут. ⚠️ Среднее время выполнения самого сложного теста (End-to-End) на одном GPU A100 - 3-5 часов. Лидерборд MMSearch 16 моделей, включая результат выполнения тестов человеком можно посмотреть на странице проекта. 🟡Страница проекта 🟡Arxiv 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #Benchmark

Что такое эксперименты в ML и чем они отличаются от «фичей» в обычной разработке? 🔹Расскажем на открытом уроке «MLFlow и переобучение ML-моделей» почему важно переобучать (retrain) свои модели, чтобы держать их «в тонусе». Разберем какую роль инструменты, такие как MLFlow, играют в процессах регулярного переобучения ✅ Практика: Изучим как выбирать лучшие варианты для отправки в Prod / Staging среду и всегда знать, что у вас «на проде» Урок приурочен курсу «MLOps» от Otus. 👉 Регистрация и подробности: https://otus.pw/3zBs/?erid=LjN8KDo2V #реклама О рекламодателе

🖥 Бесплатный учебник «Introduction to Python for Econometrics, Statistics and Data Analysis»! 🌟 Эта книга предоставляет введение в использование языка Python для эконометрики, статистики и анализа данных. Учебник подходит как для начинающих, так и для тех, кто уже знаком с Python, и охватывает такие темы, как работа с библиотеками NumPy, SciPy, Pandas и Matplotlib для анализа данных и визуализации 🔗 Ссылка: *клик* @machinelearning_interview

Яндекс Игры пришли к нам с запросом:

SELECT * 
FROM subscribers 
WHERE channel_name = 'machinelearning_interview'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;

Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать. ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта. Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах. Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1

🔍 Бесплатный курс «Вероятность для Data Science» знакомит вас с различными базовыми концепциями вероятности. Курс поможет навыки работы с предельной вероятностью и объясняет теорему Байеса, которая рассматривает вероятность возникновения событий на основе возникновения других событий 🔗 Ссылка: *клик* #курс #datascience freecourses

✔️ Релиз PyTorch 2.5. Выпуск PyTorch® 2.5 представляет новый бэкэнд CuDNN для SDPA, обеспечивающий ускорение до 75% на GPU NVIDIA H100 и новее. Оно активировано по умолчанию. Сокращено время холодного запуска torch.compile благодаря региональной компиляции, которая позволяет собирать nn.Module без перекомпиляции. Бэкэнд TorchInductor CPP получил поддержку FP16, обертку CPP, режим AOT-Inductor и режим максимальной автонастройки. В режиме максимальной автонастройки для GEMM-операций используется шаблон C++ в качестве альтернативы ATen с библиотеками oneDNN и MKL. Поддержка Intel GPU расширена и теперь включает Intel® Data Center GPU Max Series и Intel® Client GPU. Релиз включает 4095 коммитов от 504 участников. pytorch.org ✔️ Anthropic обновила политику ответственного масштабирования ИИ, чтобы обеспечить безопасность по мере его развития. Обновленная политика включает Стандарты уровня безопасности ИИ - набор мер безопасности, строгость которых возрастает по мере роста возможностей модели. Пороговые значения возможностей - это конкретные способности ИИ, достижение которых требует усиленных мер безопасности. В новой версии определены два ключевых порога: автономные исследования в области ИИ и разработка оружия массового поражения. Для эффективного внедрения политики Anthropic разработала оценку возможностей, оценку мер безопасности, процессы документирования и принятия решений и меры для внутреннего управления и получения внешних заключений. anthropic.com ✔️ Perplexity запускает поиск по внутренней базе знаний и рабочие пространства. Perplexity запускает поиск по внутренней базе знаний и рабочие пространства. Perplexity представляет две новые функции: поиск по внутренней базе знаний, который позволяет пользователям Pro и Enterprise Pro искать как в Интернет-контенте, так и в своих собственных внутренних базах знаний, и Perplexity Spaces - хабы для совместной работы на базе ИИ, которые можно настраивать под конкретные задачи. Perplexity Spaces позволяют приглашать коллег, подключать внутренние файлы и настраивать ИИ-помощника. Функция поиска по внутренней базе знаний уже доступна клиентам Enterprise Pro. perplexity.ai ✔️ OpenAI выпустила бета-версию приложение ChatGPT для Windows. OpenAI представила предварительную версию приложения ChatGPT для Windows, предназначенного для пользователей ChatGPT Plus, Team, Enterprise и Edu. Это ранняя версия "полноценного приложения", которое выйдет позже в этом году. Пользователи могут загружать файлы и фотографии, резюмировать документы и создавать изображения с помощью DALL-E 3. Есть ограничения: отсутствие поддержки голоса, включая расширенный голосовой режим, и некоторые интеграции с GPT Store. Приложение предоставляет доступ ко всем моделям OpenAI, включая o1-preview. techcrunch.com ✔️ Boston Dynamics и Toyota Research Institute объявили о партнерстве для исследований в робототехнике. Boston Dynamics и Toyota Research Institute (TRI) объединят усилия, чтобы ускорить разработку роботов-гуманоидов общего назначения. Исследовательское партнерство будет использовать большие поведенческие модели TRI и робота Atlas от Boston Dynamics. TRI - мировой лидер в быстром развитии больших поведенческих моделей (LBM) для робототехники. Партнерство, базирующееся в Бостоне, будет совместно возглавляться Скоттом Кейндерсмой, старшим директором по исследованиям в области робототехники в Boston Dynamics, и Рассом Тедрейком, вице-президентом по исследованиям в области робототехники в TRI. pressroom.toyota.com ✔️ AMD сделает GPU NVIDIA "Эпичными". AMD и NVIDIA, два главных производителя чипов, объединили свои усилия в сфере ИИ. Несмотря на конкуренцию, они пришли к совместному заключению, что их технологии дополняют друг друга. Процессоры AMD EPYC отлично работают в паре с NVIDIA GPU, увеличивая производительность при работе с большими моделями машинного обучения. В результате сотрудничества, процессоры AMD EPYC будут интегрированы в системы NVIDIA HGX и MGX, чтобы оптимизировать производительность ИИ и ЦОДов. analyticsindiamag.com #news #ai #ml

📚 Конспекты лекций по машинному обучению в Калифорнийском университете в Беркли people.eecs.berkeley.edu/~jrs/papers/machlearn.pdf @machinelearning_interview

Мощный конкурс для всех дата саентистов AI VK вместе с ODS объявляют новое состязание – VK RecSys Challenge. Главная задача – создать модель для прогнозирования реакции пользователей VK Клипов. Условия участия простые: регистрация открыта, нужно всего лишь подать заявку. Соревнование стартует в октябре и продлится два месяца. Призеры получат награды: общий призовой фонд составит 2 миллиона рублей, будут награждены 5 лучших участников или команд. Для работы предоставляются нужные данные, которые можно найти в разделе Dataset. Количество отправок решений в день ограничено пятью. Оценка результатов будет проводиться по метрике ROC AUC, где реакция пользователей оценивается по трем меткам: like = 1, dislike = -1, ignore = 0. Это прекрасная возможность не только показать свои способности, но и внести вклад в совершенствование рекомендательных систем продукта. Желаем всем удачи и ждем ваши заявки! Великолепная практика и отличный приз обязательно участвуйте! Все детали здесь

💡 Turbo Alignment: библиотека для обучения LLM под задачи бизнеса Помимо своей большой языковой модели T-lite, Т-Банк открыл доступ к библиотеке Turbo Alignment, которая позволяет даже небольшим командам без значительных ресурсов и глубокой экспертизы в LLM создавать LLM-based продукты. ✔️ В библиотеке доступны: ▶️No-code-запуск экспериментов, скрипты для обучения большого количества алгоритмов, модуль для быстрого тестирования моделей и инструменты для мониторинга метрик во время обучения. ▶️Инструменты для исследований и разработки. Turbo Alignment предоставляет все необходимые средства для добавления новых методов обучения и их сравнения с уже существующими решениями на конкретных задачах. Библиотека создана при участии лаборатории T-Bank AI Research и также дает доступ к последним исследованиям в области AI Alignment. ▶️Поддержка сложных процессов обучения. Turbo Alignment оптимизирован для распределенного обучения на нескольких видеокартах и серверах (Multi-GPU и Multi-Node). 🖥 GitHub @ai_machinelearning_big_data #LLM #news #ai

🔥 Бесплатный курс от Simplilearn, который знакомит пользователей с основами алгоритмов машинного обучения! 🌟 Этот курс охватывает различные методы машинного обучения, такие как регрессия, классификация, кластеризация и др., и предназначен для самостоятельного изучения. Курс включает лекции, видео и практические задания, что позволяет участникам изучить основные концепции и алгоритмы, применяемые в машинном обучении 🔗 Ссылка: *клик* #курс #machinelearning @machinelearning_interview

✔️ Google переключается на атомную энергию для питания своих дата-центров с ИИ. Google подписал соглашение с Kairos Power об использовании небольших ядерных реакторов для обеспечения энергией своих дата-центров, работающих на базе искусственного интеллекта. Первые реакторы планируется запустить в течение этого десятилетия, а к 2035 году их количество будет увеличено. Google и Kairos Power не раскрывают финансовые детали сделки и места строительства новых электростанций. Технологические компании все чаще обращаются к атомной энергии для обеспечения электропитанием огромных дата-центров, на которых основана работа ИИ. В прошлом месяце Microsoft заключила соглашение о возобновлении работы на ядерной электростанции Три-Майл-Айленд в США. bbc.com ✔️ США рассматривают возможность ограничения экспорта чипов для ИИ от Nvidia и AMD в страны Персидского залива. Цель - ограничить доступ к американским технологиям в интересах национальной безопасности США. Ограничения будут основаны на новой системе лицензирования экспорта чипов для центров обработки данных, которая была представлена в прошлом месяце. Власти США обеспокоены растущим спросом на ЦОДы, работающие на основе ИИ, в странах Персидского залива, и их финансовыми возможностями. Новые правила могут потребовать от компаний сокращения связей с Китаем и странами залива в обмен на доступ к американским технологиям. Nvidia пока не прокомментировала ситуацию. finance.yahoo.com ✔️ Вице-президент Microsoft по ИИ переходит в OpenAI для работы над AGI. Себастьян Бубек проработал в Microsoft десять лет, занимаясь разработкой малых языковых моделей. Несмотря на то, что Microsoft и OpenAI являются конкурентами в некоторых областях, Microsoft высоко оценила вклад Бубека и надеется на продолжение сотрудничества. В OpenAI Бубек будет работать над достижением AGI. Эксперты отрасли полагают, что опыт Бубека поможет OpenAI в исследованиях и разработке языковых моделей, которые, несмотря на меньший, чем у AGI, масштаб, могут играть значительную роль в достижении этой цели. bloomberg.com ✔️ Cognite выпускает отчет о сравнительном анализе языковых моделей для промышленных агентов. Cognite, лидер в области ИИ для промышленности, представила отчет "Cognite Atlas AI™ LLM & SLM Benchmark Report for Industrial Agents" на мероприятии IMPACT 2024. Это первый в своем роде отчет, который должен решить проблему несоответствия общих наборов данных для сравнительного анализа LLM и SLM в специфике промышленных задач. В отчете основное внимание уделено поиску на естественном языке в качестве ключевого инструмента извлечения данных для промышленных агентов ИИ. Отчет будет доступен для бесплатной загрузки 28 октября 2024 года на официальном сайте Cognite. businesswire.com ✔️ TSMC строит завод по производству чипов в Европе. Министр науки и технологий Тайваня Ву Чэн-вэнь сообщил Bloomberg TV, что TSMC уже начала строительство своего первого завода по производству полупроводников в Дрездене и планирует строительство следующих заводов для различных секторов рынка. Строительство завода в Дрездене началось в августе 2024 года, общая сумма инвестиций превысит 10 млрд евро, при этом проект получил 5 млрд евро государственных субсидий. Завод создается в партнерстве с Bosch, Infineon и NXP для удовлетворения потребностей европейской автомобильной и промышленной отрасли в полупроводниках. euronews.com @ai_machinelearning_big_data #news #ai #ml

🖥 Branch-Train-MiX — метод создания MoE-моделей. В его основе обучение нескольких одинаковых LLM на разных датасетах и агрегация предсказаний каждой модели во время инференса. NLP-специалисты подробно разобрали этот метод. 🔗 Прочитать разбор метода можно здесь: *клик* @machinelearning_interview

🖥 Учебная программа SQL для дата-сайентистов Эксперт с семилетним стажем в области дата-сайенс разработал пошаговую программу изучения SQL. Эта программа размещена в виде репозитория на GitHub и дополнена ссылками на обучающие материалы. Вот подробный план на шесть недель: Неделя 1: Основы SQL Узнаем, как извлекать данные из базы данных. Неделя 2: GROUP BY Рассмотрение группировки данных. Неделя 3: Виды JOIN Знакомство с различными типами соединений таблиц. Неделя 4: Оконные функции Изучение оконных функций для анализа данных. Неделя 5: CTE и подзапросы Понимание концепции временных таблиц и подзапросов. Неделя 6: Собственный проект Применение полученных знаний на практике через выполнение самостоятельного проекта. Ссылки на все материалы доступны по следующей ссылке: Дорожная карта обучения SQL. https://github.com/andresvourakis/free-6-week-sql-roadmap-data-science @machinelearning_interview

Вечерний митап для ML-инженеров в Белграде и онлайн 📅 17 октября в 18:00 собираемся в хабе «Сербская Роза», чтобы обсудить тренды, новые подходы, решения и вызовы индустрии в неформальной обстановке. Спикеры и темы докладов: 🔸 Илья Ирхин, руководитель подразделения аналитики в Яндекс Еде. Подробно рассмотрит рекламу ресторанов в сервисе: аукцион, ранжирование, ценообразование 🔸 Дмитрий Солодуха, руководитель группы в Алисе и Умных устройствах Яндекса. Покажет, как мы учим Алису откликаться без имени 🔸 Антон Клочков, руководитель подгруппы распознавания текста в VLM в Яндекс Поиске. Расскажет о развитии навыков распознавания текста в VLM 🔸 Пётр Вытовтов, руководитель группы в Яндекс Погоде. Рассмотрит трансформеры сервиса и расскажет, как начать прогнозировать до миллиметра осадков После докладов офлайн-участников ждёт нетворкинг с экспертами из разных компаний! 📎 Регистрация и подробности тут. Ждём вас на ML Party в Белграде! Реклама. ООО "Яндекс", ИНН 7736207543.

🔥 scepter — это инструмент для разработки и развертывания моделей машинного обучения. Он предоставляет пользователям возможность быстро тестировать, настраивать и внедрять модели с использованием различных фреймворков и технологий 🌟 Scepter включает в себя поддержку распространенных рабочих процессов в машинном обучении, таких как подготовка данных, тренировка и оценка моделей. Это решение помогает ускорить цикл разработки и улучшить контроль над процессами обучения и развертывания моделей 🔐 Лицензия: Apache-2.0 📖 Arxiv: *клик* ▪️Github @machinelearning_interview

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/python_job_interview Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/golang_interview React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

⚡️ OpenAI Swarm: Экспериментальный фреймворк для оркестрации мультиагентных систем. Swarm - это экспериментальный фреймворк, разработанный командой OpenAI Solutions, для создания, оркестрации и развертывания многоагентных систем. Фреймворк фокусируется на упрощении координации, запуска, контроля и тестирования агентов. Основная цель Swarm - продемонстрировать паттерны, описанные в Orchestrating Agents: Handoffs & Routines cookbook. Фреймворк построен на двух основных абстракциях: агентах (Agent) и передачах управления (handoffs): Агент - это набор инструкций и функций, который может передавать выполнение другим агентам. Его можно использовать для описания конкретного рабочего процесса или шага (например, последовательность шагов, сложный поиск, одноэтапное преобразование данных и так далее). Передача управления — это процесс, при котором агент может передать запрос другому агенту, возвращая его в функцию. В процессе передачи управления также происходит обновление переменных контекста, что позволяет вернуть более полный объект Result. ▶️В репозитории собраны функциональные примеры Swarm: 🟢basic - простые примеры настройки, вызова функций, передача данных и контекстные переменные; 🟢traige agent - пример роя с агентом сортировки, который принимает пользовательские данные и решает, ответить ли на запрос напрямую или передать его агенту по продажам или возврату денег; 🟢weather agent - погодный агент с вызовом функций (запрос по городу и отправка на e-mail); 🟢airlines - мультиагентный пример обработки клиентских запросов в контексте авиакомпании (сортировка запросов, изменения рейсов, отмены бронирований и случаи потери багажа); 🟢support_bot - клиентский бот центра поддержки с несколькими инструментами; 🟢personal shopper - пример роя агентов персонального торгового агента, который может помогать совершать покупки и возвращать заказы; ⚠️ Swarm не использует API Assistants и полностью работает на API Chat Completions. ⚠️ Swarm не предназначен для промышленного использования и не имеет официальной поддержки. ▶️ Локальная установка и запуск:

# Install from PIP
pip install git+https://github.com/openai/swarm.git

# Usage
from swarm import Swarm, Agent
client = Swarm()

def transfer_to_agent_b():
    return agent_b

agent_a = Agent(
    name="Agent A",
    instructions="You are a helpful agent.",
    functions=[transfer_to_agent_b],
)

agent_b = Agent(
    name="Agent B",
    instructions="Only speak in Haikus.",
)

response = client.run(
    agent=agent_a,
    messages=[{"role": "user", "content": "I want to talk to agent B."}],
)

print(response.messages[-1]["content"])

📌Лицензирование : MIT License. 🖥GitHub 🟡Orchestrating Agents Cookbook @ai_machinelearning_big_data #AI #ML #Agents #OpenAI #Swarm

МТС True Tech Champ Прими участие в чемпионате от МТС, запрограммируй робота и поборись за главный приз 4000 0000 руб. Участникам будет предложено просканировать виртуальный лабиринт, получить массив данных о расположении стен и создать алгоритм для самого быстрого поиска оптимального маршрута робота-мыши. Финал чемпионата пройдет в формате зрелищной гонки роботов. Регистрация: до 15 октября Доступ к промежуточным онлайн заданиям: до 16 октября Финал в МТС Live Холл: 8 ноября Трек по программированию роботов будет интересен разработчикам Python, JS, Java, C#, С++, Go и не только. Для участия не обязательно разбираться в устройстве роботов: эксперты трека уже сконструировали их и создали прошивку. Успей зарегистрироваться до 15 октября по ссылке.

🌟 Гайдбук по оценке больших языковых моделей от Hugging Face Hugging Face выложила на Github руководство по оценке LLM. В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей. Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты. Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация. Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну. ▶️Оглавление: 🟢Автоматические бенчмарки 🟢Оценка человеком 🟢LLM-судья 🟢Устранение неполадок 🟢Базовые знания 📌 Планы на будущие гайды: 🟠Описание автоматических метрик; 🟠Какие основные моменты вы всегда должны учитывать при построении задачи; 🟠Зачем нужна оценка LLM; 🟠Почему сравнивать модели между собой - это сложно. 🖥Github @ai_machinelearning_big_data #AI #ML #LLM #Huggingface #Guide