Books Книги Программиста

Бесплатная книга о больших языковых моделях – 315 страниц от предобучения до рассуждений. Foundations of Large Language Models Тун Сяо и Цзинбо Чжу системно объясняет, как устроены LLM, как их обучают и применяют. Внутри шесть основных тем: - Предобучение: задачи обучения и архитектуры моделей. - Генеративные модели: Transformer, подготовка данных, масштабирование и длинный контекст. - Промптинг: обучение на примерах в контексте, декомпозиция задач, RAG и инструменты. - Выравнивание: обучение выполнению инструкций и использование человеческой обратной связи. - Инференс: декодирование, ускорение и дополнительные вычисления во время генерации. - Рассуждения: методы улучшения способности решать сложные задачи. Авторы делают акцент на фундаментальных принципах. Материал подойдёт студентам, разработчикам и ML-инженерам, которым хочется связать отдельные знания о LLM в целостную картину. Книга на английском. Базовые знания машинного обучения и нейросетей помогут при чтении. Скачать PDF бесплатно: https://arxiv.org/pdf/2501.09223