Neural Networks | Нейронные сети

​​🚀 Векторные базы данных: простым языком про устройство и принцип работы https://habr.com/ru/companies/tochka/articles/809493/ ⚙️ Проблема Нужно находить объекты, похожие по характеристикам. Простой подход через поиск совпадений слишком примитивен и не учитывает контексты и синонимы. 👾 Решение в лоб Сравнение текстов или данных по количеству совпадений недостаточно. Требуется более умный метод для глубокого понимания объектов. 💡 Машинное обучение и векторизация Машинное обучение решает задачу путем представления объектов (слова, текста, изображения) в виде числовых векторов. Эти вектора помогают компьютерам "понимать" данные. Разные методы, такие как Bag of Words, TF-IDF или Word2Vec, помогают векторизировать объект. 🔥 Векторные базы данных (ВБД) Векторные базы данных (ВБД) — это NoSQL решения для хранения, индексирования и поиска похожих векторов, обеспечивая: - Рекомендательные системы (например, рекомендации товаров) - Поисковые системы (поиск по смысловому содержанию текста) - Анализ изображений и видео (поиск похожих картинок) 🔍 Как это работает: 1. Преобразование объекта в вектор с помощью векторизатора. 2. Сохранение вектора и метаданных на диск. 📥 Чтение данных Когда приложение отправляет новый объект для рекомендации: 1. Векторизуем объект той же моделью, получая вектор той же размерности. 2. Ищем наиболее близкий вектор. Возможна предварительная фильтрация по метаданным (например, длина текста > n). 3. Для ускорения поиска используется индексация, замедляющая запись, но делающая чтение быстрее. Разные базы данных могут предлагать различные сортиры и алгоритмы индексации. Некоторые ВБД поддерживают только хранение, индексацию и чтение, а другие предлагают готовые векторизаторы, избавляя от необходимости писать и обучать свои модели. #ВБД #МашинноеОбучение #РекомендательныеСистемы #Векторизация #IT #БазыДанных

🚀 Векторные базы данных: простым языком про устройство и принцип работы ⚙️ Проблема Нужно находить объекты, похожие по характеристикам. Простой подход через поиск совпадений слишком примитивен и не учитывает контексты и синонимы. 👾 Решение в лоб Сравнение текстов или данных по количеству совпадений недостаточно. Требуется более умный метод для глубокого понимания объектов. 💡 Машинное обучение и векторизация Машинное обучение решает задачу путем представления объектов (слова, текста, изображения) в виде числовых векторов. Эти вектора помогают компьютерам "понимать" данные. Разные методы, такие как Bag of Words, TF-IDF или Word2Vec, помогают векторизировать объект. 🔥 Векторные базы данных (ВБД) Векторные базы данных (ВБД) — это NoSQL решения для хранения, индексирования и поиска похожих векторов, обеспечивая: - Рекомендательные системы (например, рекомендации товаров) - Поисковые системы (поиск по смысловому содержанию текста) - Анализ изображений и видео (поиск похожих картинок) 🔍 Как это работает: 1. Преобразование объекта в вектор с помощью векторизатора. 2. Сохранение вектора и метаданных на диск. 📥 Чтение данных Когда приложение отправляет новый объект для рекомендации: 1. Векторизуем объект той же моделью, получая вектор той же размерности. 2. Ищем наиболее близкий вектор. Возможна предварительная фильтрация по метаданным (например, длина текста > n). 3. Для ускорения поиска используется индексация, замедляющая запись, но делающая чтение быстрее. Разные базы данных могут предлагать различные сортиры и алгоритмы индексации. Некоторые ВБД поддерживают только хранение, индексацию и чтение, а другие предлагают готовые векторизаторы, избавляя от необходимости писать и обучать свои модели. #ВБД #МашинноеОбучение #РекомендательныеСистемы #Векторизация #IT #БазыДанных

​​🔬⚡️ Test-Time Training RNN (ТТТ) - новый прорыв в машинном обучении! 🚀 Self-attention справляется с длинным контекстом, но имеет квадратичную сложность. Существующие слои RNN линейно сложны, но ограничены способностью скрытых состояний. Мы предлагаем новый класс слоев моделирования последовательностей с линейной сложностью и выразительными скрытыми состояниями. 💡 Главная идея: сделать скрытое состояние моделью машинного обучения и обновлять его путем самообучения даже на тестовых последовательностях. Наши слои называются Test-Time Training (TTT), и мы предлагаем две реализации: TTT-Linear и TTT-MLP. 👥 Исследования показывают, что TTT-Linear и TTT-MLP превосходят существующие модели. Они эффективно используют длинный контекст и показывают значительную производительность по сравнению с Transformer и Mamba. 📊 TTT-Linear уже быстрее Transformer при контексте 8k и сопоставим с Mamba по времени выполнения. TTT-MLP ориентирован на дальнейшие исследования и решает проблемы с памятью ввода-вывода, открывая новые горизонты для будущих исследований. Для подробностей и доступа к статье посетите arXiv: 🟡Arxiv 🔗 Код доступен в JAX и PyTorch. 🖥 GitHub for Pytorch Stars: 277 | Issues: 3 | Forks: 12 🖥 GitHub for Jax [ Stars: 129 | Issues: 1 | Forks: 6 ] Не пропустите этот инновационный шаг в машинном обучении! 🚀 #MachineLearning #RNN #AI #Research #Innovation

[Трансформер] на пальцах (буквально) ✍️📺 5-минутный видеоурок Короткое видео, чтобы объяснить устройство "Трансформеров". За 5 минут демонстрируется основная математика Трансформеров, с помощью ручки и бумаги! @machinelearning_ru

Погружаемся в мир AI-творчества! 🌍🤖 Смотрите, как ИИ представляет путешествия. Несколько уникальных фото для вашего вдохновения! https://telegra.ph/Pogruzhaemsya-v-mir-AI-tvorchestva-07-11 #AIарт #путешествия

​​Погружаемся в мир AI-творчества! 🌍🤖 Смотрите, как ИИ представляет путешествия. Несколько уникальных фото для вашего вдохновения! #AIарт #путешествия

Погружаемся в мир AI-творчества! 🌍🤖 Смотрите, как ИИ представляет путешествия. Несколько уникальных фото для вашего вдохновения! #AIарт #путешествия

​​Погружаемся в мир AI-творчества! 🌍🤖 Смотрите, как ИИ представляет путешествия. Несколько уникальных фото для вашего вдохновения! #AIарт #путешествия

​​Факт-чекинг для LLM: Может ли дообучение на новых данных вызвать галлюцинации? 📚 Основные моменты: - Дообучение больших языковых моделей (LLM) на новых фактических данных может привести к генерации фактически неверных ответов, известных как галлюцинации. - Контролируемые исследования в задачах вопросов и ответов (QA) показывают, что LLM сложно быстро усваивать новую информацию через дообучение. - Примеры новых данных усваиваются значительно медленнее, чем те, которые соответствуют уже известным модели знаниям. 🔍 Результаты: - По мере постепенного усвоения новой информации через дообучение, склонность LLM к галлюцинациям линейно возрастает. - Лучшие результаты достигаются, когда модель усваивает большинство известных примеров, но только несколько новых. - Введение слишком большого количества новой информации во время дообучения может снизить общую точность модели. ⚠️ Выводы: - Необходимо тщательно балансировать количество новых данных при дообучении, чтобы предотвратить галлюцинации. - LLM в основном приобретают фактические знания через предобучение, а дообучение оптимизирует использование этих знаний. 🤖 Детали исследования: - Исследование включает смесь известных и новых примеров во время дообучения. - Точная категоризация примеров на известные и новые с помощью структуры SliCK помогает оценить поведение модели при обучении. #LLM #МашинноеОбучение #AIResearch #Дообучение #Галлюцинации 🔗 Читать полную статью

🚀 julius.ai | Новая степень автоматизации EDA! Условно бесплатная нейронка на видео демонстрирует потрясающие возможности: обрабатывает таблицу с 6,5K (!) кандидатами с HeadHunter, фильтрует неразработчиков и создает группированные столбчатые диаграммы по грейдам (Junior, Middle, Senior) и языкам (Go, PHP, Python и др.). 👉 Хотите увидеть это в действии? https://www.youtube.com/@Julius-AI #llm #gpt