DenoiseLAB

☄️☄️☄️TrustLLM — инструмент на Python для комплексного исследования ответов от LLM. TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие. В этом документе подробно объясняется, как использовать инструмент для оценки эффективности собственных моделей. pip install trustllm ▪️GitHub ▪️Arxiv ▪️Docs ▪️Project

🕯🕯🕯Очень интересное исследование, в котором показано что не обязательно переобучать сеть достаточно лишь, чутка подправить пару нейронов, при этом можно составить карту нейронов и понять кто за что отвечает и в итоге можем получить целью картинку для анализа.

https://github.com/kraidiky/connectome_optimization/blob/main/facade.ipynb - Прореженный на 2.75M весов мобайлнет

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223 🔠 Что такое супер-полносвязные нейронные сети ? (Часть_3) Dropout - это еще одна техника, используемая для увеличения разреженности сети путем случайного исключения нейронов из процесса обучения. Это помогает предотвратить переобучение и улучшить обобщающую способность модели. В контексте L0-регуляризации, dropout может быть адаптирован таким образом, чтобы обнулять веса с определенной вероятностью, что добавляет дополнительный регуляризующий эффект. #full_connected_net #neural_network #ds #analytics #optimization

🔥🔥🔥Список математических библиотек на Python: ✔️NumPy (https://numpy.org/) — базовая библиотека для научных расчетов, содержащая набор инструментов для работы с многомерными массивами. ✔️ SciPy (https://scipy.org/) — библиотека для научных вычислений, построенная на основе NumPy. ✔️ Matplotlib (https://matplotlib.org/) — библиотека для построения двухмерных графиков. ✔️ SymPy (https://www.sympy.org/en/index.html) — библиотека для символьных вычислений. ✔️ Pandas (https://pandas.pydata.org/) — библиотека для обработки и анализа данных, содержит структуры данных DataFrame и Series. ✔️ Scikit-learn (https://scikit-learn.org/stable/) — библиотека машинного обучения. ✔️ Numerical Integration (https://docs.scipy.org/doc/scipy/tutorial/integrate.html) — библиотека для численного интегрирования. ✔️ PyMathProg (https://pymprog.sourceforge.net/) — библиотека для решения математических задач линейного и целочисленного программирования. ✔️ SymEngine (https://github.com/symengine/symengine) — библиотека для символьных вычислений. ✔️ Combinatorics (https://www.geeksforgeeks.org/permutation-and-combination-in-python/) — библиотека для комбинаторных вычислений. ✔️ NetworkX (https://networkx.org/) — библиотека для работы с графами. ✔️ Pyomo (http://www.pyomo.org/) — библиотека для решения задач оптимизации. ✔️ CvxOpt (https://cvxopt.org/) — библиотека для решения задач линейного и квадратичного программирования. ✔️ CVXPY (https://www.cvxpy.org/) — библиотека для решения задач линейного и квадратичного программирования.

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223 🔠 Что такое супер-полносвязные нейронные сети ? (Часть_2) L0-регуляризация представляет собой подход, который позволяет обнулять веса нейронов, тем самым уменьшая общее количество параметров в сети. Этот метод может быть особенно полезен для уменьшения размерности модели и повышения ее эффективности. Однако, его использование требует тщательного планирования и тестирования, поскольку неправильное применение может привести к нежелательным изменениям в структуре сети. #full_connected_net #neural_network #ds #analytics #optimization

❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_223 🔠 Что такое супер-полносвязные нейронные сети ? (Часть_1) Супер-полносвязные разреженные сети (Super-Sparse Fully Connected Networks) - это концепция в области машинного обучения, которая касается методов оптимизации и уменьшения размерности нейронных сетей. Основная идея заключается в использовании техник, таких как L0-регуляризация и dropout, для создания более эффективных и компактных моделей. Эти методы помогают уменьшить количество параметров в сети, делая ее более разреженной, что может улучшить производительность и уменьшить потребление ресурсов. #full_connected_net #neural_network #ds #analytics #optimization

🟡🟡🟡Два модных датасета, на которых проводится тестирование систем по принятию решений для автопилотом в современных авто: https://github.com/Farama-Foundation/HighwayEnv https://www.nuscenes.org/

☄️☄️☄️Сегодня провел первое занятие в GeekBrains по курсу OpenCV для мединской визуализации, при том у что у меня 8 лет реального клинического опыта по стороны получения рентгеновских снимков, в целом, получилось очень даже неплохо. Рассказал весь пайплайн работы отделения получения изображений, дальше будет практика с моделями машинного обучения.

https://www.fullstackpython.com/ - очень модная вещь, правда "голопам по европам", но все же.

☄️☄️☄️979 страниц про технологические тренды — Future Today Institute презентовал исследование в рамках SXSW 2024 - мега исследование от SberAI.

🧪🧪🧪https://github.com/ch-shin/awesome-data-poisoning - Список ресурсов, посвященных отравлению данных в машинном обучении по данным одних из топовых конференций по ИИ : NeurIPS, ICML, ICLR, AAAI, KDD.

https://habr.com/ru/articles/217761/ - тут по долгу работа немного занесло меня в сторону OpenCV. Нашел вот такую отличную статейку с подробными материалами про DICOM и PACS. Есть даже ссылка на то как собрать свой PACS-сервак буквально на коленке.

https://lumalabs.ai/dream-machine - Sora больше не нужна, теперь есть Luma

https://zapier.com/blog/best-llm/#grok - Список самых модных сетей в 2024 году.

🌐🌐🌐Концепт здания около Лахта-Центра, вообще мощь, очень круто.

Вот почему так, вот берешь любую книгу где написано Professional и там просто Эверест страниц ))))

https://github.com/RiccardoBiosas/awesome-MLSecOps - полностью джентельменский набор для MLSecOps в реальнои продакшене, здесь собрано множество инструментов: ✔️ModelScan, ✔️NB Defense, ✔️Garak, ✔️Adversarial Robustness Toolbox ✔️MLSploit и много чего еще другого супер полезного.

💣💣💣https://cyberorda.com/MlSecOps/# - невероятный блог по взлому LLM, просто бомба, ракета просто, просто круто.

✔️https://clarifai.com/databricks/drbx/models/dbrx-instruct - современная, эффективная, открытая LLM от Databricks, способная обрабатывать входные данные длиной до 32K токенов. Модель отлично справляется с широким набором задач на естественном языке, таких как: резюмирование текста, ответы на вопросы, извлечение информации и кодирование.

✔️https://github.com/togethercomputer/RedPajama-Data - открытый набор данных для обучения больших языковых моделей. Набор включает более 100 Б текстовых документов, полученных из 84 снимков CommonCrawl и обработанных с помощью конвейера CCNet.

😬😬😬Неожиданный результат ))) ⁉️⁉️⁉️По работе пришлось пользоваться YandexGPT и активное его тестировать, спустя какое-то время пришел чек на 400 р. Мда... )))) Печалька..., хотя даже о подписке и речи не шло.

☄️☄️☄️https://boosty.to/denoise_lab/posts/b60ecaa3-e86b-4a8c-be6b-48672388d332?share=post_link - сделал полный разбор большой языковой модели Phi-4-Mini-128k. Полностью объяснены все параметры модели, и подробно все методы и классы модели. Представлены все ссылки на статьи и официальные репозитории. Подписывайтесь, буду рад видеть всех!

✔️Видео сгенерено sora-моделью, в общем и целом, не отличимо от реальности, для большинства обывателей, один минус, руль двигается неестественно плавно, и в целом динамика не такая, как на реальных гонках. Но все равно выглядит круто.

🔥https://github.com/OpenPipe/OpenPipe/tree/main/examples/classify-recipes - тонкая настройка LLAma-2, очень много расписано всяких полезных фишек: ✔️Продемонстрированно, как сгенерировать примерный набор данных по GPT-4, сохранить его с помощью OpenPipe, а затем экспортировать в формат, подходящий для обучения модели; ✔️Обучена модель Llama 2 7B на наборе данных; ✔️Проведена оценка модели; ✔️Также есть скрипт для сравнения затрат и задержек завершения между нашей точно настроенной моделью, GPT-3.5 и GPT-4.

https://neurohive.io/ru/gotovye-prilozhenija/model-nvidia-dreureka-obuchaet-robotov-bystree-chem-ljudi/ - Модель NVIDIA DrEureka обучает роботов быстрее, чем люди, все это говорит, о том, что наши алгоритмы и наше представление об обучении роботов и машину в целом слабо укладывается в "их" парадигму. Исходя из этого, обучение моделей машинного обучение и роботизированной техники скоро уйдет на руки моделям, так как количество правил, норм, и подходов в задействовании обучения здесь больше чем может охватить человек. Вопрос стоит уже не только об обучении машины, сколько о разработке модели для обучения других моделей. Такие модели будут множится и появляться очень быстро и в целом они создадут барьер, между человеком и машиной. Опять же еще более остро встанет вопрос о безопасности сие конструкции.

✔️https://fineproxy.org/ru/wiki/generative-adversarial-networks-gans/ - очень простое объясние что такое генеративные адверсиальные сети. Вот мне нравится когда вот так очень просто и буквально на пальцах все рассказывают. В двух словах, что это и какой механизм.

☄️https://arxiv.org/html/2405.06823v2 - отличная статья с полным разбором PLeak (Prompt Leaking Attacks against Large Language Model Applications) атаки на LLM. Рассматривается полный механизм данной атаки, ее реализация и показывается, что она состоит из двух подходов: ✔️ Offline AQ Optimization (Во-первых, пространство поиска для состязательного запроса огромно, поскольку каждый из его токенов может быть любым токеном в большом словаре, что может легко привести к локальному оптимуму. Поэтому PLeak разбивает поиск на более мелкие шаги и постепенно оптимизирует. Более того, начальные лексемы подсказки для «теневой» системы имеют большее значение, чем последние. Исходя из этого сначала оптимизирует AQs для реконструкции t лексем подсказок «теневой» системы в наборе теневых данных Ds, а затем постепенно увеличивается размер реконструкции шаг за шагом, пока не сможем реконструировать все подсказки для «теневой» системы. Во-вторых, PLeak использует градиентный метод поиска для повышения эффективности на каждом шаге оптимизации); ✔️ Target System Prompt Reconstruction (Восстановление подсказки целевой системы: (i) восстановление исходного ответа после обфускации и (ii) извлечение подсказки целевой системы);

❤️‍🔥❤️‍🔥❤️‍🔥Вышла браузерная игра anichat, на базе ИИ, в которой можно флиртовать с тянкой. Причем, даже уже есть рейтинг, топовых игроков, которые по всякому пытаются расположить ее к себе. Так же есть рейтинг, анти-флиртовальщиков по мнению модели.

https://t.me/ru4chan/55023 - потерянные кошельки с кучей BTC больше не проблемма

Заявка на хакатон от одной из комманд ))) ахахаахха