Ссылки для дрессировщиков нейронных сетей

120 самых мощных нейронок

Семинары русскоязычного сообщества разработчиков сильного искусственного интеллекта (AGI) @agirussia в ВК https://vk.com/video/@agirussia

🌍 20 библиотек Python для работы с пространственными данными. Python стал доминирующим языком в области работы с геоданными, благодаря своей универсальности, обширной экосистеме библиотек и удобному синтаксису. Эта подборка геопространственных библиотек Python содержит богатый инструментарий, для обработки и анализа данных ГИС. 1. ArcGIS API for Python (Esri) : Разработанная компанией Esri, эта библиотека предоставляет возможности GeoAI для пользователей ArcGIS. 2. Earth Engine API : API Earth Engine позволяет получить доступ к обширной коллекции геопространственных данных Google Earth Engine и выполнять задачи анализа с помощью Python. 3. TorchGeo (PyTorch): TorchGeo предоставляет инструменты и утилиты для работы с геопространственными данными в PyTorch. 4. fastai.vision (fast.ai): Хотя fastai.vision не предназначена специально для GeoAI, она является популярной библиотекой для задач глубокого обучения и компьютерного зрения, которая может быть использована для анализа геопространственных изображений. 5. arcpy (Esri) - это библиотека Python, предоставляемая Esri для работы с геопространственными данными на платформе ArcGIS. Она позволяет автоматизировать задачи геообработки и выполнять пространственный анализ. 6. PyQt (Riverbank Computing) - это набор утилиты Python для Qt. Его можно использовать для создания графических интерфейсов (GUI) для геопространственных приложений. 7. GeoPandas: расширяет функциональность Pandas, популярной библиотеки анализа данных, для работы с геопространственными данными. Она предоставляет высокоуровневый интерфейс для работы с векторными данными, такими как точки, линии и полигоны. 8. Rasterio - это библиотека для чтения и записи геопространственных растровых наборов данных. Она обеспечивает эффективный доступ к растровым данным и позволяет выполнять различные операции с геоданными. 9. GDAL (Open-Source Geospatial Foundation) - это мощная библиотека для чтения, записи и манипулирования геопространственными растровыми и векторными форматами данных. 10. Fiona - это Python API для чтения и записи геопространственных данных в различных форматах, включая Shapefiles и GeoJSON. Он хорошо интегрируется с другими библиотеками, такими как GeoPandas. 11. Shapely - это библиотека для геометрических операций в Python. Она позволяет создавать, манипулировать и анализировать геометрические объекты. 12. GeoPy - это библиотека которая позволяет преобразовывать адреса в географические координаты и наоборот. Библиотека для геокодирования и вычисления расстояний. Geopy также предоставляет функции для вычисления расстояний между точками на основе различных метрик расстояния. 13. PySAL: предоставляет широкий спектр методов пространственного анализа, включая пространственную автокорреляцию, кластеризацию и пространственную регрессию. 14. Pyproj - это интерфейс Python к библиотеке PROJ, которая предоставляет возможности преобразования координат. Она позволяет преобразовывать координаты между различными системами отсчета координат (CRS). 15. Rasterstats предоставляет инструменты для зонального статистического анализа наборов данных. 16. Geos - это библиотека C++, которая обеспечивает низкоуровневые геометрические операции, а библиотека Python Geos предлагает интерфейс Python к Geos. Она часто используется в сочетании с Shapely. 17. RSGISLib - имеет функции для обработки тепловых изображений, включая радиометрическую коррекцию, оценку температуры поверхности земли. 18. WhiteboxTools - это библиотека для геопространственного анализа и обработки данных. Она предлагает полный набор инструментов для таких задач, как анализ рельефа, гидрологическое моделирование и обработка данных LiDAR. 19. GeoDjango - GeoDjango интегрируется с Django. 20. Xarray: Предназначен для работы с многомерными геопространственными наборами данных, предоставляет инструменты для манипулирования данными, анализа и визуализации. @data_analysis_ml

📚 7 примеров современных алгоритмов машинного обучения с кодом и полезными статьями для изучения. 1. Трансформеры Что почитать: - Трансформеры - The Animated Transformer - Transformer в картинках - Знакомство с трансформерами - Обучение алгоритма генерации текста на основе трансформеров 2 Графовые нейронные сети (GNN) Что почитать: - Графовые нейронные сети - Graph Neural Networks: просто на математическом - Ищем скрытые смыслы. Графовые нейронные сети 3. XGBoost: Что почитать: - XGBoost в R: пошаговый пример - Введение в XGBoost для прикладного машинного обучения - Как работает нативная поддержка категорий в XGBoost 4. Вариационные автоэнкодеры (VAE) Что почитать: - Вариационные автоэнкодеры (VAE) для чайников - Применение простых Автоэнкодерных архитектур в задачах поиска аномалий при максимально несбалансированных данных 5. AutoML Что почитать: - Автоматическое машинное обучение - Что такое автоматизированное машинное обучение (AutoML) 6. Генеративно-состязательная сеть (GAN) Что почитать: - Генеративная состязательная сеть (GAN) для чайников - Создание изображений с использованием генеративно-состязательных нейронных сетей (GAN) на примере ЭКГ - Генеративно-состязательная сеть 7. Трансферное обучение Что почитать: - Трансферное обучение: почему deep learning стал доступнее - Трансферное обучение с Т5 @data_analysis_ml

🔊 AudioPaLM - нейросеть Google, которая умеет разговаривать, слушать и переводить. AudioPaLM новая языковая модель, от Google, объединяющая две предыдущие модели: PaLM-2 и AudioLM. Эта мультимодальная архитектура позволяет модели распознавать речь, сохранять особенности интонации и акцента, осуществлять перевод на другие языки на основе коротких голосовых подсказок и делать транскрипцию. При переводе некоторых языков, таких как итальянский и немецкий, модель имеет заметный акцент, а при переводе других, например французского, говорит с идеальным американским акцентом. Матрица эмбеддингов предварительно обученной модели используется для моделирования набора аудио-токенов. На вход в модель подается смешанная последовательность текстовых и аудио-токенов, и модель декодирует эти токены в текст или аудио. Аудио-токены в дальнейшем преобразуются обратно в исходное аудио с использованием слоев модели AudioLM. 🖥 Demo: https://google-research.github.io/seanet/audiopalm/examples/#asr-section 📕 Статья: https://arxiv.org/abs/2306.12925 @data_analysis_ml

@hentiamenty вот что токаое вам нужно GitHub - duburcqa/jiminy: Jiminy: a fast and portable Python/C++ simulator of poly-articulated robots with OpenAI Gym interface for reinforcement learning https://github.com/duburcqa/jiminy

🖥 Полезные приемы с кодом для аналитиков данных на Python 1. Data Science. Советы по написанию эффективного кода на Python - https://www.youtube.com/watch?v=1Mcy-uatp_c&t=14s 2. Полезные приемы в Pandas - https://www.youtube.com/watch?v=Sd2S5rXe8sY&t=165s 3. Раскройте потенциал Python Numpy: руководство для начинающих в науке о данных - https://www.youtube.com/watch?v=XX2XremQ0fg&t=12s 4. Data science c Python.Ускоряем Pandas в 120 раз- https://www.youtube.com/watch?v=-dAdaEv23vk&t=4s 5. 26 практических приёмов и хитростей Python - https://www.youtube.com/watch?v=vAMyfvtxxdQ&t=5s 6. 5 декораторов Python для Data Science проектов - https://www.youtube.com/watch?v=rxq11WHAlqU 7. ChatGPT + Midjouney на практике - https://www.youtube.com/watch?v=2gUqbc3Ikmo&t=5s 8. Разбор вопросов с собеседований Python - https://www.youtube.com/watch?v=4L1e-A3AOL4&t=5s 9. 15 полезных лайфхаков с кодом Машинного обучения на Python - https://www.youtube.com/watch?v=loOtlwcdiBA&t=4s 10. Декораторы Python, которые выведут ваш код на новый уровень - https://www.youtube.com/watch?v=qxrGAogl4iM 11. 7 инструментов Python, который должен знать каждый специалист машинного обучения - https://www.youtube.com/watch?v=RGEftBi0C9Y 12. Как загружать данные в SQL в 20 раз быстрее на Python - https://www.youtube.com/watch?v=eyeR1uWLnpM&t=2s 13. Data Science. Полезные советы по библиотеке Pandas - https://www.youtube.com/watch?v=neXc5Q-AWXY&t=3s 14. Data Science. Полезные советы по библиотеке Pandas - https://www.youtube.com/watch?v=neXc5Q-AWXY&t=3s 15. Дзен Python ООП: лучшие практики и шаблоны проектирования Python - https://www.youtube.com/watch?v=_MtX6QFJBRU 16. Python itertools. Хитрый способ избежать вложенных циклов - https://www.youtube.com/watch?v=TSvjYKIY01I&t=3s 17. Python. Генерация списка, словаря или множества в одну строку кода - https://www.youtube.com/watch?v=zS3HePvtxVc&t=10s 18. 8 крутых способов свести функции Python в одну строку - https://www.youtube.com/watch?v=jo3Q-rMggXk 19. Python itertools.compress. Удобный способ фильтрации данных - https://www.youtube.com/watch?v=8JGHID-_ApU&t=12s 20. Python Match/Case - https://www.youtube.com/watch?v=U_-NIKbKakM

По теме AutoML. Нашел крутую библиотеку PyCaret https://pycaret.gitbook.io/docs/. Автоматически предобрабатывает данные, чистит нули, масштабирует, определяет тип данных - числовой или категориальный (можно указать и вручную). Прогоняет по 15 моделям ML и выбирает лучшую. Только с нейронками не работает.

Вы просили, мы сделали. Гайд: Как установить Stable Diffusion на Windows Минимальные требования ПК для Stable Diffusion Чтобы нейросеть запустилась у вас на Windows 7, 8, или 10, вам потребуется ПК с видеокартой объемом 4 или 8 Гб. Это минимальные требования — чем мощнее ваш компьютер, тем быстрее будут создаваться изображения. Также желательно иметь 20гб свобоной памяти на жестком диске. Пошаговая установка Stable Diffusion на Windows Первым делом скачайте свежий дистрибутив на гетхабе, для этого перейдите по ссылке ниже и нажмите “Code“, после этого выберите “Dowload zip“. Скачать Stable Diffusion: https://github.com/serpotapov/stable-diffusion-portable Данная сборка автоматическая и является “Portable” версией. Это означает что программа будет запускаться с той, папки, куда вы ее закинете. ШАГ 1. Скачивание Скачиваете Stable Diffusion и обязательно разорхивируйте ее в в корень диска С. Важно чтобы у папки с программой был короткий путь. Например: C:\stable-diffusion-portable-main ШАГ 2. Установка Далее зоходим в папку и запускаем файл webui-user-first-run.cmd и даем нашему антивирусу разрешение (если он попросит). После этого установка пойдет в автоматическом режиме. ШАГ 3. Донастройка Как только наш Stable Diffusion установился, вам снова нужно перейти на гетхаб и скачать точку доступа с названием “Deliberate“. Данный файл находится в разделе “Running on Windows”. После этого скачанный файл Deliberate_v2.safetensors перемещаем в папку с программой в раздел C:\stable-diffusion-portable-main\models\Stable-diffusion Вот и все, для запуска программы запустите файл webui-user.bat из корня папки с программой. За полезность накиньте 🔥

Любишь решать задачи по Python? 🤔 А представь, что все это в формате MMORPG телеграм-бота, где ты можешь прокачивать своего персонажа, баттлиться с друзьями, проходить собесы в IT компании и прокачивать себя как разработчика! В Dev’s Battle ты найдешь: 👉 5000+ активных игроков 👉 3000+ задачек по Python 👉 Задачки для уровней: Junior, Middle и Senior 👉 Задачи по Django, Flask, ML, SQL, Data Engineering, Алгоритмы. 👉 Подробное объяснение всех задач с примерами и картинками. Все это бесплатно, с небольшим кринжом и крутым Python комьюнити! 😎 Залетай в Dev’s Battle, если, конечно, сможешь...

Представляем PyCaret: открытую low-code библиотеку машинного обучения на Python По сравнению с другими открытыми библиотеками машинного обучения, PyCaret – это low-code альтернатива, которая поможет заменить сотни строк кода всего парой слов. Скорость проведения более эффективных экспериментов возрастет экспоненциально. Сегодня рассказали, как установить библиотеку, создать и затюнить модель. В следующей части – больше фишек. Вот гитхаб А вот полезное видео

1) https://t.me/dataset_ru 2) https://t.me/betterdatacommunity/191/3619 и сам канал https://t.me/betterdatacommunity

Поиск датасетов: https://datasetsearch.research.google.com/

15 лучших шпаргалок по машинному обучению. 1- Supervised Learning https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-supervised-learning.pdf 2- Unsupervised Learning https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-unsupervised-learning.pdf 3- Deep Learning https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-deep-learning.pdf 4- Machine Learning Tips and Tricks https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-machine-learning-tips-and-tricks.pdf 5- Probabilities and Statistics https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/refresher-probabilities-statistics.pdf 6- Comprehensive Stanford Master Cheat Sheet https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/super-cheatsheet-machine-learning.pdf 7- Linear Algebra and Calculus https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/refresher-algebra-calculus.pdf 8- Data Science Cheat Sheet https://s3.amazonaws.com/assets.datacamp.com/blog_assets/PythonForDataScience.pdf 9- Keras Cheat Sheet https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Keras_Cheat_Sheet_Python.pdf 10- Deep Learning with Keras Cheat Sheet https://github.com/rstudio/cheatsheets/raw/master/keras.pdf 11- Visual Guide to Neural Network Infrastructures http://www.asimovinstitute.org/wp-content/uploads/2016/09/neuralnetworks.png 12- Skicit-Learn Python Cheat Sheet https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Scikit_Learn_Cheat_Sheet_Python.pdf 13- Scikit-learn Cheat Sheet: Choosing the Right Estimator https://scikit-learn.org/stable/tutorial/machine_learning_map/ 14- Tensorflow Cheat Sheet https://github.com/kailashahirwar/cheatsheets-ai/blob/master/PDFs/Tensorflow.pdf 15- Machine Learning Test Cheat Sheet https://www.cheatography.com/lulu-0012/cheat-sheets/test-ml/pdf/ @machinelearning_ru

Интерактивный учебник по DL https://d2l.ai/

https://www.python-graph-gallery.com/stacked-and-percent-stacked-barplot Так?