Data Science: Алгоритмы и Структуры данных

Как измерить количество информации? Мы ежедневно работаем с информацией из разных источников. При этом каждый из нас имеет некоторые интуитивные представления о том, что означает, что один источник является для нас более информативным, чем другой. Однако далеко не всегда понятно, как это правильно определить формально. Не всегда большое количество текста означает большое количество информации. Например, среди СМИ распространена практика, когда короткое сообщение из ленты информационного агентства переписывают в большую новость, но при этом не добавляют никакой «новой информации». Или другой пример: рассмотрим текстовый файл с романом Л.Н. Толстого «Война и мир» в кодировке UTF-8. Его размер — 3.2 Мб. Сколько информации содержится в этом файле? Изменится ли это количество, если файл перекодировать в другую кодировку? А если заархивировать? Сколько информации вы получите, если прочитаете этот файл? А если прочитаете его второй раз? По мотивам открытой лекции для Computer Science центра рассказываю о том, как можно математически подойти к определению понятия "количество информации". https://habr.com/ru/companies/JetBrains-education/articles/599637/ Алгоритмы и Структуры данных

Основные типы распределений вероятностей в примерах Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения. В данной статье я сделаю упор не на функции и формулы, которые обычно сопутствуют распределениям (функции вероятности, распределения, PMF, PDF, CDF) - их можно легко найти самостоятельно. Скорее я попытаюсь показать как генерируются те или иные распределения на конкретных примерах. https://habr.com/ru/articles/801101/ Алгоритмы и Структуры данных

ИИ в 3D: Где мы сейчас и какое будущее нас ждёт? (Часть 3) Мир, в котором мы с вами живём и который непосредственно ощущаем, является объёмным: расположение любой точки в нём можно описать тремя координатами, и этот факт элементарно зашит в нашу природу. Чем больше “понимания” система искусственного интеллекта будет иметь относительно истинной сущности вещей, включая их расположение, форму и объем, тем легче она будет справляться с задачами, которые до сих пор мог выполнять только человек. В этой статье разберём, как ИИ помогает решать одну из ключевых задач робототехники, а именно - понимание и ориентация в объёмных пространствах! https://habr.com/ru/articles/800949/ Алгоритмы и Структуры данных

9 Синтез и коррекция систем автоматического регулирования (САР) Продолжаем публикацию лекций по предмету "Управление в Технических устройствах" Автор Олега Степановича Козлова. Кафедра "Ядерные энергетические установки" МГТУ им. Н.Э. Баумана. https://habr.com/ru/articles/797669/ Алгоритмы и Структуры данных

Ускоряем работу с графами в 20000 раз Периодически возникают задачи и проекты, где данные имеют структуру графа. Например, данные о компьютерных сетях, где узлы связаны между собой. А на узлах зарегистрированы пользователи и они связаны или не связаны между собой. Еще пример — результат работы какого-то web crawler, который собирает данные из сети и хранит ссылки страниц между собой. Социальные сети. Список друзей, у которых тоже есть друзья — граф. Населенные пункты и дороги между ними — еще один пример графа. Чтобы нам было удобнее давайте определимся с решаемой задачей. Допустим мы делаем систему администрирования некоторого сетевого ПО. Это ПО установлено на всех узлах сети. И из центра администрирования оно получает конфигурацию своей работы. Сети на практике большие, несколько администраторов одновременно могут включать и отключать связи между узлами. Либо напрямую, либо неявно через какие-то косвенные настройки. Наша задача обнаружить несвязанные сегменты в получившейся сети и не сохранить такую конфигурацию. Потому что плохая конфигурация приведет к неработоспособности. https://habr.com/ru/articles/650007/ Алгоритмы и Структуры данных

Сравниваем кривые линии по форме Не так давно писал в качестве pet-проекта гиперказуальную игру с примитивной механикой, а именно: максимально быстро и точно повторить кривую линию. Идея максимально простая, но задача сравнения двух кривых оказалась довольно интересной. В этой статье я опишу разные идеи, которые рассматривал (в основном провальные) и конечный вариант, к которому я пришел. https://habr.com/ru/articles/650013/ Алгоритмы и Структуры данных

Бегущий по рынку — легендарный агрегатор дикости и наглости клиентов со всего интернета. Здесь выкладывают скандалы с неадекватными покупателями и кринж из мира рекламы, заправленный сатирой русского бизнеса. Всех скелетов из шкафов достают тут: @ryanrun

Почему нельзя перевернуть строку с флагом-эмодзи? Каким, по-вашему, будет результат выполнения следующего кода на Python? Подобные вопросы заставляют меня сразу же открыть Python REPL и проверить код, потому что я думаю, что знаю правильный ответ, но не очень в нём уверен. https://habr.com/ru/articles/649179/ Алгоритмы и Структуры данных

Роль алертов в инфообмене с маркетплейсом Ошибки, как ни старайся их избежать — спутник любого инфообмена. Человек может опечататься, канал — разорваться, сервис — зависнуть. А значит, очень важно узнавать об ошибках первым и вовремя их устранять. Всем привет, меня зовут Антон Баташов, я руководитель отдела интеграции и технической поддержки в компании XWAY, и в этой статье мы поговорим об алертах: зачем они нужны, какие бывают и как с их помощью настроить полноценный мониторинг инфообмена с маркетплейсом. https://habr.com/ru/articles/646141/ Алгоритмы и Структуры данных

Мой босс — робот. Все, что нужно знать о найме “цифровых работников” В этом тексте я хочу поразмышлять о недавно возникшем феномене “цифровых сотрудников”. Они могут иметь навыки, отличающиеся от наших, и быть «натренированы» для выполнения различных задач. Цифровых сотрудников можно “вырастить” самим, а можно нанять в аутсорсинг. Об особенностях их найма, оценки эффективности и причинах возникновения, рассказываю ниже. https://habr.com/ru/companies/lanit/articles/646419/ Алгоритмы и Структуры данных

✅Не знаешь где достать Софт или игру для ПК бесплатно? ✔️В IT_Repackers более 1000 программ и игр в каталоге. ✓Diablo IV, Starfield, Alan Wake 2 и тд. ✓Adobe, MS Office, Win 11 и многое другое. ✓Активный чат ✓Возможность попросить игру или софт ✓Помощь при проблемах ❤️Подпишись, чтобы не потерять!

Алгоритмы AdaBoost (SAMME & R2). Принцип работы и реализация с нуля на Python Следующим мощным алгоритмом машинного обучения является AdaBoost (adaptive boosting), в основе которого лежит концепция бустинга, когда слабые базовые модели последовательно объединяются в одну сильную, исправляя ошибки предшественников. В AdaBoost в качестве базовой модели используется пень решений (могут использоваться другие модели) — дерево с небольшой глубиной, которому присваивается вектор весов размера N, каждое значение которого соответствует определённому значению y_train и изначально равно 1 / N, где N — количество образцов в обучающей выборке. Каждый следующий пень обучается с учётом весов, рассчитанных на основе ошибок предыдущего прогноза. Также для каждого обученного пня отдельно рассчитывается вес, используемый для оценки важности итоговых прогнозов. https://habr.com/ru/articles/800499/ Алгоритмы и Структуры данных

Градиенты в нейронных сетях для поиска аномалий в данных В основе машинного обучения лежит предположение, что данные для обучения, тестирования и применения взяты из одного и того же распределения. К сожалению, в процессе применения модели это предположение может нарушаться, что приводит к необъяснимым последствиям — сдвигу распределения. Особенно такие нарушения опасны в областях, где требуется быстро и точно принимать решения: медицина, финансы, self-driving cars. Системы машинного обучения часто просто игнорируют сдвиги распределения и продолжают работать в штатном режиме, не представляя, что ответы на запросы могут быть невалидными. Чтобы сделать работу системы более точной и понять причину происхождения некорректных данных, можно отлавливать такие нарушения — нужно только добавить возможность поиска аномалий. https://habr.com/ru/companies/hsespb/articles/646219/ Алгоритмы и Структуры данных

Решаем Wordle с 3,64 попыток в 99,4% случаев Недавно я играл в головоломку Wordle, параллельно думая, как бы её могла решать программа. Первым делом я извлёк списки слов с сайта Wordle. Любопытно, что существует «целевой» список из 2315 слов, которые могут быть ответами, но и дополнительный список из 10657 возможных догадок — вариантов, которые могут вводить пользователи, но которые никогда не будут ответом. https://habr.com/ru/articles/647391/ Алгоритмы и Структуры данных

Алгоритм Дейкстры. Разбор Задач Поиск оптимального пути в графе. Такая задача встречается довольно часто и в повседневной жизни, и в мире технологий. Справиться с такими вызовами помогает подход, который должен быть в арсенале каждого программиста — алгоритм Дейкстры. Если вы хотите найти ответить на вопросы, чем этот алгоритм лучше BFS (поиска в ширину), при каких условиях алгоритм применим, и какие теоретические и практические задачи можно с его помощью решать, читайте далее. https://habr.com/ru/companies/otus/articles/599621/ Алгоритмы и Структуры данных

Реализация подхода к сканированию объектов выносным сканером Цель написания данной статьи — показать, как на реальном оборудовании реализовывать системы сканирования объектов и создавать их трехмерные модели выносным сканером профильного типа. https://habr.com/ru/articles/624255/ Алгоритмы и Структуры данных

〽️ Купить Bitcoin по $27,000 во время войны в Израиле, а продать сейчас по $72,000. Это возможность, которую Вы упустили. 〽️ Купить Ethereum по $1,400, а через год продать по $4,050. Это возможность, которую Вы упустили. 〽️ Купить Ton по $1, а продать на пике по $3,9. Это возможность, которую Вы упустили. Бедные найдут тысячи оправданий, дабы оставить всё как есть. Забавно, ведь чтобы увеличить свой доход не нужны таланты и особые умения. Подписки на Михаила Смирнова будет достаточно, дабы деньги с крипты перестали быть для Вас проблемой. Автор простыми словами рассказывает, стоит ли покупать Bitcoin, какие монеты в марте взлетят и на чём не потерять деньги. Подписывайтесь, чтобы видеть возможности наперёд и уметь ими воспользоваться: @crypto

Использование рекуррентных нейронных сетей в Reinforcement Learning В 2013 году команда DeepMind представила алгоритм, с помощью которого они научили компьютер играть в семь игр «Atari 2600», причем сделали это без участия человека [2]. Компьютер сам совершал действия, оценивал какие из них приносят больше пользы в игре и сам формировал выигрышную стратегию. В основе этого алгоритма лежат алгоритмы RL. Сейчас игры Atari используются как бенчмарк для новых методов обучения с подкреплением. И недавний алгоритм R2D2, от все тех же DeepMind, играет лучше человека почти в 20 раз [3]. Преимущество R2D2 состоит в использовании рекуррентных нейронных сетей. Их применяли и раньше, но новый подход позволяет при этом не терять эффективность других улучшений Deep Q-learning. В этой статье рассказано какими способами удалось достичь такого результата. https://habr.com/ru/articles/599923/ Алгоритмы и Структуры данных

Градиентный бустинг. Реализация с нуля на Python и разбор особенностей его модификаций (XGBoost, CatBoost, LightGBM) На сегодняшний день градиентный бустинг (gradient boosting machine) является одним из основных production-решений при работе с табличными, неоднородными данными, поскольку обладает высокой производительностью и точностью, а если быть точнее, то его модификации, речь о которых пойдёт чуть позже. В данной статье представлена не только реализация градиентного бустинга GBM с нуля на Python, но а также довольно подробно описаны ключевые особенности его наиболее популярных модификаций. https://habr.com/ru/articles/799725/ Алгоритмы и Структуры данных

Extropic: Добро пожаловать в Термодинамическое Будущее (перевод) Тема квантовых вычислений интересна и важна, хоть и вокруг неё полно разного рода спекуляций и булшита. Предсказывают, что квантовые вычисления отбросят на обочину истории все современные системы шифрования, а также послужат фундаментом для инфраструктуры дата центров следующего поколения. https://habr.com/ru/articles/800033/ Алгоритмы и Структуры данных