Всё про Алгоритмы и Структуры данных

Анализ финансовых ботов, можно ли заработать? Для ответа на вопрос заработка при помощи торговых ботов, я потратил достаточно большое количество времени на изучение фондового и криптовалютных рынков. Если вкратце - любое свободное время вне своей работы и семьи уходило на торговлю. К сегодняшнему дню у меня открыты и пополнены счета на Тинькофф инвестициях, Interactive Brokers, Binance, Alpaca (здесь только демо счет для нерезидентов США), Okex и форекс клубе, премиум на TradingView. С каждым из них я использовал торговых ботов в меньшей или большей степени, изучал их API, трейдинг в целом и методы алгоритмической торговли. Чтобы ответить на вопрос эффективности ботов, я потратил много времени на исследования в области нейросетей, алгоритмической торговли, крипто-трейдинга и могу теперь сделать выводы для дальнейших исследований и практического применения. https://habr.com/ru/articles/654165/ Алгоритмы и Структуры данных

Приближение синуса и косинуса полиномом 2 степени Целью данной публикации попытка предложить способ расчета синуса и косинуса достаточно быстро для тех платформ, где отсутствуют эти функции (микроконтроллеры) или там где скорость расчета важнее точности. https://habr.com/ru/articles/654095/ Алгоритмы и Структуры данных

Бэггинг и случайный лес. Ключевые особенности и реализация с нуля на Python Далее пойдёт речь про бэггинг и мой самый любимый алгоритм — случайный лес. Не смотря на то, что это одни из самых первых алгоритмов среди семейства ансамблей, они до сих пор пользуются большой популярностью за счёт своей простоты и эффективности, зачастую не уступая бустингам в плане точности. О том, что это такое и как работает, далее в статье. https://habr.com/ru/articles/801161/ Алгоритмы и Структуры данных

Quantization Deep Dive, или Введение в современную квантизацию Мне стало интересно, как устроена квантизация больших языковых моделей (LLM). Ещё меня очень впечатляли истории, где люди берут гигантские нейросети, квантизируют в 4 бита и умудряются запускать их на ноутбуках. Я решил разобраться, как это делается, и собрал материал на доклад для коллег и друзей. А потом пришла мысль поделиться знаниями с более широкой аудиторией, оформив их в статью. Так я и оказался на Хабре :) Надеюсь, погружение в тему квантизации будет интересно как специалистам, так и энтузиастам в сфере обучения нейросетей. Я постарался написать статью, которую хотел бы прочитать сам, когда только начинал изучать, как заставить модели работать эффективнее. В ней мы подробно разберём, зачем нужна квантизация и в какой момент лучше всего квантизовать модель, а ещё рассмотрим разные типы данных и современные методы квантизации https://habr.com/ru/companies/yandex/articles/800945 Алгоритмы и Структуры данных

Как измерить количество информации? Мы ежедневно работаем с информацией из разных источников. При этом каждый из нас имеет некоторые интуитивные представления о том, что означает, что один источник является для нас более информативным, чем другой. Однако далеко не всегда понятно, как это правильно определить формально. Не всегда большое количество текста означает большое количество информации. Например, среди СМИ распространена практика, когда короткое сообщение из ленты информационного агентства переписывают в большую новость, но при этом не добавляют никакой «новой информации». Или другой пример: рассмотрим текстовый файл с романом Л.Н. Толстого «Война и мир» в кодировке UTF-8. Его размер — 3.2 Мб. Сколько информации содержится в этом файле? Изменится ли это количество, если файл перекодировать в другую кодировку? А если заархивировать? Сколько информации вы получите, если прочитаете этот файл? А если прочитаете его второй раз? По мотивам открытой лекции для Computer Science центра рассказываю о том, как можно математически подойти к определению понятия "количество информации". https://habr.com/ru/companies/JetBrains-education/articles/599637/ Алгоритмы и Структуры данных

Основные типы распределений вероятностей в примерах Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения. В данной статье я сделаю упор не на функции и формулы, которые обычно сопутствуют распределениям (функции вероятности, распределения, PMF, PDF, CDF) - их можно легко найти самостоятельно. Скорее я попытаюсь показать как генерируются те или иные распределения на конкретных примерах. https://habr.com/ru/articles/801101/ Алгоритмы и Структуры данных

ИИ в 3D: Где мы сейчас и какое будущее нас ждёт? (Часть 3) Мир, в котором мы с вами живём и который непосредственно ощущаем, является объёмным: расположение любой точки в нём можно описать тремя координатами, и этот факт элементарно зашит в нашу природу. Чем больше “понимания” система искусственного интеллекта будет иметь относительно истинной сущности вещей, включая их расположение, форму и объем, тем легче она будет справляться с задачами, которые до сих пор мог выполнять только человек. В этой статье разберём, как ИИ помогает решать одну из ключевых задач робототехники, а именно - понимание и ориентация в объёмных пространствах! https://habr.com/ru/articles/800949/ Алгоритмы и Структуры данных

9 Синтез и коррекция систем автоматического регулирования (САР) Продолжаем публикацию лекций по предмету "Управление в Технических устройствах" Автор Олега Степановича Козлова. Кафедра "Ядерные энергетические установки" МГТУ им. Н.Э. Баумана. https://habr.com/ru/articles/797669/ Алгоритмы и Структуры данных

Ускоряем работу с графами в 20000 раз Периодически возникают задачи и проекты, где данные имеют структуру графа. Например, данные о компьютерных сетях, где узлы связаны между собой. А на узлах зарегистрированы пользователи и они связаны или не связаны между собой. Еще пример — результат работы какого-то web crawler, который собирает данные из сети и хранит ссылки страниц между собой. Социальные сети. Список друзей, у которых тоже есть друзья — граф. Населенные пункты и дороги между ними — еще один пример графа. Чтобы нам было удобнее давайте определимся с решаемой задачей. Допустим мы делаем систему администрирования некоторого сетевого ПО. Это ПО установлено на всех узлах сети. И из центра администрирования оно получает конфигурацию своей работы. Сети на практике большие, несколько администраторов одновременно могут включать и отключать связи между узлами. Либо напрямую, либо неявно через какие-то косвенные настройки. Наша задача обнаружить несвязанные сегменты в получившейся сети и не сохранить такую конфигурацию. Потому что плохая конфигурация приведет к неработоспособности. https://habr.com/ru/articles/650007/ Алгоритмы и Структуры данных

Сравниваем кривые линии по форме Не так давно писал в качестве pet-проекта гиперказуальную игру с примитивной механикой, а именно: максимально быстро и точно повторить кривую линию. Идея максимально простая, но задача сравнения двух кривых оказалась довольно интересной. В этой статье я опишу разные идеи, которые рассматривал (в основном провальные) и конечный вариант, к которому я пришел. https://habr.com/ru/articles/650013/ Алгоритмы и Структуры данных

Бегущий по рынку — легендарный агрегатор дикости и наглости клиентов со всего интернета. Здесь выкладывают скандалы с неадекватными покупателями и кринж из мира рекламы, заправленный сатирой русского бизнеса. Всех скелетов из шкафов достают тут: @ryanrun

Почему нельзя перевернуть строку с флагом-эмодзи? Каким, по-вашему, будет результат выполнения следующего кода на Python? Подобные вопросы заставляют меня сразу же открыть Python REPL и проверить код, потому что я думаю, что знаю правильный ответ, но не очень в нём уверен. https://habr.com/ru/articles/649179/ Алгоритмы и Структуры данных

Роль алертов в инфообмене с маркетплейсом Ошибки, как ни старайся их избежать — спутник любого инфообмена. Человек может опечататься, канал — разорваться, сервис — зависнуть. А значит, очень важно узнавать об ошибках первым и вовремя их устранять. Всем привет, меня зовут Антон Баташов, я руководитель отдела интеграции и технической поддержки в компании XWAY, и в этой статье мы поговорим об алертах: зачем они нужны, какие бывают и как с их помощью настроить полноценный мониторинг инфообмена с маркетплейсом. https://habr.com/ru/articles/646141/ Алгоритмы и Структуры данных

Мой босс — робот. Все, что нужно знать о найме “цифровых работников” В этом тексте я хочу поразмышлять о недавно возникшем феномене “цифровых сотрудников”. Они могут иметь навыки, отличающиеся от наших, и быть «натренированы» для выполнения различных задач. Цифровых сотрудников можно “вырастить” самим, а можно нанять в аутсорсинг. Об особенностях их найма, оценки эффективности и причинах возникновения, рассказываю ниже. https://habr.com/ru/companies/lanit/articles/646419/ Алгоритмы и Структуры данных

✅Не знаешь где достать Софт или игру для ПК бесплатно? ✔️В IT_Repackers более 1000 программ и игр в каталоге. ✓Diablo IV, Starfield, Alan Wake 2 и тд. ✓Adobe, MS Office, Win 11 и многое другое. ✓Активный чат ✓Возможность попросить игру или софт ✓Помощь при проблемах ❤️Подпишись, чтобы не потерять!

Алгоритмы AdaBoost (SAMME & R2). Принцип работы и реализация с нуля на Python Следующим мощным алгоритмом машинного обучения является AdaBoost (adaptive boosting), в основе которого лежит концепция бустинга, когда слабые базовые модели последовательно объединяются в одну сильную, исправляя ошибки предшественников. В AdaBoost в качестве базовой модели используется пень решений (могут использоваться другие модели) — дерево с небольшой глубиной, которому присваивается вектор весов размера N, каждое значение которого соответствует определённому значению y_train и изначально равно 1 / N, где N — количество образцов в обучающей выборке. Каждый следующий пень обучается с учётом весов, рассчитанных на основе ошибок предыдущего прогноза. Также для каждого обученного пня отдельно рассчитывается вес, используемый для оценки важности итоговых прогнозов. https://habr.com/ru/articles/800499/ Алгоритмы и Структуры данных

Градиенты в нейронных сетях для поиска аномалий в данных В основе машинного обучения лежит предположение, что данные для обучения, тестирования и применения взяты из одного и того же распределения. К сожалению, в процессе применения модели это предположение может нарушаться, что приводит к необъяснимым последствиям — сдвигу распределения. Особенно такие нарушения опасны в областях, где требуется быстро и точно принимать решения: медицина, финансы, self-driving cars. Системы машинного обучения часто просто игнорируют сдвиги распределения и продолжают работать в штатном режиме, не представляя, что ответы на запросы могут быть невалидными. Чтобы сделать работу системы более точной и понять причину происхождения некорректных данных, можно отлавливать такие нарушения — нужно только добавить возможность поиска аномалий. https://habr.com/ru/companies/hsespb/articles/646219/ Алгоритмы и Структуры данных

Решаем Wordle с 3,64 попыток в 99,4% случаев Недавно я играл в головоломку Wordle, параллельно думая, как бы её могла решать программа. Первым делом я извлёк списки слов с сайта Wordle. Любопытно, что существует «целевой» список из 2315 слов, которые могут быть ответами, но и дополнительный список из 10657 возможных догадок — вариантов, которые могут вводить пользователи, но которые никогда не будут ответом. https://habr.com/ru/articles/647391/ Алгоритмы и Структуры данных

Алгоритм Дейкстры. Разбор Задач Поиск оптимального пути в графе. Такая задача встречается довольно часто и в повседневной жизни, и в мире технологий. Справиться с такими вызовами помогает подход, который должен быть в арсенале каждого программиста — алгоритм Дейкстры. Если вы хотите найти ответить на вопросы, чем этот алгоритм лучше BFS (поиска в ширину), при каких условиях алгоритм применим, и какие теоретические и практические задачи можно с его помощью решать, читайте далее. https://habr.com/ru/companies/otus/articles/599621/ Алгоритмы и Структуры данных

Реализация подхода к сканированию объектов выносным сканером Цель написания данной статьи — показать, как на реальном оборудовании реализовывать системы сканирования объектов и создавать их трехмерные модели выносным сканером профильного типа. https://habr.com/ru/articles/624255/ Алгоритмы и Структуры данных