Data Science: Алгоритмы и Структуры данных

Обзор книг аналитика данных Привет! Меня зовут Таня, я аналитик данных и люблю бумажный формат книг (если есть сомнения, сначала пробую электронную версию, но, если книга заходит, всегда беру бумажную версию). В этой статье честный обзор без рекламы, тех книг, которые я купила не так давно в бумажном формате. https://habr.com/ru/articles/1007024/ Алгоритмы и Структуры данных

Неплоский мир: как мы делаем рельеф настоящим У нас в 2ГИС давно проходят эксперименты, связанные с рельефом. Мы это делаем не только для того, чтобы получить красивую завораживающую картинку, но и чтобы дать возможность пользователям глубже погружаться в окружающую среду, лучше ориентироваться на местности и принимать решения, от которых зависит качество прогулки или путешествия, комфорт и экономия времени и средств. https://habr.com/ru/companies/2gis/articles/1004084/ Алгоритмы и Структуры данных

Неплоский мир: как мы делаем рельеф настоящим У нас в 2ГИС давно проходят эксперименты, связанные с рельефом. Мы это делаем не только для того, чтобы получить красивую завораживающую картинку, но и чтобы дать возможность пользователям глубже погружаться в окружающую среду, лучше ориентироваться на местности и принимать решения, от которых зависит качество прогулки или путешествия, комфорт и экономия времени и средств. https://habr.com/ru/companies/2gis/articles/1004084/ Алгоритмы и Структуры данных

Нашли любопытный разбор про то, как в бигтехе разрабатываются, релизятся и умирают фичи. Формат простой: берут вымышленную идею — сториз в трекере привычек — и разбирают, что с ней происходит внутри большой компании на каждом этапе. Первая часть — как раз про этап идеи и рутинные процессы внутри корпораций. Авторы тоже из бигтеха, причем и российского, и зарубежного. Если хочется понять, как на самом деле устроена работа в больших компаниях, настоятельно рекомендуем. Вот ссылка на первую часть: https://youtu.be/szzptUNS1Vw.

Головоломка Ханойские башни на Java Головоломка Ханойские башни (или Ханойская башня, или Towers of Hanoi) – классический пример задачи, в которой лучшее и самое наглядное решение основывается на рекурсии. Кроме того, эта задача иногда встречается на собеседованиях. Тем удивительнее, что последняя статья (хотя и весьма обстоятельная), посвященная этой задаче на Хабре датируется 2013-м годом и решение приводится на Delphi. Давайте исправим эту печальную ситуацию! https://habr.com/ru/articles/1006476/ Алгоритмы и Структуры данных

Одна формула, позволяющая понять 3D-графику Учась в школе, я обнаружил очень простую математическую формулу, о которой не перестаю думать и сегодня. Смысл её в следующем: представьте, что у вас есть 3D-точка в воображаемом 3D-пространстве за экраном. Для проецирования этой 3D-точки на экран нужно взять её координату X, поделённую на Z, и аналогично её Y / Z. И в результате вы получите проекцию точки на экран: x'=\frac{x}{z} и y'=\frac{y}{z}. А если у вас есть множество точек в этом 3D-пространстве за экраном, и вы начнёте их анимировать и вращать их, а потом воспользуетесь этой формулой для рендеринга всех точек на экране, то это будет выглядеть, как 3D-сцена или 3D-объект. Давайте попробуем эту формулу в деле. https://habr.com/ru/companies/ruvds/articles/1003014/ Алгоритмы и Структуры данных

Как я написал радар межбиржевых спредов на Python и понял, почему 90% публичных ботов считают прибыль неправильно Я занимаюсь фьючерсным межбиржевым арбитражем. Для тех, кто не знает про что пойдет речь, суть простая: один и тот же контракт (например, ETHUSDT perpetual) торгуется на нескольких биржах одновременно. Цены всегда немного отличаются. Покупаешь где дешевле, продаёшь где дороже - разница твоя, независимо направления рынка и от того, куда же дальше пойдет цена. Казалось бы, звучит все максимально элементарно, но на практике обнаруживается куча подводных камней. За несколько месяцев я написал систему, которая параллельно мониторит 4 биржи (Bybit, MEXC, BingX, HTX), рассчитывает спреды по ~450 торговым парам (число зависит от наличия контрактов на биржах) каждые 5 секунд, сохраняет историю в базу данных на PostgreSQL и ищет устойчивые паттерны. В процессе написания я наступил на всевозможные логические грабли и понял, как сделать так, чтобы мой арбитражный бот не показывал прибыль, которой не существует на практике. В этой статье - три ключевых урока, которые мне пришлось усвоить, каждый из которых стоил мне дней отладки. https://habr.com/ru/articles/1006446/ Алгоритмы и Структуры данных

Telegram-канал Нейроньюс : пишем о нейросетях и ИИ Все анонсы о новых нейросетях и ИИ сервисах. Подписаться

Big O от абстракции на собеседованиях к реальному коду "Этот алгоритм работает за O(n log n)", часто вспоминается эта фраза, когда мы хотим пойти на собеседование, звучит как что-то абстрактное из учебников по алгоритмам. На самом деле Big O — это практичный инструмент описания производительности функции без привязки к конкретному железу или времени выполнения. https://habr.com/ru/articles/1006340/ Алгоритмы и Структуры данных

Как разработчик решил параллельно найму пилить свои бизнес-проекты с нулевым опытом: дневник с передовой Меня зовут Александр Торбек, И я попал в день сурка: код писать умею, зарплата стабильная. Но в заднице зудит ощущение катастрофического застоя. Поэтому я сделал глупейшую вещь — начал разрабатывать продукты. Без связей, плана и стратегии. В блоге буду фиксировать: — идеи (и почему 90% из них — говно собаки) — что сделал, сколько заработал — мысли айтишника, который впервые думает как продакт, а не как тупой исполнитель Я хочу пройти весь путь от основателя продукта до продажника. И выяснить, смогу ли без бизнес-бэкграунда выйти на уровень дядек в элитных пиджаках. Если тоже хотите создавать свои продукты — посмотрите, как я набиваю шишки первым: @atorbek_it

Поговорим о репутации В последнее время появляется всё больше попыток создать систему «распределённой репутации». Используя разные технические решения, люди пытаются изобрести механизм более или менее надёжного определения того, насколько можно доверять конкретному человеку. https://habr.com/ru/articles/1006132/ Алгоритмы и Структуры данных

«Напомним, ранее...»: зачем мы вернули RAG, от которого сами отказались Мы строим Рерайт-Завод – AI-систему для автоматизации рерайта новостей в региональных СМИ. Основная задача – автоматизировать все тупые бессмысленные рерайты пресс-релизов и прочей обязаловки, чтобы журналисты занимались журналистикой, а не переписыванием ТАСС. В первой статье мне напихали в панамку за то, что я рассказывала, как мы учим модель писать в стиле конкретного издания. Во второй за описание, как у нас устроен фактчек. Теперь ожидаю видимо того же за этот пост. Он про то, что не делает ни один рерайт-сервис. И что отличает текст, написанный журналистом, от текста, написанного чатГПТ, за секунду, ведь именно столько времени проходит с момента чтения до крика «это же нейросеть написала!!» https://habr.com/ru/articles/1005976/ Алгоритмы и Структуры данных

Decima-8: Нейроморфная архитектура, оперирующая уровнями энергии Decima-8: Нейроморфная архитектура, оперирующая уровнями энергии https://habr.com/ru/articles/1005762/ Алгоритмы и Структуры данных

В России можно посещать бесплатные IT-мероприятия хоть каждый день: как оффлайн, так и онлайн. Чтобы не пропустить полезные — сохраните канал @FreeItEvent. Анонсы вебинаров, хакатонов, конференций, мастер-классов и других событий в IT. Ивенты от гигантов индустрии и лучших специалистов по кодингу. Всё публикуют здесь.

Как и зачем ReAct-агенты ломаются в продакшене и чем их заменить Приветствую читателей. Мы пытались построить LLM-чат для продакшена. Через месяц у нас был 20k-токенный prompt, 50 тулзов и ответы по 2 минуты. В итоге пришлось отказаться от ReAct и перейти на LLMCompiler. А начали мы с того что компания захотела поекспериментировать с созданием чата https://habr.com/ru/articles/1005280/ Алгоритмы и Структуры данных

Решаем задачу сетевого планирования с помощью Python Приветствую, меня зовут Алёна. Недавно на математический основах информатики в университете мы проходили задачу сетевого планирования, с помощью которой можно смоделировать процесс производства изделий. Мне была интересна данная тема и я решила поделиться с вами, как решить задачу сетевого планирования с использованием языка Python. https://habr.com/ru/articles/739368/ Алгоритмы и Структуры данных

Почему ReAct-агенты ломаются в продакшене и чем их заменить Приветствую читателей. Мы пытались построить LLM-чат для продакшена. Через месяц у нас был 20k-токенный prompt, 50 тулзов и ответы по 2 минуты. В итоге пришлось отказаться от ReAct и перейти на LLMCompiler. А начали мы с того что компания захотела поекспериментировать с созданием чата Для начала освежим память как вообще работает llm и react архитектура. С точки зрения разработчика, ллм - это функция, которая принимает на вход строку и отдает другую строку, входящая строка может прораммировать то, какой ответ будет, например, вы можете попросить ллм вести себя как чат, далее хранить историю входов и выходов и передавать ее опять в ллм. https://habr.com/ru/articles/1005280/ Алгоритмы и Структуры данных

Как дата саинтист имиджборду писал На дворе конец 2023. Я только что уволился из Яндекса и скучаю по ячану, чуть меньше скучаю по этушке, вообще не скучаю по таскам, дедлайнам, ревью. Чтобы заполнить возникший информационный вакуум, пробую переключиться на реддит, hacker news, пикабу, вышивание крестиком, сканворды, пилатес — не то. Тогда мне в голову приходит гениальная идея: а почему бы не сделать свою имиджборду с авторизацией по корпоративной почте крупных российских компаний? Ячан для всех! https://habr.com/ru/articles/1005248/ Алгоритмы и Структуры данных

Что делает ChatGPT… и почему это работает? То, что ChatGPT может автоматически генерировать что‑то, что хотя бы на первый взгляд похоже на написанный человеком текст, удивительно и неожиданно. Но как он это делает? И почему это работает? Цель этой статьи — дать приблизительное описание того, что происходит внутри ChatGPT, а затем исследовать, почему он может так хорошо справляться с созданием более‑менее осмысленного текста. С самого начала я должен сказать, что собираюсь сосредоточиться на общей картине происходящего, и хотя я упомяну некоторые инженерные детали, но не буду глубоко в них вникать. (Примеры в статье применимы как к другим современным «большим языковым моделям» (LLM), так и к ChatGPT). https://habr.com/ru/articles/739014/ Алгоритмы и Структуры данных

Внутреннее устройство DRBD: алгоритмы работы отказоустойчивого хранилища Глубокое понимание внутреннего устройства DRBD позволяет более тонко настраивать работу системы и правильно планировать ресурсы. К счастью, у команды DRBD уже есть отличная документация, которая довольно подробно разбирает эту тему. Мы опирались на нее в своей работе, и решили перевести и выложить в открытом доступе 17-ю главу — как удобную шпаргалку по внутреннему устройству DRBD. Так что это не обычная статья, а перевод части официальной документации (исходная нумерация разделов сохранена). В этой главе представлена информация о внутренних алгоритмах и структурах DRBD. Она довольно подробно рассматривает внутреннюю работу DRBD, но делает это не настолько глубоко, чтобы служить справочником для разработчиков. Для этой цели рекомендуем обратиться к материалам, перечисленным в разделе Publications, и, естественно, к комментариям в исходном коде DRBD. https://habr.com/ru/companies/flant/articles/733770/ Алгоритмы и Структуры данных