Ivan's work&life thoughts

Achievement unlocked: Зайти в самолёт последним. (При этом без того, чтобы по громкой связи позвали)

Классический мл больше не будет прежним, или как Яндекс сами запускают вместо градиентного бустинга в каждый дом млщика –трансформер 😮 Наверняка многие экспериментировали при анализе табличных данных с помощью трансформера, а потом ходили в непонятках, почему же все таки CatBoost срабатывает лучше, так вот, теперь это в прошлом. Появился TabR (retrieval для табличных данных), который на бенчмарках бьет град бустинг (логично, иначе статьи бы не было) 🤨 Итак, поверхностно весь секрет в том, что ребята не просто натравливают retrieval, а [энкодят –> на каждую фичу подбирают ближайшего соседа по симилярити –> конкатят с исходным энкодингом –> делают предикт] (см вложения) все, расходимся, чуваки по-умному заюзали идею Конечно, там очень много деталий в ресерче, про которые хотелось бы упомянуть. (Во вложениях таблица с каждым пунктом, и что он дал на eval) А) В value модуль аттеншена добавили таргет labels B) Эмперически доказали, что тут расстояние симилярити надо измерять L2 расстоянием, и отказались от query матрицы соответственно C) вместо KNN для ближайших соседей взяли DNNR, который содержит поправочный член, которые по сути является производной D) применили cross attention и убрали скейлинг на размерность матрицы K в формуле внимания Метрики на бенче GBDT во вложениях 🖥 код

А вот ещё интересная новость: долгое время считалось что с табличными данными ваши нейросети и трансформеры работают хуже простого советского градиентного бустинга. Уже нет. Другой вопрос насколько это целесообразно по ресурсам, но сам факт очень занимательный.

#prog #go Вышла версия Go 1.21. В число невероятных изменений входят: * новые встроенные функции min и max * новая встроенная функция clear для удаления всех элементов из мапы и зануления элементов слайса (???) * File.Chdir теперь действительно меняет текущую рабочую директорию на Windows вместо того, чтобы всегда возвращать ошибку А ещё добавили — экспериментально! — способ сделать поведение переменных цикла более вменяемым: каждая итерация цикла создаёт новую переменную вместо переиспользования одной и той же.

После имплементации дженериков (плохой кста) команде го понадобилось несколько лет чтобы вмержить Min и Max. PS: я люблю и восхищаюсь Го, но дженерики...

Играли сегодня enowars CTF, заслуженный топ 1 Жаль, что за 7 лет проведения ивента, организаторы так и не научились делать AD...

За крайне короткую поездку на родину успел порубать с ребятками, чтобы вернуть топ-1 среди RU команд на ctftime.

А мне вопросительные знаки дороже основного сюжета.

Everyday we stray further from god..

Приехал в Ереван, а на меня какой-то мужик смотрит...

Бесцеремонно ввожу сюда новую рубрику #двериДублина Регулярность не обещаю.

Тут OpenAI аннонсировали для chatGPT систему плагинов. Штука конечно не Google-киллер, но прикольная. Но меня гораздо больше поразил способ интеграции этих плагинов. Вы - разработчик стороннего API, в который будет ходить chatGPT. Вам нужно добавить текстовое описание своего плагина, спецификацию OpenAPI и спецификацию аутентификации. И все. ChatGPT сможет сам понять на какой промпт дергать какую ручку по описанию ручек из OpenAPI и описанию плагина, который вы ему предоставили. https://platform.openai.com/docs/plugins/getting-started/writing-descriptions Выглядит сильно.

Тут на днях опубликовали интересную уязвимость. Уязвимость качается стандартной утилиты для создания скриншотов на Google Pixel. А именно: если вы кропнули скриншот (обрезали его) и отправили другу, то друг с большой вероятностью сможет восстановить полный скриншот. В некоторых источниках пишут что также можно восстановить изображение, если вы замазали части изображение в этой же утилите. https://andreapavone.com/2023/03/cve-2023-21036-acropalypse/ И как это обычно бывает, бага это очень детская. А именно отсутствие O_TRUNC при открытии файла на запись. Утилита напрямую переписывала исходный файл и не очищала его. Тем самым обрезанное изображение писалось в начало файла, и так как обрезанное изображение занимает меньше байт, то в файле все ещё оставились данные исходного изображения, которые лежали в файле ровно после конца нового изображения. Причем т.к. в PNG есть маркер конца изображения, то при просмотре такого скриншота он будет выглядеть как ожидается и на глаз такую проблему не заметить. В общем-то, грустная история о том, почему баги на клиентских приложениях это очень страшно, особенно если это может повлиять на privacy. Ну, и мораль: лучше тестируйте код. Сейчас кажется очевидно, что надо было бы добавить тест вида "Размер файла поменялся после кропа." Но скорее всего вместо него написали более функциональный "Прочитай обрезанную картинку и проверь width, height", а правильно было бы иметь оба. PS: пишут что такое же поведение нашли у стандартной утилиты 'Ножницы' под Windows. Microsoft 🤝 Google

Вчера еще раз убедился что транспортная система Дублина мягко говоря не очень. Чтобы добраться из района А в район Б тебе нужно сначала приехать в центр города. А потом чтобы из района Б попасть в район В вам нужно ... Правильно! Доехать почти в центр города! И все это чтобы забрать тортик для жены на её день рождения (который кстати сегодня).

PS: спасибо моей жене, которая заставила меня сходить в emergency. Если бы не она, я думаю еще бы дня два точно терпел как мужык и ныл.

Подытоживая, про ирландскую медицину могу сказать, что ждать долго, стоит дорого, качество могло быть и получше, но в целом, жив будешь.

Мне тут не посчастливилось более плотно прикоснуться к Ирландскому здравоохранению. Итак: мне плохо пару дней и лучше не становится. Встал вопрос, как получить срочную медицинскую помощь в Дублине/Ирландии. После чтения интернета и чатов сложилась следующая картина: 1. Есть GP(общий врач), но это не для случаев когда тебе прям плохо, да и запись к GP может быть только на следующую неделю. 2. Есть Emergency Department в больницах. Туда можно прийти, если помощь нужна срочно и если можешь дойти сам. 3. Есть скорая, но она платная. Причем стоит достаточно дорого, насколько мне известно. Подразумевается что ты вызываешь её, если тебе критически плохо и ты не сможешь сам добраться до Emergency. Я так понимаю, скорая может провести первичный осмотр, но потом всё-равно отвезёт тебя в Emergency Department. Я был не в критическом состоянии и пошёл своими ногами (на такси) в Emergency Department ближайшего госпиталя. Там с меня взяли 100 евро и попросили подождать осмотра. Я просидел часов 5-6, пока меня посмотрел настоящий доктор. За это время меня конечно посмотрели медсестры, взяли пару анализов и дали обезбол. Но время ожидания обезболивающего 3 часа (медсёстры просто не успевают позаботиться обо всех пациентах). Как только меня посмотрел доктор, он сказал что мне стоит лечь в больницу. Через час приехал таксист (которого оплатил не я) и забрал меня в St Vincent Hospital. Далее опыт был скорее положительный, я ожидал худшего. Палаты в публичном госпитале хорошие: 5-6 коек, один душ и туалет на палату. У каждой кровати есть плотная шторка (privacy!), есть розетки около кровати, столик и вообще, всё более-менее комфортно. К тебе приходят врачи, назначают процедуры, приносят таблетки. У тебя нет необходимости выходить из палаты. Если тебе нужно сходить на процедуру или анализ, тебе предложат доехать на кресле с помощью медсестры. Конечно можно отказаться и дойти самому. Из непривычного: ты можешь уже в больнице долго чего-то ждать. Например, врач говорил, что я могу ждать МРТ 5 дней. Конечно, если твоей жизни что-то угрожает или у тебя очень серьезная боль, тебе постараются помочь быстрее. Мне повезло, МРТ сделали быстрее, чем обещали. Всё мое пребывание в больнице уложилось в неделю. На последние 3 дня меня вообще перевели в приватную больницу (соседний корпус). Там вообще шик: ты лежишь один в палате, у тебя свой душ и туалет, дают фрукты и ягоды, воду со льдом, доступ в интернет. Причем моя страховка позволяла лежать в этой больнице всё время, но меня перевезли только на последние пару дней. Из неприятного: лёгкий бардак в больнице. Как это было для меня: Никто не спросил про страховку и поэтому первые дни я лежал в публичном госпитале, хотя мог бы и в приватном. Забывали кормить. Назначают анализ на завтра (нельзя есть и пить после полуночи). Ты, голодный, ждёшь анализа и в районе обеда оказывается, что анализ перенесли на следующий день. Обед тебе не принесут, потому что медсёстры забыли, что анализ перенесли, а значит, кормить можно. Хотя этот бардак иногда и помогал. Когда мне сказали что МРТ ждать 5 дней, я уже смирился и был готов ждать. На следующий день мне дали завтрак, а через час пришла сестра и спросила "Много ли я поел?". Оказывается, в бухгалтерии что-то напутали и можно бежать на МРТ. Хорошо, что я тогда почти не ел 🙂 А сколько всё это стоит? Если есть страховка, то зависит от страховки. В моём случае всё лечение должно быть покрыто. Если страховки нет, то один день в публичном госпитале стоит 80 евро в день. При этом, в течение 12 месяцев с тебя не могут взять более 800 евро. В общем-то по-божески, но с Ирландскими налогами хотелось бы лучшее качество медицины: меньше ждать анализов и врачей, ну, и видеть последних не раз в день. Из-за нехватки персонала был случай, когда ко мне вообще не пришёл врач и следовательно, я не знал результатов МРТ и последующего лечения, просто потому, что мой врач зашивал пациента, приехавшего на скорой. Надеюсь с зашитым все хорошо 🙂