Запрети мне псевдолейблить
Открыть в Telegram
Канал о пути к Kaggle competitions (теперь уже) GrandMaster и поте, которым обливаешься в процессе Последний авторский канал про мл, претендующий на искренность и позволяющий ставить клоунов Для контакта пишите в сообщения канала, они бесплатные
Больше4 138
Подписчики
+324 часа
+127 дней
+13830 дней
Архив постов
С Новым годом, подписчики! Благодаря вам могу гордо занимать топ-1 в тг каналах про софт в Германии
Однажды я убил два месяца, пытаясь понять, как писать из Spark, который управляется Airflow в Redis Cluster (101) и в итоге справился. Смешно, но я видимо был первым и последним человеком, который столкнулся с этой проблемой на всем stuckoverflow:
https://stackoverflow.com/questions/68173118/spark-redis-exception-caused-by-redis-clients-jedis-exceptions-jedisconnection/68484061#68484061
В итоге, через 23 дня я просто руками перебрал все варианты и сам себе ответил. Проект тот кстати помер, так и не дойдя до релиза, так что о эффективности связки я так и не узнал.
С тех пор я совершенно не перестал дружить разные инструменты в очень странных конфигурациях и встречайте:
Я взял коннектор датадога для Dagster и раширил его функционал так, чтобы он работал ну хотя бы так же гибко, как оригинальный Datadog:
https://github.com/dagster-io/dagster/pull/33151
Dagster — это оркестратор дата-процессов: штука, которая превращает «кучу джобов/скриптов» в нормальную систему с графом зависимостей, ретраями, расписаниями, параметрами и понятным UI. Нужен, чтобы пайплайны не были магией на кронах: быстро понять, что упало, что именно пересчитать, и чтобы прод не держался на вере и одном человеке. А, ну или если коротко- это Airflow здорового человека и сразу на стерройдах
Datadog — это наблюдаемость “всё в одном”: метрики, логи, трейсы, алерты и дашборды, которые склеивают картину от «почему сервис тормозит» до «вот конкретный запрос и вот строчка лога». Нужен, чтобы дебажить и мониторить прод не по ощущениям, а по телеметрии. Вот мы его и используем, чтобы понять, что какие-то важные продовые джобы померли.
Это наверно не самая горячая связка из двух инструментов, но надеюсь кому-то кроме меня будет полезна. Опять же, изи вклад в популярный инструмент. У меня кстати есть бывший коллега, который в дагстере успел поработать. @nadya_nafig
Делитесь своими изи-контрибьюшнами в комментах. А я пойду убежу 5 немцев подписать петицию о признании вклада в open source как службу обществу.
Repost from Hacker News
Backing Up Spotify (🔥 Score: 151+ in 2 hours)
Link: https://readhacker.news/s/6HSgm
Comments: https://readhacker.news/c/6HSgm
Кажется каггл нас заметил
https://www.kaggle.com/competitions/santa-2025/discussion/653383
Если вы ждете посты с новыми сабмитами- то их комьюнити постит в группе обсуждений канала. Вы туда заходите и забирайте. Превосходство или хотя бы паритет с японским коллективным разумом гарантирован
Я же обещал вам, что скелетрон вернется?
Прочитал книжку Филипа Котлера: Marketing Insights from A to Z
Книжка старая, из 2003 и потому позволяет оценить, насколько прозорливым был этот уже 94-х летний автор.
Моя любимая часть- это конечно про выжимание всех соков из своих подчиненных:
Скажем, ставьте задачу снижения себестоимости не на 10, а на 50%, увеличения производительности не на 10%, а в десять разТак что вот вам еще один паттерн, которому беззаветно следуют даже в мгу. Этому просто учат в книжках для управленцев! Самое забавное, что ожидать он учит как раз улучшения на 10% Но золотая цитата- это конечно вот это:
Найти общий язык со специалистами в области информационных технологий (ИТ) не проще, чем с инженерами. Маркетолог пытается говорить с ними про сделки, долю рынка и скидки, а они понимают лишь такие слова, как COBOL, Java, Linux или терабайт.После этого следует еще очень длинное объяснение, что статистический анализ данных и дата майнинг- это очень перспективно и может сильно помочь маркетингу. А это почти сразу после падения доткомов и молодой и голодный стартап «Google» стоил всего 23 млрд долларов целиком. А вообще книжка забавная. Особенно если делать скидку на то, что ей так много лет. Прошло 23 года, кобол похоронили, а вот теерабайт и линукс живее всех живых.
Вы ждали, вы просили и вот вам второй сабмит-лучше-паблика!
Только одна просьба: поставьте в название команды [t.me/pseudolabeling]
Сейчас саб дает 🥉
Заходим по ссылке, принимем правила и жмем submit predictions
https://www.kaggle.com/competitions/santa-2025/submissions
Подписывайтесь, завтра будет свежий апдейт сабмита
Вообще конкуренты очень бустро блендят, так что апдейтиться надо часто
Дарю всем желающим сабмит для санты, который лучше топ паблика
Только одна просьба: поставьте в название команды [t.me/pseudolabeling]
Сейчас саб дает 🥉
What? Cris Deot читает канал?
https://www.kaggle.com/competitions/santa-2025/discussion/642347
Оптимальное замощение 155 елками.
Кажется паттерн эффективный, потому что текущий лучший паблик имеет ту же структуру примерно, что и моя прошлая находка.
Думаю заруба через какое-то время перейдет на уровень, когда будут сражения за всякие нерегулярные паззлы большого размера.
Например за большие простые числа:
191, 173, 163 и тд
