Запрети мне псевдолейблить

Ключевая идея из соревнования, которую можно использовать: Если у вас объекты в датасете переменного объема, то можно просто разделить их на несколько этапов-лоудеров и тренироват вашу модель с разным батчсайзом. Например тут берут лоудер, в которой много 'мальенких' объектов и учатся на нем с батчсайзом в 200 каждую эпоху, а для больших объектов берут батчсайз 20. ТАким образом за одну эпоху мы используем два Loader, проходим по полным данным один раз и максимально утилизируем и данные и GPU. Вроде бы на поверхности, но большая часть участников в сореве большие события просто выкидывала.

🚀 @SBERLOGACOMPETE webinar on data science: 👨‍🔬 Дмитрий Руденко: "О Каггл соревновании Neutrinos in Deep Ice" ⌚️ 28 Апреля, пятница, 18.00 (Moscow Time) Add to Google Calendar Join us for the follow-up session of the IceCube: Neutrinos in Deep Ice competition, where we'll be discussing the best tricks to predict azimuths and zeniths, the best approaches for detector-compensation NN, and how to handle 400 GB of graphs. This competition was extraordinary, as it offered "best write" prizes, so you can expect to hear some excellent explanations from the winners. The goal of this competition was to predict the direction of neutrino particles using data from the IceCube detector at the South Pole. By improving the accuracy and speed of reconstructing neutrino events, we can gain a better understanding of the universe and its violent astrophysical sources. This challenge required a balance between accuracy and computational costs, as existing solutions have limitations. The winning solution will aid the international IceCube Collaboration in their research of the nearly massless and electrically neutral neutrinos. Zoom link will be available at https://t.me/sberlogabig shortly before the start. Don't forget to subscribe to our YouTube channel (https://www.youtube.com/c/SciBerloga) to watch the video recordings of the session later. 📢 Also subscribe to Dmitry's telegram-channel @pseudolabeling devoted to Kaggle and data science.

Сегодня закончился IceCube. Закончился на 327 месте Разбор ждем на следующей неделе: Почему не выиграли Что великолепного придумали лучшие команды Как же хендлить 400 гб графовых обучающих данных? У авторов соревнования есть отдельный приз за лучшее описание решения, так что должно быть жирно. Постараюсь мощный разбор подготовить