Код в мешке

GitHub - cactus-compute/needle: 14MB foundation model for tiny devices; phones, wearables, smart home, and robots. · GitHub 2 days ago - Needle 2 is an open 45M-parameter model for tool calling, device use and structured extraction. The whole model is a single 14MB binary that runs a full session in about 28MB of RAM.

Cactus-Compute/needle2 · Hugging Face 1 month ago - Needle 2 is an open 45M-parameter model for tool calling, device use and structured extraction. The whole model is a single 14MB binary that runs a full session in 28MB of RAM. It is built on our Simple Attention Network findings, compressed ...

Needle 2 - The 14 MB Agentic LLM for Tiny Devices | Cactus Today we release Needle 2: an open 45M-parameter model for tool calling, device use and structured extraction. The whole model is a single 14MB binary that runs in 28MB of RAM. It is built on our Simple Attention Network, compressed to CQ2-bit with Cactus Quants, and baked into its own engine.

Цифра дня Всего 14 мегабайт весит языковая модель, которая может управлять устройством. Needle 2 от стартапа Cactus состоит из 45 миллионов параметров и целиком помещается в один 14-мегабайтный файл вместе с движком. Для сравнения, привычные большие языковые модели содержат миллиарды параметров, веся при этом десятки и сотни гигабайт. Needle кратно меньше их и требует для работы всего 28 мегабайт оперативной памяти. Конечно, поговорить по душам с такой LLM, в отличие от ChatGPT, не получится. Разработчики Needle пожертвовали универсальностью ради того, чтобы сделать её функциональной. Модель понимает человеческую команду и превращает её в вызов нужной функции. Например, фразу «выключи свет в спальне» она может превратить в команду для умного дома, а просьбу поставить таймер – в обращение к соответствующей функции устройства. Поэтому модель можно запускать локально на телефонах, часах, телевизорах, Raspberry Pi и даже микроконтроллерах. Экспериментальные языковые модели размером в несколько мегабайт существовали и раньше, но обычно умели лишь генерировать очень простой и довольно бесполезный текст. Из Needle же удалось сделать подходящий для определённых сценариев компонент умных устройств.

ГигаКонф 2026: место, где бизнес и разработчики обсудят будущее агентной экономики и генеративной разработки #habr https://habr.com/ru/companies/sberbank/news/1080982/ Tags: гигаконф, агентская разработка

Программирование с нуля бесплатно: 10 курсов, демодоступов и вебинаров — от тестировщика до ИИ и безопасности #habr https://habr.com/ru/companies/netologyru/news/1080954/ Tags: бесплатные курсы программирования, программирование с нуля, войти в it, смена специализации, курсы тестировщика, курсы 1с, апскилл, ии в разработке, новичкам, начинающим

Второе мнение: как я вайбкодил тренажёр для родов, готовясь стать отцом #habr https://habr.com/ru/articles/1080992/ Tags: вайбкодинг, роды, mvp Author: aleksskug

Whisper больше не нужен, русская диктовка мгновенно и без видеокарты #habr https://habr.com/ru/articles/1080986/ Tags: диктовка, распознавание речи, GigaAM, Whisper, macOS, speech-to-text, Swift, ONNX, open source, Сбер Author: ladapriora

Долговременная память для ИИ-ассистента: как превратить переписку в Telegram в структурированную базу знаний #habr https://habr.com/ru/articles/1080828/ Tags: llm, rag, ии-агенты, долговременная память, память, python, celery, postgresql, telegram, промпт-инжиниринг Author: and7ey

Утечка на 3.5 часа вперёд: как модель обманывала саму себя полтора месяца — и как мы это поймали #habr https://habr.com/ru/articles/1080972/ Tags: data leakage, pandas, resample, lookahead bias, time series, алготрейдинг, lightgbm, валидация данных Author: Searchlight

Сделай этот мир по-настоящему скучным #habr https://habr.com/ru/articles/1080936/ Tags: внимание, наушники, TWS, скука, прокрастинация, цифровой детокс, фоновые процессы Author: volkodav01

Нейросети для бизнес-аналитика: разбор ТЗ, оценка проекта и план-график за 15 минут #habr https://habr.com/ru/companies/bothub/articles/1080918/ Tags: ai, бизнес-аналитика, искусственный интеллект Author: BenderRobot (BotHub)

Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM #habr https://habr.com/ru/articles/1080970/ Tags: локальные llm, self-hosted, llama.cpp, gguf, ram, vcpu, kv-cache, квантование, inference, numa Author: SestrichkinK

Не получается доверять ИИ пока… #habr https://habr.com/ru/articles/1080968/ Tags: разработка, ии, оптимальность решения Author: SpiderEkb

Как посчитать качество найма? #habr https://habr.com/ru/articles/1079052/ Tags: качество найма, рекрутмент, HR-аналитика, подбор персонала, метрики рекрутмента, quality of hire, time to productivity, удержание сотрудников, эффективность найма, HR-метрики Author: prostoanalytics

Бесплатные курсы для фронтенд- и бэкенд-разработчиков на сайте AvitoTech #habr https://habr.com/ru/companies/avito/news/1080964/ Tags: avitotech, javascript, паттерны проектирования, фронтенд, бэкенд, бесплатные курсы

Оценка потенциала сотрудников: чем опасен общий рейтинг #habr https://habr.com/ru/articles/1080962/ Tags: оценка персонала компании, оценка персонала в организации, оценка персонала Author: Aleks_Smir

Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить #habr https://habr.com/ru/companies/airi/articles/1079898/ Tags: метрики, оценка качества, llm, llm-приложения Author: kopanichuk (AIRI)

Что можно доказать о своём ИТ-бюджете и на каких данных #habr https://habr.com/ru/companies/simpleone/articles/1080618/ Tags: ИТ-бюджет, ITAM, управление ИТ-активами, TCO, планирование бюджета, финансы, CIO, ИТ-директор, закупки, ESM Author: SimpleOne_it (SimpleOne)

Как тестировать API: 20 проверок, которые должен уметь делать QA #habr https://habr.com/ru/companies/netologyru/articles/1075684/ Tags: api, тестирование api, qa, postman, тест-кейсы, rest api, json schema, open api, автотесты, http Author: kirakirap (Нетология)