NVIDIA пусна Dory 4B: модел, който може да мисли повече, без да расте
MarkTechPost · събота, 7 ноември, 21:22 · 1 мин четене
Един модел работи с различни нива на изчисления заради повтарящ се блок
NVIDIA публикува Dory 1.0 4B, малък модел за разсъждения от екипа Nemotron Labs. Средните му слоеве образуват общ блок, който може да се прилага веднъж, два, три или четири пъти за всеки токен. Всяко повторение се нарича цикъл и добавя изчисления, без да добавя нито един параметър. Така един и същ контролен файл работи с four различни бюджета за изчисления без преобучение.
За да се пусне моделът, трябва да се компилира специален клон на llama.cpp, защото поддръжката на Dory още е в чернова. Официалната страница на модела сочи точен коммит, който трябва да се използва. GGUF файлът в квантизация Q5_K_M е около 3,7 GB.
В ръководството се показва как да се сравнят цикълите: колко памет за кеша заема всеки цикъл, колко бързо декодира моделът при различните стойности и как се променя точността на GSM8K при повече цикли.
Ако имаш видеокарта или Mac с Apple чип, можеш да пробваш същото у дома. Компилирането отнема известно време, но инструкциите са подробни.


