Новини›Нови модели›Nous Research пусна Arete-27B, който намалява пропагандата в Qwen3.8-27B от 22% на 0.9%
Нови модели

Nous Research пусна Arete-27B, който намалява пропагандата в Qwen3.8-27B от 22% на 0.9%

MarkTechPost · неделя, 8 ноември, 06:45 · 1 мин четене

Отворен модел с Apache 2.0 лиценз, базиран на Qwen3.8-27B, без промени в архитектурата.

Nous Research представи Arete-27B, модел с отворени тегла и Apache 2.0 лиценз. Той е дообучен върху Qwen3.8-27B, като е използван само контролирано дообучение, без подсилено обучение и без промени в архитектурата.

По собствения тест на Nous с 803 въпроса, отговорите с пропаганда паднаха от 22% на 0.9%. Резултатът в Hermes Bench остана почти същият, 65.60% спрямо 65.77% при базовия модел. Компанията смята тази разлика за шум.

Най-голямата промяна е в темата за свободата на изразяване. Там средният резултат за фактите се повиши от 0.89 на 2.44, а пропагандата падна от 60% на 1%. Тестът изисква моделът да цитира точната фраза, когато отбелязва пропаганда.

За обучението Nous използва около 52.8 милиона токена с контекст 64k. Като учител послужи отвореният модел Inkling на Thinking Machines, за да се избегнат ограничения за дистилация. Визуалната част на модела остана замразена, защото данните са само текстови.

Теглата са публикувани в BF16 във Hugging Face, а тестовите и тренировъчните данни също са публични. Към момента няма облачен доставчик, който да предлага модела. Общността вече е направила GGUF версии, които работят в llama.cpp, LM Studio и Ollama, с размер от 8.64 GB до 53.81 GB.

Още новини