Сколько токенов в секунду выдаёт ваша конфигурация и где она теряет скорость. Методика замеров, настройки бэкенда, разгон и ограничения по питанию.
128 ГБ хватает почти на любую модель до 120B. Скорость решает не объём памяти, а число активных параметров: gpt-oss-120b идёт на 33–53 ток/с, плотная…
16 ГБ — рабочий минимум 2026 года. Считаем видеопамять по формуле «веса + KV-кэш + оверхед» и разбираем, почему MoE-модели сломали старую арифметику.
