Исследователи NVIDIA представили pipeline KVTC Transform Coding, позволяющий сократить кэши ключ‑значения в 20 раз и повысить эффективность обслуживания больших языковых моделей
В последние годы рост моделей‑языков достиг масштабов, которые ставят перед индустрией новые технические и экономические вызовы. Трудностью остаётся не только […]