Nvidia представила новий підхід до передачі завдань між різними мовами-моделями в агентних ШІ-системах, який дозволяє уникнути дорогого повторного обчислення контексту. Дослідники компанії розробили метод прямого перенесення KV-кешу між моделями, що базується на простій лінійній математиці, а не на складних нейромережах. Це рішення може суттєво знизити обчислювальні витрати та затримки у довготривалих багатоетапних робочих процесах, де контекст накопичується протягом багатьох кроків.
Проблема виникає, коли агентна система передає завдання від малої моделі до більшої або навпаки. Отримуюча модель змушена перераховувати весь діалог з нуля, що призводить до значних витрат на обчислення та збільшення часу відповіді. Це стає критичним для підприємств, які використовують довгі ланцюжки взаємодій із кількома мовами-моделями. Запропонована техніка усуває цю проблему, дозволяючи моделі-приймачу використовувати вже обчислені ключі та значення з кешу попередньої моделі.
Щоб зрозуміти суть рішення, варто розглянути, як працюють мови-моделі. Під час обробки запиту модель виконує етап «prefill», під час якого обчислює ключі та значення для всіх вхідних токенів і заповнює KV-кеш. Потім настає етап «decode», коли модель генерує нові токени, використовуючи цей кеш. У довгих розмовах або агентних сесіях контекст зростає, і вартість prefill стає значною. Якщо система перемикається на іншу модель, кеш стає недійсним, оскільки різні моделі мають різні архітектури та формати кешу. Тому отримуюча модель змушена повторно виконувати prefill, що дорого та повільно.
Дослідники Nvidia зосередилися на передачі KV-кешу між моделями однієї родини, наприклад, між різними за розміром версіями Qwen, Llama або Ministral. Ці моделі мають спільні токенізатори, навчальні дані та архітектурні стилі, але відрізняються розміром і глибиною. Ключове відкриття полягає в тому, що структура KV-кешу є значною мірою лінійною, що дозволяє застосовувати прості алгебраїчні методи для перетворення кешу однієї моделі у формат іншої. Наприклад, при перенесенні кешу від моделі Qwen3 з 14 мільярдами параметрів до версії з 32 мільярдами параметрів, проста лінійна регресія від одного шару джерела до шару цілі відновлює 56% дисперсії ключів і 32% дисперсії значень. При комбінуванні кількох шарів ці показники зростають до 79% і 65% відповідно.
На основі цих спостережень дослідники створили практичну систему — замкнутий гребеневий маппер для кожного заголовка уваги. Він складається з трьох компонентів: гребенева регресія для кожного заголовка, яка використовує невеликий калібрувальний набір із кількох сотень текстових послідовностей; вибір найбільш передбачуваних шарів джерела для кожного шару цілі; та перетворення у просторі вмісту, яке видаляє RoPE-кодування перед трансформацією. Цей підхід дозволяє уникнути дорогого навчання нейромереж і працює значно швидше.
Експерименти показали, що на сумісних парах моделей процес лінійного перенесення працює у 2,7–25 разів швидше, ніж повторне обчислення контексту, зберігаючи до 98% точності цільової моделі. Це відкриває можливості для ефективнішого використання ресурсів: малі моделі можуть обробляти рутинні завдання, а при виникненні складних проблем контекст передається більшій моделі для підвищення якості відповідей. У зворотному напрямку, після обробки великого обсягу даних великою моделлю, кеш можна передати меншій моделі для економії обчислень.
Хоча поточне дослідження обмежене передачею в межах однієї родини моделей, автори зазначають, що метод може бути розширений на передачу між різними родинами, на моделі з різною кількістю заголовків уваги або на гібридні архітектури. Це відкриває шлях до більш гнучких та економічних агентних систем, які можуть динамічно обирати оптимальну модель для кожного кроку, не турбуючись про втрати продуктивності.