26.03.2026 13:30
Google придумал, как ужать нейросети в 6 раз Google Research выпустил TurboQuant — алгоритм сжатия для LLM-моделей.
Google придумал, как ужать нейросети в 6 раз
Google Research выпустил TurboQuant — алгоритм сжатия для LLM-моделей. Он уменьшает потребление памяти в 6 раз, а скорость работы увеличивает в 8 раз без потери точности.
🤖 TurboQuant — это новый метод квантизации, который вместо 8- и 16-битных чисел использует 2- и 4-битные, но с умной компенсацией ошибок квантования. В результате алгоритм TurboQuant позволяет либо запускать модель на одной видеокарте вместо шести, либо упаковать шесть копий модели на одну карту.
Инвесторы уже сливают акции производителей памяти, а мы ждем понижения цен на ОЗУ. 🤩
@black_science
Google Research выпустил TurboQuant — алгоритм сжатия для LLM-моделей. Он уменьшает потребление памяти в 6 раз, а скорость работы увеличивает в 8 раз без потери точности.
🤖 TurboQuant — это новый метод квантизации, который вместо 8- и 16-битных чисел использует 2- и 4-битные, но с умной компенсацией ошибок квантования. В результате алгоритм TurboQuant позволяет либо запускать модель на одной видеокарте вместо шести, либо упаковать шесть копий модели на одну карту.
Инвесторы уже сливают акции производителей памяти, а мы ждем понижения цен на ОЗУ. 🤩
@black_science