Google решает проблему дефицита ОЗУ с новым алгоритмом
В условиях растущего дефицита оперативной памяти на рынке технологии от Google становятся настоящей находкой. Компания представила алгоритм сжатия для LLM-моделей под названием TurboQuant, который значительно оптимизирует использование KV cache — памяти, необходимой нейросетям для хранения информации о предыдущих токенах во время генерации ответов.
Согласно предоставленным данным, использование нового алгоритма позволяет сократить требования к памяти в 6 раз, одновременно увеличивая скорость работы на 800%. Эти достижения не сказываются на точности, что делает решение особенно привлекательным для разработчиков. Реакция рынка была мгновенной: инвесторы начали распродажу акций компаний-производителей памяти, таких как Micron и SK Hynix.
#Google #ОЗУ #алгоритмы #нейросети #инновации
Google решает проблему дефицита ОЗУ с новым алгоритмом
