Найден способ заставить нейросеть работать без интернета
Инженеры научились сжимать большие языковые модели для их локального использования на ноутбуке или смартфоне.
Исследователи разработали алгоритм сжатия CALDERA (Калиброванная низкоразрядная декомпозиция с адаптацией низкого ранга), который представят на конференции по нейросетям в декабре.
Это уже не первый способ сжатия LLM, его новизна — в сочетании двух свойств: «низкой точности» и «низкого ранга».
Сжатую таким образом LLM можно
