Запуск нейросетей на iPhone: новая возможность с Edge0
Интересная новость для разработчиков и энтузиастов! Теперь вы можете запускать огромные модели с 35 миллиардами параметров на своем iPhone благодаря новому опенсорсному движку Edge0. Он позволяет работать с локальными нейронными сетями на архитектуре MoE, используя всего 1-2,5 ГБ оперативной памяти. Как это возможно? Дело в том, что вместо RAM используется флеш-память устройства.
Для работы с моделью на 35B параметров потребуется iPhone 15 Pro или более новая версия. Более того, доступны также модели на 8B. Исходный код можно найти на GitHub. Это открывает новые горизонты для разработчиков, желающих экспериментировать с нейросетями на мобильных платформах.
#Edge0 #AI #iPhone #MachineLearning #OpenSource
Запуск нейросетей на iPhone: новая возможность с Edge0
