«Глубокие нейронные сети постоянно усложняются, содержат сотни миллионов и более коэффициентов, что требуют большей вычислительной мощности. Это ограничивает возможность использования центральных процессоров в системах искусственного интеллекта. Исследователи Smart Engines решили эту проблему, предложив качественное улучшение 8-битной модели — 4,6-битные сети. Они работают быстрее 8-битной модели на 40%, но практически не уступают ей по качеству за счет более эффективного использования особенностей центральных процессоров мобильных устройств», — рассказали в компании.
«Быстрый и высокоэффективный ИИ сегодня нужен везде и всем. Каждый человек хочет, чтобы у него на мобильном телефоне был ChatGPT. И 4,6-битные модели — важный шаг на этом пути. Они позволяют, с одной стороны, снизить затраты на оборудование для уже существующих решений. С другой — решить совершенно новый класс задач компьютерного зрения на текущем оборудовании, где раньше не хватало вычислительных ресурсов», — объяснил Арлазаров.
Сегодня работа с нейросетями возможна на специализированных видеокартах, однако не все компьютеры ими оснащены. Но у каждого пользовательского устройства — будь то компьютер или смартфон — есть центральный процессор, и для него использование 8-битных нейронных сетей является мировым стандартом. Как рассказали в Smart Engines, 4,6-битные нейросети — более «легкие», их проще использовать в центральных процессорах на разных устройствах.
Компания уже использует 4,6-битные нейросети в своих разработках, в частности для решения прикладных задач компьютерного зрения для поиска и распознавания объектов — обычно они выполняются на устройствах с невысокими вычислительными возможностями. Кроме этого, разработка может расширить класс задач, которые выполняют бортовые компьютеры беспилотных автомобилей.
«В результате санкций мобильные приложения ведущих банков были удалены из магазинов. Тогда удалось создать веб-приложения, в которых были сохранены все привычные функции, в том числе платежи по QR-кодам. Это во многом было достигнуто благодаря 4,6-битным сетям… Хотя это выглядит как вопрос быстродействия, но на самом деле это еще вопрос безопасности. Для этого нужно, чтобы ваш ИИ был с вами, ваши данные были с вами, то есть на смартфоне, а не на громадном сервере. А для того, чтобы реализовать функционал на маленьком мобильном телефоне и чтобы это работало, нужны специальные ухищрения», — добавил Арлазаров.
