Запуск Stable Diffusion на Raspberry Pi Zero 2 W: выдающийся подвиг

Stable Diffusion, популярный инструмент генеративного искусственного интеллекта, стал катализатором демонстрации возможностей машинного обучения. Эта модель глубокого обучения преобразования текста в изображение позволяет пользователям создавать захватывающие фотореалистичные изображения исключительно на основе текстовых описаний. Включив специализированную модель скрытой диффузии, Stable Diffusion произвела революцию в том, как системы искусственного интеллекта понимают и создают визуальный контент, сделав его доступным и удобным для более широкой аудитории.

Еще более примечательно то, что Stable Diffusion способствовал демократизации передовых возможностей машинного обучения. Модель имеет открытый исходный код под разрешительной лицензией и может работать на относительно скромном оборудовании потребительского уровня. Фактически, даже умеренно оснащенного графического процессора с объемом видеопамяти не менее 8 ГБ достаточно для запуска модели Stable Diffusion. Дорогие облачные инфраструктуры и бюджеты крупных технологических компаний больше не являются обязательными условиями.

Но как насчет тех, у кого нет доступа к новейшему графическому процессору? Может ли Stable Diffusion по-прежнему генерировать изображения с ограниченными вычислительными ресурсами? Инженер Вита Плантамура задалась целью выяснить это, и результаты оказались неожиданными. Никакого модного графического процессора не требуется, и даже компьютера с приличными характеристиками того времени, когда Nickelback правил музыкальными чартами, может быть достаточно.

Плантамуре удалось запустить модель стабильной диффузии с одним миллиардом параметров на Raspberry Pi Zero 2 W. Pi Zero 2 W, оснащенный процессором Arm Cortex-A53 с частотой 1 ГГц и 512 МБ SDRAM, может показаться неподходящим для приложений глубокого обучения. . Однако при творческом подходе оказывается, что этот компьютер за 15 долларов справится со своей задачей.

Чтобы добиться этого, Плантамура разработал инструмент под названием OnnxStream. Обычно механизмы вывода отдают приоритет скорости, что часто приводит к интенсивному использованию памяти. Напротив, OnnxStream передает веса модели по мере необходимости, а не загружает все заранее. В случае с Raspberry Pi Zero 2 W доступные 512 МБ ОЗУ превысили необходимые требования, а всего 260 МБ оказалось достаточным.

Следует признать, что такой подход замедляет скорость обработки. Модели, работающие на OnnxStream, обычно занимают примерно в 0,5–2 раза больше времени по сравнению с системами с большим объемом памяти. Однако OnnxStream потребляет примерно в 55 раз меньше памяти, чем обычные системы. Этот прорыв потенциально может открыть захватывающие возможности tinyML, позволяя моделям работать на оборудовании, которое ранее считалось неподходящим для этих задач.

Хотя запуск Stable Diffusion на Raspberry Pi Zero 2 Вт может быть неоптимальным, когда доступен более мощный ноутбук для доступа по SSH, тем не менее, это впечатляющее достижение. Более того, это может проложить путь к новым вариантам использования, включающим мощные приложения машинного обучения на устройствах с ограниченными ресурсами.

Компания Plantamura щедро открыла исходный код OnnxStream, предоставив необходимую информацию на GitHub. Любой желающий может изучить этот инструмент, чтобы использовать потенциал tinyML и создавать свои собственные впечатляющие приложения.