Нейроморфное распознавание на Алтае

Как заставить нейроморфный процессор «Алтай» распознавать изображения: что умеет чип, какие сети на него ложатся, как их обучать и как доказать, что сеть заработает на кристалле.

Задача

Конечная цель — робот, который сам находит мусор в кадре своей камеры, а распознавание выполняет «Алтай». Пока цель недостижима напрямую: нет ни данных с робота, ни платы с чипом, а сам путь от картинки до ответа на чипе нужно было сначала построить. Поэтому вся техника отработана на рукописных цифрах MNIST — задаче, где ответ известен, а ошибку легко увидеть глазами. Всё, что описано в вики, переносится на мусор, кроме самих весов сети.

Зачем нейроморфный чип

Обычная нейросеть на каждую картинку перемножает все входы на все веса. Для сети 784 → 256 → 10 это 203 264 умножения со сложением, сколько бы пикселей ни было закрашено. Импульсная сеть считает только там, где что-то произошло: нейрон, получивший спайк, прибавляет к своему уровню вес связи, и всё. Лучшая сеть из этой вики распознаёт цифру за ≈20 тысяч таких сложений — в 10 раз меньше операций, и это сложения, а не умножения. На роботе с батареей это и есть довод в пользу чипа.

Как устроена система

Путь кадра через систему

Камера даёт кадр. Хост — обычный процессор робота — вырезает окно с объектом, выравнивает его и превращает яркость пикселей в спайки. Чип прогоняет спайки через сеть по тактам. Хост считает выходные спайки и выбирает ответ. Обучение в эту цепочку не входит: «Алтай» не умеет менять веса, поэтому сеть учат на компьютере и загружают готовой.

Что уже доказано, а что нет

Сеть	Точность на MNIST	Где проверена	Статус
Нативная сеть, 784 → 256 → 160	97,76%	KNP на CPU и GPU — 10 000 цифр; GoldenModel — 1000 цифр (97,50%)	счётчики спайков всех нейронов совпали с эталоном; ближе всего к чипу
Импульсная сеть по тактам, 784 → 256 → 10	97,42%	целочисленный эталон на Python и в браузере	в 17 раз экономнее нативной; в KNP и GoldenModel ещё не запускалась
Колонки STDP (пример KNP)	92,2%	KNP на CPU	единственная сеть, которая учится в самой платформе; держится за положение цифры
Дофамин по ошибке	94,8% (валидация)	KNP на CPU с доработанным бэкендом	учится в платформе, но признаки штрихов считает хост
Детекторы признаков, кошки/собаки	71,35% на CIFAR-10	KNP на GPU	на «Алтай» не ложится: в 5 раз больше нейронов и десятки весов на нейрон

Физический чип не проверялся ни разу. Самое сильное доказательство — программная копия чипа GoldenModel из официального бэкенда: на ней нативная сеть дала те же спайки, что и эталон, нейрон в нейрон.

Порядок чтения

Вики построена как цепочка вопросов. Импульсная сеть — как считает сеть из спайков. Процессор «Алтай» — что из этого умеет чип и какие правила он навязывает. Платформа KNP — чем сеть описывают и запускают. Обучение под «Алтай» — главная часть: четыре способа получить веса и их сравнение. Вход: хост и рисунки — почему рисунок мышью распознаётся хуже теста и как это лечить. От цифр к мусору — что из этого переносится на робота и чего не хватает.

Живая демонстрация

Страница распознавания: нарисуйте цифру и посмотрите, что с ней происходит до сети, внутри сети по тактам и после. На ней две сети — первая версия (колонки STDP) и последняя (сеть по тактам).

Дальше: Импульсная сеть — с чего начинается любая сеть на «Алтае».