Дроны, камеры и датчики могут стать главным полигоном для процессоров, которые почти ничего не делают до появления важного события.
Современный процессор умеет выполнять миллиарды операций в секунду, видеокарта может одновременно обрабатывать тысячи потоков, а специализированные ускорители ИИ перемножают огромные матрицы с впечатляющей скоростью. Но у человеческого мозга есть странное преимущество. Для распознавания лица, голоса, движения или неожиданного препятствия ему не нужна стойка серверов и система жидкостного охлаждения.
Нейроморфные чипы пытаются позаимствовать отдельные принципы работы нервной системы и перенести их в электронику. Не скопировать мозг целиком и тем более не построить «электронное сознание», а изменить сам способ вычислений. Вместо постоянной обработки больших массивов чисел такой процессор может реагировать только на значимые события, хранить данные рядом с вычислительными элементами и передавать между ними короткие импульсы.
Главная идея довольно проста. Обычный компьютер непрерывно двигает данные и выполняет команды. Нейроморфная система старается большую часть времени ничего не делать и просыпаться только тогда, когда произошло что-то заслуживающее внимания.
Почему обычные компьютеры так много тратят на ИИ
Большинство современных нейросетей сводит огромную часть работы к операциям над числами. Есть входные данные, например изображение, звук или текст, есть миллионы или миллиарды параметров модели, а процессору приходится снова и снова умножать числа, складывать результаты и передавать промежуточные значения следующему слою сети.
GPU и специализированные ускорители справляются с такой математикой намного лучше обычных CPU. Проблема не исчезает полностью. Для вычисления нужно получить веса модели из памяти, загрузить входные значения, выполнить операции, сохранить результат, затем передать новые данные дальше. Чем крупнее модель, тем больше энергии и времени уходит не только на арифметику, но и на перемещение информации внутри вычислительной системы.
Особенно странно такая схема выглядит при работе с потоками, где почти ничего не происходит. Камера наблюдает за пустым коридором, микрофон ждёт определённого звука, датчик вибрации контролирует исправный двигатель. Обычная система может продолжать считывать кадры или блоки данных через равные интервалы. Нейроморфный подход предлагает другой вариант. Нет изменения, значит нет причины запускать значительную часть вычислений.
Что такое нейроморфный чип простыми словами
Нейроморфный чип представляет собой процессор, архитектура которого использует принципы, подсмотренные у биологических нервных систем. Вместо нескольких очень мощных вычислительных ядер разработчики создают множество сравнительно простых элементов, похожих по функции на нейроны и синапсы. Элементы работают параллельно, хранят собственное состояние и обмениваются небольшими сообщениями.
Представьте большое здание с тысячами комнат. В обычной вычислительной системе сотрудники постоянно бегают в центральный архив за документами, относят бумаги обратно и ждут своей очереди. В нейроморфной архитектуре нужная информация находится ближе к рабочему месту, а сотрудник отправляет соседям короткое сообщение только после значимого события.
Сравнение с мозгом легко завести слишком далеко. Кремниевый «нейрон» не является цифровой копией живой нервной клетки, а нейроморфный процессор не думает как человек. Инженеры заимствуют конкретные свойства нервной системы, например распределённую обработку, локальную память, разреженную активность, асинхронную передачу сигналов и работу со временем.
Почему архитектура фон Неймана стала ограничением
Большинство привычных компьютеров построено вокруг принципа разделения памяти и вычислений. Данные и программы лежат в памяти, процессор получает нужные значения, выполняет инструкции и записывает результат обратно. Современные CPU значительно сложнее такой упрощённой схемы. В них есть многоуровневые кеши, предварительная выборка, внеочередное исполнение и другие механизмы, которые скрывают задержки. Основной конфликт при работе с огромными массивами данных всё равно остаётся.
Процессор способен выполнять арифметические операции быстрее, чем система успевает доставлять некоторые данные из памяти. Возникает так называемая «стена памяти». Для задач ИИ проблема особенно заметна, поскольку нейросети постоянно обращаются к большим массивам весов и промежуточных значений.
Нейроморфные архитектуры пытаются сократить такие поездки. Память может располагаться непосредственно внутри вычислительных ядер или совсем рядом с ними. Состояние искусственного нейрона хранится локально, а вместо передачи больших массивов соседнему ядру достаточно отправить сообщение о произошедшем событии. Полностью память от вычислений такая схема не избавляет, но расстояние и объём передачи данных можно заметно уменьшить.
Как работает искусственный нейрон
Для понимания нейроморфного процессора достаточно представить искусственный нейрон как маленький накопитель с порогом срабатывания. Нейрон получает сигналы от других элементов сети. Каждый вход имеет свой вес, который определяет силу и направление влияния сигнала. Входящие импульсы постепенно меняют внутреннее состояние нейрона.
В одной из распространённых моделей такое состояние называют мембранным потенциалом. Пока накопленное значение остаётся ниже заданного порога, нейрон молчит. Когда порог достигнут, нейрон генерирует короткий импульс, или спайк, передаёт сообщение связанным элементам и меняет своё внутреннее состояние. Часто накопленное значение одновременно постепенно уменьшается, если новые сигналы не приходят.
Схема «накопил, достиг порога, сработал» кажется примитивной, но большие сети таких элементов способны обрабатывать довольно сложные временные зависимости. Причём важен не только сам факт прихода сигнала. Информацию может нести частота импульсов, порядок их появления, задержка или точный момент срабатывания.
Что такое спайковые нейронные сети
Спайковая нейронная сеть, или SNN от английского Spiking Neural Network, строится из нейронов, которые общаются короткими импульсами. В обычной искусственной нейросети слой чаще передаёт следующему слою набор числовых значений. В спайковой сети коммуникация становится событийной. Искусственный нейрон сообщает соседям, что сработал, а время такого события само может участвовать в кодировании информации.
Можно представить два датчика. Первый каждую миллисекунду отправляет процессору текущее значение, даже если показатель не менялся. Второй молчит, пока значение остаётся стабильным, а затем сообщает только об изменении. Во втором случае количество переданных данных резко сокращается, когда события редки. Похожий принцип позволяет спайковым сетям использовать разреженную активность.
SNN не являются автоматически более точными или более эффективными для любой задачи. Обучать такие сети сложнее, поскольку импульс возникает пороговым образом, а классические методы обучения нейросетей лучше работают с гладкими математическими функциями. Исследователи используют специальные методы обучения, приближённые производные, преобразование обычных нейросетей в спайковые и комбинированные архитектуры. Поэтому заменить все современные нейросети спайковыми одним нажатием кнопки пока нельзя.
Почему вычисления происходят только при событиях
Событийный принцип хорошо виден на примере камеры. Обычная камера может снимать 30 или 60 полных кадров в секунду. Если камера направлена на почти неподвижную комнату, большая часть пикселей от кадра к кадру практически не меняется. Система всё равно получает и обрабатывает миллионы значений.
Событийная камера может работать иначе. Каждый элемент матрицы сообщает в основном об изменении яркости. Пока участок изображения остаётся неизменным, поток данных от него резко сокращается. Когда через кадр пролетает мяч, движущиеся границы создают последовательность событий. Нейроморфный процессор получает уже не серию полных фотографий, а поток изменений во времени.
Такой подход особенно хорошо подходит для постоянно работающих датчиков, роботов, промышленного оборудования, носимой электроники и других систем, где большую часть времени наблюдается обычное состояние. Процессор не обязан синхронно пересчитывать всю сеть через одинаковые интервалы. Активность распространяется туда, где появилось событие. Чем разреженнее поток, тем привлекательнее потенциальная экономия.
Из чего состоит нейроморфный процессор
У разных разработчиков архитектуры заметно отличаются, поэтому универсальной схемы нейроморфного чипа не существует. Одни процессоры полностью цифровые, другие используют аналоговые схемы, третьи совмещают оба подхода. Исследуются также резистивная память, фотонные элементы, новые материалы и другие способы приблизить хранение состояния к вычислению.
Типичный цифровой нейроморфный процессор можно мысленно разобрать на несколько основных частей.
- Искусственные нейроны. Хранят внутреннее состояние, получают входные сигналы и генерируют импульсы после выполнения заданных условий.
- Синапсы. Описывают связи между нейронами и веса, с которыми входящие события влияют на получателя.
- Локальная память. Хранит веса, параметры и состояние рядом с вычислительными элементами, уменьшая обращения к внешней памяти.
- Сеть обмена событиями. Доставляет спайки между нейроморфными ядрами. Вместо передачи полного состояния отправляется компактное сообщение о событии.
- Интерфейсы ввода и вывода. Связывают нейроморфную часть с датчиками, обычным CPU и остальной системой.
Реальный нейроморфный компьютер обычно не существует в вакууме. Центральный процессор может загружать модель, управлять устройством и выполнять обычный код, а специализированная часть берёт на себя событийную обработку. Получается гибридная система, где нейроморфный ускоритель выполняет только подходящую для него работу.
Чем нейроморфный чип отличается от CPU, GPU и NPU
Главное различие находится не в количестве ядер и не в загадочном слове «нейро». CPU, GPU и NPU в большинстве современных устройств по-прежнему работают с числовыми данными в привычной цифровой форме. Специализация меняет способ выполнения операций, но не обязательно переводит вычисления на событийную модель.
| Тип процессора | Для чего создан | Как работает | Где особенно полезен |
|---|---|---|---|
| CPU | Универсальные программы | Выполняет широкий набор инструкций и хорошо справляется со сложной логикой | Операционные системы, приложения, управление, универсальные вычисления |
| GPU | Массовый параллелизм | Одновременно выполняет большое количество похожих числовых операций | Графика, обучение нейросетей, научные расчёты, ИИ |
| NPU | Ускорение нейросетей | Специализируется на операциях вроде умножения матриц и свёрток | Распознавание изображений, генеративные модели, обработка речи и другие задачи ИИ |
| Нейроморфный процессор | Событийные и разреженные вычисления | Распределяет обработку между искусственными нейронами и передаёт события между ними | Сенсоры, робототехника, управление, временные сигналы, постоянно работающий периферийный ИИ |
NPU иногда путают с нейроморфным процессором из-за названия. Большинство NPU внутри смартфонов и ноутбуков не моделирует спайковые нейроны. Такой ускоритель скорее представляет собой специализированную фабрику матричной арифметики. NPU очень быстро выполняет операции обычной нейросети, тогда как нейроморфная архитектура пытается изменить саму модель вычисления.
Поэтому вопрос «что быстрее» поставлен неправильно. GPU может оказаться несравнимо удобнее для обучения большой языковой модели, CPU лучше справится с ветвящимся универсальным кодом, а нейроморфный процессор способен получить преимущество на потоке редких событий от датчиков. Архитектуры решают разные задачи и всё чаще дополняют друг друга.
Почему нейроморфная архитектура экономит энергию
Экономию часто объясняют фразой «чип работает как мозг», но такое объяснение практически ничего не говорит. Реальные причины гораздо конкретнее. Нейроморфная система пытается уменьшить количество ненужных вычислений, объём пересылаемых данных и расстояние, которое информация проходит внутри аппаратуры.
Первый источник экономии даёт разреженность. Если из тысячи искусственных нейронов в конкретный момент активны только несколько, остальным не требуется выполнять полноценную операцию. Второй источник связан с локальностью памяти. Вес связи и состояние нейрона можно хранить рядом с вычислительной схемой вместо постоянного обращения к удалённой памяти. Третий источник даёт событийная передача данных. Между ядрами отправляется информация о произошедшем событии, а не обязательно полный массив чисел.
Асинхронная работа тоже может уменьшать лишнюю активность. Обычная цифровая схема часто синхронизируется общим тактовым сигналом. В нейроморфных системах некоторые блоки способны работать по мере поступления событий. Нет события, нет соответствующего вычисления. Конкретный выигрыш сильно зависит от архитектуры, алгоритма и характера данных, поэтому обещание «нейроморфный процессор всегда потребляет в сотни раз меньше» было бы рекламой, а не техническим объяснением.
Где нейроморфные чипы действительно имеют смысл
Наиболее естественная среда для нейроморфных вычислений находится не в центре огромного облачного комплекса, а рядом с источником непрерывных данных. Робот получает поток от камер и датчиков. Дрон должен быстро реагировать на изменение обстановки. Промышленный контроллер сутками слушает вибрацию двигателя и ищет редкую аномалию. Носимое устройство анализирует сигналы при жёстком ограничении аккумулятора.
Во всех подобных случаях полезно обрабатывать информацию сразу после появления события, не отправляя постоянный поток в облако и не включая мощный вычислитель для каждого нового отсчёта. Такая обработка может уменьшить задержку, трафик и энергопотребление. Локальная работа также позволяет не передавать исходные данные за пределы устройства, хотя сама по себе нейроморфная архитектура, конечно, не превращает устройство в автоматически безопасное или приватное.
Нейроморфные процессоры интересны и для задач, где важна временная структура сигнала. Звук, движение, жесты, вибрация и данные биологических датчиков естественным образом развиваются во времени. Спайковая сеть способна учитывать не только величину сигнала, но и последовательность событий. Именно здесь отличие от обычного ускорителя матричных операций начинает приносить практический смысл.
Короткий вывод
Нейроморфный чип представляет собой специализированную вычислительную архитектуру, которая переносит в электронику отдельные принципы нервной системы. Множество простых искусственных нейронов хранят состояние, получают сигналы, накапливают их и создают короткие импульсы после достижения определённых условий. Импульсы распространяются по сети и запускают дальнейшую обработку.
Главная особенность находится не в сходстве с человеческим мозгом, а в событийной модели. Обычный ускоритель обычно получает массив данных и выполняет над ним заранее определённый набор операций. Нейроморфный процессор может молчать до появления события, после чего активирует только нужную часть сети. Локальная память и разреженные связи дополнительно сокращают дорогостоящую передачу информации.
Поэтому нейроморфные чипы не стоит воспринимать как будущую замену всех CPU, GPU и NPU. Гораздо реалистичнее другая картина. Универсальный процессор управляет системой, GPU или NPU выполняет тяжёлые плотные вычисления, а нейроморфный блок постоянно следит за потоком событий с минимальными затратами энергии. Для мира, где камеры, роботы, автомобили и миллиарды датчиков должны анализировать окружающую среду круглосуточно, такой специализированный «нервный рефлекс» компьютеру может оказаться полезнее ещё одного очень быстрого калькулятора.
