Для Hi3516D макетной платы+ Movidius MA2450 VPU поддерживает глубокое обучение

Описание

Hi3516D макетная плата + Movidius MA2450 VPU поддерживает глубокое обучение

Movidius Myriad 2 VPU (блок обработки зрения) называется чиповым раствором «Начало третьей визуализации».Movidius был приобретен Intel, Intel Movidius Myriad VPU 2 может быть применен в различных целях с низким энергопотреблением, высокой производительностью решений визуальной обработки, включая встроенную глубину нейронной сети, оценку позы, внутренняя навигация, 3 d глубина индукции, 3 d Рисование (3 d сканирование моделирования), визуальная инерция в диапазоне, И отслеживание жестов/глаз, на основе обучающей среды глубокого восприятия.

Охранные giants haikang и dahua applied Movidius Myriad 2 блок визуальной обработки для камеры видеонаблюдения. В дополнение к традиционным задачам, таким как мониторинг и запись, они обеспечивают расширенные функции анализа видео, такие как мониторинг плотности толпы, стереоскопическое видение, распознавание лиц, сбор данных о популяциях, анализ моделей и Обнаружение автомобилей, припаркованных на месте.

Myriad 2 предоставляет технологию vision-intelligence для недавно выпущенных dji Spark, первый мини-Дрон, который уже долгое время был массовым.

Чип разделен на две части, одна из которых имеет 12 бритье 128 бит процессоров, оптимизирован для обработки изображений, каждая работает на 600 МГц, и имеет возможность overclock.Эти процессоры сочетаются с аппаратными ускорителями, которые Movidius вызывает SIPP встроенные фильтры для обработки трубопроводов, которые выполняют заданные задачи обработки изображений, такие как использование данных из различных типов камер или сплочение нескольких видеоматериалов вместе.Есть также два 32-разрядный процессор RISC процессоров для чип управления.

В конце бритье рассчитываются исходные данные изображения, что позволяет oems выбрать другой вариант.Сипп может работать вместе по общим задачам;Структура центрального регистра позволяет обеих сторон микросхемы обрабатывать одинаковые ДАННЫЕ одновременно.Это ценно для снижения задержки.

С учетом этого архитектурного дизайна, Myriad 2 VPU чип имеет площадь 6,5 мм и толщину 1 мм. Особая производительность заключается в том, что она может одновременно обрабатывать данные с 12 13-мегапикселей камер с частотой кадра 48 кадров в секунду. Съемка видео 4 K при 60fps также не давит, а энергопотребление ниже 0,5 Вт (TSMC 28nm HPC процесс).Согласно el-ouazzane, Myriad 2 потребляет как минимум в 10 раз меньше мощности, чем GPU, который обеспечивает такое же количество производительности.

С точки зрения глубоких рамок обучения, он поддерживает Caffe, полное имя которого является воодушевленной архитектурной для быстрого встраивания функций. Авторами является jia yanqing, PhD выпускник провинции Чжэцзян, который окончил Беркли. Это четкая и эффективная система глубокого обучения с открытым исходным кодом, основной язык которого-C + + и поддерживает интерфейсы командной линии, pyn и Matlab.Он также поддерживает TensorFlow Google.Таким образом, программисты C/C + + и Python могут быстро врезаться в структуру глубокого обучения работе.

I. Введение основных параметров производительности Hi3516A/D

1. ARM Cortex-A7 @ 600 МГц, 32 КБ i-cache, 32 КБ d-cache/128 Кб L2 кэш;

2. Поддержка неонового ускорения и интегрированный блок обработки FPU;

3. H.264 BP/MP/hp;

4. Главный профиль H.265. Код H.265 является изюминкой этого чипа.

5. Базовое кодирование MJPEG/JPEG;

6. H.264/h. 265 поддерживает максимальное разрешение 5 м пикселей;

7. H.264/h. 265 мультикодовая способность кодирования в реальном времени;

8. H.264/h. 265 мультикодовый поток в реальном времени кодирование способность:

Hi3516A *:

#30 FPS _ 1080 P + 720 p @ 30 FPS + VGA @ 30 FPS

#60 кадров в секунду _ 1080 P @ + VGA @ 30 кадров в секунду

#30 кадров в секунду + VGA _ 5 м @ 30 кадров в секунду

Hi3516D *:

#30 FPS _ 1080 P + 720 p @ 30 FPS + VGA @ 30 FPS

#30 кадров в секунду + VGA _ 3 м @ 30 кадров в секунду

#15 FPS _ 5 M @

9. Поддержка JPEG snapshot 5m @ 8fps;

10. CBR/VBR контроль скорости, 16 Кбит/с ~ 40 Мбит/с;

11. Скорость кодирования кадра поддерживает 1/16 ~ 60 кадров в секунду;

12. Поддержка 8 регионов (ROI) кодирования;

13. Поддержка 1 32 бит ddr3/3l с максимум 600 МГц (1,2 Гбит/с) (Hi3516D поддерживает только s 1 16 бит ddr3/3l с максимальным 600 МГц), и компания имеет 512 М байт DDR3;

14. Поддержка SPI NAND FLASH с максимальной поддержкой 4 Гбит;

15, поддержка 8bit шины NAND FLASH, поддержка SLC, MLC, поддержка 4, 8, 24 бит ECC, компания поставляется с 8bit шины 128 м байт NAND FLASH.

Ii. Hi3516A/D внутренний интегрированный интеллектуальный анализ Видео

Интегрированный Интеллектуальный механизм ускорения анализа (IVE), который поддерживает Интеллектуальное обнаружение движения, предотвращение периметра, видео-диагностику и другие интеллектуальные приложения анализа, также является изюминкой этого чипа;

Поддержка движения данных DMA, преобразования цветного пространства, фильтрации фильтра 5X5, sobel-like gradient calculation;

Поддержка 5x5 шаблонов градиентной амплитуды и вычисления угла, а также обнаружения кромок Canny, коррозии, эроде 5x5 шаблон расширен 5x5 шаблон расширения;

Поддержка молотилка изображения, поддержка двух изображений с или, по-разному или, поддержка двух изображений взвешенное дополнение, вычитание;

Он поддерживает Integ интегральный граф, гистограмму гистограммы и распределяет значения на изображения через карту 256 уровня.

Поддерживает среднюю фильтрацию, максимальную фильтрацию, минимальную фильтрацию и линейное преобразование от 16 бит данных до 8 бит данных;

Поддерживается binarization Bernsen, два изображения одного и того же размера могут рассчитать количество взаимных отношений, и поддерживаются маркеры подключенной области.

Поддержка серого и RGB смешанного gaussian фонового моделирования, поддержка простого локального вычисления бинарного режима;

Поддержка нормированного градиентного вычисления, LK оптического отслеживания потока, ShiTomasi Угловое обнаружение, градиентная работа переднего плана;

Поддержка сопоставления фона, обновление фона, предсказание ANN_MLP, предсказание SVM;

И многие другие функции (см. Таблицу чипов для деталей);

Видео и обработки графики

Поддержка 3D денозирования, улучшения изображения, функции обработки динамической контрастности;

Поддержка видео, графического выхода анти-мерцания обработки;

Поддержка видео 1/15. 99 ~ 16x функция масштабирования;

Поддержка графической функции 1/2 ~ 2x масштабирования;

Поддержка 8 регионов предварительной обработки OSD наложения;

Поддержка 2 слоев (видео-слой, графический слой) видео-графика наложения;

Характеристическая вязкость полимера. Функцией ISP

Новый ISP-это также яркое место для чипа;

Поддержка функции 3A (AE/AWB/AF), пользователь управления 3A может регулировать;

Поддержка функции фиксированного режима шума (FPN);

Поддержка сильного подавления света, Компенсация подсветки, гамма, улучшение цвета;

Поддержка defogging, коррекция плохой точки, денозировка, цифровой анти-встряхивание, коррекция искажений объектива;

Поддерживает вращение изображения на 90 градусов/270 градусов, зеркало изображения, флип;

Поддержка цифрового WDR, Frame base/Line base WDR и Tone mapping;

5. Другое функции

Поддержка аудио программного обеспечения для осуществления кодирования и декодирования g. 711, ADPCM и g. 726;

Поддержка функции подавления эхо аудио программного обеспечения, поддержка ANR, с функцией АРУ;

Поддержка аппаратной реализации AES/DES/3DES три шифрования и дешифрования;

Поддержка цифровой технологии маркировки воды;

Низкая мощность дизайн;

Видео вход:

Поддержка 8/10/12/14 bit rgb Bayer времени постоянного тока серии видео вход переменного тока, тактовая частота до 150 МГц;

Поддержка bt.601, bt.656, bt.1120 входной интерфейс видео;

Поддержка MIPI, LVDS/sub-lvds, интерфейс HiSPi;

Поддержка стыковки с SONY, Aptina, OmniVision, Panasonic и другой основной hd cmos-датчик;

Поддержка совместимости электрических характеристик различных сенсорных параллельных/дифференциальных интерфейсов;

Поддержка входного максимального разрешения 5 м пикселей;

Видео выход:

Поддержка 1-way PAL/NTSC Выход, поддержка Автоматическая нагрузка обнаружения;

Обеспечить 1 bt.1120/BT656 видео выходной интерфейс для внешнего HDMI или SDI интерфейса, максимальная поддержка 1080P @ 60fps выход, цифровой выход очень время стыковки FPGA;

Vi. Периферийный интерфейс

Датчик SONY IMX291;

Интегрированный Высокоточный RTC;

Поддержка TF карты;

Поддержка аудиовхода и выхода;

Поддержка 2-полосная релейный выход;

Поддержка 2 входа оптопара;

4 интерфейса UART поддерживаются, один как интерфейс RS485, другой как последовательная отладка LINUX;

Поддержка ИК-интерфейса, интерфейс 2c, основной интерфейс SPI, Интерфейс GPIO;

Поддерживает 8 PWM интерфейсов (4 самостоятельных, 4 мультиплексирования других контактов);

Поддержка 2 интерфейсов SDIO3.0, Поддержка SDXC, а именно поддержка sd-карты;

Поддержка 1 USB 2,0 хост/интерфейс устройства;

Поддержка моделей RGMII, RMII и MII;Поддерживает 100/1000 Мбит/с Полный дуплексный или полудуплексный режим, обеспечивает PHY выход часов;Поддержка ускорения сети TSO;

Поддержка POR;

Поддержка 3g/4G модульная схема и wifi модульная схема;

Поддержка SPI NAND FLASH circuit, без сварки, защищены;

Поддержка источника питания постоянного тока 12 В;

Программное обеспечение для поддержки

На основе Hi3516D V100R001C01SPC070 комплект разработки;

U-boot-2010,06;

Linux 3,4-35;

Поддержка файловой системы Yaffs2;

Укажите исходный код драйвера датчика IMX291;

Приведите примеры вызовов частичного алгоритм IVE;

Приведите примеры использования VPU глубокого обучения Caffe, таких как идентификация картинки собаки и т. Д.

Предоставьте справочный документ в Hi3516D V100R001C01SPC070 комплект разработки для обучения;

Предоставьте схему оборудования Hi3516D, модуль VPU не предоставляет схему;

Инженер программного обеспечения для обеспечения технической поддержки.

8. Применение поля

1. Более 2 миллионов hd продуктов захвата лица, многие технологические компании в основном используют этот чип + FPGA в качестве продуктов распознавания лица;

2. Недорогие интеллектуальные продукты безопасности, такие как IVS и интеллектуальный IPC, являются типичными hd интеллектуальными IPC решений;

3. Недорогие hd опознание номерного знака продукции более 2 миллионов юаней;

4. Низкая стоимость других встроенных продуктов машинного видения;

5. Интеллектуальные продукты мониторинга движения;

6. Применение FPGA для распознавания лица, промышленного контроля, медицинской визуализации и других конкретных приложений.

7, продукты контроля доступа, видимые продукты внутренней связи, интеллектуальная домашняя Программа.

Общая оценка:

Hi3516D является экономически эффективным чипом HD IPC, который поддерживает кодирование и декодирование H265. Он поставляется с новым генератором ISP и много стандартная машина видения, и эти алгоритм были зафиксированы в чипе с помощью IVE. Кроме того, Intel Movidius Myriad 2 VPU, который поддерживает глубокое обучение, удовлетворяет множество приложений для анализа видео и визуализации машины.В любом случае, вашей hd-камере требуется обновление AI.