Sipeed Maix (Kendryte K210) - RISC-V + ускоритель CNN
Добавлено: Вс ноя 08, 2020 18:28:58
https://www.seeedstudio.com/catalogsear ... ipeed+maix
SDK, загрузчик и прочее: https://github.com/sipeed
Занятная штука имхо. Модуль стоит от $8, наборы с камерой и экраном от $21.
МК - 2х ядерный, 64-битный RISC-V, 400 МГц (разгоняется до 600 МГц), 8 Мб SRAM. Потребление всего до 0.3 Вт. Из интересного периферия - KPU. Ускоритель сверточных нейросетей (CNN).
На его основе эта штукенция может в реальном времени (30/60 FPS) распознавать объекты в кадре, например лица и прочее. Может крутить сеть TinyYOLOv2 со всеми вытекающими - можно натренирвоать для распознания нужны образов. Может также обрабатывать звук с массива микрофонов, в т.ч. распознавать голос. Есть также аппаратный ускоритель БПФ, криптография AES256, хеши SHA256.
Для всего этого есть 2 фреймворка - на питоне и для Arduino IDE. Документация на английском есть, примеры в сети тоже, в т.ч. как создать и загрузить свою модель (свои образы для распознания). Код для детекции лиц из примеров занимает что-то там около 20-30 строчек всего.
Есть также SDK под голый C (или ОСРВ). Встроенный бутлоадер для прошивки без всяких доп. программаторов.
Из минусов - камеру умеет только до 640x480 и всё, даже без реального времени нельзя больше разрешение заставить обрабатывать.
Вся периферия, регистры и прочее - закрыто. ДШ (всего-то 24 страницы) про периферию рассказывает поверхностно очень, что есть и хар-ки, а как с этим работать и какие регистры за что отвечают не рассказывает. Работа только через SDK или фреймворки.
Но в целом имхо интересная железка с мощной начинкой. Интересен еще именно этот ускоритель CNA. Это не NVidia Jetson за $800. Тут низкий ценник имхо знаменует приход Edge AI (т.е. когда обработка производится непосредственно на конечном ус-ве, без облачного "решателя") на широкий рынок. Дешевое машинное зрение/слух.
PS: Нейросети - это не так сложно, как может звучать для тех, кто не сталкивался с этим. Т.е. сами нейросети в целом штука сложная, но с нуля писать ничего не надо. Есть много опенсорсных наработок в сети и куча гайдов.
SDK, загрузчик и прочее: https://github.com/sipeed
Занятная штука имхо. Модуль стоит от $8, наборы с камерой и экраном от $21.
МК - 2х ядерный, 64-битный RISC-V, 400 МГц (разгоняется до 600 МГц), 8 Мб SRAM. Потребление всего до 0.3 Вт. Из интересного периферия - KPU. Ускоритель сверточных нейросетей (CNN).
На его основе эта штукенция может в реальном времени (30/60 FPS) распознавать объекты в кадре, например лица и прочее. Может крутить сеть TinyYOLOv2 со всеми вытекающими - можно натренирвоать для распознания нужны образов. Может также обрабатывать звук с массива микрофонов, в т.ч. распознавать голос. Есть также аппаратный ускоритель БПФ, криптография AES256, хеши SHA256.
Для всего этого есть 2 фреймворка - на питоне и для Arduino IDE. Документация на английском есть, примеры в сети тоже, в т.ч. как создать и загрузить свою модель (свои образы для распознания). Код для детекции лиц из примеров занимает что-то там около 20-30 строчек всего.
Есть также SDK под голый C (или ОСРВ). Встроенный бутлоадер для прошивки без всяких доп. программаторов.
Из минусов - камеру умеет только до 640x480 и всё, даже без реального времени нельзя больше разрешение заставить обрабатывать.
Вся периферия, регистры и прочее - закрыто. ДШ (всего-то 24 страницы) про периферию рассказывает поверхностно очень, что есть и хар-ки, а как с этим работать и какие регистры за что отвечают не рассказывает. Работа только через SDK или фреймворки.
Но в целом имхо интересная железка с мощной начинкой. Интересен еще именно этот ускоритель CNA. Это не NVidia Jetson за $800. Тут низкий ценник имхо знаменует приход Edge AI (т.е. когда обработка производится непосредственно на конечном ус-ве, без облачного "решателя") на широкий рынок. Дешевое машинное зрение/слух.
PS: Нейросети - это не так сложно, как может звучать для тех, кто не сталкивался с этим. Т.е. сами нейросети в целом штука сложная, но с нуля писать ничего не надо. Есть много опенсорсных наработок в сети и куча гайдов.