Consulte agora
milkv-duo/duo-tdl-examples: Duo TDL-SDK samples

Introdução

Cvitek fornece algoritmos de integração TDL para reduzir o tempo necessário para o desenvolvimento de aplicativos.

Essa arquitetura realiza o algoritmo exigido pelo TDL, incluindo seu pré e pós-processamento, e fornece uma interface de programação unificada e conveniente.

Atualmente, o TDL SDK inclui detecção de movimento, detecção de rosto, reconhecimento de rosto, rastreamento de rosto, detecção de pedestres, segmentação semântica, reconhecimento de placas, detecção de placas, reconhecimento ao vivo, reconhecimento ao vivo IR, detecção de bebês, detecção de choro, detecção de atitude, detecção de gestos, reconhecimento de gestos e outros algoritmos.

TDL SDK Software Development Guide

html pdf

YOLO Development Guide

html pdf

O programa TDL-SDK precisa ser compilado de forma cruzada no ambiente Linux do host do PC, como o sistema Ubuntu 22.04.

Atenção, colocar última IMG no seu MILK-V

Releases · milkv-duo/duo-buildroot-sdk-v2

Baixar conjunto de ferramentas e compilação

Baixe o código fonte do TDL-SDK

git clone https://github.com/milkv-duo/duo-tdl-examples.git

Prepare ambiente para compilação (Build)

cd duo-tdl-examples
source envsetup.sh

Select Product:
1. Duo (CV1800B)
2. Duo256M (SG2002) or DuoS (SG2000)

Compile sample_vi_od

cd sample_vi_od

make

Veja o código executável gerado

Detecção de Pessoas e Pets

O programa de teste extrairá os dados da câmera, adicionará o algoritmo de detecção de rosto e usará ferramentas como o VLC para extrair o fluxo em tempo real para visualizar o efeito. O programa de teste extrairá os dados da câmera, adicionará o algoritmo de detecção de pessoas e pet e usará ferramentas como o VLC para extrair o fluxo em tempo real para visualizar o efeito.

Envie arquivos de programa e modelo de teste para o Duo 256/S

Consulte o método no capítulo Inicializar o Duo para instalar o sistema
Consulte o método no capítulo Câmera para ligar o Duo depois de conectar a câmera

Envie o sample_vi_od compilado para a placa Duo através do comando scp no seu PC:

scp sample_vi_od root@192.168.xxx.xxx:/root

root@a4096611d762:/workspace/duo-tdl-examples/sample_vi_od# ls
Makefile  sample_vi_od  sample_vi_od.c  sample_vi_od.o
root@a4096611d762:/workspace/duo-tdl-examples/sample_vi_od#

Use também o scp para enviar o arquivo de modelo usado para detecção de rosto no diretório cvimodel para a placa Duo 256/S:

https://github.com/sophgo/tdl_models/blob/main/cv181x/pet_det_640x384.cvimodel

Execute o exemplo

Faça login no terminal Duo 256/S através da porta serial ou ssh.

Adicione permissões executáveis ao programa de teste no terminal do Duo 256/S

chmod +x sample_vi_od

Execute o programa teste no terminal do Duo 256/S

Duo256M e DuoS：

./sample_vi_od yolov8-person-pets pet_det_640x384.cvimodel

As seguintes informações serão exibidas no terminal Duo 256/S:

Initialize RTSP
rtsp://127.0.1.1/h264
prio:0
version: 1.4.0
scrfd768432 Build at 2023-12-25 01:21:44 For platform cv181x
Max SharedMem size:1658880

Neste momento, aponte a câmera para o rosto e o terminal Duo 256/S imprimirá o número de pessoas e pets detectados pela câmera em tempo real:

person: 1505.56 376.10 1821.35 1067.52 2 0.68
person: 1490.67 372.80 1819.76 1063.59 2 0.68
person: 1448.46 369.25 1821.32 927.10 2 0.75
person: 1429.47 352.40 1815.26 1061.35 2 0.82
person: 1401.99 348.04 1815.27 1063.74 2 0.82
person: 1395.33 339.07 1819.70 1061.02 2 0.75
person: 1378.22 324.26 1819.76 1069.07 2 0.68
dog: 1329.22 487.24 1663.75 913.06 1 0.66
person: 1423.87 322.74 1819.72 1065.72 2 0.75
dog: 1311.20 495.01 1643.60 920.07 1 0.73
person: 1335.91 316.41 1821.01 1067.79 2 0.75
dog: 1312.44 477.15 1642.74 924.10 1 0.73
dog: 1309.87 458.09 1624.61 962.95 1 0.79
person: 1325.29 302.60 1819.65 1032.68 2 0.68
dog: 1317.27 454.45 1611.36 961.19 1 0.73
person: 1340.73 301.58 1822.63 1066.94 2 0.68
dog: 1323.67 450.77 1623.12 989.76 1 0.73
person: 1340.40 291.75 1819.66 1035.62 2 0.59

Use o VLC para extrair fluxos no PC para visualizar o efeito

Abra o VLC media player, clique em Mídia no canto superior esquerdo, selecione Abrir fluxo de rede e insira o URL.

Se você estiver usando a rede USB (USB-NCM), o endereço é:

rtsp://192.168.42.1/h264

Se você estiver usando a porta de rede na IO-Board ou a porta de rede integrada no DuoS, o endereço IP no URL precisa ser substituído pelo IP da porta de rede (você pode usar o comando ifconfig no terminal Duo 256/S para visualizar).

Clique na opção Mostrar mais opções no canto inferior esquerdo e você pode definir a opção Cache para ajustar o atraso. O padrão é 1000 milissegundos, que é 1 segundo. Quando o ambiente de rede é bom, como em uma LAN, você pode desativá-lo para reduzir a latência. Você pode configurá-lo para 100 a 300. Se o ambiente de rede estiver ruim ou a tela congelar, você pode tentar aumentá-lo.

Após a configuração, clique em Reproduzir para visualizar o efeito de detecção de rosto da câmera.