Com utilitzar el mòdul de la càmera esp32 per a la transmissió de vídeo i el reconeixement facial

Hi ha molts sistemes d’identificació humana que utilitzen signatures, empremtes digitals, veu, geometria de les mans, reconeixement de rostres, etc. Sistema de reconeixement facial.

Els sistemes de reconeixement facial no només es poden utilitzar amb finalitats de seguretat per reconèixer les persones en llocs públics, sinó que també es poden fer servir per assistir a oficines i escoles.

En aquest projecte, crearem un sistema de reconeixement facial que utilitza ESP32-CAM, que també funcionarà com a sistema de seguretat ESP32-CAM reconeixent la cara de persones no autoritzades. ESP32-CAM és un mòdul de càmera molt petit amb el xip ESP32-S. Mitjançant el mòdul ESP32-CAM podem construir un sistema de reconeixement facial sense utilitzar cap programació complexa ni cap component addicional. El reconeixement facial també es pot fer amb càmeres Raspberry Pi i Pi mitjançant OpenCV.

Introducció a ESP32-CAM

El mòdul AI-Thinker ESP32-CAM inclou un xip ESP32-S, una càmera OV2640 de mida molt petita i una ranura per a targetes micro SD. La ranura per a targetes Micro SD es pot utilitzar per emmagatzemar imatges preses de la càmera o per emmagatzemar fitxers. Aquest mòdul ESP32-CAM es pot utilitzar àmpliament en diverses aplicacions IoT. Es pot utilitzar com a sistema de detecció de cares a oficines, escoles i altres àrees privades i també es pot utilitzar com a monitorització sense fils, identificació sense fils QR i moltes altres aplicacions IoT.

El mòdul ESP32-CAM es pot programar amb ESP-IDF o amb Arduino IDE. El mòdul ESP32-CAM també té diversos pins GPIO per connectar el maquinari extern. L'ESP32-CAM no té un connector USB, de manera que per programar el mòdul necessiteu una placa FTDI.

Característiques:

• El mòdul SoC Wi-Fi BT 802.11b / g / n més petit
• CPU de 32 bits de baixa potència, també pot servir al processador d'aplicacions
• Velocitat de rellotge de fins a 160 MHz, potència de càlcul resum de fins a 600 DMIPS
• SRAM incorporat de 520 KB, 4MPSRAM extern
• Admet UART / SPI / I2C / PWM / ADC / DAC
• Admet càmeres OV2640 i OV7670, llum de flaix incorporada
• Suporta la càrrega d'imatges Wi-Fi
• Suporta la targeta TF
• Admet múltiples modes de son
• Lwip i FreeRTOS incrustats
• Admet el mode de funcionament STA / AP / STA + AP
• Admet la tecnologia Smart Config / AirKiss
• Suport per a actualitzacions de microprogramari locals i remots del port sèrie (FOTA)

Especificacions:

• SPI Flash: 32 Mbits per defecte
• RAM: 520 KB SRAM + 4M PSRAM
• Suporta la targeta TF: màx. 4G
• Interfície de suport: UART, SPI, I2C, PWM
• Format de sortida de la imatge: JPEG, BMP, GRAYSCALE
• Port IO: 9
• Rang d'alimentació: 5V

Components necessaris

• ESP32-CAM
• Programador FTDI

Esquema de connexions

Per construir la càmera de seguretat ESP32 CAM, només necessitem el mòdul de la càmera ESP32 i el programador FTDI per programar-la.

ESP32-CAM no té un connector USB, de manera que necessiteu un programador FTDI per carregar el codi a ESP32-CAM tal com es mostra a la figura anterior. El pin Vcc i GND de l'ESP32 està connectat amb el pin Vcc i GND de la placa FTDI. Tx de i Rx de ESP32 està connectat amb Rx i Tx de la placa FTDI.

Nota: Abans de penjar el codi, connecteu l'IO0 a terra. IO0 determina si l'ESP32 està en mode intermitent o no. Quan GPIO 0 està connectat a GND, l’ESP32 està en mode intermitent.

ESP32-CAM	Junta FTDI
3,3V	VCC
GND	GND
UOR	TX
UOT	RX

Després de programar l’ESP32, vaig treure la placa FTDI i vaig connectar el mòdul a la font d’alimentació de 3,3 V mitjançant un regulador de voltatge 7805. Així és com és la configuració per a la transmissió de vídeo per càmera ESP32:

Instal·leu la placa ESP32 a Arduino IDE

Aquí ESP32-CAM es programa mitjançant Arduino IDE. Per a això, hem d’instal·lar el complement ESP32 a Arduino IDE.

Per instal·lar la placa ESP32 al vostre IDE Arduino, aneu a Fitxer> Preferències

Ara copieu l'enllaç següent i enganxeu-lo al camp " URL del gestor de taules addicionals ", tal com es mostra a la figura següent. A continuació, feu clic al botó "D'acord":

https://dl.espressif.com/dl/package_esp32_index.json

Ara aneu a Eines> Tauler> Gestor de taulers

A Board Manager, busqueu ESP32 i instal·leu el “ESP32 by Espressif Systems“.

Codi de servidor web de la càmera ESP32

Ja tenim un exemple de codi de transmissió de vídeo per càmera ESP32 i reconeixement facial. Obriu l'exemple ESP32 mitjançant Fitxer> Exemples> ESP32> Càmera i obriu l'exemple CameraWebServer.

Abans de penjar el codi, heu d'introduir el vostre nom i contrasenya de Wi-Fi.

const char * ssid = "Nom de WiFi"; const char * password = "Contrasenya";

Després definiu el mòdul de càmera ESP. Al codi, han definit 5 mòduls de càmera, de manera que descomenteu el "CAMERA_MODEL_AI_THINKER" i comenteu la resta de mòduls.

Per carregar el codi, connecteu la placa FDTI al vostre ordinador portàtil i seleccioneu el " mòdul ESP32 Wrover " com a placa. A més, canvieu la resta de paràmetres segons aquesta imatge:

Abans de penjar el codi, premeu el botó de restabliment ESP32 i, a continuació, feu clic al botó de càrrega.

Nota: Si teniu errors en penjar el codi, comproveu que IO0 està connectat a GND i que heu seleccionat la configuració adequada al menú Eines.

Després de penjar el codi, desconnecteu el pin IO0 i GND. A continuació, obriu el monitor sèrie i canvieu la velocitat de transmissió a 115200. Després d'això, premeu el botó de restabliment de l'ESP32, s'imprimirà l'adreça IP de l'ESP i el número de port en un monitor sèrie, tal com es mostra a continuació.

Ara per accedir a la transmissió de la càmera, aneu al navegador i introduïu la vostra adreça IP ESP. Et portarà a la pàgina de transmissió. Per iniciar la transmissió de vídeo de la càmera ESP32, feu clic al botó "Inicia la transmissió" a la part inferior de la pàgina

Podeu canviar la qualitat de la transmissió canviant la " Resolució " a la pàgina de transmissió. També podeu fer clic a les imatges fent clic al botó " Continua ", però aquest codi no té l'opció de desar-les.

Després de provar la transmissió de vídeo ara provarem les funcions de detecció i reconeixement de cara de la lleva ESP32. Per a això, activeu les funcions de reconeixement i detecció de cares des de la configuració:

En primer lloc, per al reconeixement facial, heu d’inscriure una cara. Podeu inscriure-us a una cara nova fent clic a l’opció “ Inscriure cara”. Es necessiten diversos intents per salvar la cara. Després de desar la cara, detecta la cara com a subjecte 0 i ara es pot utilitzar com a sistema de seguretat reconeixent la cara.

Així doncs, es pot configurar fàcilment un mòdul de càmera ESP per a la transmissió de vídeo i el reconeixement facial. Consulteu les imatges de vídeo petites que es mostren a continuació amb la càmera ESP32

A continuació es mostra el codi complet i també es pot descarregar des d’aquí.