Sei partito in tromba senza che prima si tirassero le somme delle idee buttate sul tavolo.
Diciamo che il progetto si può dividere in 3 blocchi : acquisizione dell'immagine, elaborazione, visualizzazione.
Chiaramente il cuore di tutto è l'elaborazione, ma non bisogna trascurare gli altri 2.
Acquisizione dell'immagine : la tua camera deve essere a alta risoluzione, prevedendo che poi l'immagine verrà fortemente zoommata in digitale (ma si può prevedere anche una lente ottica).
Una camera USB impegna molto la CPU è non è molto performante a causa della lentezza delle USB del RaspberryPi. La scelta migliore era la RaspberryPi Cam, 8Mpx, connessa direttamente alla GPU, e che utilizza l'accelerazione hardware di quest'ultima per acquisire il flusso video, liberando la CPU.
Visualizzazione: il display va accuratamente scelto per risoluzione e dimensione, eviterei quelli da collegare al Gpio proprio per la difficoltà di configurazione, occorre inserire il driver nel kernel ricompilandolo o usare immagine specifica di Raspbian.. Basta leggere il forum per capire le grandi difficoltà incontrate da chi è agli inizi con questi apparecchi.
Elaborazione: il pezzo forte.
OpenCV è una bella idea (potrebbe riconoscere quando c'è una persona, o le scritte sui cartelli, o i cartelli stradali) ma è veramente onerosa in termini di calcolo che si traduce in pessime prestazioni. Inoltre è molto molto ostica da configurare e usare.
Un buono spunto sarebbe riprogrammare la GPU perché modifichi "al volo" le immagini acquisite. È un campo ancora molto sperimentale, che nasce dal reverse engineering (molte specifiche della GPU non sono ancora state rilasciate) ma qualcosa c'è,
con tanto di codice, ed è molto interessante
https://youtu.be/yQZISXIFjaQ
Andrebbe modificato per le esigenze specifiche.
SI potrebbe integrare anche una rilevazione degli ostacoli, per la quale non serve per forza uno scanner laser 3D che costa quanto un auto, ma con un sensore ultrasuoni da 5 euro, un servo onore e la telecamera, questi risultati mi sembrano decisamente interessanti
https://youtu.be/zk6CEt8rsdA