5GSmartFact: Refinament de la disparitat estèreo per a l'automatització industrial, per l'estudiant de doctorat de la UPC Suhani Singh

5GSmartFact és un projecte MSCA-ITN finançat per la UE, l'objectiu del qual és treballar a la cruïlla de l'automatització de fàbriques i l'evolució del 5G. L’objectiu és un redisseny complet de les arquitectures de robots que conduirà a un salt endavant en l'automatització de la indústria. El projecte va començar el març de 2021.

14 estudiants de doctorat van ser contractats a l'inici del projecte, amb diferents tipus d'experiència (robòtica, enginyeria de telecomunicacions,...) i projectes de doctorat complementaris relacionats amb les comunicacions sense fil i la robòtica.

Suhani Singh és una de les estudiants de 5GSmartFact que cursa els seus estudis de doctorat a la Universitat Politècnica de Catalunya sota la supervisió del professor Raúl Suárez Feijóo i Jan Rosell. La seva recerca es focalitza en el refinament de la disparitat estèreo per a l'automatització industrial.

Ha centrat la seva recerca en l'avanç de la visió estèreo per a la robòtica industrial mitjançant el desenvolupament de models de refinament de disparitat lleugers i conscients de la confiança dissenyats per al desplegament en plataformes de computació perimetral. Alhora ha desenvolupat un nou marc de refinament que millora les denses capacitats de percepció 3D de les pipelines estèreo clàssiques com ara la coincidència semiglobal (SGM). Els algoritmes tradicionals proporcionen estimacions ràpides de disparitat, però tenen dificultats en regions sense textura, superfícies especulars, estructures fines i oclusions, limitacions que dificulten les tasques robòtiques posteriors en entorns de fàbrica intel·ligent. El seu enfocament introdueix un mòdul de refinament neuronal guiat per la confiança que tracta la disparitat inicial com a prèvia i corregeix selectivament els errors mitjançant pistes fotomètriques i geomètriques, permetent al sistema millorar la precisió de la profunditat sense reconstruir un volum de cost complet.

El centre del seu treball és el disseny d'una arquitectura de refinament de doble branca capaç de distingir entre operacions de "refinament" (actualitzacions correctives locals) i de "substitució" (oclusió/ompliment de buits). El model integra l'estimació de la incertesa, l'agregació conscient de les vores i la correcció de subpíxels per produir mapes de profunditat d'alta fidelitat, alhora que manté una eficiència computacional per al processament en temps real en maquinari integrat. També ha desenvolupat mètodes per calibrar mapes de confiança, construir heurístiques d'error i quantificar la fiabilitat de la profunditat en condicions d'il·luminació industrial, moviment i reflectància.

Per donar suport al desplegament, va crear un flux de treball de referència complet utilitzant conjunts de dades estèreo disponibles públicament, juntament amb dades de sensors personalitzats de Roboception GmbH, permetent una avaluació sistemàtica en escenaris de canvi de domini i de fàbrica real. Els seus experiments demostren reduccions substancials en les taxes de valors atípics i una millor preservació de les estructures geomètriques en comparació amb els mètodes clàssics per si sols. Aquestes millores beneficien directament tasques robòtiques com ara la selecció de contenidors, la localització d'objectes i la navegació sense col·lisions, pilars tecnològics clau dels entorns de la Indústria 4.0 habilitats per 5G.

Els seus resultats de recerca inclouen models prototip, pipelines de processament de conjunts de dades, tècniques de calibratge de confiança i fluxos de treball de validació de profunditat que s'han adoptat internament a Roboception per provar escenes desafiadores on els sensors estèreo existents tenen dificultats per obtenir una disparitat densa fiable. Aquest treball estableix les bases per a futurs mòduls de percepció estèreo de baixa latència i alta precisió que es poden implementar en dispositius perimetrals integrats amb infraestructures 5G i MEC.

Consorci

5GSmartFact compta amb un consorci seleccionat d'universitats (Universitat Politècnica de Catalunya, Universitat d'Aalborg), centres de recerca (i2Cat, CNRS: Centre National pour la Recherche Scientifique), empreses 5G (NEC, Nokia, Siradel) i empreses expertes en automatització de fàbriques (ABB, Robert Bosch, Ingeniarius, Roboception), juntament amb institucions de suport (Universitat de Coimbra, Université de Paris-Saclay).  Finançat per la UE dins del programa MSCA ITN.

Assistents de doctorat al simposi sobre xarxes de nova generació: IA, arquitectures, interfícies i implementacions (Juny 2023).