Un robot che insegue un fascio di luce in pochi millisecondi

Il problema da risolvere.

Il rilevamento visivo era il punto di partenza di un comportamento fisico. Individuare un fascio di luce nel video doveva produrre un’informazione utilizzabile dal software di movimento: il compito non si fermava quindi al riconoscimento di un elemento nell’immagine, ma comprendeva il collegamento fra percezione e azione del robot.

Lo stream proviene dalla visione del robot e viene elaborato in diretta. La rapidità di risposta è importante perché il movimento si basa su ciò che il sistema sta osservando. Il lavoro doveva mantenere vicino il momento della rilevazione a quello della decisione, evitando che la parte visiva rimanesse separata dal coordinamento motorio.

Un altro aspetto centrale era la collaborazione fra software e hardware. I modelli producono rilevamenti, mentre la componente motoria esegue movimenti: serviva sviluppare il passaggio fra questi livelli insieme al team che seguiva il robot fisico. Il progetto ha quindi unito lavoro sui modelli e integrazione applicativa, con verifiche sul funzionamento dell’MVP.

La soluzione in sviluppo.

Ho addestrato modelli di intelligenza artificiale, inclusi modelli YOLO, per individuare i fasci di luce nelle riprese. Il rilevamento fornisce alla pipeline l’informazione visiva da usare nella fase successiva: riconoscere dove si trovano i riferimenti luminosi e collegarli alle decisioni di movimento previste dal progetto.

Ho sviluppato il software che riceve il video in diretta, interpreta i rilevamenti e coordina l’aspetto motorio. Questo livello svolge il ruolo di collegamento fra ciò che il robot vede e ciò che deve fare. Il lavoro è stato portato avanti insieme al team hardware, verificando il percorso completo sul sistema in sviluppo.