Il guanto intelligente insegna nuove abilità fisiche

Probabilmente hai incontrato qualcuno che si identifica come uno studente visivo o uditivo, ma altri assorbono la conoscenza attraverso un metodo diverso: il tatto. La capacità di comprendere le interazioni tattili è particolarmente importante per compiti come l’apprendimento di procedure chirurgiche precise e l’esecuzione di strumenti musicali, ma a differenza del video e dell’audio, il tocco è difficile da registrare e trasmettere.

Per sfruttare questa sfida, i ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del Massachusetts Institute of Technology (MIT) e altrove hanno sviluppato un guanto intelligente ricamato in grado di catturare, riprodurre e trasmettere istruzioni basate sul tocco. Per integrare il dispositivo indossabile, il team ha anche sviluppato un semplice agente di apprendimento automatico che si adatta al modo in cui i diversi utenti interagiscono con il feedback tattile, migliorando la loro esperienza. Il nuovo sistema potrebbe aiutare a insegnare alle persone le abilità fisiche, migliorare la risposta ai robot remoti e aiutare nella formazione nella realtà virtuale.

Accesso libero Un documento che descrive il lavoro È stato pubblicato su Nature Communications il 29 gennaio.

Potrò suonare il pianoforte?

Per realizzare il loro guanto intelligente, i ricercatori hanno utilizzato una macchina da ricamo digitale per integrare perfettamente sensori tattili e attuatori tattili (un dispositivo che fornisce feedback basato sul tocco) nei tessuti. Questa tecnologia esiste negli smartphone, dove le risposte tattili vengono attivate toccando il touch screen. Ad esempio, se tocchi un'app per iPhone, sentirai una leggera vibrazione proveniente da quella parte specifica dello schermo. Allo stesso modo, il nuovo dispositivo indossabile invia feedback a diverse parti della mano per indicare i movimenti ideali per eseguire diverse abilità.

Il guanto intelligente potrebbe insegnare agli utenti, ad esempio, a suonare il pianoforte. In una dimostrazione, un esperto è stato incaricato di registrare un semplice tono su una sezione di tasti, utilizzando il guanto intelligente per catturare la sequenza in cui le sue dita premevano sulla tastiera. L'agente di apprendimento automatico ha quindi convertito questa sequenza in feedback tattile, che è stato poi inserito nei guanti degli studenti per seguirli come istruzioni. Mentre le loro mani si soffermavano sulla stessa sezione, i motori delle dita corrispondenti ai tasti sottostanti vibravano. Path ottimizza queste tendenze per ciascun utente, tenendo conto della natura soggettiva delle interazioni tattili.

“Gli esseri umani si impegnano in una vasta gamma di compiti interagendo costantemente con il mondo da “Girarli intorno”. . “Di solito non condividiamo queste interazioni fisiche con gli altri. Invece, spesso impariamo osservando i loro movimenti, come suonare il piano e ballare.

“La sfida principale nel trasmettere le interazioni tattili è che ogni persona percepisce il feedback tattile in modo diverso”, aggiunge Luo. “Questo ostacolo ci ha ispirato a sviluppare un agente di apprendimento automatico che apprende come creare aspetti tattili adattivi per i guanti dei singoli individui, fornendo loro un approccio più pratico per apprendere il movimento ottimale”.

Il sistema indossabile è personalizzato per adattarsi alle specifiche della mano dell'utente attraverso un metodo di produzione digitale. Il computer produce un'apertura in base alle misurazioni delle mani dei singoli individui, quindi la macchina da ricamo cuce i sensori e i dispositivi tattili. Entro 10 minuti, il morbido tessuto indossabile è pronto da indossare. Inizialmente addestrato sulle risposte tattili di 12 utenti, il suo modello di apprendimento automatico adattivo richiede solo 15 secondi di nuovi dati utente per personalizzare il feedback.

In altri due esperimenti, la guida tattile con feedback sensibile al tempo è stata trasferita agli utenti che indossavano guanti mentre giocavano ai giochi per laptop. Nel gioco ritmico, i giocatori imparavano a seguire un percorso stretto e tortuoso per schiantarsi nell'area di porta, mentre nel gioco di corse, i conducenti raccoglievano monete e mantenevano il veicolo in equilibrio nel percorso verso il traguardo. Il team di Luo ha scoperto che i partecipanti ottenevano i punteggi più alti nel gioco con tocchi migliorati, invece che senza tocchi o con tocchi non migliorati.

“Questo lavoro è il primo passo verso la creazione di agenti IA personalizzati che acquisiscono costantemente dati sull'utente e sull'ambiente”, afferma l'autore principale Wojciech Matusik, professore di ingegneria elettrica e informatica al MIT e capo del gruppo di progettazione e produzione computazionale al CSAIL . “Questi agenti poi li aiutano a svolgere compiti complessi, ad apprendere nuove competenze e a rafforzare comportamenti migliori”.

Porta un'esperienza vibrante nelle impostazioni elettroniche

Nelle operazioni robotiche remote, i ricercatori hanno scoperto che i loro guanti possono trasmettere sensazioni di forza ai bracci robotici, aiutandoli a completare compiti di presa più sensibili. “È come cercare di insegnare a un robot a comportarsi come un essere umano”, dice Luo. In un caso, il team del MIT ha utilizzato operatori remoti per insegnare a un robot come proteggere diversi tipi di pane senza distorcerli. Insegnando la presa ottimale, gli esseri umani possono controllare con precisione i sistemi robotici in ambienti come la produzione, dove queste macchine possono collaborare in modo più sicuro ed efficace con i loro operatori.

“La tecnologia che alimenta il guanto ricamato intelligente è un’innovazione importante per la robotica”, afferma Daniela Ross, professoressa di ingegneria elettrica e informatica al MIT, direttrice del CSAIL e autrice dell’articolo. “Con la sua capacità di catturare interazioni tattili con alta precisione, simile alla pelle umana, questo sensore consente ai robot di percepire il mondo attraverso il tatto. La perfetta integrazione dei sensori tattili nei tessuti colma il divario tra azioni fisiche e feedback digitale, offrendo un enorme potenziale in automazione.” Formazione reattiva in realtà virtuale remota e immersiva.”

Allo stesso modo, l'interfaccia può creare esperienze più coinvolgenti nella realtà virtuale. Indossare guanti intelligenti aggiungerebbe sensazioni tattili agli ambienti digitali nei videogiochi, poiché i giocatori possono percepire l’ambiente circostante per evitare gli ostacoli. Inoltre, l’interfaccia fornirà un’esperienza più personalizzata e basata sul tocco nei corsi di formazione virtuale utilizzati da chirurghi, vigili del fuoco e piloti, dove la precisione è fondamentale.

Sebbene questi dispositivi indossabili possano fornire agli utenti un’esperienza più pratica, Luo e il suo gruppo credono di poter espandere la tecnologia indossabile oltre le dita. Con un feedback tattile più forte, le interfacce possono guidare piedi, fianchi e altre parti del corpo meno sensibili delle mani.

Lu ha anche notato che con un agente IA più complesso, la tecnologia del suo team potrebbe aiutare con compiti più complessi, come manipolare l’argilla o pilotare un aereo. Attualmente l'interfaccia può assistere solo con movimenti semplici come premere un tasto o afferrare un oggetto. In futuro, il sistema del MIT potrebbe integrare più dati degli utenti e produrre dispositivi indossabili più compatibili e più stretti per tenere conto meglio del modo in cui i movimenti della mano influenzano le percezioni tattili.

Lu, Matousek e Ross hanno scritto l'articolo in collaborazione con il professor Tomas Palacios, direttore dei laboratori tecnologici di EECS Microsystems; I membri del CSAIL Zhao Liu, Yong-Jung Lee, Joseph DelBrito, Michael Foschi e il professore e ricercatore principale Antonio Torralba; Kyu Wu dei LightSpeed ​​Studios; e Yunzhou Li dell'Università dell'Illinois a Urbana-Champaign.

Questo lavoro è stato supportato in parte da una borsa di studio della MIT Schwarzman School of Computing attraverso Google e da un GIST-MIT Research Collaboration Grant, con ulteriore assistenza da parte di Wistron, del Toyota Research Institute e di Ericsson.