Alexa di Amazon comunica con i sistemi AV di Extron per aule didattiche nel quadro di un progetto studentesco nell'università di Kutztown

Abbiamo completato con successo il nostro progetto "CT-Toolbox" anche grazie ai nostri corsi principali in Scienze informatiche e Tecnologie dell'informazione. La natura intuitiva di Global Scripter di Extron e Alexa Skills Kit sono stati di grande aiuto, al pari del paziente supporto fornito dai nostri consulenti, fra cui Extron.

L'università di Kutztown, nello stato americano della Pennsylvania, è stata fondata nel 1866 con il nome Keystone State Normal School al fine di formare gli insegnanti che avrebbero dovuto istruire la forza lavoro dell'alta contea di Berks, 80 km a nord-ovest di Philadelphia, in un'epoca di forte industrializzazione. Nei 150 anni seguenti l'ateneo è diventato uno dei principali istituti di istruzione superiore della zona, con un'offerta di 130 corsi di laurea e 31 programmi post-laurea rivolti a circa 8.000 studenti. Tre di questi studenti, seguiti dai loro relatori di facoltà, hanno recentemente completato un progetto denominato "CT-Toolbox", che interfaccia Alexa di Amazon con il controllo di Extron per consentire un controllo vocale dei sistemi AV di Extron installati nelle aule didattiche dell'università.

Criticità

In fase di valutazione delle diverse possibilità a disposizione per un progetto da svolgere durante l'ultimo anno del corso di laurea, gli studenti Justin Harris, William "Billy" Henry e Hannah Moyer, specializzandi in Scienze informatiche e Tecnologie dell'informazione, hanno formato un team allo scopo di realizzare un progetto pilota guidato dall'obiettivo di portare avanti il forte impegno dell'istituto nei confronti della legge "Americans with Disabilities Act" che tutela i portatori di disabilità. Il progetto "Classroom Technology Toolbox", in breve "CT-Toolbox", supporta questo impegno fornendo un metodo di controllo dei sistemi AV utilizzati nelle aule tramite comandi vocali. Il progetto è stato suggerito dalla professoressa di Scienze informatiche e Tecnologie dell'informazione Donna DeMarco, al contempo co‑fondatrice di un'azienda che offre training e soluzioni di sviluppo online alle imprese.

Soluzione

Il responsabile delle tecnologie didattiche dell'università Ty Schwab ha seguito il gruppo di studenti, fornito risorse hardware e software e riservato un'aula per lo sviluppo del progetto. Il suo predecessore Troy Weidner ha condiviso il ruolo guida ed è attualmente in pensione dopo 35 anni di servizio. Robert Kennedy, ingegnere addetto ai sistemi multimediali e di controllo presso la vicina università di Scranton, ha fornito maggiore contesto grazie all'esperienza acquisita con l'ottima riuscita del suo progetto di controllo vocale Alexa‑Extron, impartendo le sue conoscenze in modo da permettere agli studenti di proseguire autonomamente con il progetto. I responsabili di vendite e marketing di Extron Jason Bond e Peter Knapp hanno assistito con i driver per sistemi di controllo di Extron e con suggerimenti sulla programmazione software nell'ambiente Global Scripter^® di Extron.

Il podio AV dell'aula con apparecchiature Extron fa da banco di prova per "CT-Toolbox"

L'università di Kutztown dispone di 235 sale dotate di sistemi AV collegati alla rete dell'istituto. Questi sistemi condividono una progettazione comune. La versione utilizzata per il progetto "CT‑Toolbox" consiste di un podio equipaggiato di un computer desktop con un monitor locale e uno scaler switcher di presentazione a otto input IN1608 xi IPCP di Extron. Lo switcher supporta un'ampia gamma di sorgenti e display AV e integra un processore di controllo AV e un amplificatore stereo da 50 W. Le sorgenti includono un computer, una document camera e un lettore Blu‑ray. Un proiettore con input HDMI visualizza il video, mentre l'audio è riprodotto tramite altoparlanti montati a soffitto. Un pannello a pulsanti eBUS EBP 200 consente di selezionare le sorgenti e di controllare il proiettore e il volume. Nelle sale più ampie la commutazione è gestita da una matrice di presentazione con scaler 8x4 DTP CrossPoint 84 4K abbinata a un processore di controllo IPCP Pro 550 e a un touchpanel TouchLink Pro.

Il progetto è iniziato con un'analisi dettagliata della documentazione di Alexa AWS (Amazon Web Services) e di Global Scripter di Extron. Per lo sviluppo del progetto sono stati assegnati i diversi ruoli: Justin, a capo del team, si è occupato di hardware, driver e della programmazione del controller in Global Scripter; Billy si è fatto carico della scrittura del codice di Alexa e dei servizi di Cloud Computing AWS mentre Hanna si è presa cura della progettazione e dei test UX (User Experience) per ottimizzare l'esperienza degli utenti.

Alexa Skills Kit e Global Scripter di Extron sono strumenti essenziali per lo sviluppo di "CT‑Toolbox"

Il flussogramma mostrato nella barra laterale a destra del presente articolo illustra due servizi software, Alexa Skill e il client Toolbox, che implementano la procedura di controllo vocale. Il team ha usato Alexa Skills Kit (ASK) per sviluppare skill personalizzate di Alexa e controllare l'hardware sul podio AV. L'utente invia un comando vocale usando la parola trigger di attivazione "Toolbox" in un dispositivo intelligente Echo™. Eseguito nel cloud su AWS, Alexa Skill traduce il comando vocale in una stringa di dati JSON (JavaScript Object Notation) che viene passata al codice applicativo della skill, in una funzione detta Lambda. La funzione Lambda analizza i dati JSON e li scompone nelle parti richieste per attivare le azioni desiderate dei componenti hardware, in base a una lista della funzione Lambda composta da dieci a venti parole che gli utenti possono pronunciare per segnalare un'azione ("intent"). Il team ha scritto le funzioni Lambda in Python usando Global Scripter di Extron. Il codice viene eseguito sul servizio cloud Lambda di AWS.

Amazon cloud comunica con il processore di controllo di Extron

I comandi analizzati sono inviati dal cloud al client Toolbox tramite Amazon SQS (Simple Queue Service), un servizio completamente gestito che permette di memorizzare i messaggi in attesa di invio tramite un sistema di accodamento. Il client Toolbox, che esegue Global Scripter sul processore di controllo di Extron nel podio AV, segnala al processore di controllo di inviare in uscita il comando hardware richiesto al dispositivo appropriato, ad esempio "accendi il proiettore". Lo stato richiesto del dispositivo è realizzato attraverso il codice dei driver hardware che comunica attraverso la porta del processore di controllo idonea al dispositivo a cui viene inviato il comando, ovvero, seriale RS-232, USB o Ethernet. L'intera procedura è invertita al fine di tradurre lo stato operativo del dispositivo controllato in una conferma verbale di Alexa relativa all'esecuzione del comando.

Risultati

Verso la fine di novembre del 2020 il team di studenti del progetto "CT‑Toolbox" e i loro tutor hanno partecipato a "Demo Day", una giornata dedicata alla descrizione dei risultati dei progetti di completamento degli studi. Il team è riuscito a dimostrare la possibilità di eseguire un controllo vocale automatizzato dei sistemi AV standard utilizzati nelle aule dell'università. Guardate un frammento della loro presentazione video di "Demo Day" nella barra laterale a destra del presente articolo. Prima di un eventuale lancio a livello dell'intero polo devono però essere presi in considerazione alcuni problemi di carattere pratico, ovvero sicurezza del sistema su cloud, hosting del client Toolbox sulla rete invece che sui singoli podi AV e cautela quanto ad Alexa "costantemente in ascolto". Ma Ty Schwab afferma che sarebbe sicuramente pronto a valutare una richiesta ADA da parte di un professore che desidera implementare "CT-Toolbox" in un'aula specifica. Al termine di "Demo Day", il progetto "CT‑Toolbox" ha ricevuto un riscontro positivo. I tre studenti sono ora laureati e impegnati nel perseguimento delle loro carriere professionali.