Interazione Uomo-Macchina 2
(A/A 2013-2014, II semestre)
Orario delle lezioni
Aula V2 Martedì 14.30 / 16.30
Aula Beta Venerdì 14.30 / 16.30
Fornire un’introduzione rigorosa alle modalità di interazione naturale fra l’uomo e la macchina.
Particolare enfasi verrà data alle metodologie utili per la costruzione, l’apprendimento e la simulazione di modelli computazionali di interazione.
Obiettivi del corso
Modalità
d’esame
REPORT FINALE DEL PROGETTO.
Il prodotto finale del progetto è il software sviluppato insieme con un rapporto tecnico scritto in LaTex, nella forma di un articolo scientifico. Un esempio è fornito nel pdf qui sotto
L’esempio precedente è stato generato mediante compilando il corrispondente file .tex, utilizzando stili e .bib contenuti nello zip seguente:
Esempio di report finale
Files e stile LaTex per redigere il report finale
Links 4 LaTeX
Matlab
come strumento di simulazione
Introduzione a Matlab
Argomenti trattati
Dispense
Lucidi
Articoli
SW
Links vari
1. Introduzione al corso
Progetto relativo alle tematiche discusse durante il corso, e discussione dei risultati ottenuti relativamente alle problematiche di interazione naturale
Sono possibili tre tipologie di progetto:
T1. PROGETTO MINIMALE: Facendo riferimento al ChaLearn Gesture Challenge (analisi di gesti acquisiti da Kinect), si utilizza il software Matlab (GROP) messo a disposizione sul sito per apprendere e classificare i diversi gesti presenti nel dataset. GROP mette ha disposizione diversi estrattori di features e tre classificatori. Il progetto consiste nel selezionare un estrattore di feature e un classificatore fra quelli già disponibili, effettuare delle prove di learning e classificazione sul dataset, e documentare il tutto in un report da redigere secondo il formato descritto nel seguito. (Max 16 punti su 30)
T2. PROGETTO AVANZATO: Come in T1, ma in questo caso il progetto consiste nel costruire un nuovo classificatore rispetto a quelli già disponibili. Una soluzione possibile è quella di interfacciare altri classificatori, per esempio uno di quelli implementati nel PMTK3 di Kevin Murphy. Come sopra, si effettuano delle prove di learning e classificazione sul dataset, e si documenta il tutto in un report da redigere secondo il formato descritto nel seguito. (Max 20 punti su 30)
T3. PROGETTO INNOVATIVO: Lo studente realizza una simulazione di interazione naturale sulla base di un proprio specifico interesse, sia integrando software esistente sia progettandone ex-novo.
In questo caso il progetto va concordato preventivamente con il docente, per evitare di intraprendere un lavoro troppo complesso o, nel caso opposto, banale.
Come in T1 e T2 il tutto va documentato in un report da redigere secondo il formato descritto nel seguito. (Max 22 punti su 30)
IL REPORT FINALE (E L’EVENTUALE SW SVILUPPATO) VA CONSEGNATO ALMENO 1 SETTIMANA PRIMA DI SOSTENERE LA DISCUSSIONE ORALE.
IN AGGIUNTA AI PUNTEGGI ELENCATI SOPRA PER LE VARIE TIPOLOGIE DI PROGETTO, LA DISCUSSIONE IN SEDE D’ESAME CONCORRE FINO AD UN MAX DI 10 PUNTI SU 30 NEL DETERMINARE IL VOTO FINALE
Sito di ChaLearn Gesture Challenge
Il toolbox GROP è parte del ChalearnGestureDemoKit
Il dataset del Chalearn è scaricabile al link
PMTK3
Testo consigliato
(modelli computazionali)
Lezioni e materiale didattico
2. Che cos’è l’interazione
3. Interazione: ipotesi di lavoro
Calm tech
Natural
Interaction
4. Sguardo e attenzione: livello psicologico
5. Tecnologie di eye-tracking
6. Sguardo e attenzione: livello neurobiologico
Ballard
Rensink
Shutz
Costruire un mobile a 50$
7. Interazione con lo sguardo
8-9. Interazione emotiva
10. Interazione con gesti e posture
11-12. Computazione per l’interazione naturale: introduzione
13. Computazione per l’interazione naturale: regressione deterministica
14-15. Computazione per l’interazione naturale: modellli probabilistici
Richiami di algebra delle matrici
The Matrix cookbook
Parte 1
Parte 2
KM Capitolo 2
KM Capitolo 1
16-17. Computazione per l’interazione naturale: regressione probabilistica
KM Cap. 7.1 - 7.3.2
Avvisi
18-19. Computazione per l’interazione naturale: regressione Bayesiana
KM Cap. 7.6
20 Computazione per l’interazione naturale: classificazione non probabilistica
KM Cap. 1
Cap 14
21 Computazione per l’interazione naturale: classificazione probabilistica
KM Cap 3.5, Cap. 8
Complementi: regressione logistica Bayesiana
23 Computazione per l’interazione naturale: Clustering e Riduzione di dimensionalità
KM Cap 11, Cap. 12.2
24 Computazione per l’interazione naturale: Modelli dinamici
KM Cap 17,18
25 Modelli computazionali:
Interazione con gesti e posture
26 Modelli computazionali:
Sguardo e attenzione
Vinciarellli et al:
Bridging the Gap Between Social Animal and Unsocial Machine
Borji & Itti:
State-of-the-Art in Visual Attention Modelling
26 Modelli computazionali:
Interazione emotiva
Affect Detection: a review