Interazione Uomo-Macchina 2

(A/A 2013-2014, II semestre)

 

Orario delle lezioni

Aula V2      Martedì  14.30 / 16.30


Aula Beta   Venerdì  14.30 / 16.30

Fornire un’introduzione rigorosa alle modalità di interazione naturale fra l’uomo e la macchina.

Particolare enfasi verrà data alle metodologie utili per  la costruzione, l’apprendimento e la simulazione di modelli computazionali di interazione.

Obiettivi del corso

Modalità

d’esame


REPORT FINALE DEL PROGETTO. 


Il prodotto finale del progetto è il software sviluppato insieme con un rapporto tecnico scritto in LaTex, nella forma di un articolo scientifico. Un esempio è fornito nel pdf  qui sotto

L’esempio precedente è stato generato mediante compilando il corrispondente file .tex, utilizzando stili e .bib contenuti nello zip  seguente:

Esempio di report finale

Files e stile LaTex per redigere il report finale

Links 4 LaTeX

Matlab

come strumento di simulazione

Impara LaTeX !http://users.dimi.uniud.it/~gianluca.gorni/TeX/itTeXdoc/impara_latex.pdf
TeX Shop (Mac OS)http://pages.uoregon.edu/koch/texshop/index.html
MIKTEX (Windows)http://miktex.org/

Introduzione  a  Matlab

Argomenti trattati

Dispense

Lucidi

Articoli

SW

Links vari

1. Introduzione al corso

Progetto relativo alle tematiche discusse durante il corso,  e  discussione dei risultati ottenuti relativamente alle problematiche di interazione naturale


Sono possibili tre tipologie di progetto:

T1. PROGETTO MINIMALE: Facendo riferimento al ChaLearn Gesture Challenge (analisi di gesti acquisiti da Kinect), si utilizza il software Matlab (GROP) messo a disposizione sul sito per apprendere e classificare i diversi gesti presenti nel dataset. GROP mette ha disposizione diversi estrattori di features e tre classificatori. Il progetto consiste nel selezionare un estrattore di feature e un classificatore fra quelli già disponibili, effettuare delle prove di learning e classificazione sul dataset, e documentare il tutto in un report da redigere secondo il formato descritto nel seguito. (Max 16 punti su 30)

T2. PROGETTO AVANZATO: Come in T1, ma in questo caso il progetto consiste nel costruire un nuovo classificatore rispetto a quelli già disponibili. Una soluzione possibile è quella di interfacciare altri classificatori, per esempio  uno di quelli implementati nel PMTK3 di Kevin Murphy. Come sopra, si  effettuano delle prove di learning e classificazione sul dataset, e si documenta il tutto in un report da redigere secondo il formato descritto nel seguito. (Max 20 punti su 30)

T3.  PROGETTO INNOVATIVO: Lo studente realizza una simulazione di interazione naturale sulla base di un proprio specifico interesse, sia integrando software esistente sia progettandone ex-novo.


In questo caso il progetto va concordato preventivamente con il docente, per evitare di intraprendere un lavoro troppo complesso o, nel caso opposto, banale.


Come in T1 e T2 il tutto va documentato in un report da redigere secondo il formato descritto nel seguito. (Max 22 punti su 30)


IL REPORT FINALE (E L’EVENTUALE SW SVILUPPATO) VA CONSEGNATO ALMENO 1 SETTIMANA PRIMA DI SOSTENERE LA DISCUSSIONE ORALE.


IN AGGIUNTA AI PUNTEGGI ELENCATI SOPRA PER LE VARIE TIPOLOGIE DI PROGETTO, LA DISCUSSIONE IN SEDE D’ESAME CONCORRE FINO AD UN MAX DI 10 PUNTI SU 30   NEL DETERMINARE IL VOTO FINALE

Sito di ChaLearn Gesture Challenge

Il toolbox GROP è parte del ChalearnGestureDemoKit

Il dataset  del Chalearn è scaricabile  al link

http://gesture.chalearn.orghttp://gesture.chalearn.orghttp://gesture.chalearn.orgshapeimage_10_link_0

PMTK3

Testo consigliato

(modelli computazionali)

Lezioni e materiale didattico

2. Che cos’è l’interazione

3. Interazione: ipotesi di lavoro

Calm tech

Natural

Interaction

4. Sguardo e attenzione: livello psicologico

5. Tecnologie di eye-tracking

6. Sguardo e attenzione: livello neurobiologico

Ballard

Rensink

Shutz

http://www.eyewriter.orghttp://www.eyewriter.orghttp://www.eyewriter.orgshapeimage_17_link_0
http://www.mkowalik.pl/et/How%20to%20build%20low%20cost%20eyetracking%20glasses.pdfhttp://www.mkowalik.pl/et/How%20to%20build%20low%20cost%20eyetracking%20glasses.pdfhttp://www.mkowalik.pl/et/How%20to%20build%20low%20cost%20eyetracking%20glasses.pdfhttp://www.mkowalik.pl/et/How%20to%20build%20low%20cost%20eyetracking%20glasses.pdfshapeimage_18_link_0shapeimage_18_link_1

Costruire un mobile a 50$

7.  Interazione con lo sguardo

8-9.  Interazione emotiva

10.  Interazione con gesti e posture

11-12.  Computazione per l’interazione naturale: introduzione

13.  Computazione per l’interazione naturale: regressione deterministica

14-15.  Computazione per l’interazione naturale:  modellli probabilistici

Richiami di algebra delle matrici

The Matrix cookbook

Parte 1

Parte 2

KM Capitolo 2

KM Capitolo 1

16-17.  Computazione per l’interazione naturale:  regressione probabilistica

KM Cap. 7.1 - 7.3.2

Demo matlab
regressione MLIUM2_2014_files/max_like_demo.m

Avvisi

Kevin Murphy
Machine Learning:
a Probabilistic Perspectivehttp://www.amazon.com/Machine-Learning-Probabilistic-Perspective-Computation/dp/0262018020/ref=sr_1_2?ie=UTF8&qid=1336857747&sr=8-2

18-19.  Computazione per l’interazione naturale:  regressione Bayesiana

KM Cap. 7.6

Demo Matlab Regressione BayesianaIUM2_2014_files/codeBayesReg.zip

20  Computazione per l’interazione naturale:  classificazione non probabilistica

KM Cap. 1

Cap 14

Demo Matlab KNN & SVMIUM2_2014_files/codeKnnSVM.zip

21  Computazione per l’interazione naturale:  classificazione probabilistica

KM Cap 3.5, Cap. 8

Complementi: regressione logistica Bayesiana

Demo Matlab di classificazione probabilisticaIUM2_2014_files/codeLRLaplace.zip

23  Computazione per l’interazione naturale:  Clustering e Riduzione di dimensionalità

KM Cap 11, Cap. 12.2

24  Computazione per l’interazione naturale:  Modelli dinamici

KM Cap 17,18

Demo Matlab:
 K-means & EMIUM2_2014_files/em_kmeans_code.zip
Codice Matlab per modelli dinamicihttp://www.cs.ubc.ca/~murphyk/Software/HMM/hmm.html

25  Modelli computazionali:

Interazione con gesti e posture

Demo Matlab:
Classificazione di Gesti con KinectIUM2_2014_files/SimpleGesture.zip

26  Modelli computazionali:

Sguardo e attenzione

Matlab :  Saliency Toolboxhttp://www.saliencytoolbox.net
Matlab :  Harel’s Saliency Toolboxhttp://www.klab.caltech.edu/~harel/share/gbvs.php
Matlab :  Ecological  Samplinghttp://www.researchgate.net/publication/250928868_ecosampling_Matlab_simulation_of_Ecological_Sampling
Matlab :  Constrained Levy explorationhttp://www.mathworks.com/matlabcentral/fileexchange/38512-visual-scanpaths-via-constrained-levy-exploration-of-a-saliency-landscape

Vinciarellli et al:

Bridging the Gap Between Social Animal and Unsocial Machine

Borji & Itti:

State-of-the-Art in Visual Attention Modelling

26  Modelli computazionali:

Interazione emotiva

Affect Detection: a review