UNIVERSITA’ DEGLI STUDI DI ROMA

“TOR VERGATA”

MASTER IN SONIC ARTS

TECNOLOGIE E ARTI DEL SUONO

TESI FINALE

MUSIC EMOTION RECOGNITION

RELATORE: CANDIDATO :
PROF. ROBERTO BASILI NATALIA PICHIERRI

ROMA 2015
 SINTESI

L’obiettivo è di determinare in modo automatico il carattere emozionale di un brano

musicale.

Si considerano delle caratteristiche estratte dal segnale audio (musicale) note come
feature standard e melodiche e, facendo riferimento agli studi condotti per MIREX
(Music Information Retrieval Evaluation eXchange), si focalizza l’attenzione
sull’integrazione temporale di feature standard.

Per l’estrazione di feature standard di carattere acustico e psicoacustico s’impiegano i

framework MIToolbox, Marsyas e PsySound3.

Sono calcolate le feature melodiche a partire dai pitch contour estratti da un vamp plug
di MELODIA.

Da questi processi, si ottengono 332 feature standard: 160 ottenute da MIRToolbox (si
usano le statistiche quali media, deviazione standard, asimmetria e curtosi), 124 con
Marsyas, 48 con PsySound3 considerando le migliori proposte A queste feature sono
aggiunte altre mancanti tramite funzioni basate su quelle presenti in MIRToolbox per
arrivare ad un totale di 548 feature standard.

Il processo di classificazione è condotto solo sulle feature acustiche e psicoacustiche.

Si utilizzano Support Vector Machines di Kelp e Weka usando libSVM library. I
risultati sono stati validati con una 10 cross-validation e 1 repetition (in futuro 20
repetitions) e testati per ora senza feature selection ottenendo valori comparabili con lo
stato dell’arte.

1. INTRODUZIONE
1.1 OBIETTIVO

2. AUDIO MOOD RECOGNITION

2.1 DEFINIZIONE DI EMOZIONE
2.2 DEFINIZIONE DI MOOD
2.3 RAPPRESENTAZIONE DELL’EMOZIONE
2.3.1 RAPPRESENTAZIONE DISCRETA DELL’EMOZIONE
2.3.2 APPROCCIO A CLUSTER
2.3.3 APPROCCIO CONTINUO
2.4 CONTESTO
2.5 MIREX
2.6 METODOLOGIA
2.6.1 FEATURE EXTRACTION
2.6.2 FEATURE STATISTICHE
2.7 CLASSIFICAZIONE: SVM
2.8 FRAMEWORK E PIATTAFORME ESISTENTI
2.8.1 MIRTOOLBOX
2.8.2 MARSYAS
2.8.3 PSYSOUND3
2.8.4 MELODIA
2.8.5 WEKA E KELP
2.9 APPROCCIO SEGUITO

3. IMPLEMENTAZIONE
3.1 DATASET
3.2 ESTRAZIONE DELLE FEATURES ACUSTICHE
3.3 ESTRAZIONE DELLE FEATURES MELODICHE
3.3.1 ESTRAZIONE DEI CONTOUR MELODICI
3.2.2 ESTRAZIONE DELLE FEATURES DAI CONTOUR
3.3 INTEGRAZIONE TEMPORALE: MAR E UAR
3.3.1 ARFIT
3.4 CLASSIFICAZIONE: SVM

4. RISULTATI SPERIMENTALI
4.1 NOTE PER L’INTERPRETAZIONE
4.2 PRIMO ESPERIMENTO: FEATURE ACUSTICHE STATISTICHE
4.3 SECONDO ESPERIMENTO: FEATURE SELECTION MANUALE
4.4 TERZO ESPERIMENTO: ESTENSIONE FEATURE ACUSTICHE
4.5 QUARTO ESPERIMENTO: UAR
4.6 QUINTO ESPERIMENTO: CLASSIFICAZIONE GERARCHICA

5. CONCLUSIONI

6. APPENDICE
6.1 ESPERIMENTI CON LE FEATURE MELODICHE
6.2 LISTA DELLE FEATURE ESTRATTE
6.3 ASIMMETRIA E CURTOSI

7. BIBLIOGRAFIA