Παρουσίαση/Προβολή

Περιεχόμενο μαθήματος

Συνοπτική Περιγραφή

Το μάθημα αποτελείται από τρία μέρη: επεξεργασία ήχου (audio processing), επεξεργασία μουσικής (music processing) και ανάκτησης μουσικής πληροφορίας (music information retrieval) για τον μηχανικό.

Διαλέξεις Θεωρίας

1. Εισαγωγή στα σήματα ήχου.

Είδη του ήχου. Τρόποι δημιουργίας – τρόποι μετάδοσης ήχου. Βασικά χαρακτηριστικά ήχου. Βασικοί αλγόριθμοι επεξεργασίας ήχου. Μετασχηματισμοί στο πεδίο της συχνότητας. Ο διακριτός μετασχηματισμός συνημιτόνου. Ο διακριτός μετασχηματισμός κυματιδίου. Ψηφιακά φίλτρα για την ψηφιακή επεξεργασία ήχου. Χρονικά μεταβαλλόμενα φίλτρα. Ισοσταθμιστές.

2. Ακουστική χώρων.

Περιγραφή ακουστικής χώρων. Συναρτήσεις μεταφοράς κεφαλιού HRTF. Αντήχηση χώρων. Σχεδιασμός ακουστικής. Σύγκριση ακουστικής χώρων.

3. Αντίληψη του ήχου από τον άνθρωπο (perception – cognition).

Περιγραφή διαδικασίας αντίληψης ήχου. Ψυχοακουστική. Απόλυτο κατώφλι ακοής. Κρίσιμες μπάντες.

4. Περιγραφείς ήχου – Εξαγωγή παραμέτρων

Βασικοί περιγραφείς ήχων στο πεδίο του χρόνου. Ενέργεια σήματος. ZeroCrossings. Εντροπία της ενέργειας. Περιγραφείς ήχου στο πεδίο της συχνότητας. Spectral Centroid.Εντροπία φάσματος. Ροή φάσματος. MFCC. Chroma. Εκτίμηση περιοδικότητας και αρμονικότητας.

5. Βασικές εφαρμογές επεξεργασίας ήχου

Επεξεργασία ηχητικών σημάτων με πολλαπλά μικρόφωνα: ακύρωση ηχούς (echo cancellation), αποσυνέλιξη ήχου (dereverberation), τυφλός διαχωρισμός σημάτων (blind source separation).

6. Εισαγωγή στα ηχητικά μουσικά σήματα.

Αναπαραστάσεις μουσικής. Αναπαράσταση μέσω παρτιτουρας. Συμβολική αναπαράσταση. Ακουστική αναπαράσταση. Βασικά χαρακτηριστικά μουσικού σήματος: Ύψος, ένταση, χροιά, διάρκεια – Οι τέσσερις ροπές.

7. Περιγραφείς μουσικής – Εξαγωγή Παραμέτρων

Περιγραφείς μουσικής. timbral, rhythm, pitch, harmony features. Dynamic Time Warping. Εφαρμογές. Ανάλυση τέμπο μουσικού κομματιού. Αναγνώριση beat μουσικού κομματιού με χρήση δυναμικού προγραμματισμού.

8. Ανάλυση δομής μουσικών κομματιών

Βασικές αρχές. Πίνακες αυτο-ομοιότητας. Audio thumbnailing. Αξιολόγηση συστημάτων.

9. Ανάκτηση μουσικού περιεχομένου

Εισαγωγή στην εξόρυξη μουσικών δεδομένων. Απεικόνηση μουσικής. Ανάκτηση πληροφορίας. Αναγνώριση. Ομαδοποίηση. Άλλες προσεγγίσεις εξόρυξης μουσικής πληροφορίας. Στίχοι τραγουδιών. Χώρα προέλευσης. Εξώφυλλα δίσκων.

10. Απόδοση δεικτών σε μουσικά κομμάτια χρησιμοποιώντας ετικέτες

Music indexing. Σύγκριση διαφορετικών πηγών μουσικής πληροφορίας. Text indexing. Συνδυασμός διαφορετικών πηγών μουσικής πληροφορίας.

11. Audio fingerprinting

Εξαγωγή αποτυπώματος μουσικού κομματιού. Ταυτοποίηση αποτυπώματος. Συστήματα ανίχνευσης και ταυτοποίησης μουσικού αποτυπώματος.

12. Μέτρηση ομοιότητας μουσικών κομματιών

Τι είναι η ομοιότητα; Για ποιον λόγο είναι σημαντική; Πως μπορεί να απεικονιστεί; Πως υπολογίζεται;

13. Συστήματα αναγνώρισης στο πεδίο των μουσικών σημάτων - Εφαρμογές

Αναγνώριση μουσικών οργάνων. Αναγνώριση συναισθήματος και συναισθηματικής κατάστασης μουσικών κομματιών. Αναγνώριση μουσικού είδους. Αναγνώριση μουσικών τραγουδιών. Αναγνώριση επανεκτελέσεων μουσικών κομματιών (cover song detection). Music recomendation systems.

Βιβλιογραφία

1. Muller M., Fundamentals of Music Processing, Springer International Publishing, Εκδότης HEAL-Link Springer ebooks, 2015 (ΚΩΔ. ΕΥΔΟΞΟΥ 73263687)

2. Giannakopoulos T., Pikrakis A., Introduction to Audio Analysis: A MATLAB® Approach, Academic Press; 1 edition, 2014

3. Weihs C., Jannach D., Vatolkin I., Rudolph G., Music Data Analysis: Foundations and Applications, Chapman & Hall/CRC Computer Science & Data Analysis, 2016

4. Li T., Ogihara M., Tzanetakis G., Music Data Mining, Chapman & Hall/CRC Data Mining and Knowledge Discovery Series, 2011

5. Lerch, A., An Introduction to Audio Content Analysis, John Wiley & Sons, 2012

Συναφή επιστημονικά περιοδικά

1. Transactions on Audio, Speech, and Language Processing, IEEE/ACM

2. Computer Music Journal, IEEE

3. EURASIP Journal on Audio, Speech, and Music Processing, Springer

Μέθοδοι αξιολόγησης

Η αξιολόγηση του μαθήματος θα πραγματοποιηθεί μετά από παρουσίαση και εξέταση της εξαμηνιαίας εργασίας (project) που θα αναλάβουν να εκπονήσουν οι φοιτητές. Δικαίωμα συμμετοχής στην αξιολόγηση του μαθήματος έχουν μόνο εκείνοι οι φοιτητές που ανέλαβαν, παρουσίασαν και εξετάστηκαν επιτυχώς στην εξαμηνιαία εργασία τους.

Προτεινόμενα συγγράμματα

1. Muller M., Fundamentals of Music Processing, Springer International Publishing, Εκδότης HEAL-Link Springer ebooks, 2015 (ΚΩΔ. ΕΥΔΟΞΟΥ 73263687)

2. Κούτρας Α., Αλεξανδράκη Χ., Ζαρούχας Θ., Ζέρβας Π., & Χατζηαντωνίου Π. (2023). Ψηφιακή Επεξεργασία Ήχου, Ομιλίας και Μουσικής. Κάλλιπος, Ανοιχτές Ακαδημαϊκές Εκδόσεις (υπό έκδοση)