Παρουσίαση/Προβολή

Περιεχόμενο μαθήματος

Ορισμοί, Γκαουσιανές τυχαίες μεταβλητές, Ακολουθίες τυχαίων μεταβλητών, Πυκνότητα φασματικής ισχύος, Προσθήκη τυχαίου γκαουσιανού θορύβου σε σήμα, Ορισμός του μέτρου της πληροφορίας κατά Shannon, Ιδιότητες της μέσης ποσότητας πληροφορίας, Συνδυασμένη και Αμοιβαία Πληροφορία, Υπό συνθήκη ποσότητα πληροφορίας, Αμοιβαία ποσότητα πληροφορίας, Διακριτή πηγή πληροφορίας χωρίς μνήμη, Μέθοδοι κωδικοποίησης πηγής (Fano, Shannon, Huffman), Διακριτές πηγές πληροφορίας με μνήμη, Διαδικασίες Markoff, Διακριτά κανάλια επικοινωνίας, Βασικές έννοιες κωδικοποίησης καναλιού, Γραμμικοί block κώδικες, Μαθηματικό υπόβαθρο (πίνακας γεννήτορας, απόσταση hamming, κτλ), Παράδειγμα γραμμικού block κώδικα, Κυκλικοί block κώδικες, Μαθηματικό υπόβαθρο (πολυώνυμο γεννήτορας, κτλ), Παράδειγμα κυκλικού block κώδικα, Κέρδος κωδικοποίησης καναλιού, Διεμπλοκή (Interleaving), Κώδικες Reed-Solomon, Αναπαράσταση συνελικτικών κωδίκων (Διαγράμματα Trellis, Διαγράμματα καταστάσεων), Παράδειγμα συνελικτικού κώδικα, Αλγόριθμος Viterbi, Αποκωδικοποίηση χαλαρής απόφασης, Σύγκριση μεταξύ αποκωδικοποίησης χαλαρής και αυστηρής απόφασης, Κώδικες turbo, Το θεώρημα Χωρητικότητας καναλιού (Όριο Shannon), Εφαρμογές κωδίκων διαύλων στην εγγραφή και μετάδοση δεδομένων, CD/DVD, modem, DSL, 3G, DVB, WiFi, WiMAX, Θεωρία ρυθμού-παραμόρφωσης, Κωδικοποίηση πηγής με παραμόρφωση, Εφαρμογές στα πρότυπα JPEG, MPEG, H.26X.

Δείτε το Περίγραμα Μαθήματος

Μαθησιακά αποτελέσματα

Με την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές θα μπορούν:

Σε επίπεδο Γνώσεων:
1. Να κατανοούν τους βασικούς ορισμούς και τις έννοιες των πιθανοτήτων.
2. Να περιγράφουν τις έννοιες της εντροπίας, της πληροφορίας και του πλεονασμού.
3. Να μελετούν τις διακριτές και τις συνεχείς πηγές πληροφορίας με μνήμη και χωρίς μνήμη.
4. Να περιγράφουν τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-FanoElias και Lempel-Ziv.
5. Να περιγράφουν την έννοια της χωρητικότητας καναλιού χωρίς θόρυβο και με AWG θόρυβο.
6. Να περιγράφουν τους μπλοκ κώδικες, τους γραμμικούς κώδικες και τους συνελικτικούς κώδικες καναλιού.
7. Να περιγράφουν την αποκωδικοποίηση χαλαρής απόφασης.
8. Να περιγράφουν τα πρότυπα μη απωλεστικής κωδικοποίησης zip, bzip, pkzip, gzip, 7zip
9. Να περιγράφουν τα πρότυπα απωλεστικής κωδικοποίησης JPEG, MPEG, H.26X

Σε επίπεδο Δεξιοτήτων:
1. Να υπολογίζουν την εντροπία πηγών με μνήμη και χωρίς μνήμη.
2. Να εφαρμόζουν σε συγκεκριμένα προβλήματα τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv.
3. Να αξιολογούν τα αποτελέσματα της παρουσίας θορύβου στο κανάλι.
4. Να αξιολογούν τους αλγορίθμους κωδικοποίησης κυματομορφής
5. Να υπολογίζουν μπλοκ κώδικες για δοθέν πρόβλημα.
6. Να συγκρίνουν τις δομικές διαφορές μεταξύ των κωδίκων ανίχνευσης και διόρθωσης λαθών.
7. Να συγκρίνουν τους γραμμικούς και τους κυκλικούς κώδικες.
8. Να υπολογίζουν συνελικτικούς κώδικες για δοθέν πρόβλημα.

Σε επίπεδο Ικανοτήτων:
1. Να εφαρμόζουν σε συγκεκριμένα προβλήματα τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv.
2. Να συγκρίνουν και να αξιολογούν τις μεθόδους κωδικοποίησης πηγής χωρίς μνήμη και με μνήμη.
3. Να σχεδιάζουν και να αξιολογούν μπλοκ κώδικες για δοθέν πρόβλημα.
4. Να εφαρμόζουν τον αλγόριθμο Viterbi σε δοθέν πρόβλημα
5. Να σχεδιάζουν κώδικες μπλοκ, κώδικες διεμπλοκής μπλοκ (interleaving) και κώδικες ReedSolomon.
6. Να σχεδιάζουν διαγράμματα δικτυωτού (Trellis diagrams)
7. Να σχεδιάζουν συνδυασμένα συστήματα κωδικοποίησης πηγής, καναλιού και διαμόρφωσης ως σύνολο.

Πρόγραμμα Διαλέξεων

ΔΙΑΛΕΞΗ 1 – Βασικές Αρχές Θεωρίας Πιθανοτήτων

• Στοιχεία θεωρίας συνόλων
• Αρχές θεωρίας πιθανοτήτων
• Τυχαίες μεταβλητές
• Διακριτές κατανομές πιθανότητας
• Αθροιστική συνάρτηση κατανομής
• Συνάρτηση πυκνότητας πιθανότητας

ΔΙΑΛΕΞΗ 2 – Στοχαστικά Σήματα

• Μέση τιμής και διασπορά τυχαίας μεταβλητής
• Gaussian πυκνότητα πιθανότητας
• Η συνάρτηση σφάλματος
• Πυκνότητα πιθανότητας Rayleigh
• Το κεντρικό οριακό θεώρημα

ΔΙΑΛΕΞΗ 3 – Βασικές Αρχές Θεωρίας Πληροφοριών

• Ορισμός του μέτρου της πληροφορίας κατά Shannon
• Ιδιότητες της μέσης ποσότητας πληροφορίας
• Συνδυασμένη και Αμοιβαία Πληροφορία
• Υπό συνθήκη ποσότητα πληροφορίας
• Αμοιβαία ποσότητα πληροφορίας

ΔΙΑΛΕΞΗ 4 – Διακριτή πηγή πληροφορίας χωρίς μνήμη

• Διακριτή πηγή πληροφορίας χωρίς μνήμη
• Ποσότητα πληροφορίας της πηγής
• Κωδικοποίηση πηγής
• Αλγόριθμοι κωδικοποίησης πηγής (Fano, Shannon, Huffman)

ΔΙΑΛΕΞΗ 5 – Διακριτή πηγή πληροφορίας με μνήμη

• Διακριτές πηγές πληροφορίας με μνήμη
• Διαδικασίες Markoff
• Εντροπία των πηγών Markoff
• Ζητήματα κωδικοποίησης των πηγών Markoff

ΔΙΑΛΕΞΗ 6 – Κανάλια επικοινωνίας

• Διακριτά κανάλια επικοινωνίας (χωρητικότητα καναλιού, θεώρημα κωδικοποίησης, διακριτά κανάλια με μνήμη)
• Συνεχή κανάλια επικοινωνίας (χωρητικότητα καναλιού, θεώρημα κωδικοποίησης, συνεχή κανάλια με μνήμη)

ΔΙΑΛΕΞΗ 6 – Κωδικοποίηση Καναλιού με γραμμικούς κώδικες Block

• Βασικές έννοιες κωδικοποίησης καναλιού
• Γραμμικοί block κώδικες
• Μαθηματικό υπόβαθρο (πίνακας γεννήτορας, απόσταση hamming, κτλ)
• Παράδειγμα γραμμικού block κώδικα (κωδικοποίηση, αποκωδικοποίηση)

ΔΙΑΛΕΞΗ 7 – Κωδικοποίηση Καναλιού με κυκλικούς κώδικες Block

• Κυκλικοί block κώδικες
• Μαθηματικό υπόβαθρο (πολυώνυμο γεννήτορας, κτλ)
• Παράδειγμα κυκλικού block κώδικα (Κωδικοποίηση, Αποκωδικοποίηση)
• Κέρδος κωδικοποίησης καναλιού

ΔΙΑΛΕΞΗ 8 - Προηγμένη κωδικοποίηση Block

• Διεμπλοκή (Interleaving)
• Κώδικες Reed-Solomon

ΔΙΑΛΕΞΗ 9 – Κωδικοποίηση Καναλιού με Συνελικτικούς Κώδικες

• Ιστορική αναδρομή
• Μαθηματικό υπόβαθρο
• Αναπαράσταση συνελικτικών κωδίκων (Διαγράμματα Trellis, Διαγράμματα καταστάσεων)
• Παράδειγμα συνελικτικού κώδικα (Κωδικοποίηση, Αποκωδικοποίηση)
• Αλγόριθμος Viterbi

ΔΙΑΛΕΞΗ 10 – Κωδικοποίηση Καναλιού με Συνελικτικούς Κώδικες

• Αποκωδικοποίηση χαλαρής απόφασης
• Σύγκριση μεταξύ αποκωδικοποίησης χαλαρής και αυστηρής απόφασης

ΔΙΑΛΕΞΗ 11 – Κωδικοποίηση Καναλιού με Κώδικες Turbo

• Κώδικες turbo
• Το θεώρημα Χωρητικότητας καναλιού (Όριο Shannon)

ΔΙΑΛΕΞΗ 12 – Εφαρμογές Κωδίκων

• Εφαρμογές κωδίκων διαύλων στην εγγραφή και μετάδοση δεδομένων, CD/DVD, modem, DSL, 3G, DVB, WiFi, WiMAX.
• Θεωρία ρυθμού-παραμόρφωσης
• Κωδικοποίηση πηγής με παραμόρφωση
• Εφαρμογές στα πρότυπα JPEG, MPEG, H.26X

Παραδόσεις

Για το χειμερινό εξάμηνο του ακαδημαϊκού έτους 2019-20, οι παραδόσεις του μαθήματος ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ γίνονται κάθε Τετάρτη, ώρα 9.00 π.μ. - 12.00 μ.μ. στην αίθουσα Κ-04.

Η συστηματική παρακολούθηση των παραδόσεων είναι ιδιαίτερα σημαντική για την κατανόηση των εννοιών του μαθήματος.

Προτεινόμενα Συγγράμματα

Από την υπηρεσία ΕΥΔΟΞΟΣ του Υπουργείου Παιδείας μπορείτε να επιλέξετε ένα από τα ακόλουθα συγγράμματα:

1. Βιβλίο [41957449]: Στοιχεία της Θεωρίας Πληροφορίας, Thomas M. Cover - Joy A. Thomas

2. Βιβλίο [45421]: Εισαγωγή στη θεωρία της πληροφορίας, Αφράτη Φώτω

3. Βιβλίο [59374208]: Εισαγωγή στη θεωρία Πληροφοριών, Κωδίκων και Κρυπτογραφίας, Ν. Αλεξανδρής, Β. Χρυσικόπουλος, Κ. Πατσάκης

Παρακολουθείτε τις ανακοινώσεις της Γραμματείας για να ενημερωθείτε για την χρονική περίοδο κατά την οποία μπορείτε να επιλέξετε το σύγγραμμά σας.

Τρόποι αξιολόγησης / Εξέτασης

Το μάθημα εξετάζεται με γραπτή τελική εξέταση.

• Η εξέταση γίνεται με ανοικτά βιβλία και σημειώσεις, τα οποία πρέπει να φέρουν το όνομα του κατόχου τους. Επιπλέον, οι σημειώσεις πρέπει να είναι συρραμένες. 
• Επιτρέπεται η χρήση υπολογιστικής μηχανής (calculator).
• Δεν επιτρέπεται η χρήση υπολογιστών ή κινητών τηλεφώνων / smartphones.

Ανθρώπινο Δυναμικό

Δρ. Μιχάλης Παρασκευάς, Αναπληρωτής Καθηγητής, email: mparask [at] go.uop.gr 

Παρατηρήσεις

Για την αποστολή μηνύματος αντικαταστήστε το [at] με το σύμβολο @

Δεν θα απαντώνται μηνύματα φοιτητών, τα οποία:

• Αποστέλλονται από λογαριασμό διαφορετικό του ακαδημαϊκού λογαριασμού σας
• Δεν υπογράφονται με το ονοματεπώνυμο του φοιτητή/φοιτήτριας
• Είναι γραμμένα σε greeklish