Θεωρία Πληροφορίας

Στόχος του μαθήματος είναι η εξοικείωση των φοιτητών με τις αρχές, τις έννοιες και τις εφαρμογές της θεωρία πληροφορίας. Η Θεωρία Πληροφορίας είναι το θεμελιώδες πεδίο μελέτης της μετάδοσης και συμπίεσης σημάτων, που σχετίζεται με την ποσοτικοποίηση των δεδομένων με στόχο όσο το δυνατόν περισσότερα δεδομένα να αποθηκευτούν αξιόπιστα σε ένα μέσο ή να μεταδοθούν μέσω ενός καναλιού επικοινωνίας. Το μέτρο πληροφορίας, γνωστό και ως εντροπία πληροφορίας, εκφράζεται συνήθως από το μέσο αριθμό των δυαδικών ψηφίων που απαιτούνται για την αποθήκευση ή την επικοινωνία.

Στόχοι Μαθήματος

Με την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές θα μπορούν:   Σε επίπεδο Γνώσεων: Να κατανοούν τους βασικούς ορισμούς και τις έννοιες των πιθανοτήτων. Να περιγράφουν τις έννοιες της εντροπίας, της πληροφορίας και του πλεονασμού. Να μελετούν τις διακριτές και τις συνεχείς πηγές πληροφορίας με μνήμη και χωρίς μνήμη. Να περιγράφουν τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv. Να περιγράφουν την έννοια της χωρητικότητας καναλιού χωρίς θόρυβο και με AWG θόρυβο. Να περιγράφουν τους μπλοκ κώδικες, τους γραμμικούς κώδικες και τους συνελικτικούς κώδικες καναλιού. Να περιγράφουν την αποκωδικοποίηση χαλαρής απόφασης. Να περιγράφουν τα πρότυπα μη απωλεστικής κωδικοποίησης zip, bzip, pkzip, gzip, 7zip Να περιγράφουν τα πρότυπα απωλεστικής κωδικοποίησης JPEG, MPEG, H.26X   Σε επίπεδο Δεξιοτήτων Να υπολογίζουν την εντροπία πηγών με μνήμη και χωρίς μνήμη. Να εφαρμόζουν σε συγκεκριμένα προβλήματα τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv. Να αξιολογούν τα αποτελέσματα της παρουσίας θορύβου στο κανάλι. Να αξιολογούν τους αλγορίθμους κωδικοποίησης κυματομορφής Να υπολογίζουν μπλοκ κώδικες για δοθέν πρόβλημα. Να συγκρίνουν τις δομικές διαφορές μεταξύ των κωδίκων ανίχνευσης και διόρθωσης λαθών. Να συγκρίνουν τους γραμμικούς και τους κυκλικούς κώδικες. Να υπολογίζουν συνελικτικούς κώδικες για δοθέν πρόβλημα.   Σε επίπεδο Ικανοτήτων Να εφαρμόζουν σε συγκεκριμένα προβλήματα τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv. Να συγκρίνουν και να αξιολογούν τις μεθόδους κωδικοποίησης πηγής χωρίς μνήμη και με μνήμη. Να σχεδιάζουν και να αξιολογούν μπλοκ κώδικες για δοθέν πρόβλημα. Να εφαρμόζουν τον αλγόριθμο Viterbi σε δοθέν πρόβλημα Να σχεδιάζουν κώδικες μπλοκ, κώδικες διεμπλοκής μπλοκ (interleaving) και κώδικες Reed-Solomon. Να σχεδιάζουν διαγράμματα δικτυωτού (Trellis diagrams) Να σχεδιάζουν συνδυασμένα συστήματα κωδικοποίησης πηγής, καναλιού και διαμόρφωσης ως σύνολο.

Προαπαιτούμενες Γνώσεις

Θεωρία Πιθανοτήτων

Περιεχόμενα

Επανάληψη από θεωρία πιθανοτήτων, πληροφορία, εντροπία, θεώρημα Shannon, διακριτές πηγές με και χωρίς μνήμη, διακριτά κανάλια επικοινωνίας, μη απωλεστικές τεχνικές συμπίεσης πληροφορίας (θεωρία και αλγόριθμοι Huffman, Shannon και arithmetic coding), σήματα και θόρυβος, διακριτά και συνεχή κανάλια, κωδικοποίηση και χωρητικότητα καναλιού, διαχωρισμός πηγής-καναλιού, συμπίεση με απώλειες και κβαντοποίηση, συνάρτηση ρυθμού-απώλειας (rate-distortion function), κωδικοποίηση ανίχνευσης και διόρθωσης σφάλματος (γραμμικοί κώδικες, BCΗ κώδικες, κυκλικοί κώδικες, Reed-Solomon), τεχνικές ARQ-Interleaving.