Opencourse Συστήματα Παράλληλης & Κατανεμημένης Επεξεργασίας

Γενική περιγραφή. Πρότυπο von Neumann. Κατηγοριοποίηση κατά Flynn. Πολύ-επεξεργαστές, Πολύ-υπολογιστές. Συστήματα κατανεμημένης και κοινόχρηστης μνήμης. Υπολογισμός απόδοσης. Κλιμάκωση. Δίκτυα διασύνδεσης παράλληλων υπολογιστών. Νόμος του Grosch, του Amdahl, των Gustafson Barsis. Σχεδιασμός παράλληλων εφαρμογών. Παραλληλοποίηση προγραμμάτων - MPI. Συγχρονισμός. Γράφοι εξάρτησης. Χρονοδρομολόγηση. Συνάφεια διαμοιραζόμενης μνήμη. MESI. Parallel GPU. Μοντέλα και μηχανισμοί επικοινωνίας διεργασιών. Εργαστηριακές ασκήσεις σε προγραμματισμό παράλληλων εφαρμογών σε OpenMPI, Openmp, threads και CUDA

Στόχοι Μαθήματος

Με την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές  αποκτούν γνώση και κατανόηση των παρακάτω θεμάτων: ·                     τους λόγους που οδήγησαν στην παράλληλη επεξεργασία, ·                     τις ομοιότητες και τις διαφορές ανάμεσα στα είδη της παράλληληςεπεξεργασίας, ·                     τα πλεονεκτήματα και τα μειονεκτήματα της παράλληλης επεξεργασίας, ·                     τους τρόπους διασύνδεσης των επεξεργαστών, ·                     τα προβλήματα συνέπειας της μνήμης και τα πρωτόκολλα αντιμετώπισηςπροβλημάτων, ·                     τη σημασία του συγχρονισμού ρολογιού σε κατανεμημένα συστήματα, ·                     τα δυνατά και αδύνατα σημεία της παράλληλης επεξεργασίας σε πολυ-πύρηνα συστήματα ή σε GPU, ·                     τα επίπεδα επίτευξης παραλληλίας. Με την επιτυχή ολοκλήρωση του εργαστηριακού τμήματος του μαθήματος, οι φοιτητές  αποκτούν γνώση και κατανόηση των παρακάτω θεμάτων: ·                     της κλιμάκωσης μιας παράλληλης εφαρμογής, ·                    της σημασία της συγγραφής μιας εφαρμογής για παράλληλα συστήματα, ·                    της συγγραφής και αποσφαλμάτωσης παράλληλων προγραμμάτων, ·                    των τεχνικών αύξησης της παραλληλίας, ·                    της χρήσης του openmpi για τον προγραμματισμό σε κατανεμημένασυστήματα, ·                    της χρήσης του openmp για τον προγραμματισμό σε πολυπύρηνασυστήματα,   ·                    της χρήσης του cuda για προγραμματισμό πολυπύρηνων καρτώνγραφικών,   ·                    της χρήσης των νημάτων Posix για πολύ-νηματικές εφαρμογές,   ·                    της χρήσης των εργαλείων υποβολής εργασιών σε πλέγμα,   ·                    της χρήστης των εργαλείων υποβολής εργασιών σε συστοιχία,   ·                    της ανάλυσης και του προσδιορισμού των σημαντικών τμημάτων μιας εφαρμογής,   ·                  της μέτρησης της απόδοσης των παράλληλων και κατανεμημένων εφαρμογών,   ·           της αναγνώρισης της καλύτερης αρχιτεκτονικής για την παραλληλοποίηση ενός προβλήματος.

Προαπαιτούμενες Γνώσεις

Λειτουργικά Συστήματα, Προγραμματισμός C (δεν είναι υποχρεωτικό).

Περιεχόμενα

Εισαγωγικά στοιχεία. Ιστορική ανασκόπηση της παράλληλης και κατανεμημένης επεξεργασίας. Πρότυπο von Neumann. Κατηγοριοποίηση κατά Flynn. Διασωλήνωση. Πολύ-επεξεργαστές, Πολύ-υπολογιστές. Συστήματα κατανεμημένης και κοινόχρηστης μνήμης. Αρχιτεκτονικές μνήμης  ενιαίου και μη-ενιαίου χρόνου πρόσβασης. Υπολογισμός απόδοσης. Κλιμάκωση. Δίκτυα διασύνδεσης παράλληλων υπολογιστών. Νόμος του Grosch, του Amdahl, των Gustafson Barsis. Σχεδιασμός παράλληλων εφαρμογών. Παραλληλοποίηση προγραμμάτων - MPI. Συγχρονισμός. Γράφοι εξάρτησης. Χρονοδρομολόγηση. Συνάφεια διαμοιραζόμενης μνήμη. MESI. Παράλληλη Επεξεργασία σε GPU. Μοντέλα και μηχανισμοί επικοινωνίας διεργασιών. Διανυσματική Επεξεργασία. Συστοιχίες και υπολογιστική πλέγματος. Παραδείγματα παραλληλοποίησης εφαρμογών. Θέματα συγχρονισμού. Εργαστηριακές ασκήσεις σε προγραμματισμό παράλληλων εφαρμογών σε OpenMPI, Openmp, threads και CUDA.