Αμερικανός μαθηματικός και ηλεκτρολόγος – μηχανολόγος, το έργο του οποίου επέδρασε άμεσα και καθοριστικά στον σχεδιασμό των υπολογιστικών και τηλεπικοινωνιακών συστημάτων.
Αμερικανός μαθηματικός και ηλεκτρολόγος – μηχανολόγος. Είναι ο εισηγητής της θεωρίας της πληροφορίας, που είναι κλάδος των εφαρμοσμένων μαθηματικών και ασχολείται με την ποσοτικοποίηση της πληροφορίας. Οι θεωρίες του, που παραμένουν θεμελιώσεις μέχρι σήμερα, επέδρασαν άμεσα και καθοριστικά στον σχεδιασμό των υπολογιστικών και τηλεπικοινωνιακών συστημάτων και αναπτύχθηκαν σε εφαρμογές, όπως η συμπίεση δεδομένων και η αξιόπιστη αποθήκευση και μεταφορά δεδομένων.
ΒΙΟΓΡΑΦΙΑ
Ο Κλοντ Έλγουντ Σάνον γεννήθηκε στις 30 Απριλίου 1916 στο Πέτοσκι του Μίτσιγκαν και μεγάλωσε στο Γκέιλορντ της ίδιας πολιτείας. Ο πατέρας του ήταν επιχειρηματίας και δικαστής και η μητέρα του γλωσσολόγος σε σχολεία μέσης εκπαίδευσης. Μακρινός του εξάδελφος ήταν ο Τόμας Έντισον.
Το 1932 έγινε δεκτός στο Πανεπιστήμιο του Μίτσιγκαν, από το οποίο αποφοίτησε το 1936 με πτυχία μαθηματικού και ηλεκτρολόγου – μηχανολόγου. Συνέχισε τις σπουδές του στο Τεχνολογικό Ινστιτούτο της Μασαχουσέτης (ΜΙΤ) και το 1938 παρουσίασε τη μεταπτυχιακή διατριβή του «A Symbolic Analysis of Relay and Switching Circuits», που έλυσε τα χέρια των μηχανικών κατασκευής ψηφιακών ηλεκτρονικών κυκλωμάτων. Ο Σάνον στηριζόμενος στην άλγεβρα του Boole, που παρά την επαλήθευσή της δεν είχε βρει άμεση εφαρμογή, σχεδίασε ηλεκτρονικά κυκλώματα, τα οποία είχαν τη δυνατότητα εκτέλεσης πράξεων, παρακάμπτοντας τους οδοντωτούς τροχούς ή άλλα μηχανικά εξαρτήματα, που χρησιμοποιούνταν μέχρι τότε για την εργασία αυτή. Σύμφωνα με τον Σάνον, οι λογικές οντότητες του Boole, Αλήθεια (True) ή Ψέμα (False), που συνήθως αναπαρίστανται με 1 και 0 αντίστοιχα, μπορούσαν να αντικαταστήσουν τις λειτουργίες των διακοπτών στα ηλεκτρικά κυκλώματα.
Τη δεκαετία του ‘40 εργάστηκε ως ερευνητής στα εργαστήρια Bell, όπου μελέτησε το πρόβλημα του θορύβου στις τηλεφωνικές γραμμές κι εφάρμοζε τρόπους μείωσης του προβλήματος αυτού. Όπως έδειξε στο άρθρο του με τίτλο «Communication Theory of Secrecy Systems» («H Θεωρία της επικοινωνίας στα συστήματα κρυπτογράφησης»), ο θόρυβος μπορεί να εμποδίσει τον λήπτη της πληροφορίας να τη λάβει. Με προτροπή του Nash εισήγαγε την έννοια της εντροπίας, δηλαδή τη μέτρηση της αταξίας, στην πληροφορία. Η εργασία του αποτελεί το θεμέλιο της σύγχρονης κρυπτογράφησης.
Στα εργαστήρια της Bell γνωρίστηκε με τη μέλλουσα σύζυγό του Μπέτι Μουρ, η οποία εργαζόταν ως αναλύτρια. Παντρεύτηκαν το 1949 και απέκτησαν τρία παιδιά.
Το 1948 παρουσίασε το θεμελιώδες έργο του «Α Μathematical Theory of Communication» («Μαθηματική Θεωρία της Επικοινωνίας»), σύμφωνα με το οποίο το βασικό πρόβλημα της επικοινωνίας είναι η ακριβής ή όσο το δυνατόν πιστότερη μετάδοση ενός μηνύματος από ένα σημείο προς κάποιο άλλο. «Η ποσότητα πληροφορίας ενός μηνύματος» υποστήριζε ο Σάνον «δεν είναι τίποτα άλλο παρά το σύνολο των δυαδικών ψηφίων ένα και μηδέν (bits) που απαιτούνται για τη μετάδοσή του». Εισήγαγε, έτσι, τη στοιχειώδη μονάδα μέτρησης της πληροφορίας, το bit και καθόρισε ότι ο ρυθμός μετάδοσης της πληροφορίας μετριέται σε bits ανά δευτερόλεπτο. Τη θεωρία του Σάνον υιοθέτησαν και εφάρμοσαν μετέπειτα οι μηχανικοί επικοινωνιών, και δημιουργήθηκε έτσι η τεχνολογία που οδήγησε στη σημερινή εποχή της μοντέρνας ψηφιακής επικοινωνίας.
Το 1950 δημοσίευσε την εργασία του «Programming a computer for playing chess» («Προγραμματίζοντας έναν υπολογιστή να παίζει σκάκι»), που έθεσε τις βάσεις για τη δημιουργία παρόμοιων προγραμμάτων, με τα οποία μπορεί κάποιος να παίξει σκάκι ή παρόμοια παιγνίδια στον υπολογιστή του.
Από το 1956 δίδασκε στο ΜΙΤ και το 1978 ανακηρύχθηκε επίτιμος διδάκτωρ του Πανεπιστημίου. Απέσπασε αρκετά βραβεία και διακρίσεις για την προσφορά του στο χώρο της επιστήμης και ήταν μέλος, μεταξύ άλλων, της Αμερικανικής Φιλοσοφικής Ακαδημίας και της Εθνικής Ακαδημίας Επιστημών των ΗΠΑ.
Ο Κλοντ Σάνον πέθανε στις 24 Φεβρουαρίου 2001 στο Μέντφορντ της Μασαχουσέτης, σε ηλικία 84 ετών. Τα τελευταία χρόνια της ζωής του έπασχε από τη νόσο του Αλτσχάιμερ.
Η ΘΕΩΡΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ
Πρώτος ο Hartley όρισε έμμεσα την ποσότητα της πληροφορίας, το 1928. Ένα χρόνο αργότερα ο Szilard συνέδεσε την πληροφορία και την Θερμοδυναμική Εντροπία.
Το 1940 ο Shannon ξαναβρήκε τα ίδια αποτελέσματα με αφορμή τις τηλεπικοινωνίες. Η καθαυτό όμως θεωρία της πληροφορίας αναπτύχθηκε από τους Wiener (“Θεωρία για την διεύθυνση και επικοινωνία, στη μηχανή ή στο ζώο”) το 1948 και ακολούθως από τον Shannon.
Το 1948 ο Shannοn δημοσίευσε την αξεπέραστη εργασία του, με τίτλο “Η μαθηματική θεωρία της πληροφορίας”. Ήταν ο πρώτος που έκανε την πρώτη ολοκληρωτική μαθηματική απόπειρα θεμελίωσης της Θεωρίας της Πληροφορίας. Στις σελίδες αυτής της εργασίας, την οποία συνυπογράφει ο μαθηματικός Warren Weaνer, γίνεται λόγος για πρώτη φορά για μια μονάδα μέτρησης της πληροφορίας, το δυαδικό ψηφίο, το binary digit, που συντμήθηκε αργότερα από επιστήμονες του χώρου αρχικά σε binit και στη συνέχεια στο γνωστό μας bit.
Έχουμε συνηθίσει να σκεφτόμαστε την “πληροφορία” ή το “μήνυμα” ως γεγονότα, δεδομένα, μαρτυρίες. Σύμφωνα όμως με τη θεωρία της πληροφορίας, πληροφορία είναι αυτό που δεν γνωρίζει κάποιος. Αν κάποιος ακούσει πως “Αύριο θα βρέχει στο κέντρο της Αθήνας”, το μήνυμα αυτό, έχει μεγάλη πληροφορία, γιατί είναι ένα αβέβαιο γεγονός.
Αν όμως ακούσει κάποιος πως “στην Ευρώπη αύριο θα βρέχει”, τότε το κείμενο αυτό έχει πολύ μικρή πληροφορία. Γιατί στο μήνυμα αυτό η πιθανότητα να βρέχει κάπου στην Ευρώπη είναι πολύ μεγάλη, ίσως αγγίζει και το 100%.
Επομένως η πληροφορία συνδέεται με την αβεβαιότητα. Όσο μικρότερη είναι η πιθανότητα Ρ να γίνει ένα γεγονός, τόση περισσότερη ποσότητα πληροφορίας Ι συνοδεύει την πραγματοποίηση του. Και αντίστροφα, αν η πιθανότητα Ρ πραγματοποίησης ενός γεγονότος είναι μεγάλη, τότε η πληροφορία Ι που “κουβαλάει” το γεγονός αυτό είναι μικρή. Αν λοιπόν ο παραλήπτης έχει ήδη την πληροφορία, δεν μπορεί να πει κανείς ότι έλαβε χώρα μετάδοση μηνύματος.
Η πληροφορία Ι συνδέεται με την πιθανότητα Ρ με την σχέση:
Ι=-log2PA ή Ι=log2(1/p).
Η μορφή αυτή μας δίνει την γνωστή μονάδα ποσότητας πληροφορίας, το bit. Αν έχουμε μια απλή πηγή που εκπέμπει δύο σύμβολα μόνο, τότε αν και τα δύο είναι ισοπιθανά ισχύει ,
pa=pb=1/2, και Ι=1 ή Ι=1 bit.
Σύμφωνα με τη θεωρία του Shannοn, περισσότερα bits πληροφορίας παίρνει κανείς από ένα μήνυμα, αν είναι μεγαλύτερη και η αβεβαιότητα που κουβαλάει το μήνυμα, γιατί αυτή η αβεβαιότητα είναι αντιστρόφως ανάλογη με την πιθανότητα Ρ να συμβεί όπως αναφέραμε πιo πάνω.
ΕΝΤΡΟΠΙΑ
Ένα από τα σημαντικότερα στοιχεία όμως του έργου του Shannοn είναι ότι παρέχει στους μηχανικούς τα μαθηματικά εργαλεία που απαιτούνται για τη μέτρηση της απόδοσης ενός καναλιού επικοινωνίας, πόση πληροφορία δηλαδή μπορεί να ξεκινήσει από το σημείο Α και να φθάσει στο σημείο Β χωρίς σφάλματα. Η επιθυμητή πληροφορία είναι το “σήμα”. Η ανεπιθύμητη είναι τα “παράσιτα” ή ο “θόρυβος”.
Ο Shannon είδε πως όσο λιγότερο θόρυβο έχει ένα σύστημα τόση περισσότερη πληροφορία μεταδίδει. Και αντιστρόφως, όσο αυξάνεται η αταξία (θόρυβος) ενός συστήματος τόσο λιγότερη πληροφορία μεταδίδει. Θα μπορούσαμε να πούμε πως η πληροφορία του συστήματος αποτελεί μέτρο της εσωτερικής του τάξης (δηλ. αντιστρόφως ανάλογη με την αταξία, αλλά η εντροπία είναι το μέτρο της αταξίας ενός συστήματος, άρα η πληροφορία είναι αντιστρόφως ανάλογη της εντροπίας).
Ο αριθμός των πιθανών μηνυμάτων που μπορεί κανείς να δημιουργήσει με S αριθμό bits είναι 2 στη δύναμη του S, δεδομένου ότι έχουμε δύο bits, το 1 και το 0.
Αντιστρέφοντας την ιδέα, ο αριθμός των bits που χρειάζεται κανείς για να μεταδώσει ένα μήνυμα είναι ο λογάριθμος με βάση το 2 του αριθμού των πιθανών μηνυμάτων.
2S=P ή λογαριθμίζοντας Ιοg2 P = S
Στην αξία του S ο Shannοn έδωσε το όνομα “εντροπία”. Η εντροπία αναφέρεται σε μια κατάσταση ενός φυσικού συστήματος, ενώ συγχρόνως αποτελεί μέτρο της αταξίας του συγκεκριμένου συστήματος. Η αταξία δεν είναι τελείως αντικειμενική ιδιότητα. Ο ανθρώπινος παράγοντας δεν μπορεί να την αποκλείσει τελείως, γιατί η ιδέα της τάξης είναι άρρηκτα συνδεδεμένη με τη λειτουργία του νου.
Το εντυπωσιακό με την εξίσωση του Shannοn για την εντροπία της πληροφορίας είναι ότι εμφανίζει την ίδια σχέση με την εξίσωση του BοΙtzmann (S=klnP) για την εντροπία στη θερμοδυναμική (δεύτερος νόμος), μια σχέση λογαριθμική.
Από τον ορισμό του Boltzmann και του Shannon για την πιθανότητα,
S=klnP και Ι=-log2PA,
είναι έκδηλη η ομοιότητα των σχέσεων ορισμού της πληροφορίας και της εντροπίας. Βλέπουμε δηλαδή πως ενώ η εντροπία μετράει το βαθμό αταξίας και αυξάνει με την πιθανότητα, η πληροφορία ουσιαστικά μετράει το βαθμό της τάξης μέσα στη δομή του μηνύματος και ελαττώνεται με την πιθανότητα.
Αυτός είναι βασικά και ο λόγος που βάζουμε Ι=-S και που συχνά αναφέρουμε την πληροφορία Ι σαν αρνητική εντροπία S (αντετροπία-negentropie).
Ο Shannοn δεν προσπάθησε να εξαλείψει την αταξία, τα παράσιτα. Μας δίδαξε πώς να ζούμε με αυτά ή ακόμα και να τα αξιοποιούμε. Μπορεί κανείς να χρησιμοποιήσει την εντροπία για να διαπιστώσει τι μέρος του καναλιού μπορεί να χρησιμοποιηθεί για τη μετάδοση χρήσιμης πληροφορίας – του σήματος.
Η εντροπία της θερμοδυναμικής συνεπάγεται τη φθορά. Αν θεωρήσουμε δεδομένο ότι το σύμπαν είναι ένα κλειστό σύστημα, κάθε φορά που συμβαίνει κάτι, ολόκληρο το σύστημα ολισθαίνει προς την αύξηση της εντροπίας. Η ίδια η ζωή όμως στη Γη συνεισφέρει στην μείωση της εντροπίας, ενώ στο σύμπαν η εντροπία αυξάνεται. Στη θεωρία της πληροφορίας, όσο μικρότερη είναι η εντροπία τόσο περισσότερη είναι και η πληροφορία… άρα και η αβεβαιότητα.
Αυτό σημαίνει μήπως, αναρωτιούνται κάποιοι, ότι όσο περισσότερα γνωρίζουμε τόσο περισσότερο αβέβαιοι είμαστε;
Το γεγονός ότι η πληροφορία ολοένα αυξάνει σημαίνει ότι απομακρυνόμαστε ολοένα και περισσότερο από τη δυνατότητα να κατανοήσουμε το σύμπαν;
Πέντε χρόνια μετά την έκδοση της θεωρίας της πληροφορίας του Shannοn, οι James Watsοn και Francis Crick αποκάλυψαν τα μυστικά του DNA στο εργαστήριο Caνendish του Cambridge. Διαπιστώθηκε ότι η διπλή έλικα του DNA αποτελούσε ένα πληροφοριακό σύστημα Ο ίδιος ο Shannοn, παρ’ όλο που προειδοποιούσε με δημοσιεύματα τους εργαζόμενους σε άλλα πεδία να είναι επιφυλακτικοί και να μην εφαρμόζουντη θεωρία των πληροφοριών αδιακρίτως, παραδέχθηκε ότι η θεωρία θα μπορούσε να έχει μεγάλη σχέση με τον τρόπο με τον οποίο λειτουργούν τα γονίδια και το νευρικό σύστημα και άφησε ανοιχτό το ενδεχόμενο ‘το ανθρώπινο ον να δρα ως ένας ιδανικός αποκωδικοποιητής”.
Ο Monod μας λέει πως τα ένζυμα ασκούν σε μικροσκοπική κλίμακα, μια λειτουργία που δημιουργεί τάξη, δημιουργεί πληροφορία σε βάρος του χημικού δυναμικού.
Ο Shannon διετύπωσε μια διάσημη σχέση για την χωρητικότητα C ενός καναλιού, στον οποίο φαίνεται καθαρά η σχέση μεταξύ εύρους ζώνης συχνοτήτων Β και λόγου σήματος προς θόρυβο.
C=Blog(1+S/N) bits/sec
Γεγονός είναι ότι η θεωρία της πληροφορίας που διατύπωσε ο CΙaude Shannοn ξεκίνησε την ψηφιακή επανάσταση που οδήγησε στην ανάmυξη και την εδραίωση νέων μέσων επικοινωνίας – μεταξύ των οποίων και το Ιnternet. Χρησιμοποιήθηκε επίσης για να λυθούν γρίφοι σε γνωστικούς τομείς τόσο διαφορετικούς μεταξύ τους όσο η πληροφορική, η γενετική μηχανική, τα νευρωνικά συστήματα, η γλωσσολογία, η φωνητική, η ψυχολογία και τα οικονομικά Μεταξύ άλλων άνοιξε νέους δρόμους στη μελέτη του Χάους και έφερε το Διάστημα πιο κοντά στον άνθρωπο.
Από τη στιγμή ωστόσο που διατύπωσε τα θεωρήματά του, η Φύση δεν μπορεί πια να ιδωθεί μόνο σαν ύλη και ενέργεια. Μία τρίτη συνιστώσα προστέθηκε στην προσπάθεια εξήγησης του κόσμου: η πληροφορία.
Πηγές:
1. Θεωρία της Πληροφορίας και Φυσικές Επιστήμες: Κ.Καρούμπαλος
2. https://www.sansimera.gr/biographies/1610
