Entropia e comunicazione

L'entropia è la legge fisica che afferma, tra l'altro, che il calore fluisce sempre da un corpo caldo ad un corpo freddo e non viceversa. La fisica ha formulato la legge di crescita inevitabile dell'entropia nell'universo.
La legge di crescita dell'entropia afferma che l'universo si evolve verso uno stato di sempre maggiore uniformità.
La legge dell'entropia è una legge statistica, basata cioè sull'evoluzione degli stati accessibili in un determinato istante.
L'evoluzione avviene nella direzione in cui il mondo si stabilizza in prossimità degli eventi più probabili.

La legge matematica che descrive l'entropia è curiosamente simile alla legge che governa il flusso di informazioni in un canale di trasmissione.
Nell'approccio sistematico allo studio dei sistemi relazionali informatici e telematici in genere, in termini di segni e quindi, di riflesso, in termini simbolici, assume notevole importanza il concetto di "funzione entropia" intesa come misura dell'incertezza nell'ambito della conoscenza dello stato di un generico sistema.

Esistono almeno tre distinte interpretazioni del concetto di entropia:

1. Interpretazione termodinamica.

In questa interpretazione l'entropia descrive lo stato di "uniformità" del sistema ed è una funzione sempre crescente allo scorrere del tempo; il sistema si evolve verso lo stato più probabile raggiungendo l'equilibrio termodinamico: uno stato indifferenziato.

2. Interpretazione nella teoria della comunicazione.

La forma matematica che descrive il flusso di informazioni in presenza di rumore corrisponde alla forma matematica che descrive l'entropia termodinamica; si è portati quindi per analogia ad assimilare questi due concetti.

In questo caso pero' l'informazione è tanto più significativa quanto più è improbabile; il messaggio statisticamente più probabile, massimo di entropia, è privo di significato.

Il messaggio può essere trasmesso con precisione grande a piacere, anche in presenza di errori casuali, ripetendo il messaggio stesso.

Anche in questo caso il messaggio degrada da uno stato di massima significatività ad uno stato indifferenziato a causa degli errori casuali di trasmissione.

3. Interpretazione in relazione alla conoscenza del sistema.

In questa interpretazione l'entropia diviene una misura del grado di conoscenza che abbiamo di un determinato sistema.

La conoscenza massima possibile corrisponde alla conoscenza degli stati particolari tra quelli possibili in cui si trova il sistema.

La probabilità di questo stato collassa da un valore infinitesimo al valore uno corrispondente alla realtà ovvero allo stato che effettivamente si realizza in natura.

Informazioni mancanti fanno crescere l'entropia intesa come mancata conoscenza del sistema.
Tanto più è complesso il sistema tanto maggiore è l'entropia.

L'entropia viene anche utilizzata come misura del disordine di un sistema, nel senso che uno stato ordinato (semplice) e' maggiormente comprensibile (e quindi comunicabile) che uno stato disordinato.
Ora di pari passo con le considerazioni appena svolte, viene alla luce il fondamentale "compromesso" tra ricevente ed emittente del messaggio stesso, che in ambito informatico si traduce in una comune scelta di codici di trasmissione, quindi, in ultima analisi la socialità che sta alla base di comunicazione e cultura.

In questo contesto si innesta la teoria dell'evoluzione che, in presenza di riproduzione e mutazione, e' in grado di selezionare informazioni sempre più lontane dall'equilibrio statistico, massimo di entropia, per ottenere un messaggio sempre più significativo: estrae dal disordine un ordine.
La presenza di eventi stocastici alla base del processo evolutivo porta pero' ad una sempre maggiore complessità relativa ad uno scorrere del tempo senza limiti.

Effetti di amplificazione e retroazione possono portare alla affermazione di fluttuazioni casuali che diventano la regola per le generazioni successive.
L'evoluzione consiste nel mutamento della materia da forme omogenee e incoerenti, tramite la dissipazione del movimento e l'integrazione della materia, a forme eterogenee e coerenti.

Maggiore è la coesione, cooperazione, tra le parti che costituiscono le forme, più alto è il grado di sviluppo. Ad esempio il sistema solare si è evoluto dalla concentrazione di una nebulosa: questa, originariamente omogenea e incoerente poiché costituita da materia interstellare libera, si è concentrata, dissipazione del movimento e integrazione della materia, dando origine a forme eterogenee e coerenti, pianeti e stelle.

Un altro aspetto fondamentale dell'evoluzione è il passaggio dall'indefinito al definito. Ciò si realizza tramite il mutamento della materia che da uno stato di disordine e semplicità passa all'ordine e alla complessità.
La trasformazione di un insieme, prima disperso e uniforme, in un insieme costituito di parti multiformi e diverse, realizza la determinatezza progressiva della materia durante l'evoluzione.
In sintesi l'evoluzione sarebbe un'integrazione della materia e una dissipazione e trasformazione del movimento in cui la materia passa da un'omogeneità indefinita e incoerente ad un'eterogeneità definita e coerente.

L'evoluzione, in questa visione, procede esattamente nel senso contrario rispetto alla legge di crescita dell'entropia. Se trasmettiamo in maniera caotica delle informazioni lungo un canale di comunicazione quello che otteniamo è la confusione più completa.
Siamo continuamente bombardati da una miriade di informazioni diverse e contrastanti e spesso ne siamo disorientati. Per non rimanere completamente bloccati in questo mare di informazioni occorrono algoritmi che producano una sintesi delle stesse.

In particolare algoritmi di ricerca e organizzazione.

Affinché una comunicazione risulti efficace occorre che i messaggi scambiati siano reciprocamente compresi; questo sottolinea l'importanza della chiarezza nella composizione dei messaggi.
Il messaggio con il maggior contenuto informativo è anche il messaggio più improbabile. Un messaggio scontato è vuoto di significato. Le informazioni lasciate a sé stesse sono soggette alla legge dell'entropia ovvero si disperdono adeguandosi ad ogni possibile configurazione.

Occorre strutturare ed organizzare le informazioni per riuscire a gestirle utilmente; in particolare occorrono meccanismi di ricerca delle informazioni pertinenti per un determinato scopo.
Sotto questo punto di vista la tecnologia informatica consente la realizzazione di procedure che ci consentono di rintracciare le informazioni che cerchiamo selezionandole tra l'enorme volume di informazioni disponibili nella rete telematica.

Un concetto, non rappresenta un'essenza della realtà, ma è un simbolo per indicare riassuntivamente grandi classi di informazioni e sensazioni, che altrimenti resterebbero incontrollabili e non maneggiabili.
L'uomo ha bisogno di una veduta d'insieme che gli consenta di agire efficacemente rispetto alla moltitudine degli stimoli.

Se può accadere di tutto, e l'attesa deve aspettarsi ogni evento, non è possibile alcuna previsione e alcuna forma di vita: le leggi di natura, descrivendo le regolarità e uniformità dell'esperienza, hanno appunto la funzione di favorire la previsione e quindi di restringere l'attesa e di rendere possibile l'azione dell'uomo, che diventa tanto più efficace quanto più è delimitata.

La logica matematica offre un potente strumento per trasformare tutte le proposizioni del linguaggio comune e del linguaggio scientifico o in proposizioni in cui il soggetto è un nome proprio, oppure in proposizioni più o meno complesse che da ultimo sono costituite da proposizioni di quel primo tipo. Se questa possibilità, offerta dalla logica matematica, viene posta in relazione alla tesi che tutti i concetti scientifici indicano aggregazioni di sensazioni, cioè degli elementi individuali originariamente dati nell'esperienza, si realizzano allora le condizioni per effettuare una ricostruzione rigorosamente razionale di tutta la conoscenza umana, sulla base dei concetti che si riferiscono al dato immediato dell'esperienza.

Indipendentemente dall'esperienza, il pensiero può solo trasformare proposizioni in altre proposizioni che, per quanto diverse di forma, non contengono nulla che non sia già contenuto nelle prime.
In sostanza una proposizione intorno alla realtà ha senso solo se esiste la possibilità di accertare se essa è vera o falsa, ovvero dal punto di vista pratico solo se essa è verificabile o falsificabile dall'esperienza.

Un risultato notevole del pensiero contemporaneo consiste nel considerare la logica non come il regno dell'evidenza, ma come un meccanismo di segni trasformabili in altri segni in base a regole convenzionali, il quale consente di superare certe contraddizioni o antinomie di fondo della logica tradizionale.
Quello che osserviamo è che l'uomo organizza e sintetizza le informazioni che riceve, i giochi linguistici consentono solo di ottenere tautologie ma l'essere umano riesce ad aggiungere il senso alle proprie proposizioni.

Da questo punto di vista il pensiero meccanico si comporta esattamente come un gioco linguistico, manipola i simboli.
I processi elaborativi manipolano le informazioni in vari modi possibili ma per essere significative le informazioni debbono riferirsi ad oggetti che possiedano una reale consistenza almeno nella memoria.
Quello che osserviamo essere una caratteristica degli organismi viventi è il passaggio dalla non forma alla forma che è esattamente il contrario della tendenza dovuta alla crescita di entropia che porta dalla forma alla non forma, all'uniformità.

E' possibile prevedere ciò che si dirà fra un istante?

All'interno dei processi che governano il pensiero meccanico è possibile inserire elementi che ne rendono imprevedibile il comportamento. Anche il pensiero meccanico, a differenza di quanto sembrerebbe, può essere non deterministico, vuoi per la presenza di elementi casuali, vuoi per il livello di complessità che può raggiungere.

Un potente mezzo di elaborazione dei dati a disposizione del pensiero meccanico consiste nell'analisi delle coincidenze di segni, tali coincidenze possono essere fondamentali per la costruzione di entità astratte (simboli) che possono fornire di senso le informazioni medesime.
La verifica dell'esistenza di coincidenze significative permette la costruzione di teorie esplicative, in particolare pochi indizi ma significativi possono portare a conclusioni generali relativamente all'interpretazione degli eventi propri dell'esistenza.

Le informazioni difficilmente si organizzano da sole, occorrono processi di elaborazione in grado di rilevare le pertinenze di ciascuna informazione in relazione al contenuto della memoria.
La formazione di oggetti e concetti stabili in memoria presuppone l'integrazione in un unico schema di una molteplicità di stimoli.
Le modalità tipiche secondo cui si svolge la comunicazione tra individui richiedono una sincronia in relazione al significato che ciascun interlocutore attribuisce ad ogni informazione scambiata. La chiarezza e semplicità dei messaggi facilita la reciproca comprensione.

Quando la complessità del messaggio richiede una particolare attenzione da parte degli interlocutori molto spesso si produce un travisamento del contenuto informativo del messaggio stesso.
In particolare un messaggio viene riconosciuto sulla base di ciò che è già presente in memoria e può essere compreso solo in riferimento ad altre informazioni precedentemente acquisite e consolidate.
Un messaggio completamente nuovo e senza riferimenti alla storia del soggetto non può essere compreso in alcun modo.

Esiste una stretta relazione tra il concetto di entropia e il concetto di informazione sullo stato di un sistema; questo fatto è messo in luce dal famoso diavoletto di Maxwell.
Se nella parete divisoria tra due gas a diversa temperatura inseriamo una apertura controllata in maniera tale da lasciar passare solo le particelle più veloci in una unica direzione si otterrebbe il passaggio di calore da un corpo freddo ad un corpo caldo, in contraddizione con la legge di crescita dell'entropia. E' possibile dimostrare che per controllare una tale apertura occorrerebbe tanta energia quanta ne basta per controbilanciare la relativa diminuzione di entropia.

La legge di crescita dell'entropia è strettamente legata al concetto di probabilità: tendenza verso le configurazioni più probabili. La probabilità è a propria volta legata al concetto di informazione. Consideriamo il seguente problema legato al concetto di probabilità.

Vi sono tre tazze, A B C , sotto una delle quali è nascosto un premio.

Supponiamo di scegliere la tazza A, avremo una probabilità di vincita pari ad 1/3, ipotizzando una suddivisione equa della probabilità.
Ora se riceviamo l'informazione che il premio non si trova sotto una delle altre due tazze, per esempio la B, come cambia la distribuzione della probabilità nel sistema?

Conviene cambiare la nostra scelta iniziale?

L'evento determinato dalla nostra prima scelta ha suddiviso il sistema in due eventi distinti possibili:

1. il premio si trova sotto A (probabilità 1/3)
2. il premio si trova o sotto B o sotto C (probabilità 2/3)

Ora l'informazione che ci dice che il premio non è sotto B (o sotto C) ci consente di scegliere il secondo evento capovolgendo una sola tazza e quindi determinando la vincita del premio con probabilità 2/3.

Conviene cambiare la nostra scelta iniziale.

Ecco un esempio significativo di come l'informazione possa interagire con la distribuzione di probabilità a priori di un determinato sistema, come si vede una tale interazione è di tipo complesso e controintuitivo.
Informazione, entropia e probabilità sono concetti intimamente correlati.

Gli eventi che accadono in natura sono legati alla loro probabilità di verificarsi; comunque anche se sono note le probabilità a priori degli eventi il futuro rimane assolutamente imprevedibile relativamente a singoli eventi. Anche le probabilità a priori sono in realtà inconoscibili.
E' possibile stimare le probabilità sulla base di ipotesi e credenze, per esempio l'equiprobabilità di eventi simili, ma in sostanza non abbiamo mezzi concreti per stabilire le probabilità a priori.

La tendenza statistica della frequenza al valore della probabilità ci consente di determinare le probabilità ma solo a posteriori. La distribuzione delle probabilità cambia nel tempo.
L'evento "giocare una schedina" modifica la probabilità di vincere da un valore nullo ad un valore diverso da zero.
Anche se conoscessimo tutte le probabilità reali ad un certo istante, non potremmo prevedere come tale distribuzione si evolverà nel tempo.

In particolare, in una visione atemporale, la distribuzione di probabilità potrebbe essere uno per tutti gli eventi che si verificano e zero per tutti gli altri; ovviamente in questo caso il concetto stesso di probabilità perderebbe ogni significato ed ogni concreta possibilità di utilizzo.
Il fatto che l'evento faccia collassare la probabilità al valore uno, una volta che si verifica, è alla base delle difficoltà di interpretazione della meccanica quantistica.

In effetti le equazioni che descrivono la realtà subnucleare fanno riferimento ad un universo di possibilità in cui solo alcuni eventi si verificano mentre la maggior parte degli eventi possibili non si verifica. Le equazioni descrivono universi possibili e in questi universi le equazioni stesse descrivono in maniera deterministica gli eventi. Ma, verosimilmente, esiste un solo universo intrinsecamente legato alla miriade di eventi particolari (più o meno probabili) che effettivamente si verificano in maniera unica e particolare.

Per di più le equazioni che governano il moto delle particelle elementari consentono a tali particelle di esistere anche in zone in cui non potrebbero arrivare a causa di barriere di potenziale: effetto tunnel.
Le equazioni della meccanica quantistica prevedono effetti di correlazione istantanei ed indipendenti dalla distanza; verrebbe frantumata la tanto fruttuosa località delle interazioni.

Sebbene la teoria della relatività ponga un limite alla velocità con cui qualsiasi segnale può viaggiare nello spazio-tempo, fenomeni quantistici provano che deve esistere uno scambio informativo istantaneo indipendente da qualsiasi distanza che mette in relazione le particelle elementari; questo suggerisce la possibilità di uno scambio di informazioni per via extra-fisica ovvero senza nessun supporto materiale.

Un altro punto messo in crisi dalla meccanica quantistica consiste nella separabilità dei sistemi in sotto sistemi, tutto è correlato a tutto.
Questa universalizzazione delle relazioni ha un effetto paralizzante sulla capacità pratica di prendere decisioni, infatti solo la possibilità di isolare e separare i fenomeni consente di affrontarli e comprenderli.

La comunicazione umana avviene sulla base di simboli attivi in ogni memoria cosciente. Il fatto che vi sia un allineamento di significato poggia sulla comune esperienza dei singoli.
Per Jung i simboli, gli archetipi, fanno parte di un patrimonio comune a tutta l'umanità e si sarebbero sedimentati in un inconscio collettivo nel corso di un lunghissimo processo evolutivo.
A volte l'informazione significativa si appoggia su semplici particolari che potrebbero anche essere trascurati ad una prima osservazione.

Eventi particolarmente improbabili sono implicitamente straordinarie conferme di elaborate teorie. Le teorie sono comunque sempre parziali rispetto ad una spiegazione completamente esaustiva della realtà. Le teorie spiegano alcuni fenomeni a partire da altri che ne sono la causa.
La possibilità di ripetere le esperienze consente la condivisione delle idee che stanno alla base della spiegazione di determinati fenomeni.

Ciò non toglie la possibilità di testimonianze, anche numerose, che lasciano increduli gli ascoltatori, vuoi per la singolarità del fatto, vuoi per le implicazioni dirette o indirette sulle credenze più diffuse che implicherebbero.
La mente funziona come un potente selezionatore ed ordinatore in grado di cogliere anche leggere sfumature e differenze nelle informazioni che analizza ed è in grado di costruire modelli astratti generali a partire da semplici indizi particolari.

E' difficile immaginare come il pensiero meccanico possa districarsi a partire da un mare caotico di informazioni, e vincere la legge dell'entropia, per costruire una visione organica di concetti.
Tanto più è grande il quantitativo di informazioni che giunge al cervello tanto più la mente è sveglia, tante più informazioni deve elaborare il pensiero meccanico tanto più si trova in difficoltà.

Una modalità di ragionamento molto potente ed utilizzata risiede nell'uso delle analogie. Una analogia si basa sull'estrazione di regole in un determinato ambito e sulla loro applicazione in un ambito diverso. Ciò che vale in una determinata rappresentazione viene utilizzato come spiegazione in una diversa rappresentazione. Da questo punto di vista il pensiero meccanico potrebbe avvalersi del ragionamento per analogia.

Gli esseri umani utilizzano ampiamente l'analogia per darsi ragione del comportamento dei fenomeni in un ambito nuovo ed inesplorato; infatti è proprio tramite l'analogia che è possibile afferrare il senso di informazioni completamente nuove e slegate da fatti già noti.

E' uso comune dare per scontato che ciò che funziona in un particolare ambito dell'esperienza debba funzionare anche in un ambito diverso. Questa ipotesi di uniformità delle leggi del mondo effettivamente viene verificata molto spesso.

Anche nel campo della matematica si utilizza, specialmente nelle prime fasi della ricerca, il ragionamento per analogia. L'analogia guida l'intuizione matematica ancor prima di una vera e propria formulazione simbolica. Può succedere che un fatto, un'invenzione o un prodotto, realizzato in una sfera particolare possa essere un utile indizio per la realizzazione di una scoperta scientifica di più ampio respiro.
Le trasformazioni matematiche che consentono di passare da una rappresentazione ad un'altra sono alla base del pensiero umano.

La conoscenza procede principalmente ricercando costanti ed invarianti isolate nella multiformità delle informazioni a disposizione.
Quello che facciamo costantemente è costruirci dei copioni di comportamento validi in una determinato ambito e quindi generalizzare tale comportamento anche in ambiti diversi.
Un tale processo di comportamento stereotipato diviene talmente usuale che spesso ci comportiamo in un determinato modo quasi inconsciamente.

Quando siamo di fronte ad una esperienza nuova od imprevista spesso reagiamo sulla base di esperienze che abbiamo vissuto in passato e che conosciamo meglio.
Siamo talmente abituati ad agire in modo stereotipato che molto spesso fatichiamo non poco a cambiare comportamento quando le condizioni cambiano e non vi sono più le premesse che hanno originato un determinato comportamento.

Quando cerchiamo di comprendere un fatto nuovo, un concetto, un'idea, immediatamente ci riferiamo, tramite l'analogia, a quanto conosciamo che possa essere simile in qualche aspetto a ciò che ci viene proposto.
Costruiamo così le nostre nuove teorie tramite una manipolazione, taglia e cuci, di nozioni originarie già note e consolidate. Il fatto nuovo e assolutamente avulso da qualsiasi esperienza precedente non può essere compreso in alcun modo. Molto spesso le intuizioni più creative ed originali si formano in un contesto extra-linguistico, per immagini, per analogia, come un tutto unico, solo in un secondo momento assumono una veste concettuale.

Gli esseri umani non comunicano solo tramite il linguaggio, ma anche attraverso canali alternativi come per esempio il linguaggio del corpo: l'espressione di un volto può essere estremamente significativo.
La comunicazione può procedere per via empatica: il tono di voce può modificare completamente il senso di una frase.
La capacità di cogliere lo stato d'animo di un interlocutore umano è una caratteristica tipica fondamentale nei rapporti interpersonali.

Avere a disposizione più canali di comunicazione consente al soggetto di integrare e confermare le informazioni che riceve col risultato di aumentare la corrispondenza delle informazioni percepite con i fatti oggettivi dell'esperienza.
Il bambino esegue una correlazione vista tatto nella propria ispezione del mondo; egli cerca di toccare gli oggetti nel proprio campo visivo.

La possibilità di avere diversi canali di comunicazione sincronizzati apre al pensiero meccanico ampi orizzonti applicativi.
La sincronizzazione di diversi input sensoriali consente una notevole amplificazione delle capacità di analisi dei singoli stimoli al fine di isolare quegli invarianti che determinano la costruzione dei concetti.

E' possibile addestrare delle reti neurali al riconoscimento di forme. Una volta addestrata la rete neurale è in grado di riconoscere particolari aspetti astratti presenti, per esempio, in fotografie. A volte però il riconoscimento fallisce, in questo caso il processo non produce il risultato desiderato. Anche il pensiero meccanico, in presenza di complessità ed incertezza, può commettere degli errori.

Capitolo 4 >>