Reti Neurali

Che cosa sono le reti neurali? Quali sono gli aspetti salienti dell'architettura delle reti neurali artificiali? Questa introduzione copre le nozioni più importanti delle reti neurali: la metafora bilogica, il neurone artificiale, gli algoritmi di apprendimento, le potenzialità ed i limiti di questo approccio computazionale.

Limiti dell'approccio classico
L'intelligenza artificiale classica utilizza il paradigma simbolico per affrontare problemi considerati di alto livello.
L'approccio classico non riesce però ad affrontare problemi apparentemente semplici, quali il meccanismo di volo di una mosca.
Le funzioni biologiche e cognitive che sembravano più elementari si sono dimostrate essere più difficili di quanto si pensasse, più complesse di funzioni considerate di alto livello; soprattutto, tali funzioni sono estremamente difficili da simulare con l'approccio computazionale classico.

Simulare il S.N.C.
Poiché i sistemi nervosi biologici sono in numerose circostanze più potenti dei sistemi computazionali classici, si è cercato di simularne le potenzialità riproducendo alcuni aspetti della loro architettura fisica.

L'architettura biologica
L'approccio connessionista è sorto dall'ipotesi che la capacità dimostrata dai sistemi biologici ad affrontare compiti complessi fosse dovuta all'architettura fisica del loro sistema nervoso. Si è dunque tentato di creare delle architetture fisiche che riproducessero, in maniera semplificata, alcune delle caratteristiche del S.N.C.

Un differente paradigma computazionale
Le macchine di von Neumann sono basate su un'astrazione di elaborazone e memoria del ragionamento umano;
Le reti neurali sono basate sull'architettura parallela del cervello biologico.

Gli aspetti salienti

dell'architettura neuronale
Gli aspetti considerati salienti sono:
> numerosità - parallelismo: le reti neurali biologiche sono composte da un numero elevatissimo di unità che lavorano in parallelo
> connettività: le unità sono fra loro altamente connesse

Altre caratteristiche salienti
> unità computazionali semplici;
> alto grado di connettività;
> utilizzo di messaggi (relativamente) semplici;
> interazione adattiva fra elementi.

Le potenzialità delle reti
Le caratteristiche biologiche dei neuroni, la loro numerosità e la loro connettività permettono l'emergere di alcune caratteristiche molto importanti

Risposta continua
ad esclusione di un numero finito di discontinuità ad input simili la rete risponde con output simili

Tolleranza agli errori
scostamenti non significativi dei valori di input vengono assorbiti dalla rete, diminuendo così il rumore statistico e risultando tolleranti agli errori o al decadimento del segnale.

Tolleranza ai guasti
La presenza di molte unità di processamento parallele l'eventuale perdita di un unità ha, nel caso di architetture con molti neuroni, conseguenze non irreparabili.

Capacità di apprendimento
Attraverso degli opportuni algoritmi di modificazione dinamica dei pesi la rete riesce ad adattare il proprio comportamento fino a computare una funzione arbitraria y= f (x) in base agli esempi presentati.

Capacità di generalizzare
Grazie al fatto che la risposta delle reti è continua (ad esclusione di un numero finito di discontinuità) il sistema che abbia correttamente appreso una funzione riesce di norma a fornire una risposta "ragionevole" anche a stimoli precedentemente mai occorsi.

Livelli di descrizione

* Livello biologico - neurofisiologico
* Livello matematico
* Livello fisico
* Livello statistico
* Intelligenza artificiale

* Modelli psicologici e neuropsicologici

Livello biologico - neurofisiologico
Le reti neurali artificiali costituiscono delle metafore delle reti neurali biologiche;
nell'ambito delle "neuroscienze computazionali" le reti costituiscono dei modelli teorici di aree funzionali del sistema nervoso centrale.

Livello matematico
Le reti sono oggetti matematici, in quanto vengono realizzate attraverso degli stumenti matematici classici;
esse sono, a loro volta, degli strumenti matematici, in quanto calcolano delle funzioni arbitrarie.

Livello fisico
Alcune architetture di reti neurali artificiali presenti in letteratura costituiscono dei modelli di alcuni dominî fisici. L'esempio più significativo è costituito dalle reti di Hopfield, che simulano il comportamento elettromagnetico dei metalli.

Livello statistico
> i percettroni senza strati nascosti costituiscono dei modelli lineari;
> le reti con uno strato nascosto sono paragonabili a dei modelli di regressione;
> le reti neurali probabilistiche corrispondono alla kernel discriminant analysis;
> le reti di Kohonen di quantizzazione vettoriale adattiva sono simili alla cluster analisys;
> la regola di Hebb è correlata all'analisi delle componenti principali;

Intelligenza artificiale
Le reti neurali possono realizzare degli strumenti, e vengono usate in numerosi contesti, proprio perché capaci di affrontare problemi complessi e poco o male strutturati sotto il profilo formale

Modelli psicologici e neuropsicologici
Se la simulazione vale esclusivamente a livello di corrispondenza input-output la rete costituisce un modello psicologico; qualora l'architettura della rete corrisponde a dei moduli funzionali che si assume siano coinvolti in un processo cognitivo possiamo parlare di simulazione di modelli neuropsicologici.

Neurone formale

Il neurone formale è una schematizzazione del neurone biologico in cui le proprietà funzionali sono descritte da formule matematiche, senza preoccuparsi dei fenomeni elettrici, chimici, termici, biologici che avvengono nella realtà.
Il neurone artificiale. L'unità elementare di elaborazione di una rete neurale è il neurone artificiale le cui funzioni principali sono:

L'attivazione neuronale
L'attività di un neurone biologico dipende dall'attivazione di altri neuroni ad esso connessi che viene trasmessa attraverso sinapsi. In modo analogo il valore d'attivazione di un neurone artificiale viene calcolato attraverso una funzione matematica che regola i segnali che arrivano dagli altri neuroni.

L'attività del neurone
L'unità riceve numerosi ingressi;

Connessioni fra unità
Nei modelli biologici, I'impulso viene modulato dal tipo e dalla quantità di neurotrasmettitore emesso dalle vescicole pre-sinaptiche: questo fenomeno viene simulato artificialmente con l'introduzione del "peso di connessione" il cui valore permette di trasmettere un segnale da un'unità all'altra con maggiore o minore facilita.

Calcolo dell'input
il livello di attivazione dell'unità è dato dalla somma del valore dei neuroni circostanti ponderato dal peso delle connessioni.

L'architettura
L'architettura di una rete è definita dalle funzioni di trasferimento e apprendimento, dai pattern di connessioni e dal numero di unità.
La conoscenza della rete risiede nei pesi che connettono le unità e nelle soglie dinamiche.

Le reti Autoassociative
le reti autoassociative, quali le reti di Hopfield, sono in grado di riprodurre un pattern appreso in presenza di una forma degradata del pattern stesso: il loro scopo è quello di ricostruire i pattern in qualche modo danneggiati.

Reti ad apprendimento con supervisione
Per quanto concerne le reti supervisionate lo scopo dell'apprendimento è quello di associare input di una classe con output di una classe diversa; la memoria è costituita dall'abilità di rievocare l'output a partire dall'input.

Reti ad apprendimento senza supervisione
Le reti ad apprendimento non supervisionato, quali le reti di Kohonen: in questo caso ad essere presentati sono solo gli stimoli, mentre le risposte sono decise dalla rete; le risposte sono comunque significative, in quanto la rete riesce a cogliere alcune regolarità della classe di input, catalogandone in qualche modo gli esempi.

Addestramento

Addestrare una rete significa presentarle un insieme di esempi e lasciare che la rete si costruisca da sola la conoscenza interna necessaria per svolgere il compito richiesto.
In termini matematici si fornisce un insieme di coppie i/o (x,y) e la rete deve trovare i valori delle connessioni W che realizzino la funzione y= f (x).

Regole di apprendimento
La regola d'apprendimento determina il modo con cui la rete apprende. Per apprendimento si intende una ottimale modificazione delle intensità sinaptiche che permette di fornire una risposta adeguata ai vari stimoli che sono presentati alla rete.
Poiché l'attivazione di un'unità è determinata dalla somma di questi segnali, diventa cruciale, ai fini dell'apprendimento, il peso di connessione: tutte le regole d'apprendimento operano sui pesi di connessione, modificandoli.

Regola di Hebb
La più semplice regola di apprendimento è la legge di Hebb, la quale afferma che se un neurone di entrata ed un neurone in uscita sono attivati contemporaneamente per un certo tempo, aumenta la facilità di trasmissione del segnale stesso fra i due neuroni. In altri termini: si incrementa il valore del peso di connessione fra i due neuroni.

La back propagation
Separabilità lineare

Applicabilità delle reti neurali

Le reti neurali non possono fare nulla che non possa essere fatto utilizzando un approccio computazionale tradizonale, ma possono fare cose che con un approccio tradizionale sarebbero estremamente difficili da realizzare.

Quando le reti sono utili?
* quando non possiamo formulare una soluzione algoritmica;
* quando disponiamo di un gran numero di esempi del comportamento che vogliamo simulare;
* quando vogliamo estrapolare la struttura da dati esistenti.

Esempi di applicazioni
* analisi dell'andamento azionario;
* ricognizione del parlato o dello scritto;