Reti neurali

Oggetto:

Reti neurali

Oggetto:

Neural networks

Oggetto:

Anno accademico 2015/2016

Codice dell'attività didattica

MFN0824

Docente

Prof. Mario Ferraro (Titolare del corso)

Corso di studi

008510-101 Laurea Magistrale in Fisica ind. Fisica Nucleare e Subnucleare e Biomedica
008510-102 Laurea Magistrale in Fisica ind. Fisica Biomedica
008510-104 Laurea Magistrale in Fisica ind. Fisica delle Tecnologie Avanzate

Anno

1° anno

Periodo didattico

Terzo periodo didattico

Tipologia

B=Caratterizzante

Crediti/Valenza

SSD dell'attività didattica

FIS/02 - fisica teorica, modelli e metodi matematici

Modalità di erogazione

Tradizionale

Lingua di insegnamento

Italiano

Modalità di frequenza

Facoltativa

Tipologia d'esame

Orale

Prerequisiti

Non e' necessario alcun requisito specifico:
sono sufficienti le conoscenze acquisite nel corso della laurea triennale.

Oggetto:

Obiettivi formativi

Introduzione alla teoria delle reti neurali biologiche ed artificiali. Applicazioni alla modellizzazione di sistemi neurali biologici ed alla risoluzione di problemi fisici.

Oggetto:

Risultati dell'apprendimento attesi

A )Conoscenza e capacita' di comprensione (knowledge and understanding )

Dimestichezza con principali modelli di reti neurali bilogiche ed artificiali e delle dinamiche che determinano le loro proprieta' di codifica e apprendimento.

B) Capacita' di applicare conoscenza e comprensione (applying knowledge and understanding)

Capacita' di analizzare le equazioni che determinano la dinamica delle reti neurali.

Capacita' di elaborare e simulare semplici modelli di reti neurali.

Oggetto:

Modalità di verifica dell'apprendimento

L'esame e' composto da due parti: 1) lo studente presenta un' approfondimento su un argomento del corso a sua scelta. Questo approfondimento puo' consistere nella discussione di uno op iu' articoli relativi all'argomento scelto oppure nella simulazione di una rete neurale. 2) viene chiesto allo studente di affrontare ab initio due o tre argomenti svolti a lezione. La durata totale della prova e' di 40-50 minuti

Oggetto:

Introduzione: neuroni biologici e formali.
I neuroni come sistemi eccitabili: il modello
di Hodkgin e Huxley.
Le reti neurali come sistemi dinamici:
punti stazionari e loro stabilita'.
Cenni sulla teoria delle biforcazioni:
biforcazione di Hopf , cicli limite
Modelli di mutua eccitazione.
Modello Winner takes all (WTA).
Il modello di Wilson-Cowan
Oscillatori neurali e central patterns generators.
Il neurone formale di McCullogh e Pitts.
Problemi linearmente separabili ed il percettrone.
Regole di apprendimento del percettrone
e la regola di Widrow-Hoff.
Percettroni multistrato e il metodo di backpropagation
Il problema dell'intepolazione e le reti RBF.
Reti ad apprendimento non-supervisionato: principi di autoorganizzione
e la regola di Hebb.
Modelli di apprendimento hebbiano.
La regola di Oja.
La regola di Sanger
Apprendimento competitivo: il WTA.
Connessioni laterali eccitatorie e inibitorie:
la formazione di bolle
di attivita'.
Mappe topografiche nella corteccia cerebrale e le self-organizing maps (SOM).
Regola di apprendimento delle SOM.
Il reinforcement learning e la regola di Rescorla-Wagner.
Sparse coding: reti di Foldiak e di Olshausen-Field. Il teorema di Liapunov
Reti di Hopfield e loro dinamica.
La funzione energia ed il teorema di Hopfield.
Le reti di Hopfield come memorie associative.
Reti di Hopfield probabilistiche.
Cenni sulle catene di Markov.Ricerca stocastica ed il metodo del simulated annealing
Codifica del segnale neurale:rates codes , spikes codes.
Populaton coding and decoding:
metodi vettoriali.
Metodi bayesiani di decodifica
Codifiche basate sulla latenza ed order coding.
Misure di complessita' delle reti neurali.

Neural Networks
1. Introduction to biological neurons, and to information processing by a single neuron. The
Hodgking-Huxley model of action potential generation. Phase space analysis of neuronal
excitability
2. Simple neural systems. Biological oscillators and central pattern generators.
3. The McCulloch-Pitts neuron and its computational properties. Feed-forward networks: sim-
ple perceptrons. Perceptrons learning rules and the theorem of convergence. Applications
and limits of simple perceptrons.
4. Multi-layer perceptrons and back-propagation rule. Universal approximation property of the
perceptron. Over-fitting, the bias-variance dilemma and regolarization methods. Applica-
tions of multi-layer perceptrons to pattern recognition.
5. Neural networks and regularization of inverse problems: Radial Basis Functions networks.
6. General principles of self-organization in neural networks. Hebb rule and models of hebbian
learning. Oja and Sanger rules and their relationships to the theory of principal components.
Applications to image compressions
7. Lateral inhibition and competitive learning: Winner Takes All networks. Lateral interaction
and formation of activity bubbles.
8. Kohonen networks and Self Organizing Maps Mathematical analysis of SOM: principal curves
and surfaces. Applications.
9. Neurodynamics: stability of neural states, Liapunov functions and the Cohen-Grossberg
theorem. Dynamics of Hopfield model and its performance as content addressable memory.
Probabilistic version of the Hopfield model.
10. Coding and decoding of the neural signal: population coding , sparse coding

Descrizione

Testi consigliati e bibliografia

Oggetto:

1. Titolo: Introduction to the theory of neural computation Autori: J, Hertz, A. Krogh, R.G. Palmer Editore Addison Wesley Publishing Company, 1991. 2. Titolo : Neural networks for pattern recognition Autori : C.M. Bishop Editore: Clarendon Press- Oxford, 1995

Oggetto:

Orario lezioni

Giorni	Ore	Aula
Martedì	11:00 - 13:00	Sala Franzinetti Dipartimento di Fisica
Mercoledì	11:00 - 13:00	Sala Franzinetti Dipartimento di Fisica
Giovedì	11:00 - 13:00	Sala Franzinetti Dipartimento di Fisica
Lezioni: dal 26/04/2016 al 23/06/2016

Oggetto: