- Oggetto:
- Oggetto:
Reti neurali
- Oggetto:
Neural networks
- Oggetto:
Anno accademico 2014/2015
- Codice dell'attività didattica
- MFN0824
- Docente
- Prof. Mario Ferraro (Titolare del corso)
- Corso di studi
- 008510-101 Laurea Magistrale in Fisica ind. Fisica Nucleare e Subnucleare e Biomedica
008510-102 Laurea Magistrale in Fisica ind. Fisica Biomedica
008510-104 Laurea Magistrale in Fisica ind. Fisica delle Tecnologie Avanzate - Anno
- 1° anno
- Periodo didattico
- Terzo periodo didattico
- Tipologia
- B=Caratterizzante
- Crediti/Valenza
- 6
- SSD dell'attività didattica
- FIS/02 - fisica teorica, modelli e metodi matematici
- Modalità di erogazione
- Tradizionale
- Lingua di insegnamento
- Italiano
- Modalità di frequenza
- Facoltativa
- Tipologia d'esame
- Orale
- Prerequisiti
- Non e' necessario alcun requisito specifico:
sono sufficienti le conoscenze acquisite nel corso della laurea triennale. - Oggetto:
Sommario insegnamento
- Oggetto:
Obiettivi formativi
Introduzione alla teoria delle reti neurali biologiche ed artificiali. Applicazioni alla modellizzazione di sistemi neurali biologici ed alla risoluzione di problemi fisici.
- Oggetto:
Risultati dell'apprendimento attesi
A )Conoscenza e capacita' di comprensione (knowledge and understanding )
Dimestichezza con principali modelli di reti neurali bilogiche ed artificiali e delle dinamiche che determinano le loro proprieta' di codifica e apprendimento.
B) Capacita' di applicare conoscenza e comprensione (applying knowledge and understanding)
Capacita' di analizzare le equazioni che determinano la dinamica delle reti neurali.
Capacita' di elaborare e simulare semplici modelli di reti neurali.
- Oggetto:
Modalità di verifica dell'apprendimento
L'esame e' composto da due parti: 1) lo studente presenta un' approfondimento su un argomento del corso a sua scelta. Questo approfondimento puo' consistere nella discussione di uno op iu' articoli relativi all'argomento scelto oppure nella simulazione di una rete neurale. 2) viene chiesto allo studente di affrontare ab initio due o tre argomenti svolti a lezione. La durata totale della prova e' di 40-50 minuti
- Oggetto:
Programma
Introduzione: neuroni biologici e formali.
I neuroni come sistemi eccitabili: il modello
di Hodkgin e Huxley.
Le reti neurali come sistemi dinamici:
punti stazionari e loro stabilita'.
Cenni sulla teoria delle biforcazioni:
biforcazione di Hopf , cicli limite
Modelli di mutua eccitazione.
Modello Winner takes all (WTA).
Il modello di Wilson-Cowan
Oscillatori neurali e central patterns generators.
Il neurone formale di McCullogh e Pitts.
Problemi linearmente separabili ed il percettrone.
Regole di apprendimento del percettrone
e la regola di Widrow-Hoff.
Percettroni multistrato e il metodo di backpropagation
Il problema dell'intepolazione e le reti RBF.
Reti ad apprendimento non-supervisionato: principi di autoorganizzione
e la regola di Hebb.
Modelli di apprendimento hebbiano.
La regola di Oja.
La regola di Sanger
Apprendimento competitivo: il WTA.
Connessioni laterali eccitatorie e inibitorie:
la formazione di bolle
di attivita'.
Mappe topografiche nella corteccia cerebrale e le self-organizing maps (SOM).
Regola di apprendimento delle SOM.
Il reinforcement learning e la regola di Rescorla-Wagner.
Sparse coding: reti di Foldiak e di Olshausen-Field. Il teorema di Liapunov
Reti di Hopfield e loro dinamica.
La funzione energia ed il teorema di Hopfield.
Le reti di Hopfield come memorie associative.
Reti di Hopfield probabilistiche.
Cenni sulle catene di Markov.Ricerca stocastica ed il metodo del simulated annealing
Codifica del segnale neurale:rates codes , spikes codes.
Populaton coding and decoding:
metodi vettoriali.
Metodi bayesiani di decodifica
Codifiche basate sulla latenza ed order coding.
Misure di complessita' delle reti neurali.
Neural Networks
1. Introduction to biological neurons, and to information processing by a single neuron. The
Hodgking-Huxley model of action potential generation. Phase space analysis of neuronal
excitability
2. Simple neural systems. Biological oscillators and central pattern generators.
3. The McCulloch-Pitts neuron and its computational properties. Feed-forward networks: sim-
ple perceptrons. Perceptrons learning rules and the theorem of convergence. Applications
and limits of simple perceptrons.
4. Multi-layer perceptrons and back-propagation rule. Universal approximation property of the
perceptron. Over-fitting, the bias-variance dilemma and regolarization methods. Applica-
tions of multi-layer perceptrons to pattern recognition.
5. Neural networks and regularization of inverse problems: Radial Basis Functions networks.
6. General principles of self-organization in neural networks. Hebb rule and models of hebbian
learning. Oja and Sanger rules and their relationships to the theory of principal components.
Applications to image compressions
7. Lateral inhibition and competitive learning: Winner Takes All networks. Lateral interaction
and formation of activity bubbles.
8. Kohonen networks and Self Organizing Maps Mathematical analysis of SOM: principal curves
and surfaces. Applications.
9. Neurodynamics: stability of neural states, Liapunov functions and the Cohen-Grossberg
theorem. Dynamics of Hopfield model and its performance as content addressable memory.
Probabilistic version of the Hopfield model.
10. Coding and decoding of the neural signal: population coding , sparse coding
Testi consigliati e bibliografia
- Oggetto:
1. Titolo: Introduction to the theory of neural computation Autori: J, Hertz, A. Krogh, R.G. Palmer Editore Addison Wesley Publishing Company, 1991. 2. Titolo : Neural networks for pattern recognition Autori : C.M. Bishop Editore: Clarendon Press- Oxford, 1995
- Oggetto:
Note
Nessuna propedeuticità obbligatoria. Frequenza non obbligatoria, ma fortemente consigliata.
- Oggetto:
Altre informazioni
http://personalpages.to.infn.it/~ferraro/retineurali/retineurali.html- Oggetto:
