- Oggetto:
- Oggetto:
Reti neurali
- Oggetto:
Anno accademico 2007/2008
- Codice dell'attività didattica
- S8089
- Docente
- Prof. Mario Ferraro (Titolare del corso)
- Corso di studi
- c210 laurea spec. in fisica ambientale e biomedica
- Anno
- 1° anno
- Tipologia
- A scelta dello studente
- Crediti/Valenza
- 6
- SSD dell'attività didattica
- FIS/07 - fisica applicata (a beni culturali, ambientali, biologia e medicina)
- Oggetto:
Sommario insegnamento
- Oggetto:
Programma
Introduzione ai neuroni biologici ed all'analisi e trasmissione dell'informazione in singoli neuroni.
Trasmissione passiva del segnale neurale. Trasmissione attiva:
la teoria di Hodgkin-Huxley. L'analisi dell'attivita' neurale ed il modello di Fitzhugh-Nagumo. La regola di Hebb.
Il neurone formale di McCulloch-Pitts e sue proprieta' computazionali.
Reti feed-forward: il percettrone semplice.
Regole di apprendimento del percettrone, teorema di convergenza.
Applicazione e limitazioni del percettrone.
Il superamento delle limitazioni del percettrone:
il percettrone multistrato. Regola di backpropagation.
Il percettrone come approssimatore universale. Il dilemma bias-varianza
ed a regolarizzazione del percettrone.
Applicazioni del percettrone multistrato al riconoscimento dei patterns.
Reti neurali e principi di regolarizzazione di problemi inversi:
reti ``Radial Based''.
Principi di autorganizzazione delle reti neurali.
Modelli di apprendimento hebbiano. La legge di apprendimento di Oja e sua relazione con la teoria delle componenti principali.
La legge di appendimento di Sanger.
Modelli di apprendimento competitivo: il principio dell'inibizione laterale.
La rete Winner Takes All(WTA).
Formazione di aree localizzate di attivita' neurale.
Autoorganizzazione di mappe neurali e le reti di Kohonen.
Analisi matematica delle mappe neurali: curve e superfici principali.
Applicazioni.
Modelli dell'attivita' di sistemi neurali
biologici: oscillatori biologici e central pattern generator.Neurodinamica: stabilita' degli stati neurali, funzioni di Liapunov ed il teorema di Cohen-Grossberg.
Dinamica delle reti di Hopfield (determinstiche e probabilistiche)e loro performances
come modelli neurali di memoria associativa.
Progressi recenti nella teoria delle reti neurali: modelli grafici, reti Bayesiane.
Problemi di inferenza ed il metodo delal belief propagation.
Neural Networks
1. Introduction to biological neurons, and to information processing by a single neuron. The
Hodgking-Huxley model of action potential generation. Phase space analysis of neuronal
excitability : the Fitzhugh-Nagumo model.
2. The McCulloch-Pitts neuron and its computational properties. Feed-forward networks: sim-
ple perceptrons. Perceptrons learning rules and the theorem of convergence. Applications
and limits of simple perceptrons.
3. Multi-layer perceptrons and back-propagation rule. Universal approximation property of the
perceptron. Over-fitting, the bias-variance dilemma and regolarization methods. Applica-
tions of multi-layer perceptrons to pattern recognition.
4. Neural networks and regularization of inverse problems: Radial Basis Functions networks.
5. General principles of self-organization in neural networks. Hebb rule and models of hebbian
learning. Oja and Sanger rules and their relationships to the theory of principal components.
Applications to image compressions
6. Lateral inhibition and competitive learning: Winner Takes All networks. Lateral interaction
and formation of activity bubbles.
7. Kohonen networks and Self Organizing Maps Mathematical analysis of SOM: principal curves
and surfaces. Applications.
8. Biological oscillators and central pattern generators.
9. Neurodynamics: stability of neural states, Liapunov functions and the Cohen-Grossberg
theorem. Dynamics of Hopfield model and its performance as content addressable memory.
Probabilistic version of the Hopfield model.
10. Recent progresses in the theory of neural networks: graphical models, Bayesian nets. Infer-
ence problems and the belief propagation algorithm.Testi consigliati e bibliografia
- Oggetto: