Sztuczne sieci neuronowe 0800-SSNEUR

1. Inspiracje Biologiczne: sieci neuronowe, podstawowe pojęcia

Inspiracje biologiczne: rys historyczny; cele modelowania; ogólne własności modeli neuronowych; inteligentne zachowania sieci
Rodzaje uczenia: uczenie nadzorowane, nienadzorowane i uczenie z krytykiem
Główne aspekty modeli neuronowych
Model neuronu McCulloch-Pitts'a

2. Perceptrony i reguły uczenia

Perceptron Rosenblatta
Perceptron prosty (binarny) i problem klasyfikacji 2 klasowej, separowalnośc liniowa
Reguły uczenia: reguła perceptronowa, Widrowa-Hoffa, reguła delta
Algorytmy uczenia perceptronu, algorytm kieszonkowy, algorytm kieszonkowy z zapadką
Funkcje aktywacji neuronu: binarna, liniowa, sigmoidalna, tanh, ReLU
Uczenie metodą największego spadku gradientu
Klasyfikacja wieloklasowa, Adeline, maszyna liniowa

3. MLP - perceptrony wielowarstwowe.

Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja błędów
Własności wielowarstwowych perceptronów
Funkcje kosztu MSE i Cross Entropy
Dobór architektury MLP i funkcji kosztu do typowych zadań

4. Ulepszenia wstecznej propagacji błędów.

Procedury minimalizacji błędu
Lokalne minima, funkcje kosztu, inicjalizacja parametrów
Algorytmy optymalizacji: Quickprop, RPROP, metoda Newtona, algorytm Levenberg-Marquardta, gradientów sprzężonych

5. Generalizacja i regularuzacja treningu MLP

Generalizacja, ewaluacja treningu, przeuczenie i niedouczenie modelu
Zbiór walidacyjny i metoda wczesnego zatrzymania
Regularyzacja L2, L1
Dobór liczby neuronów sieci

6. Radialne Funkcje Bazowe i algorytmy aproksymacyjne.

Teoria RBF,
MLP i RBF jako uniwersalny aproksymator
Reularyzacja RBF
Inicjalizacja i adaptacja centrów i rozmyć funkcji radialnych

7. Samoorganizacja - uczenie konkurencyjne

Samoorganizujące się odwzorowanie topologiczne Kohonena
Uczenie konkurencyjne: WTA Zwycięzca bierze wszystko, WTM, LVQ - wektorowa kwantyzacja
Gaz Neuronowy, Growing Cell Structures, Growing Neural Gas
SOM i MDS: skalowanie wielowymiarowe, mapy semantyczne

8. Sieci samoorganizujące się typu Hebba, reguła Hebba

Reguła Hebba i rekuła Oji
PCA
Uogólniony algorytm hebbowski
Uczenie anty-hebbowskie
APEX

9. Sieci dynamiczne.

Model Hopfielda. Sieci ze sprzężeniami zwrotnymi.
Maszyny Boltzmana i sieci stochastyczne, RBM
Zastosowania w modelowaniu pamięci autoasocjacyjnej i optymalizacji

10. Głebokie uczenie i głebokie modele neuronowe

Modele hierarchiczne i uczenie się reprezentacji wiedzy
Głębokie vs. “płytkie” modele, dlaczego głębokość ma znaczenie?
Problemy uczenia głębokich sieci: niestabilny gradient, przeuczenie, koszt pamięci (ilość parametrów uczenia), koszt czasu treningu (duże dane)
Głębokie sieci MLP (DNN) i ich zastosowania
Sieci z jednostkami ReLU , modyfikacje ReLU (PReLU, ELU, ReLU6), Maxout - przykłady zastosowań
Algorytm uczenia SGD z momentem Nesterova, AdaGrad, RMSProp, Adam, AdaDelta

11. Sieci splotowe (konwolucyjne)

Splot 1D, 2D, 3D, mapy cech, pola recepcyjne
Sieci splotowe i ich zastosowania do analizy obrazów
Metody stosowane w uczniu głębokim: Batch Normalization, Dropout, połączenia skrótowe, zwielokrotnianie danych weksciowych, splot filtrem 1×1, itp.
Architektury : LeNet-5, AlexNet, GoogleNet/Inception, VGG Net, ResNet

12. Sieci rekurencyjne i modelowanie sekwencji

Modelowanie sekwencji za pomocą sieci jednokierunkowych oraz rekurencyjnych
Jednostki Long-Short Term Memory (LSTM), Gate Recurrent Unit (GRU), inne odmiany LSTMa
Algorytm wstecznej propagacji w czasie (BPTT)
Modele z atencją, modele encoder-decoder (seq2seq)
Rozpoznawanie mowy (ASR), neuronowe modele akustyczne
Funkcja kosztu CTC

13. Ucznie reprezentacji, autoenkodery i modele generatywne

Autoenkodery i kodowanie sygnału
Autokoendery odszumiające i VAE
Deep Belief Networks (DBNs)
Sieci typu GAN