Sztuczne sieci neuronowe 0800-SSNEUR
1. Inspiracje Biologiczne: sieci neuronowe, podstawowe pojęcia
Inspiracje biologiczne: rys historyczny; cele modelowania; ogólne własności modeli neuronowych; inteligentne zachowania sieci
Rodzaje uczenia: uczenie nadzorowane, nienadzorowane i uczenie z krytykiem
Główne aspekty modeli neuronowych
Model neuronu McCulloch-Pitts'a
2. Perceptrony i reguły uczenia
Perceptron Rosenblatta
Perceptron prosty (binarny) i problem klasyfikacji 2 klasowej, separowalnośc liniowa
Reguły uczenia: reguła perceptronowa, Widrowa-Hoffa, reguła delta
Algorytmy uczenia perceptronu, algorytm kieszonkowy, algorytm kieszonkowy z zapadką
Funkcje aktywacji neuronu: binarna, liniowa, sigmoidalna, tanh, ReLU
Uczenie metodą największego spadku gradientu
Klasyfikacja wieloklasowa, Adeline, maszyna liniowa
3. MLP - perceptrony wielowarstwowe.
Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja błędów
Własności wielowarstwowych perceptronów
Funkcje kosztu MSE i Cross Entropy
Dobór architektury MLP i funkcji kosztu do typowych zadań
4. Ulepszenia wstecznej propagacji błędów.
Procedury minimalizacji błędu
Lokalne minima, funkcje kosztu, inicjalizacja parametrów
Algorytmy optymalizacji: Quickprop, RPROP, metoda Newtona, algorytm Levenberg-Marquardta, gradientów sprzężonych
5. Generalizacja i regularuzacja treningu MLP
Generalizacja, ewaluacja treningu, przeuczenie i niedouczenie modelu
Zbiór walidacyjny i metoda wczesnego zatrzymania
Regularyzacja L2, L1
Dobór liczby neuronów sieci
6. Radialne Funkcje Bazowe i algorytmy aproksymacyjne.
Teoria RBF,
MLP i RBF jako uniwersalny aproksymator
Reularyzacja RBF
Inicjalizacja i adaptacja centrów i rozmyć funkcji radialnych
7. Samoorganizacja - uczenie konkurencyjne
Samoorganizujące się odwzorowanie topologiczne Kohonena
Uczenie konkurencyjne: WTA Zwycięzca bierze wszystko, WTM, LVQ - wektorowa kwantyzacja
Gaz Neuronowy, Growing Cell Structures, Growing Neural Gas
SOM i MDS: skalowanie wielowymiarowe, mapy semantyczne
8. Sieci samoorganizujące się typu Hebba, reguła Hebba
Reguła Hebba i rekuła Oji
PCA
Uogólniony algorytm hebbowski
Uczenie anty-hebbowskie
APEX
9. Sieci dynamiczne.
Model Hopfielda. Sieci ze sprzężeniami zwrotnymi.
Maszyny Boltzmana i sieci stochastyczne, RBM
Zastosowania w modelowaniu pamięci autoasocjacyjnej i optymalizacji
10. Głebokie uczenie i głebokie modele neuronowe
Modele hierarchiczne i uczenie się reprezentacji wiedzy
Głębokie vs. “płytkie” modele, dlaczego głębokość ma znaczenie?
Problemy uczenia głębokich sieci: niestabilny gradient, przeuczenie, koszt pamięci (ilość parametrów uczenia), koszt czasu treningu (duże dane)
Głębokie sieci MLP (DNN) i ich zastosowania
Sieci z jednostkami ReLU , modyfikacje ReLU (PReLU, ELU, ReLU6), Maxout - przykłady zastosowań
Algorytm uczenia SGD z momentem Nesterova, AdaGrad, RMSProp, Adam, AdaDelta
11. Sieci splotowe (konwolucyjne)
Splot 1D, 2D, 3D, mapy cech, pola recepcyjne
Sieci splotowe i ich zastosowania do analizy obrazów
Metody stosowane w uczniu głębokim: Batch Normalization, Dropout, połączenia skrótowe, zwielokrotnianie danych weksciowych, splot filtrem 1×1, itp.
Architektury : LeNet-5, AlexNet, GoogleNet/Inception, VGG Net, ResNet
12. Sieci rekurencyjne i modelowanie sekwencji
Modelowanie sekwencji za pomocą sieci jednokierunkowych oraz rekurencyjnych
Jednostki Long-Short Term Memory (LSTM), Gate Recurrent Unit (GRU), inne odmiany LSTMa
Algorytm wstecznej propagacji w czasie (BPTT)
Modele z atencją, modele encoder-decoder (seq2seq)
Rozpoznawanie mowy (ASR), neuronowe modele akustyczne
Funkcja kosztu CTC
13. Ucznie reprezentacji, autoenkodery i modele generatywne
Autoenkodery i kodowanie sygnału
Autokoendery odszumiające i VAE
Deep Belief Networks (DBNs)
Sieci typu GAN
Całkowity nakład pracy studenta
Efekty uczenia się - wiedza
Efekty uczenia się - umiejętności
Efekty uczenia się - kompetencje społeczne
Metody dydaktyczne
Metody dydaktyczne podające
- wykład informacyjny (konwencjonalny)
Rodzaj przedmiotu
Wymagania wstępne
Koordynatorzy przedmiotu
Kryteria oceniania
Metody oceniania:
Wykład: egzamin w formie testu weryfikujące efekty kształcenia W1, W2, U1, U2, U3, U4, K1, K2
Laboratorium: ocena na podstawie zadań realizowanych na zajęciach i projektów zaliczeniowych weryfikujących efekty kształcenia W1, W2, U1-U4, K1, K2
Kryteria oceniania:
Wykład: zaliczenie odbędzie się na podstawie egzaminu w formie testu, oceny wyznaczone według przelicznika:
51-60% - ocena: 3
61-70% - ocena: 3+
71-80% - ocena: 4
81-90% - ocena: 4+
91-100% - ocena 5
Laboratorium: zaliczenie na podstawie zadań realizowanych na laboratoriach oraz oceny projektów zaliczeniowych wg. przelicznika:
51-60% - ocena: 3
61-70% - ocena: 3+
71-80% - ocena: 4
81-90% - ocena: 4+
91-100% - ocena 5
Literatura
Literatura podstawowa:
- Stanisław Osowski, Sieci neuronowe w ujęciu algorytmicznym, Wydawnictwa Naukowo-Techniczne, 1996
- J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci neuronowe, Wydawnictwo Naukowe PWN, 1996
- I. Goodfwllow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016
URL: https://www.deeplearningbook.org/
- A. Zhang, Zack C. Lipton, Mu Li, Alex J. Smola, Dive into Deep Learning, 2023,
URL: https://d2l.ai/
Więcej informacji
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: