Teoria informacji 1000-I2TIN

1. Repetytorium niezbędnych wiadomości z teorii funkcji rzeczywistych i teorii prawdopodobieństwa.
2. Matematyczny model systemu przekazu informacji.
3. Przestrzeń symbolowa, jej struktura topologiczna i probabilistyczna, miary Bernoulliego i miary Markowa.
4. Entropia wektora losowego o rozkładzie dyskretnym, entropia warunkowa i ich podstawowe własności.
5. Informacja wzajemna (bezwarunkowa i warunkowa).
6. Entropia Shannona stacjonarnego procesu o dyskretnej przestrzeni stanów. Entropia procesu Bernoulliego i procesu markowa.
7.Twierdzenie Breimana-McMillana-Shannona.
8. Zastosowanie do kompresji danych.
9. Kanał komunikacyjny i jego przepustowość.
10. Twierdzenia Shannona o kodowaniu kanałów.

Całkowity nakład pracy studenta

30 godz. – wykład 4 godz. - egzamin 30 godz. - ćwiczenia: 50 godz. - praca własna - bieżące przygotowanie do zajęć, studiowanie literatury, 35 godz. praca własna - przygotowanie do egzaminu. RAZEM: 149 godz. 6 pkt. ECTS

Efekty uczenia się - wiedza

Po ukończeniu kursu student: - ma pogłębioną wiedzę z zakresu teorii informacji niezbędną do studiowania wybranej gałęzi informatyki (K_W02), m.in.. definiuje pojęcie entropii wektora losowego, informacji wzajemnej wektorów losowych i stacjonarnego procesu stochastycznego; - rozumie rolę i znaczenie formalizmu matematycznego w zagadnieniach kompresji danych (K_W02).

Efekty uczenia się - umiejętności

Po ukończeniu kursu student: - potrafi wyrażać pewne problemy kompresji danych w języku matematyki (K_U21) oraz umie obliczać entropię dla procesów Bernoulliego a także procesów Markowa.

Efekty uczenia się - kompetencje społeczne

Po ukończeniu kursu student: - pokonywania trudności stojących na drodze do realizacji założonego celu i systematycznej pracy nad wszelkimi projektami, które mają długofalowy charakter (K_K04).

Metody dydaktyczne

Wykład prowadzony metodą tradycyjną. Wprowadzane pojęcia i fakty ilustrowane przykładami. Ćwiczenia z bezpośrednim udziałem nauczyciela akademickiego wzbogacone o zestawy zadań do indywidualnego rozwiązania.

Metody dydaktyczne podające

- wykład informacyjny (konwencjonalny)

Metody dydaktyczne poszukujące

- ćwiczeniowa
- klasyczna metoda problemowa

Rodzaj przedmiotu

przedmiot fakultatywny

Wymagania wstępne

Student musi wcześniej przejść przez kursu przedmiotów Analiza matematyczna I i II oraz Wstęp do statystycznej analizy danych.

Koordynatorzy przedmiotu

Krzysztof Frączek

Kryteria oceniania

Zaliczenie wykładu: egzamin ustny. Studenta obowiązuje materiał prezentowany w trakcie wykładu.

Ćwiczenia kończą się zaliczeniem na ocenę. Ocena będzie wystawiana na podstawie sprawdzianu.

Literatura

Literatura podstawowa:

1. T.M. Cover, J.A. Thomas, Elements of Information Theory, John Wiley & Sons, Inc., New York 1991 .
2. P. Bilingsley, Ergodic Theory and Information, John Wiley & Sons, Inc., New York 1965.

Literatura uzupełniająca:

1. R.B. Ash, Information Theory, Dover Publications, Inc., New York, 1965.

Więcej informacji

Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb:

Strona przedmiotu 1000-I2TIN w USOSweb