Aspekty informatyczne analizy danych 1000-AD-AspInAD

https://plas.mat.umk.pl/moodle/course/view.php?id=2358 (w cyklu 2021/22L)
https://moodle.mat.umk.pl/course/view.php?id=2622 (w cyklu 2022/23L)
https://moodle.mat.umk.pl/course/view.php?id=2622 (w cyklu 2023/24L)
https://moodle.mat.umk.pl/course/view.php?id=2622 (w cyklu 2024/25L)

Wykład
Program wykładu obejmuje wprowadzenie do systemów wielozadaniowych, przedstawienie podstawowych poleceń systemu przydatnych w przetwarzaniu plików z danymi, a także omówienie przygotowywania skryptów do wstępnego przetwarzania danych. Druga część wykładu będzie poświęcona zbieraniu danych ze stron internetowych. W trzeciej części omówione zostaną aspekty równoległego przetwarzania danych.

Laboratorium
Program zajęć laboratoryjnych obejmuje wprowadzenie do systemu operacyjnego LINUX i powłoki BASH. Treści omówione na wykładzie będą wykorzystane w praktyce do przygotowywania poleceń i skryptów pozwalających na wstępne przetworzenie pliku z danymi. Następnie omówione będzie wykorzystywanie języka Python do analizy danych z poziomu konsoli systemu LINUX. W dalszej części zajęć zostaną zaprezentowane sposoby zbierania danych z wykorzystaniem języka Python, a także zrównoleglanie obliczeń potrzebnych do analizy danych na przykładzie m.in. biblioteki Pandas.

Całkowity nakład pracy studenta

- wykład – 15 godzin - laboratorium – 45 godzin - konsultacje z prowadzącymi zajęcia – 30 godzin - zaliczenie laboratorium i zaliczenie wykładu – 2 godziny - praca własna (rozwiązywanie zadań, studiowanie literatury) – 30 godzin - przygotowanie do zaliczenia laboratorium i wykładu – 28 godzin RAZEM: 150 godz. (6 pkt. ECTS)

Efekty uczenia się - wiedza

W1: Zna ogólny schemat organizacji systemu uniksopodobnego (K_W11). W2: Zna podstawowe polecenia systemu operacyjnego pomocne przy przetwarzaniu danych (K_W11, K_W12). W3: Zna i rozumie pojęcie wyrażenia regularnego (K_W11). W4: Ma podstawową wiedzę o web scrapingu oraz web crawlingu w kontekście zbierania danych (K_W12). W5: Ma podstawową wiedzę o projektowaniu algorytmów obliczeń równoległych (K_W12).

Efekty uczenia się - umiejętności

U1: Przetwarza pliki z danymi z wykorzystaniem poleceń systemu operacyjnego (K_U04, K_U14). U2: Korzysta z wyrażeń regularnych do przetwarzania danych (K_U14, K_U15). U3: Potrafi, w sposób automatyczny, zbierać dane z wielu stron internetowych i dokumentów (K_U03, K_U14, K_U15). U4: Pisze i uruchamia proste skrypty powłoki systemu przetwarzające pliki z danymi (K_U14). U5: Potrafi opisać problemy związane z wykorzystaniem obliczeń równoległych (K_U14). U6: Potrafi zaimplementować i stosować obliczenia równoległe do analizy danych (K_U14, K_U15). U7: Potrafi samodzielnie wyszukiwać informacje w literaturze, także w języku angielskim (K_U02, K_U19).

Efekty uczenia się - kompetencje społeczne

K1: Jest nastawiony na jak najlepsze wykonanie zadania, dba o szczegóły (K_K03). K2: Właściwie posługuje się terminologią fachową (K_K06). K3: Potrafi myśleć analitycznie, sformułować wymagania i dobrać narzędzia do rozwiązania danego problemu (K_K01).

Metody dydaktyczne podające

- wykład informacyjny (konwencjonalny)

Metody dydaktyczne poszukujące

- laboratoryjna

Rodzaj przedmiotu

przedmiot obligatoryjny

Wymagania wstępne

Podstawowa znajomość języka Python i algorytmów. Znajomość podstawowych bibliotek do analizy danych (Pandas).

Koordynatorzy przedmiotu

Jakub Narębski

Kryteria oceniania

Zaliczenie wykładu – W1, W2, W3, W4, W5, K2, K3
Sprawdziany i zadania o charakterze praktycznym – U1, U2, U3, U4, U5, U6, U7, K1, K2, K3
Aktywność na zajęciach – K2, K3

Praktyki zawodowe

Nie dotyczy

Literatura

- J. Armstrong, D. Taylor, UNIX dla każdego, Helion 2000.
- D. S. Ray, E. J. Ray, Po prostu UNIX, Helion 2000.
- Dokumentacja bibliotek języka Python: requests, scrapy. multiprocessing, pandas
- Parallel Processing in Python – A Practical Guide with Examples: https://www.machinelearningplus.com/python/parallel-processing-python/

Więcej informacji

Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb:

Strona przedmiotu 1000-AD-AspInAD w USOSweb