Algorytmy i metody skalowalnego przetwarzania danych 1000-I2AMSPD
Teoria informatyki obejmuje wiedzę o algorytmach rozwiązujących problemy o dowolnej złożoności obliczeniowej i przy dowolnych poziome równoległości. Praktyczna implementacja tych algorytmów napotykała do tej pory trudności nie do pokonania, np. nikomu nie udało się w praktyce zaimplementować teoretycznie doskonale rozpracowanego modelu przetwarzania PRAM. Zmiana tego stanu rzeczy dokonała się w 2004 wraz z opublikowanie informacji o modelu obliczeniowym MapReduce i jego praktycznej implementacji. Rok 2010 to pierwsza publikacja o Pregelu, tj. modelu i implementacji obliczeń na ogromnych grafach. Choć oba te modele są dość proste i można by rzec, że znane w literaturze, jednak ich przełomowość wynika, z tego, że udało się je zaimplementować w wielkiej skali, tj, na danych o wielkości rzędu 10^12 rekordów/obiektów i na tysiącach komputerów. Do tej pory, teoretycy potrafili zbudować algorytm na dowolnego n, ale praktycy potrafili je zaimplementować jedynie dla n nie większego niż 10^9. MapReduce i Pregel przesuwają te granicę o kilka rzędów wielkości.
W ramach wykładu zamierzam przedstawić oba modele obliczeniowe, rozmaite sposoby wyznaczania ich złożoności, algorytmy rozwiązujące konkretne problemy obliczeniowe za pomocą MapReduce i Pregel.
Całkowity nakład pracy studenta
Efekty uczenia się - wiedza
Efekty uczenia się - umiejętności
Efekty uczenia się - kompetencje społeczne
Metody dydaktyczne
Metody dydaktyczne eksponujące
Metody dydaktyczne podające
Metody dydaktyczne poszukujące
- laboratoryjna
- klasyczna metoda problemowa
Rodzaj przedmiotu
Wymagania wstępne
Koordynatorzy przedmiotu
W cyklu 2024/25L: | W cyklu 2023/24L: | W cyklu 2021/22L: | W cyklu 2022/23L: |
Kryteria oceniania
Zaliczenie laboratorium odbywa się na podstawie 5-6 projektów zaliczeniowych wykonywanych częściowo na labach i częściowo samodzielnie.
Egzamin ustny odbywa się po zakończeniu wykładów
Literatura
[1] Jeffrey Dean and Sanjay Ghemawat. 2004. MapReduce: simplified data processing on large clusters. In Proceedings of the 6th conference on Symposium on Opearting Systems Design & Implementation - Volume 6 (OSDI'04), Vol. 6. USENIX Association, Berkeley, CA, USA, 10-10.
[2] Grzegorz Malewicz, Matthew H. Austern, Aart J.C Bik, James C. Dehnert, Ilan Horn, Naty Leiser, and Grzegorz Czajkowski. 2010. Pregel: a system for large-scale graph processing. In Proceedings of the 2010 ACM SIGMOD International Conference on Management of data (SIGMOD '10). ACM, New York, NY, USA, 135-146. DOI=10.1145/1807167.1807184 http://doi.acm.org/10.1145/1807167.1807184
[3] Semih Salihoglu, Jennifer Widom: Optimizing Graph Algorithms on Pregel-like Systems. PVLDB 7(7): 577-588 (2014)
[4] Da Yan, James Cheng, Kai Xing, Yi Lu, Wilfred Ng, Yingyi Bu: Pregel Algorithms for Graph Connectivity Problems with Performance Guarantees, 2014
[5] Louise Quick, Paul Wilkinson, and David Hardcastle. 2012. Using Pregel-like Large Scale Graph Processing Frameworks for Social Network Analysis. In Proceedings of the 2012 International Conference on Advances in Social Networks Analysis and Mining (ASONAM 2012) (ASONAM '12). IEEE Computer Society, Washington, DC, USA, 457-463. DOI=10.1109/ASONAM.2012.254 http://dx.doi.org/10.1109/ASONAM.2012.254
[6] Yufei Tao, Wenqing Lin, and Xiaokui Xiao. 2013. Minimal MapReduce algorithms. In Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data (SIGMOD '13). ACM, New York, NY, USA, 529-540. DOI=10.1145/2463676.2463719 http://doi.acm.org/10.1145/2463676.2463719
Uwagi
W cyklu 2021/22L:
Dla przedmiotu utworzony jest zespół na platformie MS-TEAMS. |
W cyklu 2022/23L:
Dla przedmiotu utworzony jest zespół na platformie MS-TEAMS. |
W cyklu 2023/24L:
Dla przedmiotu utworzony jest zespół na platformie MS-TEAMS. |
W cyklu 2024/25L:
Dla przedmiotu utworzony jest zespół na platformie MS-TEAMS. |
Więcej informacji
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: