香港中文大学(深圳)数据科学院 School of Data Science
CSC4005 – Distributed and Parallel Computing
Prof. Yeh-Ching Chung
School of Data Science
Chinese University of Hong Kong, Shenzhen
1
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
Outline
2
Introduction to Parallel Computers
Message Passing Computing and Programming
Multithreaded Programming
OpenMP Programming
Embarrassingly Parallel Computations
Partitioning and Divide-and-Conquer Strategies
Pipelined Computations
Synchronous Computations
Load Balancing and Termination Detection
Sorting Algorithms
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
2
3
Embarrassingly Parallel Computations (1)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
3
4
Embarrassingly Parallel Computations (2)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
4
5
Embarrassingly Parallel Examples (1)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
5
6
Embarrassingly Parallel Examples (2)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
6
7
Embarrassingly Parallel Examples (3)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
7
8
Pseudocode to Perform Image Shift (1)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
8
9
Embarrassingly Parallel Examples (2)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
9
10
Embarrassingly Parallel Examples (3)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
10
Mandelbrot Set Computation (1)
11
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
Mandelbrot Set Computation (2)
12
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
Mandelbrot Set Computation (3)
13
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
Mandelbrot Set Computation (4)
14
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
Mandelbrot Set Computation (5)
15
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
16
Parallelization of Mandelbrot Computation (1)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
16
17
Parallelization of Mandelbrot Computation (2)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
17
18
Parallelization of Mandelbrot Computation (3)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
18
19
Parallelization of Mandelbrot Computation (4)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
19
20
Parallelization of Mandelbrot Computation (5)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
20
21
Parallelization of Mandelbrot Computation (6)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
21
22
Monte Carlo Methods (1)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
22
23
Monte Carlo Methods (2)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
23
24
Monte Carlo Methods (3)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
24
25
Monte Carlo Methods (4)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
25
26
Monte Carlo Methods (5)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
26
27
Monte Carlo Methods (6)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
27
28
Monte Carlo Methods (7)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
28
29
Monte Carlo Methods (8)
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
29
30
Random Number Generation
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
30
31
Parallel Random Number Generation
National Tsing Hua University ® copyright OIA
香港中文大学（深圳）数据科学院
CUHK-SZ School of Data Science
31
/docProps/thumbnail.jpeg