Паралельне сповільнення

Діаграма виконання програми (показана синім) та діаграма прискорення (показана червоним) реальної програми з суб-оптимальним розпаралелюванням. Пунктирні лінії вказують на оптимальне розпаралелювання–лінійне збільшення прискорення і лінійне падіння програми під час виконання. Зверніть увагу, що в кінцевому результаті час виконання збільшується з більшим числом процесорів (швидкість також зменшується). Це паралельне уповільнення.

Паралельне сповільнення — явище у паралельному обчисленні, де розпаралелювання  паралельного алгоритму на певному рівні змушує програму працювати повільніше (займе більше часу для його обчислення).

Паралельне сповільнення зазвичай є результатом браку комунікацій. Як додаткова обробка після додавання вузлів, кожен вузол обробки витрачає все більше часу утворюючи комунікації, ніж на саму обробку. В якийсь момент витрати на зв'язок створений шляхом додавання ще одного вузла обробки перевершує споживання обчислювальної потужності яку забезпечує вузол, і як результат утворюється паралельне сповільнення.

Паралельне сповільнення відбувається, коли алгоритм потребує великих зв'язків, особливо проміжних результатів. Деякі проблеми, відомі як Приголомшлива паралельність, не потребують таких зв'язків, і таким чином не впливають на уповільнення.