Есть часть кода, которую можно переписать на Parallel.ForEach, но в оригинальной части есть оператор continue, который передает управление следующей итерации. Каким оператором следует воспользоваться внутри Parallel.ForEach? 

Поскольку код размещенный в блоке Parallel.ForEach — грубо говоря функция, которая будет выполнена указанное количество раз. Можно просто вызвать метод return;

Для случаев, когда нужно остановить выполнение, можно воспользоваться ParallelLoopState.Stop или ParallelLoopState.Break