<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div class="h5"><blockquote type="cite"><blockquote type="cite"><br>The summation order during restriction might not be reproducible<br>(depends on implementation details including whether you use<br>MPI_Waitsome versus MPI_Waitall), but can be made reproducible and<br>parallel-invariant if desired.<br><br></blockquote></blockquote></div></div></blockquote><div>Implementing unnecessary determinism at the expense of parallelism is absolutely the worst way to handle numerical problems.  The best solutions are (1) math that doesn't care and (2) floating-point that does care, meaning extended precisions. <br></div><div><br></div><div>Jeff</div></div>
</div></div>