<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Apr 29, 2014 at 1:28 PM, Sam Williams <span dir="ltr"><<a href="mailto:swwilliams@lbl.gov" target="_blank">swwilliams@lbl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">There's also a deeper question on how you evaluate/rank.<br>
<br>
I was thinking of requiring submitters to submit 6 numbers at a given concurrency.<br>
- reference implementation for N, N/8, and N/64 DOF/process<br></blockquote><div><br></div><div>I still think that trying to define optimized, and therefore not in the reference implementation, is just asking for trouble.</div>
<div><br></div><div>I would have to think that Erich would not like this.  Have you run it by him?  Perhaps I am being paranoid and conservative.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

- full fury implementation for N, N/8, and N/64 DOF/process<br>
Ranking would be based on a linear combination of these (the first three could be weighted by 0)<br>
<div class="HOEnZb"><div class="h5"><br></div></div></blockquote><div><br></div><div>A concern that I have your proposal and Jed's is that the community might not like it. Or it is a bit distraction until we get a seat at the table.  I envision getting support from the community and having them run and analyze whatever you want to put in the repo.  Jed has a "sample" parameter that runs jobs at multiple scales that he is probably proposing as evolving into a benchmark that includes dynamic range, like yours.  I suggest that we be vague about this.  Just say that it is good to look at dynamic range and this is raw data on it.  And have the code produce DOF/process at N for optimized version, as well as other data if desired.  If people ask "what is the metric", then I like saying "DOF/sec, just like HPL".  </div>
<div><br></div><div>Additionally, I have been saying the metric is DOF/sec to draw a contrast with HPCG.  HPCG does not make it clear that they are not solving the equations and I want to highlight this distinction.  I will tone that down and add that we are "exploring dynamic range metrics".</div>
<div><br></div><div>Sam, it sounds like you have ideas for dynamic range and so we will not try to make that common in HPGMG at this point.  I was thinking that we would try to make this common as I had not heard that you have ideas for this.  Jed has thoughts on this issue and you can both explore them.  You and Jed can each explore these ideas and get feedback from users and managers like Erich and Horst.</div>
</div></div></div>