hpcc2014_reviews.txt

   1 De: HPCC 2014 <hpcc2014@easychair.org>
   2 Objet: HPCC 2014 notification for paper 121
   3 Date: 26 juin 2014 15:24:40 UTC+2
   4 À: David Laiymani <david.laiymani@univ-fcomte.fr>
   5
   6 Dear David Laiymani,
   7
   8 On behalf of the Program Committee of HPCC 2014, we would like to
   9 inform you that the paper titled:Simulation of Asynchronous Iterative
  10 Algorithms Using SimGrid(paper ID number 121) has not been accepted
  11 for presentation at the main track of the conference but due to its
  12 quality, your paper is accepted in the associated Workshops of the
  13 HPCC2014 conference, and will be published in the same proceedings by
  14 IEEE CPS and indexed in IEEE Xplorer.
  15
  16 Please modify your paper according to the instructions and comments
  17 provided by the reviewers.
  18
  19 Please prepare and submit your final camera ready paper and follow all
  20 STEPs to ensure the submission process is completed
  21 successfully. Please note Camera ready submission deadline is 15 July
  22 2014.
  23
  24 Authors must follow the IEEE formatting instruction.
  25
  26 For further information please check:
  27
  28 www.computational-science.org/HPCC2014
  29
  30 We are looking forward to meeting you at the HPCC 2014 conference.
  31
  32 S. Khaddaj, Program Chair of HPCC 2014
  33 J. Bourgeois, General Chair of HPCC2014
  34 F. Magoules, General Chair of HPCC2014
  35
  36
  37 ----------------------- REVIEW 1 ---------------------
  38 PAPER: 121
  39 TITLE: Simulation of Asynchronous Iterative Algorithms Using SimGrid
  40 AUTHORS: Charles Emile Ramamonjisoa, David Laiymani, Arnaud Giersch,
  41          Lilia Ziane Khodja and Raphaël Couturier
  42
  43
  44 ----------- REVIEW -----------
  45 The contribution of the paper could be better described.
  46
  47 The authors state that:
  48
  49 "we show that SimGrid is an efficient simulation
  50 tool that has enabled .."
  51
  52 If this is one of the goals of the paper to present the
  53 capabilities/strength of SimGrid, then they should compare it with
  54 other tools for the comparison of the two methods.
  55
  56 Regarding the comparison of the two methods, the possible scalability
  57 expected in the case of larger platforms might also be commended /
  58 discussed.
  59
  60
  61 ----------------------- REVIEW 2 ---------------------
  62 PAPER: 121
  63 TITLE: Simulation of Asynchronous Iterative Algorithms Using SimGrid
  64 AUTHORS: Charles Emile Ramamonjisoa, David Laiymani, Arnaud Giersch,
  65          Lilia Ziane Khodja and Raphaël Couturier
  66
  67
  68 ----------- REVIEW -----------
  69 This paper describes the simulation of an adapted (authors say
  70 slightly changed) GMRES solver on the SimGrid simulation framework;
  71 the GMRES solver is changed from synchronous iterative solution to a
  72 asynchronous iteration scheme in order to overcome latencies when
  73 interconnecting computers in a Grid environment.
  74
  75 The prejudice of the paper is that the GMRES algorithm is not using
  76 non-blocking communication to begin with.
  77
  78
  79 You mention that for running with SimGrid using SMPI, "little" or no
  80 modification need to be done to the original code: what kind of
  81 modifications are necessary -- and did You have to apply any
  82 modification to run with SMPI?  (in a later section of the paper,
  83 changing / deleting global variables were mentioned -- due to the
  84 threaded execution of simulated MPI processes...)
  85
  86
  87 SimGrid uses a "fluid model" -- what does that mean?
  88
  89 The local convergence criterion (k<=MaxIter) seams wrong and should
  90 rather read: k == MaxIter?
  91
  92 As far as the reviewer can tell, SMPI removes heavy computation by
  93 making assumptions on the CPU performance of the simulated code --
  94 which however is not true with most Grid environments where You do
  95 have mixed architectures and mixed performance characteristics.  How
  96 is this handled?
  97
  98 However, the main gripe about this paper is the rather unrealistic
  99 assumption on bandwidth (5 Mbps!) and latency (20ms): the internal
 100 network of a cluster may be Infiniband, with bw of Gigabytes/sec and
 101 micro-second latency, while a second cluster may be reachable over
 102 Gigabit-Ethernet with 100-200x the latency... This would be a setup,
 103 where a (even slight) gain would provide more convincing results.
 104
 105
 106
 107 Some knitpicks include:
 108 - Abstract: "Behaviours", please no plural
 109 - Sec II (and others): "As exposed" --> "As described"
 110 - Sec II: "And important idle times" --> better "useless idle times
 111   used for synchronization"
 112 - Sec III: "by the mean of an XML file" --> "by means of an XML file".
 113 - SEC IV.B: did not encouter ... unless some code debugging" -->
 114   please rewrite the unless part...
 115 - SEC V: "Hosts processors power" --> "Host processor power"
 116
 117
 118 ----------------------- REVIEW 3 ---------------------
 119 PAPER: 121
 120 TITLE: Simulation of Asynchronous Iterative Algorithms Using SimGrid
 121 AUTHORS: Charles Emile Ramamonjisoa, David Laiymani, Arnaud Giersch,
 122          Lilia Ziane Khodja and Raphaël Couturier
 123
 124
 125 ----------- REVIEW -----------
 126 The submitted paper purports to be the first simulation of
 127 asynchronous iterative algorithms and predicts that, for a particular
 128 cluster configurations with very high latency (20ms) and very low
 129 bandwidths (5/50 Mbit/s), an unpreconditioned asynchronous
 130 multisplitting algorithm will be faster than an unpreconditioned GMRES
 131 algorithm for solving a 3D Poisson equation.
 132
 133 Several issues with respect to the relevance of these results deserve
 134 discussion:
 135
 136 1) There is no substantial discussion of the fundamental additions to
 137 SimGrid that were required in order to support the simulation of
 138 asynchronous iterative algorithms. If no extensions were required,
 139 then I am unsure as to how this aspect of the work is a contribution.
 140
 141 2) The model problem of a 3D Poisson equation with no preconditioner
 142 is regrettable due to the large number of fast solvers available that
 143 have been available for many decades. For this reason, as is, the
 144 results are not relevant to the solution of PDEs. However, a similar
 145 computational structure appears within the context of gradient descent
 146 methods for the solution of convex optimization problems, and
 147 asynchronous algorithms are quite common. I would humbly suggest such
 148 a model problem in the future unless either a more challenging PDE is
 149 tackled or a non-trivial preconditioner is incorporated.
 150
 151 3) This is somewhat of a minor point, but I did not see an explicit
 152 discussion of the link between a global relative residual norm,
 153 || A x - b|| / || b ||, and the local convergence criterion used in
 154 the asynchronous algorithm, which tested for the infinity norm of the
 155 local computation. When "precision" is reported in Table I, is it
 156 referring to a consistent global convergence criterion? And, if so,
 157 what is it precisely referring to?
 158
 159 4) Typical latencies within clusters are on the order of a
 160 microsecond, and the latency used to produce Table I is more than
 161 three orders of magnitude higher (20ms). It would be helpful if more
 162 justification was given for why such a high latency is
 163 relevant. Furthermore, the chosen bandwidths (5 Mbit/s and 50 Mbit/s)
 164 are closer to a non-commercial home internet connection than a
 165 commercial ethernet connection.
 166
 167 Overall, I feel that a significant number of issues should be
 168 addressed before publication would be warranted.
 169
 170
 171 ----------------------- REVIEW 4 ---------------------
 172 PAPER: 121
 173 TITLE: Simulation of Asynchronous Iterative Algorithms Using SimGrid
 174 AUTHORS: Charles Emile Ramamonjisoa, David Laiymani, Arnaud Giersch,
 175          Lilia Ziane Khodja and Raphaël Couturier
 176
 177
 178 ----------- REVIEW -----------
 179 This is a very interesting paper devoted to the implementation in a
 180 grid environment of some asynchronous algorithm. These algorithms are
 181 indeed very powerfull, and the more latency, the more efficient are
 182 these algorithms. A comparison of a synchronous GMRES and an
 183 asynchronous multi-splitting is presented. The obtained results are
 184 interesting and confirm the efficiency of these methods.
 185
 186
 187 ----------------------- REVIEW 5 ---------------------
 188 PAPER: 121
 189 TITLE: Simulation of Asynchronous Iterative Algorithms Using SimGrid
 190 AUTHORS: Charles Emile Ramamonjisoa, David Laiymani, Arnaud Giersch,
 191          Lilia Ziane Khodja and Raphaël Couturier
 192
 193
 194 ----------- REVIEW -----------
 195 This paper is a mix between a short and a long paper, it presents
 196 preliminary works on simulation of asynchronous iterative algorithms
 197 using SimGrid. I recommend to accept it as a short paper.
 198
 199