]> AND Private Git Repository - kahina_paper2.git/blob - paper.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
figures mpi et openmp
[kahina_paper2.git] / paper.tex
1
2 %% bare_conf.tex
3 %% V1.4b
4 %% 2015/08/26
5 %% by Michael Shell
6 %% See:
7 %% http://www.michaelshell.org/
8 %% for current contact information.
9 %%
10 %% This is a skeleton file demonstrating the use of IEEEtran.cls
11 %% (requires IEEEtran.cls version 1.8b or later) with an IEEE
12 %% conference paper.
13 %%
14 %% Support sites:
15 %% http://www.michaelshell.org/tex/ieeetran/
16 %% http://www.ctan.org/pkg/ieeetran
17 %% and
18 %% http://www.ieee.org/
19
20 %%*************************************************************************
21 %% Legal Notice:
22 %% This code is offered as-is without any warranty either expressed or
23 %% implied; without even the implied warranty of MERCHANTABILITY or
24 %% FITNESS FOR A PARTICULAR PURPOSE! 
25 %% User assumes all risk.
26 %% In no event shall the IEEE or any contributor to this code be liable for
27 %% any damages or losses, including, but not limited to, incidental,
28 %% consequential, or any other damages, resulting from the use or misuse
29 %% of any information contained here.
30 %%
31 %% All comments are the opinions of their respective authors and are not
32 %% necessarily endorsed by the IEEE.
33 %%
34 %% This work is distributed under the LaTeX Project Public License (LPPL)
35 %% ( http://www.latex-project.org/ ) version 1.3, and may be freely used,
36 %% distributed and modified. A copy of the LPPL, version 1.3, is included
37 %% in the base LaTeX documentation of all distributions of LaTeX released
38 %% 2003/12/01 or later.
39 %% Retain all contribution notices and credits.
40 %% ** Modified files should be clearly indicated as such, including  **
41 %% ** renaming them and changing author support contact information. **
42 %%*************************************************************************
43
44
45 % *** Authors should verify (and, if needed, correct) their LaTeX system  ***
46 % *** with the testflow diagnostic prior to trusting their LaTeX platform ***
47 % *** with production work. The IEEE's font choices and paper sizes can   ***
48 % *** trigger bugs that do not appear when using other class files.       ***                          ***
49 % The testflow support page is at:
50 % http://www.michaelshell.org/tex/testflow/
51
52
53
54 \documentclass[conference]{IEEEtran}
55 % Some Computer Society conferences also require the compsoc mode option,
56 % but others use the standard conference format.
57 %
58 % If IEEEtran.cls has not been installed into the LaTeX system files,
59 % manually specify the path to it like:
60 % \documentclass[conference]{../sty/IEEEtran}
61
62
63
64
65
66 % Some very useful LaTeX packages include:
67 % (uncomment the ones you want to load)
68
69
70 % *** MISC UTILITY PACKAGES ***
71 %
72 %\usepackage{ifpdf}
73 % Heiko Oberdiek's ifpdf.sty is very useful if you need conditional
74 % compilation based on whether the output is pdf or dvi.
75 % usage:
76 % \ifpdf
77 %   % pdf code
78 % \else
79 %   % dvi code
80 % \fi
81 % The latest version of ifpdf.sty can be obtained from:
82 % http://www.ctan.org/pkg/ifpdf
83 % Also, note that IEEEtran.cls V1.7 and later provides a builtin
84 % \ifCLASSINFOpdf conditional that works the same way.
85 % When switching from latex to pdflatex and vice-versa, the compiler may
86 % have to be run twice to clear warning/error messages.
87
88
89
90
91
92
93 % *** CITATION PACKAGES ***
94 %
95 %\usepackage{cite}
96 % cite.sty was written by Donald Arseneau
97 % V1.6 and later of IEEEtran pre-defines the format of the cite.sty package
98 % \cite{} output to follow that of the IEEE. Loading the cite package will
99 % result in citation numbers being automatically sorted and properly
100 % "compressed/ranged". e.g., [1], [9], [2], [7], [5], [6] without using
101 % cite.sty will become [1], [2], [5]--[7], [9] using cite.sty. cite.sty's
102 % \cite will automatically add leading space, if needed. Use cite.sty's
103 % noadjust option (cite.sty V3.8 and later) if you want to turn this off
104 % such as if a citation ever needs to be enclosed in parenthesis.
105 % cite.sty is already installed on most LaTeX systems. Be sure and use
106 % version 5.0 (2009-03-20) and later if using hyperref.sty.
107 % The latest version can be obtained at:
108 % http://www.ctan.org/pkg/cite
109 % The documentation is contained in the cite.sty file itself.
110
111
112
113
114
115
116 % *** GRAPHICS RELATED PACKAGES ***
117 %
118 \ifCLASSINFOpdf
119   % \usepackage[pdftex]{graphicx}
120   % declare the path(s) where your graphic files are
121   % \graphicspath{{../pdf/}{../jpeg/}}
122   % and their extensions so you won't have to specify these with
123   % every instance of \includegraphics
124   % \DeclareGraphicsExtensions{.pdf,.jpeg,.png}
125 \else
126   % or other class option (dvipsone, dvipdf, if not using dvips). graphicx
127   % will default to the driver specified in the system graphics.cfg if no
128   % driver is specified.
129   % \usepackage[dvips]{graphicx}
130   % declare the path(s) where your graphic files are
131   % \graphicspath{{../eps/}}
132   % and their extensions so you won't have to specify these with
133   % every instance of \includegraphics
134   % \DeclareGraphicsExtensions{.eps}
135 \fi
136 % graphicx was written by David Carlisle and Sebastian Rahtz. It is
137 % required if you want graphics, photos, etc. graphicx.sty is already
138 % installed on most LaTeX systems. The latest version and documentation
139 % can be obtained at: 
140 % http://www.ctan.org/pkg/graphicx
141 % Another good source of documentation is "Using Imported Graphics in
142 % LaTeX2e" by Keith Reckdahl which can be found at:
143 % http://www.ctan.org/pkg/epslatex
144 %
145 % latex, and pdflatex in dvi mode, support graphics in encapsulated
146 % postscript (.eps) format. pdflatex in pdf mode supports graphics
147 % in .pdf, .jpeg, .png and .mps (metapost) formats. Users should ensure
148 % that all non-photo figures use a vector format (.eps, .pdf, .mps) and
149 % not a bitmapped formats (.jpeg, .png). The IEEE frowns on bitmapped formats
150 % which can result in "jaggedy"/blurry rendering of lines and letters as
151 % well as large increases in file sizes.
152 %
153 % You can find documentation about the pdfTeX application at:
154 % http://www.tug.org/applications/pdftex
155
156
157
158
159
160 % *** MATH PACKAGES ***
161 %
162 %\usepackage{amsmath}
163 % A popular package from the American Mathematical Society that provides
164 % many useful and powerful commands for dealing with mathematics.
165 %
166 % Note that the amsmath package sets \interdisplaylinepenalty to 10000
167 % thus preventing page breaks from occurring within multiline equations. Use:
168 %\interdisplaylinepenalty=2500
169 % after loading amsmath to restore such page breaks as IEEEtran.cls normally
170 % does. amsmath.sty is already installed on most LaTeX systems. The latest
171 % version and documentation can be obtained at:
172 % http://www.ctan.org/pkg/amsmath
173
174
175
176
177
178 % *** SPECIALIZED LIST PACKAGES ***
179 %
180 %\usepackage{algorithmic}
181 % algorithmic.sty was written by Peter Williams and Rogerio Brito.
182 % This package provides an algorithmic environment fo describing algorithms.
183 % You can use the algorithmic environment in-text or within a figure
184 % environment to provide for a floating algorithm. Do NOT use the algorithm
185 % floating environment provided by algorithm.sty (by the same authors) or
186 % algorithm2e.sty (by Christophe Fiorio) as the IEEE does not use dedicated
187 % algorithm float types and packages that provide these will not provide
188 % correct IEEE style captions. The latest version and documentation of
189 % algorithmic.sty can be obtained at:
190 % http://www.ctan.org/pkg/algorithms
191 % Also of interest may be the (relatively newer and more customizable)
192 % algorithmicx.sty package by Szasz Janos:
193 % http://www.ctan.org/pkg/algorithmicx
194
195
196
197
198 % *** ALIGNMENT PACKAGES ***
199 %
200 %\usepackage{array}
201 % Frank Mittelbach's and David Carlisle's array.sty patches and improves
202 % the standard LaTeX2e array and tabular environments to provide better
203 % appearance and additional user controls. As the default LaTeX2e table
204 % generation code is lacking to the point of almost being broken with
205 % respect to the quality of the end results, all users are strongly
206 % advised to use an enhanced (at the very least that provided by array.sty)
207 % set of table tools. array.sty is already installed on most systems. The
208 % latest version and documentation can be obtained at:
209 % http://www.ctan.org/pkg/array
210
211
212 % IEEEtran contains the IEEEeqnarray family of commands that can be used to
213 % generate multiline equations as well as matrices, tables, etc., of high
214 % quality.
215
216
217
218
219 % *** SUBFIGURE PACKAGES ***
220 %\ifCLASSOPTIONcompsoc
221 %  \usepackage[caption=false,font=normalsize,labelfont=sf,textfont=sf]{subfig}
222 %\else
223 %  \usepackage[caption=false,font=footnotesize]{subfig}
224 %\fi
225 % subfig.sty, written by Steven Douglas Cochran, is the modern replacement
226 % for subfigure.sty, the latter of which is no longer maintained and is
227 % incompatible with some LaTeX packages including fixltx2e. However,
228 % subfig.sty requires and automatically loads Axel Sommerfeldt's caption.sty
229 % which will override IEEEtran.cls' handling of captions and this will result
230 % in non-IEEE style figure/table captions. To prevent this problem, be sure
231 % and invoke subfig.sty's "caption=false" package option (available since
232 % subfig.sty version 1.3, 2005/06/28) as this is will preserve IEEEtran.cls
233 % handling of captions.
234 % Note that the Computer Society format requires a larger sans serif font
235 % than the serif footnote size font used in traditional IEEE formatting
236 % and thus the need to invoke different subfig.sty package options depending
237 % on whether compsoc mode has been enabled.
238 %
239 % The latest version and documentation of subfig.sty can be obtained at:
240 % http://www.ctan.org/pkg/subfig
241
242
243
244
245 % *** FLOAT PACKAGES ***
246 %
247 %\usepackage{fixltx2e}
248 % fixltx2e, the successor to the earlier fix2col.sty, was written by
249 % Frank Mittelbach and David Carlisle. This package corrects a few problems
250 % in the LaTeX2e kernel, the most notable of which is that in current
251 % LaTeX2e releases, the ordering of single and double column floats is not
252 % guaranteed to be preserved. Thus, an unpatched LaTeX2e can allow a
253 % single column figure to be placed prior to an earlier double column
254 % figure.
255 % Be aware that LaTeX2e kernels dated 2015 and later have fixltx2e.sty's
256 % corrections already built into the system in which case a warning will
257 % be issued if an attempt is made to load fixltx2e.sty as it is no longer
258 % needed.
259 % The latest version and documentation can be found at:
260 % http://www.ctan.org/pkg/fixltx2e
261
262
263 %\usepackage{stfloats}
264 % stfloats.sty was written by Sigitas Tolusis. This package gives LaTeX2e
265 % the ability to do double column floats at the bottom of the page as well
266 % as the top. (e.g., "\begin{figure*}[!b]" is not normally possible in
267 % LaTeX2e). It also provides a command:
268 %\fnbelowfloat
269 % to enable the placement of footnotes below bottom floats (the standard
270 % LaTeX2e kernel puts them above bottom floats). This is an invasive package
271 % which rewrites many portions of the LaTeX2e float routines. It may not work
272 % with other packages that modify the LaTeX2e float routines. The latest
273 % version and documentation can be obtained at:
274 % http://www.ctan.org/pkg/stfloats
275 % Do not use the stfloats baselinefloat ability as the IEEE does not allow
276 % \baselineskip to stretch. Authors submitting work to the IEEE should note
277 % that the IEEE rarely uses double column equations and that authors should try
278 % to avoid such use. Do not be tempted to use the cuted.sty or midfloat.sty
279 % packages (also by Sigitas Tolusis) as the IEEE does not format its papers in
280 % such ways.
281 % Do not attempt to use stfloats with fixltx2e as they are incompatible.
282 % Instead, use Morten Hogholm'a dblfloatfix which combines the features
283 % of both fixltx2e and stfloats:
284 %
285 % \usepackage{dblfloatfix}
286 % The latest version can be found at:
287 % http://www.ctan.org/pkg/dblfloatfix
288
289
290
291
292 % *** PDF, URL AND HYPERLINK PACKAGES ***
293 %
294 %\usepackage{url}
295 % url.sty was written by Donald Arseneau. It provides better support for
296 % handling and breaking URLs. url.sty is already installed on most LaTeX
297 % systems. The latest version and documentation can be obtained at:
298 % http://www.ctan.org/pkg/url
299 % Basically, \url{my_url_here}.
300
301
302
303
304 % *** Do not adjust lengths that control margins, column widths, etc. ***
305 % *** Do not use packages that alter fonts (such as pslatex).         ***
306 % There should be no need to do such things with IEEEtran.cls V1.6 and later.
307 % (Unless specifically asked to do so by the journal or conference you plan
308 % to submit to, of course. )
309
310
311 % correct bad hyphenation here
312 \hyphenation{op-tical net-works semi-conduc-tor}
313 \usepackage{graphicx}
314
315 \begin{document}
316 %
317 % paper title
318 % Titles are generally capitalized except for words such as a, an, and, as,
319 % at, but, by, for, in, nor, of, on, or, the, to and up, which are usually
320 % not capitalized unless they are the first or last word of the title.
321 % Linebreaks \\ can be used within to get better formatting as desired.
322 % Do not put math or special symbols in the title.
323 \title{A parallel implementation of Ehrlich-Aberth algorithm  for root finding of polynomials
324 on Multi-GPU with OpenMP/MPI}
325
326
327 % author names and affiliations
328 % use a multiple column layout for up to three different
329 % affiliations
330 \author{\IEEEauthorblockN{Michael Shell}
331 \IEEEauthorblockA{School of Electrical and\\Computer Engineering\\
332 Georgia Institute of Technology\\
333 Atlanta, Georgia 30332--0250\\
334 Email: http://www.michaelshell.org/contact.html}
335 \and
336 \IEEEauthorblockN{Homer Simpson}
337 \IEEEauthorblockA{Twentieth Century Fox\\
338 Springfield, USA\\
339 Email: homer@thesimpsons.com}
340 \and
341 \IEEEauthorblockN{James Kirk\\ and Montgomery Scott}
342 \IEEEauthorblockA{Starfleet Academy\\
343 San Francisco, California 96678--2391\\
344 Telephone: (800) 555--1212\\
345 Fax: (888) 555--1212}}
346
347 % conference papers do not typically use \thanks and this command
348 % is locked out in conference mode. If really needed, such as for
349 % the acknowledgment of grants, issue a \IEEEoverridecommandlockouts
350 % after \documentclass
351
352 % for over three affiliations, or if they all won't fit within the width
353 % of the page, use this alternative format:
354
355 %\author{\IEEEauthorblockN{Michael Shell\IEEEauthorrefmark{1},
356 %Homer Simpson\IEEEauthorrefmark{2},
357 %James Kirk\IEEEauthorrefmark{3}, 
358 %Montgomery Scott\IEEEauthorrefmark{3} and
359 %Eldon Tyrell\IEEEauthorrefmark{4}}
360 %\IEEEauthorblockA{\IEEEauthorrefmark{1}School of Electrical and Computer Engineering\\
361 %Georgia Institute of Technology,
362 %Atlanta, Georgia 30332--0250\\ Email: see http://www.michaelshell.org/contact.html}
363 %\IEEEauthorblockA{\IEEEauthorrefmark{2}Twentieth Century Fox, Springfield, USA\\
364 %Email: homer@thesimpsons.com}
365 %\IEEEauthorblockA{\IEEEauthorrefmark{3}Starfleet Academy, San Francisco, California 96678-2391\\
366 %Telephone: (800) 555--1212, Fax: (888) 555--1212}
367 %\IEEEauthorblockA{\IEEEauthorrefmark{4}Tyrell Inc., 123 Replicant Street, Los Angeles, California 90210--4321}}
368
369
370
371
372 % use for special paper notices
373 %\IEEEspecialpapernotice{(Invited Paper)}
374
375
376
377
378 % make the title area
379 \maketitle
380
381 % As a general rule, do not put math, special symbols or citations
382 % in the abstract
383 \begin{abstract}
384 The abstract goes here.
385 \end{abstract}
386
387 % no keywords
388
389
390
391
392 % For peer review papers, you can put extra information on the cover
393 % page as needed:
394 % \ifCLASSOPTIONpeerreview
395 % \begin{center} \bfseries EDICS Category: 3-BBND \end{center}
396 % \fi
397 %
398 % For peerreview papers, this IEEEtran command inserts a page break and
399 % creates the second title. It will be ignored for other modes.
400 \IEEEpeerreviewmaketitle
401
402
403
404 \section{Introduction}
405 Polynomials are mathematical algebraic structures used in science and engineering to capture physical phenomena and to express any outcome in the form of a function of some unknown variables. Formally speaking,  a polynomial $p(x)$ of degree \textit{n} having $n$ coefficients in the complex plane \textit{C} is :
406 %%\begin{center}
407 \begin{equation}
408      {\Large p(x)=\sum_{i=0}^{n}{a_{i}x^{i}}}.
409 \end{equation}
410 %%\end{center}
411
412 The root finding problem consists in finding the values of all the $n$ values of the variable $x$ for which \textit{p(x)} is nullified. Such values are called zeros of $p$. If zeros are $\alpha_{i},\textit{i=1,...,n}$ the $p(x)$ can be written as :
413 \begin{equation}
414      {\Large p(x)=a_{n}\prod_{i=1}^{n}(x-\alpha_{i}), a_{0} a_{n}\neq 0}.
415 \end{equation}
416
417 The problem of finding the roots of polynomials is encountered in different applications. Most of the numerical methods that deal with this problem are simultaneous ones. These methods start from the initial approximations of all the roots of the polynomial and give a sequence of approximations that converge to the roots of the polynomial. The first method of this group is Durand-Kerner method:
418 \begin{equation}
419 \label{DK}
420  DK: z_i^{k+1}=z_{i}^{k}-\frac{P(z_i^{k})}{\prod_{i\neq j}(z_i^{k}-z_j^{k})},   i = 1, . . . , n,
421 \end{equation}
422 %%\end{center}
423 where $z_i^k$ is the $i^{th}$ root of the polynomial $p$ at the
424 iteration $k$.
425 Another method discovered by
426 Borsch-Supan~\cite{ Borch-Supan63} and also described and brought
427 in the following form by Ehrlich~\cite{Ehrlich67} and
428 Aberth~\cite{Aberth73} uses a different iteration formula given as:
429 %%\begin{center}
430 \begin{equation}
431 \label{Eq:EA}
432  EA: z_i^{k+1}=z_i^{k}-\frac{1}{{\frac {P'(z_i^{k})} {P(z_i^{k})}}-{\sum_{i\neq j}\frac{1}{(z_i^{k}-z_j^{k})}}}, i = 1, . . . , n,
433 \end{equation}
434 %%\end{center}
435 where $p'(z)$ is the polynomial derivative of $p$ evaluated in the
436 point $z$.
437
438 %Aberth, Ehrlich and Farmer-Loizou~\cite{Loizou83} have proved that
439 %the Ehrlich-Aberth method (EA) has a cubic order of convergence for simple roots whereas the Durand-Kerner has a quadratic order of %convergence.
440
441 The main problem of the simultaneous methods is that the necessary time needed for the convergence is increased with the increasing of the degree of the polynomial. Many authors have treated the problem of implementation of simultaneous methods in parallel. Freeman [10] implemented and compared DK, EA and another method of the fourth order proposed by Farmer
442 and Loizou [9], on a 8-processor linear chain, for polynomials of degree up to 8.
443 The third method often diverges, but the first two methods have speed-up equal to 5.5. Later, Freeman and Bane [11] considered asynchronous algorithms, in which each processor continues to update its approximations even though the latest values of other $z^{k}_{i}$ have not been received from the other processors, in contrast with synchronous algorithms where it would wait those values before
444 making a new iteration. Couturier and al. [12] proposed two methods of parallelization for a shared memory architecture with \textit{OpenMP} and for distributed memory one with \textit{MPI}. They were able to compute the roots of sparse polynomials of degree 10,000 in 116 seconds with \textit{OpenMP} and 135 seconds with \textit{MPI} only 8 personal computers and 2 communications per iteration. Comparing to the sequential implementation where it takes up to 3,300 seconds to obtain the same results, the authors show an interesting speedup.
445
446 Very few works had been performed since this last work until the appearing of the Compute Unified Device Architecture (CUDA) [13], a parallel computing platform and a programming model invented by NVIDIA. The computing power of GPUs (Graphics Processing Unit) has exceeded that of CPUs. However, CUDA adopts a totally new computing architecture to use the hardware resources provided by GPU in order to offer a stronger computing ability to the massive data computing. Ghidouche and al [14] proposed an implementation of the Durand-Kerner method on GPU. Their main result showed that a parallel CUDA implementation is about 10 times faster than the sequential implementation on a single CPU for sparse polynomials of degree 48,000.
447
448 Finding polynomial roots rapidly and accurately is the main objective of our work. In this paper we propose the parallelization of Ehrlich-Aberth method using a parallel programming paradigms (OpenMP, MPI) on GPUs. We consider two architectures: Shared memory with OpenMP API based on threads from the same system process, which each thread is attached to one GPU and after the various memory allocation, each thread throws its part of calculation ( to do this you must first load on the GPU required data and after Suddenly repatriate the result on the host). Distributed memory with MPI: The MPI library is often used for parallel programming [11] in
449 cluster systems because it is a message-passing programming language. Each GPU are attached to one process MPI, and a loop is in charge of the distribution of tasks between the MPI processes. this solution can be used on one GPU, or executed on a distributed cluster of GPUs, employing the Message Passing Interface (MPI) to communicate between separate CUDA cards. This solution permits scaling of the problem size to larger classes than would be possible on a single device and demonstrates the performance which users might expect from future
450 HPC architectures where accelerators are deployed. 
451  
452 This paper is organized as follows, in section 2 we recall the Ehrlich-Aberth method. In section 3 we present EA algorithm on single GPU. In section 4 we propose the EA algorithm implementation on MGPU for (OpenMP-CUDA) approach and (MPI-CUDA) approach. In section 5 we present our experiments and discus it. Finally, Section~\ref{sec6} concludes this paper and gives some hints for future research directions in this topic.
453  
454  
455 \section{Parallel Programmings Model}
456  
457 \subsection{OpenMP}%L'article en anglais Multi-GPU and multi-CPU accelerated FDTD scheme for vibroacoustic applications 
458 Open Multi-Processing (OpenMP) is a shared memory architecture API that provides multi thread capacity [22]. OpenMP is
459 a portable approach for parallel programming on shared memory systems based on compiler directives, that can be included in order
460 to parallelize a loop. In this way, a set of loops can be distributed along the different threads that will access to different data allo-
461 cated in local shared memory. One of the advantages of OpenMP is its global view of application memory address space that allows relatively fast development of parallel applications with easier maintenance. However, it is often difficult to get high rates of
462 performance in large scale applications. Although, in OpenMP a usage of threads ids and managing data explicitly as done in an MPI
463 code can be considered, it defeats the advantages of OpenMP.
464
465 \subsection{OpenMP} %L'article en Français Programmation multiGPU – OpenMP versus MPI
466 OpenMP is a shared memory programming API based on threads from
467 the same system process. Designed for multiprocessor shared memory UMA or
468 NUMA [10], it relies on the execution model SPMD ( Single Program, Multiple Data Stream )
469 where the thread "master" and threads "slaves" asynchronously execute their codes
470 communicate / synchronize via shared memory [7]. It also helps to build
471 the loop parallelism and is very suitable for an incremental code parallelization
472 Sequential natively. Threads share some or all of the available memory and can
473 have private memory areas [6].
474
475 \subsection{MPI} %L'article en Français Programmation multiGPU – OpenMP versus MPI
476  The library MPI allows to use a distributed memory architecture. The various processes have their own environment of execution and execute their codes in a asynchronous way, according to the model MIMD (Multiple Instruction streams, Multiple Dated streams); they communicate and synchronize by exchanges of messages [17]. MPI messages are explicitly sent, while the exchanges are implicit within the framework of a programming multi-thread (OpenMP/Pthreads).
477  
478 \subsection{CUDA}%L'article en anglais Multi-GPU and multi-CPU accelerated FDTD scheme for vibroacoustic applications
479  CUDA (an acronym for Compute Unified Device Architecture) is a parallel computing architecture developed by NVIDIA [28]. The
480 unit of execution in CUDA is called a thread. Each thread executes the kernel by the streaming processors in parallel. In CUDA,
481 a group of threads that are executed together is called thread blocks, and the computational grid consists of a grid of thread
482 blocks. Additionally, a thread block can use the shared memory on a single multiprocessor as while as the grid executes a single
483 CUDA program logically in parallel. Thus in CUDA programming, it is necessary to design carefully the arrangement of the thread
484 blocks in order to ensure low latency and a proper usage of shared memory, since it can be shared only in a thread block
485 scope. The effective bandwidth of each memory space depends on the memory access pattern. Since the global memory has lower
486 bandwidth than the shared memory, the global memory accesses should be minimized.
487
488
489 We introduced three paradigms of parallel programming. Our objective consist to implement an algorithm of root finding polynomial on multiple GPUs. It primordial to know how manage CUDA context of different GPUs. A direct method for controlling the various GPU is to use as many threads or processes that GPU. We can choose the GPU index based on the identifier of OpenMP thread or the rank of the MPI process. Both approaches will be created.
490
491 \section{The EA algorithm on single GPU}
492
493
494 \section{The EA algorithm on Multi-GPU}
495
496
497 \subsection{MGPU (OpenMP-CUDA)approach}
498 \subsection{MGPU (MPI-CUDA)approach}
499 \section{experiments}
500 \begin{figure}[htbp]
501 \centering
502   \includegraphics[angle=-90,width=0.8\textwidth]{GPU_openmp}
503 \caption{Execution times in seconds of the Ehrlich-Aberth method on GPUs using shared memory paradigm with OpenMP}
504 \label{fig:01}
505 \end{figure}
506
507 \begin{figure}[htbp]
508 \centering
509   \includegraphics[angle=-90,width=0.8\textwidth]{GPU_mpi}
510 \caption{Execution times in seconds of the Ehrlich-Aberth method on GPUs using distributed memory paradigm with MPI}
511 \label{fig:02}
512 \end{figure}
513 % An example of a floating figure using the graphicx package.
514 % Note that \label must occur AFTER (or within) \caption.
515 % For figures, \caption should occur after the \includegraphics.
516 % Note that IEEEtran v1.7 and later has special internal code that
517 % is designed to preserve the operation of \label within \caption
518 % even when the captionsoff option is in effect. However, because
519 % of issues like this, it may be the safest practice to put all your
520 % \label just after \caption rather than within \caption{}.
521 %
522 % Reminder: the "draftcls" or "draftclsnofoot", not "draft", class
523 % option should be used if it is desired that the figures are to be
524 % displayed while in draft mode.
525 %
526 %\begin{figure}[!t]
527 %\centering
528 %\includegraphics[width=2.5in]{myfigure}
529 % where an .eps filename suffix will be assumed under latex, 
530 % and a .pdf suffix will be assumed for pdflatex; or what has been declared
531 % via \DeclareGraphicsExtensions.
532 %\caption{Simulation results for the network.}
533 %\label{fig_sim}
534 %\end{figure}
535
536 % Note that the IEEE typically puts floats only at the top, even when this
537 % results in a large percentage of a column being occupied by floats.
538
539
540 % An example of a double column floating figure using two subfigures.
541 % (The subfig.sty package must be loaded for this to work.)
542 % The subfigure \label commands are set within each subfloat command,
543 % and the \label for the overall figure must come after \caption.
544 % \hfil is used as a separator to get equal spacing.
545 % Watch out that the combined width of all the subfigures on a 
546 % line do not exceed the text width or a line break will occur.
547 %
548 %\begin{figure*}[!t]
549 %\centering
550 %\subfloat[Case I]{\includegraphics[width=2.5in]{box}%
551 %\label{fig_first_case}}
552 %\hfil
553 %\subfloat[Case II]{\includegraphics[width=2.5in]{box}%
554 %\label{fig_second_case}}
555 %\caption{Simulation results for the network.}
556 %\label{fig_sim}
557 %\end{figure*}
558 %
559 % Note that often IEEE papers with subfigures do not employ subfigure
560 % captions (using the optional argument to \subfloat[]), but instead will
561 % reference/describe all of them (a), (b), etc., within the main caption.
562 % Be aware that for subfig.sty to generate the (a), (b), etc., subfigure
563 % labels, the optional argument to \subfloat must be present. If a
564 % subcaption is not desired, just leave its contents blank,
565 % e.g., \subfloat[].
566
567
568 % An example of a floating table. Note that, for IEEE style tables, the
569 % \caption command should come BEFORE the table and, given that table
570 % captions serve much like titles, are usually capitalized except for words
571 % such as a, an, and, as, at, but, by, for, in, nor, of, on, or, the, to
572 % and up, which are usually not capitalized unless they are the first or
573 % last word of the caption. Table text will default to \footnotesize as
574 % the IEEE normally uses this smaller font for tables.
575 % The \label must come after \caption as always.
576 %
577 %\begin{table}[!t]
578 %% increase table row spacing, adjust to taste
579 %\renewcommand{\arraystretch}{1.3}
580 % if using array.sty, it might be a good idea to tweak the value of
581 % \extrarowheight as needed to properly center the text within the cells
582 %\caption{An Example of a Table}
583 %\label{table_example}
584 %\centering
585 %% Some packages, such as MDW tools, offer better commands for making tables
586 %% than the plain LaTeX2e tabular which is used here.
587 %\begin{tabular}{|c||c|}
588 %\hline
589 %One & Two\\
590 %\hline
591 %Three & Four\\
592 %\hline
593 %\end{tabular}
594 %\end{table}
595
596
597 % Note that the IEEE does not put floats in the very first column
598 % - or typically anywhere on the first page for that matter. Also,
599 % in-text middle ("here") positioning is typically not used, but it
600 % is allowed and encouraged for Computer Society conferences (but
601 % not Computer Society journals). Most IEEE journals/conferences use
602 % top floats exclusively. 
603 % Note that, LaTeX2e, unlike IEEE journals/conferences, places
604 % footnotes above bottom floats. This can be corrected via the
605 % \fnbelowfloat command of the stfloats package.
606
607
608
609
610 \section{Conclusion}
611 The conclusion goes here.
612
613
614
615
616 % conference papers do not normally have an appendix
617
618
619 % use section* for acknowledgment
620 \section*{Acknowledgment}
621
622
623 The authors would like to thank...
624
625
626
627
628
629 % trigger a \newpage just before the given reference
630 % number - used to balance the columns on the last page
631 % adjust value as needed - may need to be readjusted if
632 % the document is modified later
633 %\IEEEtriggeratref{8}
634 % The "triggered" command can be changed if desired:
635 %\IEEEtriggercmd{\enlargethispage{-5in}}
636
637 % references section
638
639 % can use a bibliography generated by BibTeX as a .bbl file
640 % BibTeX documentation can be easily obtained at:
641 % http://mirror.ctan.org/biblio/bibtex/contrib/doc/
642 % The IEEEtran BibTeX style support page is at:
643 % http://www.michaelshell.org/tex/ieeetran/bibtex/
644 %\bibliographystyle{IEEEtran}
645 % argument is your BibTeX string definitions and bibliography database(s)
646 %\bibliography{IEEEabrv,../bib/paper}
647 %
648 % <OR> manually copy in the resultant .bbl file
649 % set second argument of \begin to the number of references
650 % (used to reserve space for the reference number labels box)
651 \begin{thebibliography}{1}
652
653 \bibitem{IEEEhowto:kopka}
654 H.~Kopka and P.~W. Daly, \emph{A Guide to \LaTeX}, 3rd~ed.\hskip 1em plus
655   0.5em minus 0.4em\relax Harlow, England: Addison-Wesley, 1999.
656
657 \end{thebibliography}
658
659
660
661
662 % that's all folks
663 \end{document}
664
665