]> AND Private Git Repository - prng_gpu.git/blob - prng_gpu.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
1129a07e18b89155ea4519ec23c979dbe397df71
[prng_gpu.git] / prng_gpu.tex
1 \documentclass{article}
2 \usepackage[utf8]{inputenc}
3 \usepackage[T1]{fontenc}
4 \usepackage{fullpage}
5 \usepackage{fancybox}
6 \usepackage{amsmath}
7 \usepackage{amscd}
8 \usepackage{moreverb}
9 \usepackage{commath}
10 \usepackage{algorithm2e}
11 \usepackage{listings}
12 \usepackage[standard]{ntheorem}
13
14 % Pour mathds : les ensembles IR, IN, etc.
15 \usepackage{dsfont}
16
17 % Pour avoir des intervalles d'entiers
18 \usepackage{stmaryrd}
19
20 \usepackage{graphicx}
21 % Pour faire des sous-figures dans les figures
22 \usepackage{subfigure}
23
24 \usepackage{color}
25
26 \newtheorem{notation}{Notation}
27
28 \newcommand{\X}{\mathcal{X}}
29 \newcommand{\Go}{G_{f_0}}
30 \newcommand{\B}{\mathds{B}}
31 \newcommand{\N}{\mathds{N}}
32 \newcommand{\BN}{\mathds{B}^\mathsf{N}}
33 \let\sur=\overline
34
35 \newcommand{\alert}[1]{\begin{color}{blue}\textit{#1}\end{color}}
36
37 \title{Efficient Generation of Pseudo-Random Numbers based on Chaotic Iterations
38 on GPU}
39 \begin{document}
40
41 \author{Jacques M. Bahi, Rapha\"{e}l Couturier, and Christophe
42 Guyeux, Pierre-Cyrille Heam\thanks{Authors in alphabetic order}}
43
44 \maketitle
45
46 \begin{abstract}
47 In this paper we present a new pseudo-random numbers generator (PRNG) on
48 graphics processing units  (GPU). This PRNG is based  on chaotic iterations.  it
49 is proven  to be chaotic  in the Devanay's  formulation. We propose  an efficient
50 implementation  for  GPU which  succeeds  to  the  {\it BigCrush},  the  hardest
51 batteries of test of TestU01.  Experimentations show that this PRNG can generate
52 about 20 billions of random numbers  per second on Tesla C1060 and NVidia GTX280
53 cards.
54
55
56 \end{abstract}
57
58 \section{Introduction}
59
60 Random  numbers are  used in  many scientific  applications and  simulations. On
61 finite  state machines,  as computers,  it is  not possible  to  generate random
62 numbers but only pseudo-random numbers. In practice, a good pseudo-random numbers
63 generator (PRNG) needs  to verify some features to be used  by scientists. It is
64 important  to  be  able  to  generate  pseudo-random  numbers  efficiently,  the
65 generation  needs to  be reproducible  and a  PRNG needs  to satisfy  many usual
66 statistical properties. Finally, from our point a view, it is essential to prove
67 that  a PRNG  is  chaotic.  Concerning  the  statistical tests,  TestU01 is  the
68 best-known public-domain statistical testing package.   So we use it for all our
69 PRNGs, especially the {\it BigCrush}  which provides the largest serie of tests.
70 Concerning  the  chaotic properties,  Devaney~\cite{Devaney}  proposed a  common
71 mathematical formulation of chaotic dynamical systems.
72
73 In a  previous work~\cite{bgw09:ip}  we have proposed  a new familly  of chaotic
74 PRNG  based on  chaotic iterations. We  have proven  that these  PRNGs are
75 chaotic in the Devaney's sense.  In this paper we propose a faster version which
76 is also proven to be chaotic.
77
78 Although graphics  processing units (GPU)  was initially designed  to accelerate
79 the manipulation of  images, they are nowadays commonly  used in many scientific
80 applications. Therefore,  it is important  to be able to  generate pseudo-random
81 numbers inside a GPU when a scientific application runs in a GPU. That is why we
82 also provide  an efficient  PRNG for  GPU respecting based  on IC.  Such devices
83 allows us to generated almost 20 billions of random numbers per second.
84
85 In order  to establish  that our  PRNGs are chaotic  according to  the Devaney's
86 formulation, we  extend what we  have proposed in~\cite{guyeux10}.
87
88 The rest of this paper  is organised as follows. In Section~\ref{section:related
89   works} we  review some GPU implementions  of PRNG.  Section~\ref{section:BASIC
90   RECALLS} gives some basic recalls  on Devanay's formation of chaos and chaotic
91 iterations. In  Section~\ref{sec:pseudo-random} the proof of chaos  of our PRNGs
92 is   studied.    Section~\ref{sec:efficient    prng}   presents   an   efficient
93 implementation of  our chaotic PRNG  on a CPU.   Section~\ref{sec:efficient prng
94   gpu}   describes   the  GPU   implementation   of   our   chaotic  PRNG.    In
95 Section~\ref{sec:experiments}     some    experimentations     are    presented.
96  Finally, we give a conclusion and some perspectives.
97
98
99
100
101 \section{Related works on GPU based PRNGs}
102 \label{section:related works}
103 In the litterature many authors have work on defining GPU based PRNGs. We do not
104 want to be exhaustive and we just give the most significant works from our point
105 of view. When authors mention the  number of random numbers generated per second
106 we mention  it. We  consider that  a million numbers  per second  corresponds to
107 1MSample/s and than a billion numbers per second corresponds to 1GSample/s.
108
109 In \cite{Pang:2008:cec},  the authors define  a PRNG based on  cellular automata
110 which  does   not  require  high  precision  integer   arithmetics  nor  bitwise
111 operations. There is no mention of statistical tests nor proof that this PRNG is
112 chaotic.  Concerning   the  speed  of   generation,  they  can   generate  about
113 3.2MSample/s on a GeForce 7800 GTX GPU (which is quite old now).
114
115 In \cite{ZRKB10}, the authors propose  different versions of efficient GPU PRNGs
116 based on  Lagged Fibonacci, Hybrid  Taus or Hybrid  Taus.  They have  used these
117 PRNGs   for  Langevin   simulations   of  biomolecules   fully  implemented   on
118 GPU. Performance of  the GPU versions are far better than  those obtained with a
119 CPU and these PRNGs succeed to pass the {\it BigCrush} test of TestU01. There is
120 no mention that their PRNGs have chaos mathematical properties.
121
122
123 Authors of~\cite{conf/fpga/ThomasHL09}  have studied the  implementation of some
124 PRNGs on  diferrent computing architectures: CPU,  field-programmable gate array
125 (FPGA), GPU and massively parallel  processor. This study is interesting because
126 it  shows the  performance  of the  same  PRNGs on  different architeture.   For
127 example,  the FPGA  is globally  the  fastest architecture  and it  is also  the
128 efficient one because it provides the fastest number of generated random numbers
129 per joule. Concerning the GPU,  authors can generate betweend 11 and 16GSample/s
130 with a GTX 280  GPU. The drawback of this work is  that those PRNGs only succeed
131 the {\it Crush} test which is easier than the {\it Big Crush} test.
132
133 Cuda  has developped  a  library for  the  generation of  random numbers  called
134 Curand~\cite{curand11}.        Several       PRNGs        are       implemented:
135 Xorwow~\cite{Marsaglia2003} and  some variants of Sobol. Some  tests report that
136 the  fastest version provides  15GSample/s on  the new  Fermi C2050  card. Their
137 PRNGs fail to succeed the whole tests of TestU01 on only one test.
138 \newline
139 \newline
140 To the best of our knowledge no GPU implementation have been proven to have chaotic properties.
141
142 \section{Basic Recalls}
143 \label{section:BASIC RECALLS}
144 This section is devoted to basic definitions and terminologies in the fields of
145 topological chaos and chaotic iterations.
146 \subsection{Devaney's Chaotic Dynamical Systems}
147
148 In the sequel $S^{n}$ denotes the $n^{th}$ term of a sequence $S$ and $V_{i}$
149 denotes the $i^{th}$ component of a vector $V$. $f^{k}=f\circ ...\circ f$
150 is for the $k^{th}$ composition of a function $f$. Finally, the following
151 notation is used: $\llbracket1;N\rrbracket=\{1,2,\hdots,N\}$.
152
153
154 Consider a topological space $(\mathcal{X},\tau)$ and a continuous function $f :
155 \mathcal{X} \rightarrow \mathcal{X}$.
156
157 \begin{definition}
158 $f$ is said to be \emph{topologically transitive} if, for any pair of open sets
159 $U,V \subset \mathcal{X}$, there exists $k>0$ such that $f^k(U) \cap V \neq
160 \varnothing$.
161 \end{definition}
162
163 \begin{definition}
164 An element $x$ is a \emph{periodic point} for $f$ of period $n\in \mathds{N}^*$
165 if $f^{n}(x)=x$.% The set of periodic points of $f$ is denoted $Per(f).$
166 \end{definition}
167
168 \begin{definition}
169 $f$ is said to be \emph{regular} on $(\mathcal{X}, \tau)$ if the set of periodic
170 points for $f$ is dense in $\mathcal{X}$: for any point $x$ in $\mathcal{X}$,
171 any neighborhood of $x$ contains at least one periodic point (without
172 necessarily the same period).
173 \end{definition}
174
175
176 \begin{definition}[Devaney's formulation of chaos~\cite{Devaney}]
177 $f$ is said to be \emph{chaotic} on $(\mathcal{X},\tau)$ if $f$ is regular and
178 topologically transitive.
179 \end{definition}
180
181 The chaos property is strongly linked to the notion of ``sensitivity'', defined
182 on a metric space $(\mathcal{X},d)$ by:
183
184 \begin{definition}
185 \label{sensitivity} $f$ has \emph{sensitive dependence on initial conditions}
186 if there exists $\delta >0$ such that, for any $x\in \mathcal{X}$ and any
187 neighborhood $V$ of $x$, there exist $y\in V$ and $n > 0$ such that
188 $d\left(f^{n}(x), f^{n}(y)\right) >\delta $.
189
190 $\delta$ is called the \emph{constant of sensitivity} of $f$.
191 \end{definition}
192
193 Indeed, Banks \emph{et al.} have proven in~\cite{Banks92} that when $f$ is
194 chaotic and $(\mathcal{X}, d)$ is a metric space, then $f$ has the property of
195 sensitive dependence on initial conditions (this property was formerly an
196 element of the definition of chaos). To sum up, quoting Devaney
197 in~\cite{Devaney}, a chaotic dynamical system ``is unpredictable because of the
198 sensitive dependence on initial conditions. It cannot be broken down or
199 simplified into two subsystems which do not interact because of topological
200 transitivity. And in the midst of this random behavior, we nevertheless have an
201 element of regularity''. Fundamentally different behaviors are consequently
202 possible and occur in an unpredictable way.
203
204
205
206 \subsection{Chaotic Iterations}
207 \label{sec:chaotic iterations}
208
209
210 Let us consider  a \emph{system} with a finite  number $\mathsf{N} \in
211 \mathds{N}^*$ of elements  (or \emph{cells}), so that each  cell has a
212 Boolean  \emph{state}. Having $\mathsf{N}$ Boolean values for these
213  cells  leads to the definition of a particular \emph{state  of the
214 system}. A sequence which  elements belong to $\llbracket 1;\mathsf{N}
215 \rrbracket $ is called a \emph{strategy}. The set of all strategies is
216 denoted by $\llbracket 1, \mathsf{N} \rrbracket^\mathds{N}.$
217
218 \begin{definition}
219 \label{Def:chaotic iterations}
220 The      set       $\mathds{B}$      denoting      $\{0,1\}$,      let
221 $f:\mathds{B}^{\mathsf{N}}\longrightarrow  \mathds{B}^{\mathsf{N}}$ be
222 a  function  and  $S\in  \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}$  be  a  ``strategy''.  The  so-called
223 \emph{chaotic      iterations}     are     defined      by     $x^0\in
224 \mathds{B}^{\mathsf{N}}$ and
225 \begin{equation}
226 \forall    n\in     \mathds{N}^{\ast     },    \forall     i\in
227 \llbracket1;\mathsf{N}\rrbracket ,x_i^n=\left\{
228 \begin{array}{ll}
229   x_i^{n-1} &  \text{ if  }S^n\neq i \\
230   \left(f(x^{n-1})\right)_{S^n} & \text{ if }S^n=i.
231 \end{array}\right.
232 \end{equation}
233 \end{definition}
234
235 In other words, at the $n^{th}$ iteration, only the $S^{n}-$th cell is
236 \textquotedblleft  iterated\textquotedblright .  Note  that in  a more
237 general  formulation,  $S^n$  can   be  a  subset  of  components  and
238 $\left(f(x^{n-1})\right)_{S^{n}}$      can     be      replaced     by
239 $\left(f(x^{k})\right)_{S^{n}}$, where  $k<n$, describing for example,
240 delays  transmission~\cite{Robert1986,guyeux10}.  Finally,  let us  remark that
241 the term  ``chaotic'', in  the name of  these iterations,  has \emph{a
242 priori} no link with the mathematical theory of chaos, presented above.
243
244
245 Let us now recall how to define a suitable metric space where chaotic iterations
246 are continuous. For further explanations, see, e.g., \cite{guyeux10}.
247
248 Let $\delta $ be the \emph{discrete Boolean metric}, $\delta
249 (x,y)=0\Leftrightarrow x=y.$ Given a function $f$, define the function:
250 \begin{equation}
251 \begin{array}{lrll}
252 F_{f}: & \llbracket1;\mathsf{N}\rrbracket\times \mathds{B}^{\mathsf{N}} &
253 \longrightarrow & \mathds{B}^{\mathsf{N}} \\
254 & (k,E) & \longmapsto & \left( E_{j}.\delta (k,j)+f(E)_{k}.\overline{\delta
255 (k,j)}\right) _{j\in \llbracket1;\mathsf{N}\rrbracket},%
256 \end{array}%
257 \end{equation}%
258 \noindent where + and . are the Boolean addition and product operations.
259 Consider the phase space:
260 \begin{equation}
261 \mathcal{X} = \llbracket 1 ; \mathsf{N} \rrbracket^\mathds{N} \times
262 \mathds{B}^\mathsf{N},
263 \end{equation}
264 \noindent and the map defined on $\mathcal{X}$:
265 \begin{equation}
266 G_f\left(S,E\right) = \left(\sigma(S), F_f(i(S),E)\right), \label{Gf}
267 \end{equation}
268 \noindent where $\sigma$ is the \emph{shift} function defined by $\sigma
269 (S^{n})_{n\in \mathds{N}}\in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}\longrightarrow (S^{n+1})_{n\in
270 \mathds{N}}\in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}$ and $i$ is the \emph{initial function} 
271 $i:(S^{n})_{n\in \mathds{N}} \in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}\longrightarrow S^{0}\in \llbracket
272 1;\mathsf{N}\rrbracket$. Then the chaotic iterations proposed in
273 Definition \ref{Def:chaotic iterations} can be described by the following iterations:
274 \begin{equation}
275 \left\{
276 \begin{array}{l}
277 X^0 \in \mathcal{X} \\
278 X^{k+1}=G_{f}(X^k).%
279 \end{array}%
280 \right.
281 \end{equation}%
282
283 With this formulation, a shift function appears as a component of chaotic
284 iterations. The shift function is a famous example of a chaotic
285 map~\cite{Devaney} but its presence is not sufficient enough to claim $G_f$ as
286 chaotic. 
287 To study this claim, a new distance between two points $X = (S,E), Y =
288 (\check{S},\check{E})\in
289 \mathcal{X}$ has been introduced in \cite{guyeux10} as follows:
290 \begin{equation}
291 d(X,Y)=d_{e}(E,\check{E})+d_{s}(S,\check{S}),
292 \end{equation}
293 \noindent where
294 \begin{equation}
295 \left\{
296 \begin{array}{lll}
297 \displaystyle{d_{e}(E,\check{E})} & = & \displaystyle{\sum_{k=1}^{\mathsf{N}%
298 }\delta (E_{k},\check{E}_{k})}, \\
299 \displaystyle{d_{s}(S,\check{S})} & = & \displaystyle{\dfrac{9}{\mathsf{N}}%
300 \sum_{k=1}^{\infty }\dfrac{|S^k-\check{S}^k|}{10^{k}}}.%
301 \end{array}%
302 \right.
303 \end{equation}
304
305
306 This new distance has been introduced to satisfy the following requirements.
307 \begin{itemize}
308 \item When the number of different cells between two systems is increasing, then
309 their distance should increase too.
310 \item In addition, if two systems present the same cells and their respective
311 strategies start with the same terms, then the distance between these two points
312 must be small because the evolution of the two systems will be the same for a
313 while. Indeed, the two dynamical systems start with the same initial condition,
314 use the same update function, and as strategies are the same for a while, then
315 components that are updated are the same too.
316 \end{itemize}
317 The distance presented above follows these recommendations. Indeed, if the floor
318 value $\lfloor d(X,Y)\rfloor $ is equal to $n$, then the systems $E, \check{E}$
319 differ in $n$ cells ($d_e$ is indeed the Hamming distance). In addition, $d(X,Y) - \lfloor d(X,Y) \rfloor $ is a
320 measure of the differences between strategies $S$ and $\check{S}$. More
321 precisely, this floating part is less than $10^{-k}$ if and only if the first
322 $k$ terms of the two strategies are equal. Moreover, if the $k^{th}$ digit is
323 nonzero, then the $k^{th}$ terms of the two strategies are different.
324 The impact of this choice for a distance will be investigate at the end of the document.
325
326 Finally, it has been established in \cite{guyeux10} that,
327
328 \begin{proposition}
329 Let $f$ be a map from $\mathds{B}^\mathsf{N}$ to itself. Then $G_{f}$ is continuous in
330 the metric space $(\mathcal{X},d)$.
331 \end{proposition}
332
333 The chaotic property of $G_f$ has been firstly established for the vectorial
334 Boolean negation $f(x_1,\hdots, x_\mathsf{N}) =  (\overline{x_1},\hdots, \overline{x_\mathsf{N}})$ \cite{guyeux10}. To obtain a characterization, we have secondly
335 introduced the notion of asynchronous iteration graph recalled bellow.
336
337 Let $f$ be a map from $\mathds{B}^\mathsf{N}$ to itself. The
338 {\emph{asynchronous iteration graph}} associated with $f$ is the
339 directed graph $\Gamma(f)$ defined by: the set of vertices is
340 $\mathds{B}^\mathsf{N}$; for all $x\in\mathds{B}^\mathsf{N}$ and 
341 $i\in \llbracket1;\mathsf{N}\rrbracket$,
342 the graph $\Gamma(f)$ contains an arc from $x$ to $F_f(i,x)$. 
343 The relation between $\Gamma(f)$ and $G_f$ is clear: there exists a
344 path from $x$ to $x'$ in $\Gamma(f)$ if and only if there exists a
345 strategy $s$ such that the parallel iteration of $G_f$ from the
346 initial point $(s,x)$ reaches the point $x'$.
347
348 We have finally proven in \cite{bcgr11:ip} that,
349
350
351 \begin{theorem}
352 \label{Th:Caractérisation   des   IC   chaotiques}  
353 Let $f:\mathds{B}^\mathsf{N}\to\mathds{B}^\mathsf{N}$. $G_f$ is chaotic  (according to  Devaney) 
354 if and only if $\Gamma(f)$ is strongly connected.
355 \end{theorem}
356
357 This result of chaos has lead us to study the possibility to build a
358 pseudo-random number generator (PRNG) based on the chaotic iterations. 
359 As $G_f$, defined on the domain   $\llbracket 1 ;  \mathsf{N} \rrbracket^{\mathds{N}} 
360 \times \mathds{B}^\mathsf{N}$, is build from Boolean networks $f : \mathds{B}^\mathsf{N}
361 \rightarrow \mathds{B}^\mathsf{N}$, we can preserve the theoretical properties on $G_f$
362 during implementations (due to the discrete nature of $f$). It is as if
363 $\mathds{B}^\mathsf{N}$ represents the memory of the computer whereas $\llbracket 1 ;  \mathsf{N}
364 \rrbracket^{\mathds{N}}$ is its input stream (the seeds, for instance).
365
366 \section{Application to Pseudo-Randomness}
367 \label{sec:pseudo-random}
368 \subsection{A First Pseudo-Random Number Generator}
369
370 We have proposed in~\cite{bgw09:ip} a new family of generators that receives 
371 two PRNGs as inputs. These two generators are mixed with chaotic iterations, 
372 leading thus to a new PRNG that improves the statistical properties of each
373 generator taken alone. Furthermore, our generator 
374 possesses various chaos properties that none of the generators used as input
375 present.
376
377 \begin{algorithm}[h!]
378 %\begin{scriptsize}
379 \KwIn{a function $f$, an iteration number $b$, an initial configuration $x^0$
380 ($n$ bits)}
381 \KwOut{a configuration $x$ ($n$ bits)}
382 $x\leftarrow x^0$\;
383 $k\leftarrow b + \textit{XORshift}(b)$\;
384 \For{$i=0,\dots,k$}
385 {
386 $s\leftarrow{\textit{XORshift}(n)}$\;
387 $x\leftarrow{F_f(s,x)}$\;
388 }
389 return $x$\;
390 %\end{scriptsize}
391 \caption{PRNG with chaotic functions}
392 \label{CI Algorithm}
393 \end{algorithm}
394
395 \begin{algorithm}[h!]
396 \KwIn{the internal configuration $z$ (a 32-bit word)}
397 \KwOut{$y$ (a 32-bit word)}
398 $z\leftarrow{z\oplus{(z\ll13)}}$\;
399 $z\leftarrow{z\oplus{(z\gg17)}}$\;
400 $z\leftarrow{z\oplus{(z\ll5)}}$\;
401 $y\leftarrow{z}$\;
402 return $y$\;
403 \medskip
404 \caption{An arbitrary round of \textit{XORshift} algorithm}
405 \label{XORshift}
406 \end{algorithm}
407
408
409
410
411
412 This generator is synthesized in Algorithm~\ref{CI Algorithm}.
413 It takes as input: a function $f$;
414 an integer $b$, ensuring that the number of executed iterations is at least $b$
415 and at most $2b+1$; and an initial configuration $x^0$.
416 It returns the new generated configuration $x$.  Internally, it embeds two
417 \textit{XORshift}$(k)$ PRNGs~\cite{Marsaglia2003} that returns integers
418 uniformly distributed
419 into $\llbracket 1 ; k \rrbracket$.
420 \textit{XORshift} is a category of very fast PRNGs designed by George Marsaglia,
421 which repeatedly uses the transform of exclusive or (XOR, $\oplus$) on a number
422 with a bit shifted version of it. This PRNG, which has a period of
423 $2^{32}-1=4.29\times10^9$, is summed up in Algorithm~\ref{XORshift}. It is used
424 in our PRNG to compute the strategy length and the strategy elements.
425
426
427 We have proven in \cite{bcgr11:ip} that,
428 \begin{theorem}
429   Let $f: \mathds{B}^{n} \rightarrow \mathds{B}^{n}$, $\Gamma(f)$ its
430   iteration graph, $\check{M}$ its adjacency
431   matrix and $M$ a $n\times n$ matrix defined as in the previous lemma.
432   If $\Gamma(f)$ is strongly connected, then 
433   the output of the PRNG detailed in Algorithm~\ref{CI Algorithm} follows 
434   a law that tends to the uniform distribution 
435   if and only if $M$ is a double stochastic matrix.
436 \end{theorem} 
437
438 This former generator as successively passed various batteries of statistical tests, as the NIST tests~\cite{bcgr11:ip}.
439
440 \subsection{Improving the Speed of the Former Generator}
441
442 Instead of updating only one cell at each iteration, we can try to choose a
443 subset of components and to update them together. Such an attempt leads
444 to a kind of merger of the two sequences used in Algorithm 
445 \ref{CI Algorithm}. When the updating function is the vectorial negation,
446 this algorithm can be rewritten as follows:
447
448 \begin{equation}
449 \left\{
450 \begin{array}{l}
451 x^0 \in \llbracket 0, 2^\mathsf{N}-1 \rrbracket, S \in \llbracket 0, 2^\mathsf{N}-1 \rrbracket^\mathds{N} \\
452 \forall n \in \mathds{N}^*, x^n = x^{n-1} \oplus S^n,
453 \end{array}
454 \right.
455 \label{equation Oplus}
456 \end{equation}
457 where $\oplus$ is for the bitwise exclusive or between two integers. 
458 This rewritten can be understood as follows. The $n-$th term $S^n$ of the
459 sequence $S$, which is an integer of $\mathsf{N}$ binary digits, presents
460 the list of cells to update in the state $x^n$ of the system (represented
461 as an integer having $\mathsf{N}$ bits too). More precisely, the $k-$th 
462 component of this state (a binary digit) changes if and only if the $k-$th 
463 digit in the binary decomposition of $S^n$ is 1.
464
465 The single basic component presented in Eq.~\ref{equation Oplus} is of 
466 ordinary use as a good elementary brick in various PRNGs. It corresponds
467 to the following discrete dynamical system in chaotic iterations:
468
469 \begin{equation}
470 \forall    n\in     \mathds{N}^{\ast     },    \forall     i\in
471 \llbracket1;\mathsf{N}\rrbracket ,x_i^n=\left\{
472 \begin{array}{ll}
473   x_i^{n-1} &  \text{ if  } i \notin \mathcal{S}^n \\
474   \left(f(x^{n-1})\right)_{S^n} & \text{ if }i \in \mathcal{S}^n.
475 \end{array}\right.
476 \label{eq:generalIC}
477 \end{equation}
478 where $f$ is the vectorial negation and $\forall n \in \mathds{N}$, 
479 $\mathcal{S}^n \subset \llbracket 1, \mathsf{N} \rrbracket$ is such that
480 $k \in \mathcal{S}^n$ if and only if the $k-$th digit in the binary
481 decomposition of $S^n$ is 1. Such chaotic iterations are more general
482 than the ones presented in Definition \ref{Def:chaotic iterations} for 
483 the fact that, instead of updating only one term at each iteration,
484 we select a subset of components to change.
485
486
487 Obviously, replacing Algorithm~\ref{CI Algorithm} by 
488 Equation~\ref{equation Oplus}, possible when the iteration function is
489 the vectorial negation, leads to a speed improvement. However, proofs
490 of chaos obtained in~\cite{bg10:ij} have been established
491 only for chaotic iterations of the form presented in Definition 
492 \ref{Def:chaotic iterations}. The question is now to determine whether the
493 use of more general chaotic iterations to generate pseudo-random numbers 
494 faster, does not deflate their topological chaos properties.
495
496 \subsection{Proofs of Chaos of the General Formulation of the Chaotic Iterations}
497 \label{deuxième def}
498 Let us consider the discrete dynamical systems in chaotic iterations having 
499 the general form:
500
501 \begin{equation}
502 \forall    n\in     \mathds{N}^{\ast     },    \forall     i\in
503 \llbracket1;\mathsf{N}\rrbracket ,x_i^n=\left\{
504 \begin{array}{ll}
505   x_i^{n-1} &  \text{ if  } i \notin \mathcal{S}^n \\
506   \left(f(x^{n-1})\right)_{S^n} & \text{ if }i \in \mathcal{S}^n.
507 \end{array}\right.
508 \label{general CIs}
509 \end{equation}
510
511 In other words, at the $n^{th}$ iteration, only the cells whose id is
512 contained into the set $S^{n}$ are iterated.
513
514 Let us now rewrite these general chaotic iterations as usual discrete dynamical
515 system of the form $X^{n+1}=f(X^n)$ on an ad hoc metric space. Such a formulation
516 is required in order to study the topological behavior of the system.
517
518 Let us introduce the following function:
519 \begin{equation}
520 \begin{array}{cccc}
521  \chi: & \llbracket 1; \mathsf{N} \rrbracket \times \mathcal{P}\left(\llbracket 1; \mathsf{N} \rrbracket\right) & \longrightarrow & \mathds{B}\\
522          & (i,X) & \longmapsto  & \left\{ \begin{array}{ll} 0 & \textrm{if }i \notin X, \\ 1 & \textrm{if }i \in X,  \end{array}\right.
523 \end{array} 
524 \end{equation}
525 where $\mathcal{P}\left(X\right)$ is for the powerset of the set $X$, that is, $Y \in \mathcal{P}\left(X\right) \Longleftrightarrow Y \subset X$.
526
527 Given a function $f:\mathds{B}^\mathsf{N} \longrightarrow \mathds{B}^\mathsf{N} $, define the function:
528 \begin{equation}
529 \begin{array}{lrll}
530 F_{f}: & \mathcal{P}\left(\llbracket1;\mathsf{N}\rrbracket \right) \times \mathds{B}^{\mathsf{N}} &
531 \longrightarrow & \mathds{B}^{\mathsf{N}} \\
532 & (P,E) & \longmapsto & \left( E_{j}.\chi (j,P)+f(E)_{j}.\overline{\chi
533 (j,P)}\right) _{j\in \llbracket1;\mathsf{N}\rrbracket},%
534 \end{array}%
535 \end{equation}%
536 where + and . are the Boolean addition and product operations, and $\overline{x}$ 
537 is the negation of the Boolean $x$.
538 Consider the phase space:
539 \begin{equation}
540 \mathcal{X} = \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N} \times
541 \mathds{B}^\mathsf{N},
542 \end{equation}
543 \noindent and the map defined on $\mathcal{X}$:
544 \begin{equation}
545 G_f\left(S,E\right) = \left(\sigma(S), F_f(i(S),E)\right), \label{Gf}
546 \end{equation}
547 \noindent where $\sigma$ is the \emph{shift} function defined by $\sigma
548 (S^{n})_{n\in \mathds{N}}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}\longrightarrow (S^{n+1})_{n\in
549 \mathds{N}}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}$ and $i$ is the \emph{initial function} 
550 $i:(S^{n})_{n\in \mathds{N}} \in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}\longrightarrow S^{0}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)$. 
551 Then the general chaotic iterations defined in Equation \ref{general CIs} can 
552 be described by the following discrete dynamical system:
553 \begin{equation}
554 \left\{
555 \begin{array}{l}
556 X^0 \in \mathcal{X} \\
557 X^{k+1}=G_{f}(X^k).%
558 \end{array}%
559 \right.
560 \end{equation}%
561
562 Another time, a shift function appears as a component of these general chaotic 
563 iterations. 
564
565 To study the Devaney's chaos property, a distance between two points 
566 $X = (S,E), Y = (\check{S},\check{E})$ of $\mathcal{X}$ must be defined.
567 Let us introduce:
568 \begin{equation}
569 d(X,Y)=d_{e}(E,\check{E})+d_{s}(S,\check{S}),
570 \label{nouveau d}
571 \end{equation}
572 \noindent where
573 \begin{equation}
574 \left\{
575 \begin{array}{lll}
576 \displaystyle{d_{e}(E,\check{E})} & = & \displaystyle{\sum_{k=1}^{\mathsf{N}%
577 }\delta (E_{k},\check{E}_{k})}\textrm{ is another time the Hamming distance}, \\
578 \displaystyle{d_{s}(S,\check{S})} & = & \displaystyle{\dfrac{9}{\mathsf{N}}%
579 \sum_{k=1}^{\infty }\dfrac{|S^k\Delta {S}^k|}{10^{k}}}.%
580 \end{array}%
581 \right.
582 \end{equation}
583 where $|X|$ is the cardinality of a set $X$ and $A\Delta B$ is for the symmetric difference, defined for sets A, B as
584 $A\,\Delta\,B = (A \setminus B) \cup (B \setminus A)$.
585
586
587 \begin{proposition}
588 The function $d$ defined in Eq.~\ref{nouveau d} is a metric on $\mathcal{X}$.
589 \end{proposition}
590
591 \begin{proof}
592  $d_e$ is the Hamming distance. We will prove that $d_s$ is a distance
593 too, thus $d$ will be a distance as sum of two distances.
594  \begin{itemize}
595 \item Obviously, $d_s(S,\check{S})\geqslant 0$, and if $S=\check{S}$, then 
596 $d_s(S,\check{S})=0$. Conversely, if $d_s(S,\check{S})=0$, then 
597 $\forall k \in \mathds{N}, |S^k\Delta {S}^k|=0$, and so $\forall k, S^k=\check{S}^k$.
598  \item $d_s$ is symmetric 
599 ($d_s(S,\check{S})=d_s(\check{S},S)$) due to the commutative property
600 of the symmetric difference. 
601 \item Finally, $|S \Delta S''| = |(S \Delta \varnothing) \Delta S''|= |S \Delta (S'\Delta S') \Delta S''|= |(S \Delta S') \Delta (S' \Delta S'')|\leqslant |S \Delta S'| + |S' \Delta S''|$, 
602 and so for all subsets $S,S',$ and $S''$ of $\llbracket 1, \mathsf{N} \rrbracket$, 
603 we have $d_s(S,S'') \leqslant d_e(S,S')+d_s(S',S'')$, and the triangle
604 inequality is obtained.
605  \end{itemize}
606 \end{proof}
607
608
609 Before being able to study the topological behavior of the general 
610 chaotic iterations, we must firstly establish that:
611
612 \begin{proposition}
613  For all $f:\mathds{B}^\mathsf{N} \longrightarrow \mathds{B}^\mathsf{N} $, the function $G_f$ is continuous on 
614 $\left( \mathcal{X},d\right)$.
615 \end{proposition}
616
617
618 \begin{proof}
619 We use the sequential continuity.
620 Let $(S^n,E^n)_{n\in \mathds{N}}$ be a sequence of the phase space $%
621 \mathcal{X}$, which converges to $(S,E)$. We will prove that $\left(
622 G_{f}(S^n,E^n)\right) _{n\in \mathds{N}}$ converges to $\left(
623 G_{f}(S,E)\right) $. Let us remark that for all $n$, $S^n$ is a strategy,
624 thus, we consider a sequence of strategies (\emph{i.e.}, a sequence of
625 sequences).\newline
626 As $d((S^n,E^n);(S,E))$ converges to 0, each distance $d_{e}(E^n,E)$ and $d_{s}(S^n,S)$ converges
627 to 0. But $d_{e}(E^n,E)$ is an integer, so $\exists n_{0}\in \mathds{N},$ $%
628 d_{e}(E^n,E)=0$ for any $n\geqslant n_{0}$.\newline
629 In other words, there exists a threshold $n_{0}\in \mathds{N}$ after which no
630 cell will change its state:
631 $\exists n_{0}\in \mathds{N},n\geqslant n_{0}\Rightarrow E^n = E.$
632
633 In addition, $d_{s}(S^n,S)\longrightarrow 0,$ so $\exists n_{1}\in %
634 \mathds{N},d_{s}(S^n,S)<10^{-1}$ for all indexes greater than or equal to $%
635 n_{1}$. This means that for $n\geqslant n_{1}$, all the $S^n$ have the same
636 first term, which is $S^0$: $\forall n\geqslant n_{1},S_0^n=S_0.$
637
638 Thus, after the $max(n_{0},n_{1})^{th}$ term, states of $E^n$ and $E$ are
639 identical and strategies $S^n$ and $S$ start with the same first term.\newline
640 Consequently, states of $G_{f}(S^n,E^n)$ and $G_{f}(S,E)$ are equal,
641 so, after the $max(n_0, n_1)^{th}$ term, the distance $d$ between these two points is strictly less than 1.\newline
642 \noindent We now prove that the distance between $\left(
643 G_{f}(S^n,E^n)\right) $ and $\left( G_{f}(S,E)\right) $ is convergent to
644 0. Let $\varepsilon >0$. \medskip
645 \begin{itemize}
646 \item If $\varepsilon \geqslant 1$, we see that distance
647 between $\left( G_{f}(S^n,E^n)\right) $ and $\left( G_{f}(S,E)\right) $ is
648 strictly less than 1 after the $max(n_{0},n_{1})^{th}$ term (same state).
649 \medskip
650 \item If $\varepsilon <1$, then $\exists k\in \mathds{N},10^{-k}\geqslant
651 \varepsilon > 10^{-(k+1)}$. But $d_{s}(S^n,S)$ converges to 0, so
652 \begin{equation*}
653 \exists n_{2}\in \mathds{N},\forall n\geqslant
654 n_{2},d_{s}(S^n,S)<10^{-(k+2)},
655 \end{equation*}%
656 thus after $n_{2}$, the $k+2$ first terms of $S^n$ and $S$ are equal.
657 \end{itemize}
658 \noindent As a consequence, the $k+1$ first entries of the strategies of $%
659 G_{f}(S^n,E^n)$ and $G_{f}(S,E)$ are the same ($G_{f}$ is a shift of strategies) and due to the definition of $d_{s}$, the floating part of
660 the distance between $(S^n,E^n)$ and $(S,E)$ is strictly less than $%
661 10^{-(k+1)}\leqslant \varepsilon $.\bigskip \newline
662 In conclusion,
663 $$
664 \forall \varepsilon >0,\exists N_{0}=max(n_{0},n_{1},n_{2})\in \mathds{N}%
665 ,\forall n\geqslant N_{0},
666  d\left( G_{f}(S^n,E^n);G_{f}(S,E)\right)
667 \leqslant \varepsilon .
668 $$
669 $G_{f}$ is consequently continuous.
670 \end{proof}
671
672
673 It is now possible to study the topological behavior of the general chaotic
674 iterations. We will prove that,
675
676 \begin{theorem}
677 \label{t:chaos des general}
678  The general chaotic iterations defined on Equation~\ref{general CIs} satisfy
679 the Devaney's property of chaos.
680 \end{theorem}
681
682 Let us firstly prove the following lemma.
683
684 \begin{lemma}[Strong transitivity]
685 \label{strongTrans}
686  For all couples $X,Y \in \mathcal{X}$ and any neighborhood $V$ of $X$, we can 
687 find $n \in \mathds{N}^*$ and $X' \in V$ such that $G^n(X')=Y$.
688 \end{lemma}
689
690 \begin{proof}
691  Let $X=(S,E)$, $\varepsilon>0$, and $k_0 = \lfloor log_{10}(\varepsilon)+1 \rfloor$. 
692 Any point $X'=(S',E')$ such that $E'=E$ and $\forall k \leqslant k_0, S'^k=S^k$, 
693 are in the open ball $\mathcal{B}\left(X,\varepsilon\right)$. Let us define 
694 $\check{X} = \left(\check{S},\check{E}\right)$, where $\check{X}= G^{k_0}(X)$.
695 We denote by $s\subset \llbracket 1; \mathsf{N} \rrbracket$ the set of coordinates
696 that are different between $\check{E}$ and the state of $Y$. Thus each point $X'$ of
697 the form $(S',E')$ where $E'=E$ and $S'$ starts with 
698 $(S^0, S^1, \hdots, S^{k_0},s,\hdots)$, verifies the following properties:
699 \begin{itemize}
700  \item $X'$ is in $\mathcal{B}\left(X,\varepsilon\right)$,
701  \item the state of $G_f^{k_0+1}(X')$ is the state of $Y$.
702 \end{itemize}
703 Finally the point $\left(\left(S^0, S^1, \hdots, S^{k_0},s,s^0, s^1, \hdots\right); E\right)$, 
704 where $(s^0,s^1, \hdots)$ is the strategy of $Y$, satisfies the properties
705 claimed in the lemma.
706 \end{proof}
707
708 We can now prove the Theorem~\ref{t:chaos des general}...
709
710 \begin{proof}[Theorem~\ref{t:chaos des general}]
711 Firstly, strong transitivity implies transitivity.
712
713 Let $(S,E) \in\mathcal{X}$ and $\varepsilon >0$. To
714 prove that $G_f$ is regular, it is sufficient to prove that
715 there exists a strategy $\tilde S$ such that the distance between
716 $(\tilde S,E)$ and $(S,E)$ is less than $\varepsilon$, and such that
717 $(\tilde S,E)$ is a periodic point.
718
719 Let $t_1=\lfloor-\log_{10}(\varepsilon)\rfloor$, and let $E'$ be the
720 configuration that we obtain from $(S,E)$ after $t_1$ iterations of
721 $G_f$. As $G_f$ is strongly transitive, there exists a strategy $S'$ 
722 and $t_2\in\mathds{N}$ such
723 that $E$ is reached from $(S',E')$ after $t_2$ iterations of $G_f$.
724
725 Consider the strategy $\tilde S$ that alternates the first $t_1$ terms
726 of $S$ and the first $t_2$ terms of $S'$: $$\tilde
727 S=(S_0,\dots,S_{t_1-1},S'_0,\dots,S'_{t_2-1},S_0,\dots,S_{t_1-1},S'_0,\dots,S'_{t_2-1},S_0,\dots).$$ It
728 is clear that $(\tilde S,E)$ is obtained from $(\tilde S,E)$ after
729 $t_1+t_2$ iterations of $G_f$. So $(\tilde S,E)$ is a periodic
730 point. Since $\tilde S_t=S_t$ for $t<t_1$, by the choice of $t_1$, we
731 have $d((S,E),(\tilde S,E))<\epsilon$.
732 \end{proof}
733
734
735
736 \section{Efficient PRNG based on Chaotic Iterations}
737 \label{sec:efficient prng}
738
739 In  order to  implement efficiently  a PRNG  based on  chaotic iterations  it is
740 possible to improve  previous works [ref]. One solution  consists in considering
741 that the  strategy used contains all the  bits for which the  negation is
742 achieved out. Then in order to apply  the negation on these bits we can simply
743 apply the  xor operator between  the current number  and the strategy. In
744 order to obtain the strategy we also use a classical PRNG.
745
746 Here  is an  example with  16-bits numbers  showing how  the bitwise  operations
747 are
748 applied.  Suppose  that $x$ and the  strategy $S^i$ are defined  in binary mode.
749 Then the following table shows the result of $x$ xor $S^i$.
750 $$
751 \begin{array}{|cc|cccccccccccccccc|}
752 \hline
753 x      &=&1&0&1&1&1&0&1&0&1&0&0&1&0&0&1&0\\
754 \hline
755 S^i      &=&0&1&1&0&0&1&1&0&1&1&1&0&0&1&1&1\\
756 \hline
757 x \oplus S^i&=&1&1&0&1&1&1&0&0&0&1&1&1&0&1&0&1\\
758 \hline
759
760 \hline
761  \end{array}
762 $$
763
764
765
766
767
768 \lstset{language=C,caption={C code of the sequential chaotic iterations based
769 PRNG},label=algo:seqCIprng}
770 \begin{lstlisting}
771 unsigned int CIprng() {
772   static unsigned int x = 123123123;
773   unsigned long t1 = xorshift();
774   unsigned long t2 = xor128();
775   unsigned long t3 = xorwow();
776   x = x^(unsigned int)t1;
777   x = x^(unsigned int)(t2>>32);
778   x = x^(unsigned int)(t3>>32);
779   x = x^(unsigned int)t2;
780   x = x^(unsigned int)(t1>>32);
781   x = x^(unsigned int)t3;
782   return x;
783 }
784 \end{lstlisting}
785
786
787
788
789
790 In listing~\ref{algo:seqCIprng}  a sequential version of  our chaotic iterations
791 based PRNG is  presented.  The xor operator is  represented by \textasciicircum.
792 This  function uses  three classical  64-bits PRNG:  the  \texttt{xorshift}, the
793 \texttt{xor128}  and  the  \texttt{xorwow}.   In  the following,  we  call  them
794 xor-like PRNGSs.   These three PRNGs are  presented in~\cite{Marsaglia2003}.  As
795 each xor-like PRNG  used works with 64-bits and as our  PRNG works with 32-bits,
796 the use of \texttt{(unsigned int)} selects the 32 least significant bits whereas
797 \texttt{(unsigned int)(t3$>>$32)}  selects the 32 most significants  bits of the
798 variable \texttt{t}.   So to produce a  random number realizes  6 xor operations
799 with 6 32-bits  numbers produced by 3 64-bits PRNG.   This version successes the
800 BigCrush of the TestU01 battery~\cite{LEcuyerS07}.
801
802 \section{Efficient PRNGs based on chaotic iterations on GPU}
803 \label{sec:efficient prng gpu}
804
805 In  order to benefit  from computing  power of  GPU, a  program needs  to define
806 independent blocks of threads which  can be computed simultaneously. In general,
807 the larger the number of threads is,  the more local memory is used and the less
808 branching  instructions are  used (if,  while, ...),  the better  performance is
809 obtained  on  GPU.  So  with  algorithm  \ref{algo:seqCIprng}  presented in  the
810 previous section, it is possible to  build a similar program which computes PRNG
811 on   GPU.  In  the   CUDA~\cite{Nvid10}  environment,   threads  have   a  local
812 identificator, called \texttt{ThreadIdx} relative to the block containing them.
813
814
815 \subsection{Naive version for GPU}
816
817 From the CPU version, it is possible  to obtain a quite similar version for GPU.
818 The principe consists in assigning the computation of a PRNG as in sequential to
819 each thread  of the  GPU.  Of course,  it is  essential that the  three xor-like
820 PRNGs  used for  our computation  have different  parameters. So  we  chose them
821 randomly with  another PRNG. As the  initialisation is performed by  the CPU, we
822 have  chosen  to  use  the  ISAAC  PRNG~\cite{Jenkins96}  to  initalize  all  the
823 parameters for  the GPU version  of our PRNG.   The implementation of  the three
824 xor-like  PRNGs  is  straightforward  as  soon as  their  parameters  have  been
825 allocated in  the GPU memory.  Each xor-like PRNGs  used works with  an internal
826 number  $x$  which keeps  the  last  generated  random numbers.  Other  internal
827 variables  are   also  used   by  the  xor-like   PRNGs.  More   precisely,  the
828 implementation of the  xor128, the xorshift and the  xorwow respectively require
829 4, 5 and 6 unsigned long as internal variables.
830
831 \begin{algorithm}
832
833 \KwIn{InternalVarXorLikeArray: array with internal variables of the 3 xor-like
834 PRNGs in global memory\;
835 NumThreads: Number of threads\;}
836 \KwOut{NewNb: array containing random numbers in global memory}
837 \If{threadIdx is concerned by the computation} {
838   retrieve data from InternalVarXorLikeArray[threadIdx] in local variables\;
839   \For{i=1 to n} {
840     compute a new PRNG as in Listing\ref{algo:seqCIprng}\;
841     store the new PRNG in NewNb[NumThreads*threadIdx+i]\;
842   }
843   store internal variables in InternalVarXorLikeArray[threadIdx]\;
844 }
845
846 \caption{main kernel for the chaotic iterations based PRNG GPU naive version}
847 \label{algo:gpu_kernel}
848 \end{algorithm}
849
850 Algorithm~\ref{algo:gpu_kernel}  presents a naive  implementation of  PRNG using
851 GPU.  According  to the available  memory in the  GPU and the number  of threads
852 used simultenaously,  the number  of random numbers  that a thread  can generate
853 inside   a    kernel   is   limited,   i.e.    the    variable   \texttt{n}   in
854 algorithm~\ref{algo:gpu_kernel}. For example, if  $100,000$ threads are used and
855 if $n=100$\footnote{in fact, we need to add the initial seed (a 32-bits number)}
856 then   the  memory   required   to  store   internals   variables  of   xor-like
857 PRNGs\footnote{we multiply this number by $2$ in order to count 32-bits numbers}
858 and  random  number of  our  PRNG  is  equals to  $100,000\times  ((4+5+6)\times
859 2+(1+100))=1,310,000$ 32-bits numbers, i.e. about $52$Mb.
860
861 All the  tests performed  to pass the  BigCrush of TestU01  succeeded. Different
862 number of threads, called \texttt{NumThreads} in our algorithm, have been tested
863 upto $10$ millions.
864 \newline
865 \newline
866 {\bf QUESTION : on laisse cette remarque, je suis mitigé !!!}
867
868 \begin{remark}
869 Algorithm~\ref{algo:gpu_kernel}  has  the  advantage to  manipulate  independent
870 PRNGs, so this version is easily usable on a cluster of computer. The only thing
871 to ensure is to use a single ISAAC PRNG. For this, a simple solution consists in
872 using a master node for the initialization which computes the initial parameters
873 for all the differents nodes involves in the computation.
874 \end{remark}
875
876 \subsection{Improved version for GPU}
877
878 As GPU cards using CUDA have shared memory between threads of the same block, it
879 is possible  to use this  feature in order  to simplify the  previous algorithm,
880 i.e., using less  than 3 xor-like PRNGs. The solution  consists in computing only
881 one xor-like PRNG by thread, saving  it into shared memory and using the results
882 of some  other threads in the  same block of  threads. In order to  define which
883 thread uses the result of which other  one, we can use a permutation array which
884 contains  the indexes  of  all threads  and  for which  a  permutation has  been
885 performed.  In Algorithm~\ref{algo:gpu_kernel2}, 2 permutations arrays are used.
886 The    variable   \texttt{offset}    is    computed   using    the   value    of
887 \texttt{permutation\_size}.   Then we  can compute  \texttt{o1}  and \texttt{o2}
888 which represent the indexes of the  other threads for which the results are used
889 by the  current thread. In  the algorithm, we  consider that a  64-bits xor-like
890 PRNG is used, that is why both 32-bits parts are used.
891
892 This version also succeeds to the {\it BigCrush} batteries of tests.
893
894 \begin{algorithm}
895
896 \KwIn{InternalVarXorLikeArray: array with internal variables of 1 xor-like PRNGs
897 in global memory\;
898 NumThreads: Number of threads\;
899 tab1, tab2: Arrays containing permutations of size permutation\_size\;}
900
901 \KwOut{NewNb: array containing random numbers in global memory}
902 \If{threadId is concerned} {
903   retrieve data from InternalVarXorLikeArray[threadId] in local variables including shared memory and x\;
904   offset = threadIdx\%permutation\_size\;
905   o1 = threadIdx-offset+tab1[offset]\;
906   o2 = threadIdx-offset+tab2[offset]\;
907   \For{i=1 to n} {
908     t=xor-like()\;
909     t=t$\oplus$shmem[o1]$\oplus$shmem[o2]\;
910     shared\_mem[threadId]=t\;
911     x = x $\oplus$ t\;
912
913     store the new PRNG in NewNb[NumThreads*threadId+i]\;
914   }
915   store internal variables in InternalVarXorLikeArray[threadId]\;
916 }
917
918 \caption{main kernel for the chaotic iterations based PRNG GPU efficient
919 version}
920 \label{algo:gpu_kernel2}
921 \end{algorithm}
922
923 \subsection{Theoretical Evaluation of the Improved Version}
924
925 A run of Algorithm~\ref{algo:gpu_kernel2} consists in three operations having 
926 the form of Equation~\ref{equation Oplus}, which is equivalent to the iterative
927 system of Eq.~\ref{eq:generalIC}. That is, three iterations of the general chaotic
928 iterations are realized between two stored values of the PRNG.
929 To be certain that we are in the framework of Theorem~\ref{t:chaos des general},
930 we must guarantee that this dynamical system iterates on the space 
931 $\mathcal{X} = \mathcal{P}\left(\llbracket 1, \mathsf{N} \rrbracket\right)^\mathds{N}\times\mathds{B}^\mathsf{N}$.
932 The left term $x$ obviously belongs into $\mathds{B}^ \mathsf{N}$.
933 To prevent from any flaws of chaotic properties, we must check that each right 
934 term, corresponding to terms of the strategies,  can possibly be equal to any
935 integer of $\llbracket 1, \mathsf{N} \rrbracket$. 
936
937 Such a result is obvious for the two first lines, as for the xor-like(), all the
938 integers belonging into its interval of definition can occur at each iteration.
939 It can be easily stated for the two last lines by an immediate mathematical
940 induction.
941
942 Thus Algorithm~\ref{algo:gpu_kernel2} is a concrete realization of the general
943 chaotic iterations presented previously, and for this reason, it satisfies the 
944 Devaney's formulation of a chaotic behavior.
945
946 \section{A cryptographically secure prng for GPU}
947
948 It is  possible to build a  cryptographically secure prng based  on the previous
949 algorithm (algorithm~\ref{algo:gpu_kernel2}).   It simply consists  in replacing
950 the  {\it  xor-like} algorithm  by  another  cryptographically  secure prng.  In
951 practice, we suggest  to use the BBS algorithm~\cite{BBS}  which takes the form:
952 $$x_{n+1}=x_n^2~ mod~  M$$ where M  is the product  of the prime  numbers. Those
953 prime numbers  need to be congruent  to 3 modulus  4. In practice, this  PRNG is
954 known to  be slow and  not efficient for  the generation of random  numbers. For
955 current  GPU   cards,  the  modulus   operation  is  the  most   time  consuming
956 operation. So in  order to obtain quite reasonable  performances, it is required
957 to use only modulus on 32  bits integer numbers. Consequently $x_n^2$ need to be
958 less than  $2^{32}$ and the  number $M$  need to be  less than $2^{16}$.   So in
959 pratice we can choose prime number around 256 that are congruent to 3 modulus 4.
960 With 32 bits numbers,  only the 4 least significant bits of  $x_n$ can be chosen
961 (the   maximum    number   of   undistinguishing   is   less    or   equals   to
962 $log_2(log_2(x_n))$).
963
964 \section{Experiments}
965 \label{sec:experiments}
966
967 Different experiments  have been  performed in order  to measure  the generation
968 speed. We have used  a computer equiped with Tesla C1060 NVidia  GPU card and an
969 Intel  Xeon E5530 cadenced  at 2.40  GHz for  our experiments  and we  have used
970 another one  equipped with  a less performant  CPU and  a GeForce GTX  280. Both
971 cards have 240 cores.
972
973 In Figure~\ref{fig:time_gpu}  we compare the number of  random numbers generated
974 per second. The xor-like prng  is a xor64 described in~\cite{Marsaglia2003}.  In
975 order to obtain the optimal performance  we remove the storage of random numbers
976 in the GPU memory. This step is time consuming and slows down the random number
977 generation.  Moreover, if you are interested by applications that consume random
978 numbers  directly   when  they  are  generated,  their   storage  is  completely
979 useless. In this  figure we can see  that when the number of  threads is greater
980 than approximately 30,000 upto 5 millions the number of random numbers generated
981 per second  is almost constant.  With the  naive version, it is  between 2.5 and
982 3GSample/s.   With  the  optimized   version,  it  is  approximately  equals  to
983 20GSample/s. Finally  we can remark  that both GPU  cards are quite  similar. In
984 practice,  the Tesla C1060  has more  memory than  the GTX  280 and  this memory
985 should be of better quality.
986
987 \begin{figure}[htbp]
988 \begin{center}
989   \includegraphics[scale=.7]{curve_time_gpu.pdf}
990 \end{center}
991 \caption{Number of random numbers generated per second}
992 \label{fig:time_gpu}
993 \end{figure}
994
995
996 In  comparison,   Listing~\ref{algo:seqCIprng}  allows  us   to  generate  about
997 138MSample/s with only one core of the Xeon E5530.
998
999
1000
1001
1002
1003 %% \section{Cryptanalysis of the Proposed PRNG}
1004
1005
1006 %% Mettre ici la preuve de PCH
1007
1008 %\section{The relativity of disorder}
1009 %\label{sec:de la relativité du désordre}
1010
1011 %In the next two sections, we investigate the impact of the choices that have
1012 %lead to the definitions of measures in Sections \ref{sec:chaotic iterations} and \ref{deuxième def}.
1013
1014 %\subsection{Impact of the topology's finenesse}
1015
1016 %Let us firstly introduce the following notations.
1017
1018 %\begin{notation}
1019 %$\mathcal{X}_\tau$ will denote the topological space
1020 %$\left(\mathcal{X},\tau\right)$, whereas $\mathcal{V}_\tau (x)$ will be the set
1021 %of all the neighborhoods of $x$ when considering the topology $\tau$ (or simply
1022 %$\mathcal{V} (x)$, if there is no ambiguity).
1023 %\end{notation}
1024
1025
1026
1027 %\begin{theorem}
1028 %\label{Th:chaos et finesse}
1029 %Let $\mathcal{X}$ a set and $\tau, \tau'$ two topologies on $\mathcal{X}$ s.t.
1030 %$\tau'$ is finer than $\tau$. Let $f:\mathcal{X} \to \mathcal{X}$, continuous
1031 %both for $\tau$ and $\tau'$.
1032
1033 %If $(\mathcal{X}_{\tau'},f)$ is chaotic according to Devaney, then
1034 %$(\mathcal{X}_\tau,f)$ is chaotic too.
1035 %\end{theorem}
1036
1037 %\begin{proof}
1038 %Let us firstly establish the transitivity of $(\mathcal{X}_\tau,f)$.
1039
1040 %Let $\omega_1, \omega_2$ two open sets of $\tau$. Then $\omega_1, \omega_2 \in
1041 %\tau'$, becaus $\tau'$ is finer than $\tau$. As $f$ is $\tau'-$transitive, we
1042 %can deduce that $\exists n \in \mathds{N}, \omega_1 \cap f^{(n)}(\omega_2) =
1043 %\varnothing$. Consequently, $f$ is $\tau-$transitive.
1044
1045 %Let us now consider the regularity of $(\mathcal{X}_\tau,f)$, \emph{i.e.}, for
1046 %all $x \in \mathcal{X}$, and for all $\tau-$neighborhood $V$ of $x$, there is a
1047 %periodic point for $f$ into $V$.
1048
1049 %Let $x \in \mathcal{X}$ and $V \in \mathcal{V}_\tau (x)$ a $\tau-$neighborhood
1050 %of $x$. By definition, $\exists \omega \in \tau, x \in \omega \subset V$.
1051
1052 %But $\tau \subset \tau'$, so $\omega \in \tau'$, and then $V \in
1053 %\mathcal{V}_{\tau'} (x)$. As $(\mathcal{X}_{\tau'},f)$ is regular, there is a
1054 %periodic point for $f$ into $V$, and the regularity of $(\mathcal{X}_\tau,f)$ is
1055 %proven. 
1056 %\end{proof}
1057
1058 %\subsection{A given system can always be claimed as chaotic}
1059
1060 %Let $f$ an iteration function on $\mathcal{X}$ having at least a fixed point.
1061 %Then this function is chaotic (in a certain way):
1062
1063 %\begin{theorem}
1064 %Let $\mathcal{X}$ a nonempty set and $f: \mathcal{X} \to \X$ a function having
1065 %at least a fixed point.
1066 %Then $f$ is $\tau_0-$chaotic, where $\tau_0$ is the trivial (indiscrete)
1067 %topology on $\X$.
1068 %\end{theorem}
1069
1070
1071 %\begin{proof}
1072 %$f$ is transitive when $\forall \omega, \omega' \in \tau_0 \setminus
1073 %\{\varnothing\}, \exists n \in \mathds{N}, f^{(n)}(\omega) \cap \omega' \neq
1074 %\varnothing$.
1075 %As $\tau_0 = \left\{ \varnothing, \X \right\}$, this is equivalent to look for
1076 %an integer $n$ s.t. $f^{(n)}\left( \X \right) \cap \X \neq \varnothing$. For
1077 %instance, $n=0$ is appropriate.
1078
1079 %Let us now consider $x \in \X$ and $V \in \mathcal{V}_{\tau_0} (x)$. Then $V =
1080 %\mathcal{X}$, so $V$ has at least a fixed point for $f$. Consequently $f$ is
1081 %regular, and the result is established.
1082 %\end{proof}
1083
1084
1085
1086
1087 %\subsection{A given system can always be claimed as non-chaotic}
1088
1089 %\begin{theorem}
1090 %Let $\mathcal{X}$ be a set and $f: \mathcal{X} \to \X$.
1091 %If $\X$ is infinite, then $\left( \X_{\tau_\infty}, f\right)$ is not chaotic
1092 %(for the Devaney's formulation), where $\tau_\infty$ is the discrete topology.
1093 %\end{theorem}
1094
1095 %\begin{proof}
1096 %Let us prove it by contradiction, assuming that $\left(\X_{\tau_\infty},
1097 %f\right)$ is both transitive and regular.
1098
1099 %Let $x \in \X$ and $\{x\}$ one of its neighborhood. This neighborhood must
1100 %contain a periodic point for $f$, if we want that $\left(\X_{\tau_\infty},
1101 %f\right)$ is regular. Then $x$ must be a periodic point of $f$.
1102
1103 %Let $I_x = \left\{ f^{(n)}(x), n \in \mathds{N}\right\}$. This set is finite
1104 %because  $x$ is periodic, and $\mathcal{X}$ is infinite, then $\exists y \in
1105 %\mathcal{X}, y \notin I_x$.
1106
1107 %As $\left(\X_{\tau_\infty}, f\right)$ must be transitive, for all open nonempty
1108 %sets $A$ and $B$, an integer $n$ must satisfy $f^{(n)}(A) \cap B \neq
1109 %\varnothing$. However $\{x\}$ and $\{y\}$ are open sets and $y \notin I_x
1110 %\Rightarrow \forall n, f^{(n)}\left( \{x\} \right) \cap \{y\} = \varnothing$.
1111 %\end{proof}
1112
1113
1114
1115
1116
1117
1118 %\section{Chaos on the order topology}
1119 %\label{sec: chaos order topology}
1120 %\subsection{The phase space is an interval of the real line}
1121
1122 %\subsubsection{Toward a topological semiconjugacy}
1123
1124 %In what follows, our intention is to establish, by using a topological
1125 %semiconjugacy, that chaotic iterations over $\mathcal{X}$ can be described as
1126 %iterations on a real interval. To do so, we must firstly introduce some
1127 %notations and terminologies. 
1128
1129 %Let $\mathcal{S}_\mathsf{N}$ be the set of sequences belonging into $\llbracket
1130 %1; \mathsf{N}\rrbracket$ and $\mathcal{X}_{\mathsf{N}} = \mathcal{S}_\mathsf{N}
1131 %\times \B^\mathsf{N}$.
1132
1133
1134 %\begin{definition}
1135 %The function $\varphi: \mathcal{S}_{10} \times\mathds{B}^{10} \rightarrow \big[
1136 %0, 2^{10} \big[$ is defined by:
1137 %\begin{equation}
1138 % \begin{array}{cccl}
1139 %\varphi: & \mathcal{X}_{10} = \mathcal{S}_{10} \times\mathds{B}^{10}&
1140 %\longrightarrow & \big[ 0, 2^{10} \big[ \\
1141 % & (S,E) = \left((S^0, S^1, \hdots ); (E_0, \hdots, E_9)\right) & \longmapsto &
1142 %\varphi \left((S,E)\right)
1143 %\end{array}
1144 %\end{equation}
1145 %where $\varphi\left((S,E)\right)$ is the real number:
1146 %\begin{itemize}
1147 %\item whose integral part $e$ is $\displaystyle{\sum_{k=0}^9 2^{9-k} E_k}$, that
1148 %is, the binary digits of $e$ are $E_0 ~ E_1 ~ \hdots ~ E_9$.
1149 %\item whose decimal part $s$ is equal to $s = 0,S^0~ S^1~ S^2~ \hdots =
1150 %\sum_{k=1}^{+\infty} 10^{-k} S^{k-1}.$ 
1151 %\end{itemize}
1152 %\end{definition}
1153
1154
1155
1156 %$\varphi$ realizes the association between a point of $\mathcal{X}_{10}$ and a
1157 %real number into $\big[ 0, 2^{10} \big[$. We must now translate the chaotic
1158 %iterations $\Go$ on this real interval. To do so, two intermediate functions
1159 %over $\big[ 0, 2^{10} \big[$ must be introduced:
1160
1161
1162 %\begin{definition}
1163 %\label{def:e et s}
1164 %Let $x \in \big[ 0, 2^{10} \big[$ and:
1165 %\begin{itemize}
1166 %\item $e_0, \hdots, e_9$ the binary digits of the integral part of $x$:
1167 %$\displaystyle{\lfloor x \rfloor = \sum_{k=0}^{9} 2^{9-k} e_k}$.
1168 %\item $(s^k)_{k\in \mathds{N}}$ the digits of $x$, where the chosen decimal
1169 %decomposition of $x$ is the one that does not have an infinite number of 9: 
1170 %$\displaystyle{x = \lfloor x \rfloor + \sum_{k=0}^{+\infty} s^k 10^{-k-1}}$.
1171 %\end{itemize}
1172 %$e$ and $s$ are thus defined as follows:
1173 %\begin{equation}
1174 %\begin{array}{cccl}
1175 %e: & \big[ 0, 2^{10} \big[ & \longrightarrow & \mathds{B}^{10} \\
1176 % & x & \longmapsto & (e_0, \hdots, e_9)
1177 %\end{array}
1178 %\end{equation}
1179 %and
1180 %\begin{equation}
1181 % \begin{array}{cccc}
1182 %s: & \big[ 0, 2^{10} \big[ & \longrightarrow & \llbracket 0, 9
1183 %\rrbracket^{\mathds{N}} \\
1184 % & x & \longmapsto & (s^k)_{k \in \mathds{N}}
1185 %\end{array}
1186 %\end{equation}
1187 %\end{definition}
1188
1189 %We are now able to define the function $g$, whose goal is to translate the
1190 %chaotic iterations $\Go$ on an interval of $\mathds{R}$.
1191
1192 %\begin{definition}
1193 %$g:\big[ 0, 2^{10} \big[ \longrightarrow \big[ 0, 2^{10} \big[$ is defined by:
1194 %\begin{equation}
1195 %\begin{array}{cccc}
1196 %g: & \big[ 0, 2^{10} \big[ & \longrightarrow & \big[ 0, 2^{10} \big[ \\
1197 % & x & \longmapsto & g(x)
1198 %\end{array}
1199 %\end{equation}
1200 %where g(x) is the real number of $\big[ 0, 2^{10} \big[$ defined bellow:
1201 %\begin{itemize}
1202 %\item its integral part has a binary decomposition equal to $e_0', \hdots,
1203 %e_9'$, with:
1204 % \begin{equation}
1205 %e_i' = \left\{
1206 %\begin{array}{ll}
1207 %e(x)_i & \textrm{ if } i \neq s^0\\
1208 %e(x)_i + 1 \textrm{ (mod 2)} & \textrm{ if } i = s^0\\
1209 %\end{array}
1210 %\right.
1211 %\end{equation}
1212 %\item whose decimal part is $s(x)^1, s(x)^2, \hdots$
1213 %\end{itemize}
1214 %\end{definition}
1215
1216 %\bigskip
1217
1218
1219 %In other words, if $x = \displaystyle{\sum_{k=0}^{9} 2^{9-k} e_k + 
1220 %\sum_{k=0}^{+\infty} s^{k} ~10^{-k-1}}$, then:
1221 %\begin{equation}
1222 %g(x) =
1223 %\displaystyle{\sum_{k=0}^{9} 2^{9-k} (e_k + \delta(k,s^0) \textrm{ (mod 2)}) + 
1224 %\sum_{k=0}^{+\infty} s^{k+1} 10^{-k-1}}. 
1225 %\end{equation}
1226
1227
1228 %\subsubsection{Defining a metric on $\big[ 0, 2^{10} \big[$}
1229
1230 %Numerous metrics can be defined on the set $\big[ 0, 2^{10} \big[$, the most
1231 %usual one being the Euclidian distance recalled bellow:
1232
1233 %\begin{notation}
1234 %\index{distance!euclidienne}
1235 %$\Delta$ is the Euclidian distance on $\big[ 0, 2^{10} \big[$, that is,
1236 %$\Delta(x,y) = |y-x|^2$.
1237 %\end{notation}
1238
1239 %\medskip
1240
1241 %This Euclidian distance does not reproduce exactly the notion of proximity
1242 %induced by our first distance $d$ on $\X$. Indeed $d$ is finer than $\Delta$.
1243 %This is the reason why we have to introduce the following metric:
1244
1245
1246
1247 %\begin{definition}
1248 %Let $x,y \in \big[ 0, 2^{10} \big[$.
1249 %$D$ denotes the function from $\big[ 0, 2^{10} \big[^2$ to $\mathds{R}^+$
1250 %defined by: $D(x,y) = D_e\left(e(x),e(y)\right) + D_s\left(s(x),s(y)\right)$,
1251 %where:
1252 %\begin{center}
1253 %$\displaystyle{D_e(E,\check{E}) = \sum_{k=0}^\mathsf{9} \delta (E_k,
1254 %\check{E}_k)}$, ~~and~ $\displaystyle{D_s(S,\check{S}) = \sum_{k = 1}^\infty
1255 %\dfrac{|S^k-\check{S}^k|}{10^k}}$.
1256 %\end{center}
1257 %\end{definition}
1258
1259 %\begin{proposition}
1260 %$D$ is a distance on $\big[ 0, 2^{10} \big[$.
1261 %\end{proposition}
1262
1263 %\begin{proof}
1264 %The three axioms defining a distance must be checked.
1265 %\begin{itemize}
1266 %\item $D \geqslant 0$, because everything is positive in its definition. If
1267 %$D(x,y)=0$, then $D_e(x,y)=0$, so the integral parts of $x$ and $y$ are equal
1268 %(they have the same binary decomposition). Additionally, $D_s(x,y) = 0$, then
1269 %$\forall k \in \mathds{N}^*, s(x)^k = s(y)^k$. In other words, $x$ and $y$ have
1270 %the same $k-$th decimal digit, $\forall k \in \mathds{N}^*$. And so $x=y$.
1271 %\item $D(x,y)=D(y,x)$.
1272 %\item Finally, the triangular inequality is obtained due to the fact that both
1273 %$\delta$ and $\Delta(x,y)=|x-y|$ satisfy it.
1274 %\end{itemize}
1275 %\end{proof}
1276
1277
1278 %The convergence of sequences according to $D$ is not the same than the usual
1279 %convergence related to the Euclidian metric. For instance, if $x^n \to x$
1280 %according to $D$, then necessarily the integral part of each $x^n$ is equal to
1281 %the integral part of $x$ (at least after a given threshold), and the decimal
1282 %part of $x^n$ corresponds to the one of $x$ ``as far as required''.
1283 %To illustrate this fact, a comparison between $D$ and the Euclidian distance is
1284 %given Figure \ref{fig:comparaison de distances}. These illustrations show that
1285 %$D$ is richer and more refined than the Euclidian distance, and thus is more
1286 %precise.
1287
1288
1289 %\begin{figure}[t]
1290 %\begin{center}
1291 %  \subfigure[Function $x \to dist(x;1,234) $ on the interval
1292 %$(0;5)$.]{\includegraphics[scale=.35]{DvsEuclidien.pdf}}\quad
1293 %  \subfigure[Function $x \to dist(x;3) $ on the interval
1294 %$(0;5)$.]{\includegraphics[scale=.35]{DvsEuclidien2.pdf}}
1295 %\end{center}
1296 %\caption{Comparison between $D$ (in blue) and the Euclidian distane (in green).}
1297 %\label{fig:comparaison de distances}
1298 %\end{figure}
1299
1300
1301
1302
1303 %\subsubsection{The semiconjugacy}
1304
1305 %It is now possible to define a topological semiconjugacy between $\mathcal{X}$
1306 %and an interval of $\mathds{R}$:
1307
1308 %\begin{theorem}
1309 %Chaotic iterations on the phase space $\mathcal{X}$ are simple iterations on
1310 %$\mathds{R}$, which is illustrated by the semiconjugacy of the diagram bellow:
1311 %\begin{equation*}
1312 %\begin{CD}
1313 %\left(~\mathcal{S}_{10} \times\mathds{B}^{10}, d~\right) @>G_{f_0}>>
1314 %\left(~\mathcal{S}_{10} \times\mathds{B}^{10}, d~\right)\\
1315 %    @V{\varphi}VV                    @VV{\varphi}V\\
1316 %\left( ~\big[ 0, 2^{10} \big[, D~\right)  @>>g> \left(~\big[ 0, 2^{10} \big[,
1317 %D~\right)
1318 %\end{CD}
1319 %\end{equation*}
1320 %\end{theorem}
1321
1322 %\begin{proof}
1323 %$\varphi$ has been constructed in order to be continuous and onto.
1324 %\end{proof}
1325
1326 %In other words, $\mathcal{X}$ is approximately equal to $\big[ 0, 2^\mathsf{N}
1327 %\big[$.
1328
1329
1330
1331
1332
1333
1334 %\subsection{Study of the chaotic iterations described as a real function}
1335
1336
1337 %\begin{figure}[t]
1338 %\begin{center}
1339 %  \subfigure[ICs on the interval
1340 %$(0,9;1)$.]{\includegraphics[scale=.35]{ICs09a1.pdf}}\quad
1341 %  \subfigure[ICs on the interval
1342 %$(0,7;1)$.]{\includegraphics[scale=.35]{ICs07a95.pdf}}\\
1343 %  \subfigure[ICs on the interval
1344 %$(0,5;1)$.]{\includegraphics[scale=.35]{ICs05a1.pdf}}\quad
1345 %  \subfigure[ICs on the interval
1346 %$(0;1)$]{\includegraphics[scale=.35]{ICs0a1.pdf}}
1347 %\end{center}
1348 %\caption{Representation of the chaotic iterations.}
1349 %\label{fig:ICs}
1350 %\end{figure}
1351
1352
1353
1354
1355 %\begin{figure}[t]
1356 %\begin{center}
1357 %  \subfigure[ICs on the interval
1358 %$(510;514)$.]{\includegraphics[scale=.35]{ICs510a514.pdf}}\quad
1359 %  \subfigure[ICs on the interval
1360 %$(1000;1008)$]{\includegraphics[scale=.35]{ICs1000a1008.pdf}}
1361 %\end{center}
1362 %\caption{ICs on small intervals.}
1363 %\label{fig:ICs2}
1364 %\end{figure}
1365
1366 %\begin{figure}[t]
1367 %\begin{center}
1368 %  \subfigure[ICs on the interval
1369 %$(0;16)$.]{\includegraphics[scale=.3]{ICs0a16.pdf}}\quad
1370 %  \subfigure[ICs on the interval 
1371 %$(40;70)$.]{\includegraphics[scale=.45]{ICs40a70.pdf}}\quad
1372 %\end{center}
1373 %\caption{General aspect of the chaotic iterations.}
1374 %\label{fig:ICs3}
1375 %\end{figure}
1376
1377
1378 %We have written a Python program to represent the chaotic iterations with the
1379 %vectorial negation on the real line $\mathds{R}$. Various representations of
1380 %these CIs are given in Figures \ref{fig:ICs}, \ref{fig:ICs2} and \ref{fig:ICs3}.
1381 %It can be remarked that the function $g$ is a piecewise linear function: it is
1382 %linear on each interval having the form $\left[ \dfrac{n}{10},
1383 %\dfrac{n+1}{10}\right[$, $n \in \llbracket 0;2^{10}\times 10 \rrbracket$ and its
1384 %slope is equal to 10. Let us justify these claims:
1385
1386 %\begin{proposition}
1387 %\label{Prop:derivabilite des ICs}
1388 %Chaotic iterations $g$ defined on $\mathds{R}$ have derivatives of all orders on
1389 %$\big[ 0, 2^{10} \big[$, except on the 10241 points in $I$ defined by $\left\{
1390 %\dfrac{n}{10} ~\big/~ n \in \llbracket 0;2^{10}\times 10\rrbracket \right\}$.
1391
1392 %Furthermore, on each interval of the form $\left[ \dfrac{n}{10},
1393 %\dfrac{n+1}{10}\right[$, with $n \in \llbracket 0;2^{10}\times 10 \rrbracket$,
1394 %$g$ is a linear function, having a slope equal to 10: $\forall x \notin I,
1395 %g'(x)=10$.
1396 %\end{proposition}
1397
1398
1399 %\begin{proof}
1400 %Let $I_n = \left[ \dfrac{n}{10}, \dfrac{n+1}{10}\right[$, with $n \in \llbracket
1401 %0;2^{10}\times 10 \rrbracket$. All the points of $I_n$ have the same integral
1402 %prat $e$ and the same decimal part $s^0$: on the set $I_n$,  functions $e(x)$
1403 %and $x \mapsto s(x)^0$ of Definition \ref{def:e et s} only depend on $n$. So all
1404 %the images $g(x)$ of these points $x$:
1405 %\begin{itemize}
1406 %\item Have the same integral part, which is $e$, except probably the bit number
1407 %$s^0$. In other words, this integer has approximately the same binary
1408 %decomposition than $e$, the sole exception being the digit $s^0$ (this number is
1409 %then either $e+2^{10-s^0}$ or $e-2^{10-s^0}$, depending on the parity of $s^0$,
1410 %\emph{i.e.}, it is equal to $e+(-1)^{s^0}\times 2^{10-s^0}$).
1411 %\item A shift to the left has been applied to the decimal part $y$, losing by
1412 %doing so the common first digit $s^0$. In other words, $y$ has been mapped into
1413 %$10\times y - s^0$.
1414 %\end{itemize}
1415 %To sum up, the action of $g$ on the points of $I$ is as follows: first, make a
1416 %multiplication by 10, and second, add the same constant to each term, which is
1417 %$\dfrac{1}{10}\left(e+(-1)^{s^0}\times 2^{10-s^0}\right)-s^0$.
1418 %\end{proof}
1419
1420 %\begin{remark}
1421 %Finally, chaotic iterations are elements of the large family of functions that
1422 %are both chaotic and piecewise linear (like the tent map).
1423 %\end{remark}
1424
1425
1426
1427 %\subsection{Comparison of the two metrics on $\big[ 0, 2^\mathsf{N} \big[$}
1428
1429 %The two propositions bellow allow to compare our two distances on $\big[ 0,
1430 %2^\mathsf{N} \big[$:
1431
1432 %\begin{proposition}
1433 %Id: $\left(~\big[ 0, 2^\mathsf{N} \big[,\Delta~\right) \to \left(~\big[ 0,
1434 %2^\mathsf{N} \big[, D~\right)$ is not continuous. 
1435 %\end{proposition}
1436
1437 %\begin{proof}
1438 %The sequence $x^n = 1,999\hdots 999$ constituted by $n$ 9 as decimal part, is
1439 %such that:
1440 %\begin{itemize}
1441 %\item $\Delta (x^n,2) \to 0.$
1442 %\item But $D(x^n,2) \geqslant 1$, then $D(x^n,2)$ does not converge to 0.
1443 %\end{itemize}
1444
1445 %The sequential characterization of the continuity concludes the demonstration.
1446 %\end{proof}
1447
1448
1449
1450 %A contrario:
1451
1452 %\begin{proposition}
1453 %Id: $\left(~\big[ 0, 2^\mathsf{N} \big[,D~\right) \to \left(~\big[ 0,
1454 %2^\mathsf{N} \big[, \Delta ~\right)$ is a continuous fonction. 
1455 %\end{proposition}
1456
1457 %\begin{proof}
1458 %If $D(x^n,x) \to 0$, then $D_e(x^n,x) = 0$ at least for $n$ larger than a given
1459 %threshold, because $D_e$ only returns integers. So, after this threshold, the
1460 %integral parts of all the $x^n$ are equal to the integral part of $x$. 
1461
1462 %Additionally, $D_s(x^n, x) \to 0$, then $\forall k \in \mathds{N}^*, \exists N_k
1463 %\in \mathds{N}, n \geqslant N_k \Rightarrow D_s(x^n,x) \leqslant 10^{-k}$. This
1464 %means that for all $k$, an index $N_k$ can be found such that, $\forall n
1465 %\geqslant N_k$, all the $x^n$ have the same $k$ firsts digits, which are the
1466 %digits of $x$. We can deduce the convergence $\Delta(x^n,x) \to 0$, and thus the
1467 %result.
1468 %\end{proof}
1469
1470 %The conclusion of these propositions is that the proposed metric is more precise
1471 %than the Euclidian distance, that is:
1472
1473 %\begin{corollary}
1474 %$D$ is finer than the Euclidian distance $\Delta$.
1475 %\end{corollary}
1476
1477 %This corollary can be reformulated as follows:
1478
1479 %\begin{itemize}
1480 %\item The topology produced by $\Delta$ is a subset of the topology produced by
1481 %$D$.
1482 %\item $D$ has more open sets than $\Delta$.
1483 %\item It is harder to converge for the topology $\tau_D$ inherited by $D$, than
1484 %to converge with the one inherited by $\Delta$, which is denoted here by
1485 %$\tau_\Delta$.
1486 %\end{itemize}
1487
1488
1489 %\subsection{Chaos of the chaotic iterations on $\mathds{R}$}
1490 %\label{chpt:Chaos des itérations chaotiques sur R}
1491
1492
1493
1494 %\subsubsection{Chaos according to Devaney}
1495
1496 %We have recalled previously that the chaotic iterations $\left(\Go,
1497 %\mathcal{X}_d\right)$ are chaotic according to the formulation of Devaney. We
1498 %can deduce that they are chaotic on $\mathds{R}$ too, when considering the order
1499 %topology, because:
1500 %\begin{itemize}
1501 %\item $\left(\Go, \mathcal{X}_d\right)$ and $\left(g, \big[ 0, 2^{10}
1502 %\big[_D\right)$ are semiconjugate by $\varphi$,
1503 %\item Then $\left(g, \big[ 0, 2^{10} \big[_D\right)$ is a system chaotic
1504 %according to Devaney, because the semiconjugacy preserve this character.
1505 %\item But the topology generated by $D$ is finer than the topology generated by
1506 %the Euclidian distance $\Delta$ -- which is the order topology.
1507 %\item According to Theorem \ref{Th:chaos et finesse}, we can deduce that the
1508 %chaotic iterations $g$ are indeed chaotic, as defined by Devaney, for the order
1509 %topology on $\mathds{R}$.
1510 %\end{itemize}
1511
1512 %This result can be formulated as follows.
1513
1514 %\begin{theorem}
1515 %\label{th:IC et topologie de l'ordre}
1516 %The chaotic iterations $g$ on $\mathds{R}$ are chaotic according to the
1517 %Devaney's formulation, when $\mathds{R}$ has his usual topology, which is the
1518 %order topology.
1519 %\end{theorem}
1520
1521 %Indeed this result is weaker than the theorem establishing the chaos for the
1522 %finer topology $d$. However the Theorem \ref{th:IC et topologie de l'ordre}
1523 %still remains important. Indeed, we have studied in our previous works a set
1524 %different from the usual set of study ($\mathcal{X}$ instead of $\mathds{R}$),
1525 %in order to be as close as possible from the computer: the properties of
1526 %disorder proved theoretically will then be preserved when computing. However, we
1527 %could wonder whether this change does not lead to a disorder of a lower quality.
1528 %In other words, have we replaced a situation of a good disorder lost when
1529 %computing, to another situation of a disorder preserved but of bad quality.
1530 %Theorem \ref{th:IC et topologie de l'ordre} prove exactly the contrary.
1531
1532
1533
1534
1535
1536
1537
1538 \section{Security Analysis}
1539
1540
1541
1542
1543 In this section the concatenation of two strings $u$ and $v$ is classically
1544 denoted by $uv$.
1545 In a cryptographic context, a pseudo-random generator is a deterministic
1546 algorithm $G$ transforming strings  into strings and such that, for any
1547 seed $w$ of length $N$, $G(w)$ (the output of $G$ on the input $w$) has size
1548 $\ell_G(N)$ with $\ell_G(N)>N$.
1549 The notion of {\it secure} PRNGs can now be defined as follows. 
1550
1551 \begin{definition}
1552 A cryptographic PRNG $G$ is secure if for any probabilistic polynomial time
1553 algorithm $D$, for any positive polynomial $p$, and for all sufficiently
1554 large $k$'s,
1555 $$| \mathrm{Pr}[D(G(U_k))=1]-Pr[D(U_{\ell_G(k)}=1]|< \frac{1}{p(N)},$$
1556 where $U_r$ is the uniform distribution over $\{0,1\}^r$ and the
1557 probabilities are taken over $U_N$, $U_{\ell_G(N)}$ as well as over the
1558 internal coin tosses of $D$. 
1559 \end{definition}
1560
1561 Intuitively, it means that there is no polynomial time algorithm that can
1562 distinguish a perfect uniform random generator from $G$ with a non
1563 negligible probability. The interested reader is referred
1564 to~\cite[chapter~3]{Goldreich} for more information. Note that it is
1565 quite easily possible to change the function $\ell$ into any polynomial
1566 function $\ell^\prime$ satisfying $\ell^\prime(N)>N)$~\cite[Chapter 3.3]{Goldreich}.
1567
1568 The generation schema developed in (\ref{equation Oplus}) is based on a
1569 pseudo-random generator. Let $H$ be a cryptographic PRNG. We may assume,
1570 without loss of generality, that for any string $S_0$ of size $N$, the size
1571 of $H(S_0)$ is $kN$, with $k>2$. It means that $\ell_H(N)=kN$. 
1572 Let $S_1,\ldots,S_k$ be the 
1573 strings of length $N$ such that $H(S_0)=S_1 \ldots S_k$ ($H(S_0)$ is the concatenation of
1574 the $S_i$'s). The cryptographic PRNG $X$ defined in (\ref{equation Oplus})
1575 is the algorithm mapping any string of length $2N$ $x_0S_0$ into the string
1576 $(x_0\oplus S_0 \oplus S_1)(x_0\oplus S_0 \oplus S_1\oplus S_2)\ldots
1577 (x_o\bigoplus_{i=0}^{i=k}S_i)$. Particularly one has $\ell_{X}(2N)=kN=\ell_H(N)$. 
1578 We claim now that if this PRNG is secure,
1579 then the new one is secure too.
1580
1581 \begin{proposition}
1582 If $H$ is a secure cryptographic PRNG, then $X$ is a secure cryptographic
1583 PRNG too.
1584 \end{proposition}
1585
1586 \begin{proof}
1587 The proposition is proved by contraposition. Assume that $X$ is not
1588 secure. By Definition, there exists a polynomial time probabilistic
1589 algorithm $D$, a positive polynomial $p$, such that for all $k_0$ there exists
1590 $N\geq \frac{k_0}{2}$ satisfying 
1591 $$| \mathrm{Pr}[D(X(U_{2N}))=1]-\mathrm{Pr}[D(U_{kN}=1]|\geq \frac{1}{p(2N)}.$$
1592 We describe a new probabilistic algorithm $D^\prime$ on an input $w$ of size
1593 $kN$:
1594 \begin{enumerate}
1595 \item Decompose $w$ into $w=w_1\ldots w_{k}$, where each $w_i$ has size $N$.
1596 \item Pick a string $y$ of size $N$ uniformly at random.
1597 \item Compute $z=(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y
1598   \bigoplus_{i=1}^{i=k} w_i).$
1599 \item Return $D(z)$.
1600 \end{enumerate}
1601
1602
1603 Consider  for each $y\in \mathbb{B}^{kN}$ the function $\varphi_{y}$
1604 from $\mathbb{B}^{kN}$ into $\mathbb{B}^{kN}$ mapping $w=w_1\ldots w_k$
1605 (each $w_i$ has length $N$) to 
1606 $(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y
1607   \bigoplus_{i=1}^{i=k_1} w_i).$ By construction, one has for every $w$,
1608 \begin{equation}\label{PCH-1}
1609 D^\prime(w)=D(\varphi_y(w)),
1610 \end{equation}
1611 where $y$ is randomly generated. 
1612 Moreover, for each $y$, $\varphi_{y}$ is injective: if 
1613 $(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y\bigoplus_{i=1}^{i=k_1}
1614 w_i)=(y\oplus w_1^\prime)(y\oplus w_1^\prime\oplus w_2^\prime)\ldots
1615 (y\bigoplus_{i=1}^{i=k} w_i^\prime)$, then for every $1\leq j\leq k$,
1616 $y\bigoplus_{i=1}^{i=j} w_i^\prime=y\bigoplus_{i=1}^{i=j} w_i$. It follows,
1617 by a direct induction, that $w_i=w_i^\prime$. Furthermore, since $\mathbb{B}^{kN}$
1618 is finite, each $\varphi_y$ is bijective. Therefore, and using (\ref{PCH-1}),
1619 one has
1620 \begin{equation}\label{PCH-2}
1621 \mathrm{Pr}[D^\prime(U_{kN})=1]=\mathrm{Pr}[D(\varphi_y(U_{kN}))=1]=\mathrm{Pr}[D(U_{kN})=1].
1622 \end{equation}
1623
1624 Now, using (\ref{PCH-1}) again, one has  for every $x$,
1625 \begin{equation}\label{PCH-3}
1626 D^\prime(H(x))=D(\varphi_y(H(x))),
1627 \end{equation}
1628 where $y$ is randomly generated. By construction, $\varphi_y(H(x))=X(yx)$,
1629 thus
1630 \begin{equation}\label{PCH-3}
1631 D^\prime(H(x))=D(yx),
1632 \end{equation}
1633 where $y$ is randomly generated. 
1634 It follows that 
1635
1636 \begin{equation}\label{PCH-4}
1637 \mathrm{Pr}[D^\prime(H(U_{N}))=1]=\mathrm{Pr}[D(U_{2N})=1].
1638 \end{equation}
1639  From (\ref{PCH-2}) and (\ref{PCH-4}), one can deduce that
1640 there exist a polynomial time probabilistic
1641 algorithm $D^\prime$, a positive polynomial $p$, such that for all $k_0$ there exists
1642 $N\geq \frac{k_0}{2}$ satisfying 
1643 $$| \mathrm{Pr}[D(H(U_{N}))=1]-\mathrm{Pr}[D(U_{kN}=1]|\geq \frac{1}{p(2N)},$$
1644 proving that $H$ is not secure, a contradiction. 
1645 \end{proof}
1646
1647
1648
1649
1650
1651 \section{Conclusion}
1652
1653
1654 In  this  paper  we have  presented  a  new  class  of  PRNGs based  on  chaotic
1655 iterations. We have proven that these PRNGs are chaotic in the sense of Devenay. 
1656
1657 An efficient implementation on GPU allows us to generate a huge number of pseudo
1658 random numbers  per second  (about 20Gsample/s). Our  PRNGs succeed to  pass the
1659 hardest batteries of test (TestU01).
1660
1661 In future  work we plan  to extend our  work in order to  have cryptographically
1662 secure PRNGs because in some situations this property may be important.
1663
1664 \bibliographystyle{plain}
1665 \bibliography{mabase}
1666 \end{document}