]> AND Private Git Repository - prng_gpu.git/blob - prng_gpu.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
a32d94aa3d8c1a337657c67dabdf35fec5beec83
[prng_gpu.git] / prng_gpu.tex
1 %\documentclass{article}
2 \documentclass[10pt,journal,letterpaper,compsoc]{IEEEtran}
3 \usepackage[utf8]{inputenc}
4 \usepackage[T1]{fontenc}
5 \usepackage{fullpage}
6 \usepackage{fancybox}
7 \usepackage{amsmath}
8 \usepackage{amscd}
9 \usepackage{moreverb}
10 \usepackage{commath}
11 \usepackage[ruled,vlined]{algorithm2e}
12 \usepackage{listings}
13 \usepackage[standard]{ntheorem}
14 \usepackage{algorithmic}
15 \usepackage{slashbox}
16 \usepackage{ctable}
17 \usepackage{tabularx}
18 \usepackage{multirow}
19
20 % Pour mathds : les ensembles IR, IN, etc.
21 \usepackage{dsfont}
22
23 % Pour avoir des intervalles d'entiers
24 \usepackage{stmaryrd}
25
26 \usepackage{graphicx}
27 % Pour faire des sous-figures dans les figures
28 \usepackage{subfigure}
29
30 \usepackage{color}
31
32 \newtheorem{notation}{Notation}
33
34 \newcommand{\X}{\mathcal{X}}
35 \newcommand{\Go}{G_{f_0}}
36 \newcommand{\B}{\mathds{B}}
37 \newcommand{\N}{\mathds{N}}
38 \newcommand{\BN}{\mathds{B}^\mathsf{N}}
39 \let\sur=\overline
40
41 \newcommand{\alert}[1]{\begin{color}{blue}\textit{#1}\end{color}}
42
43
44 \newcommand{\PCH}[1]{\begin{color}{blue}#1\end{color}}
45
46 \title{Efficient and Cryptographically Secure Generation of Chaotic Pseudorandom Numbers on GPU}
47 \begin{document}
48
49 \author{Jacques M. Bahi, Rapha\"{e}l Couturier,  Christophe
50 Guyeux, and Pierre-Cyrille Héam\thanks{Authors in alphabetic order}}
51    
52
53 \IEEEcompsoctitleabstractindextext{
54 \begin{abstract}
55 In this paper we present a new pseudorandom number generator (PRNG) on
56 graphics processing units  (GPU). This PRNG is based  on the so-called chaotic iterations.  It
57 is firstly proven  to be chaotic according to the Devaney's  formulation. We thus propose  an efficient
58 implementation  for  GPU that successfully passes the   {\it BigCrush} tests, deemed to be the  hardest
59 battery of tests in TestU01.  Experiments show that this PRNG can generate
60 about 20 billion of random numbers  per second on Tesla C1060 and NVidia GTX280
61 cards.
62 It is then established that, under reasonable assumptions, the proposed PRNG can be cryptographically 
63 secure.
64 A chaotic version of the Blum-Goldwasser asymmetric key encryption scheme is finally proposed.
65
66
67 \end{abstract}
68 }
69
70 \maketitle
71
72 \IEEEdisplaynotcompsoctitleabstractindextext
73 \IEEEpeerreviewmaketitle
74
75
76 \section{Introduction}
77
78 Randomness is of importance in many fields such as scientific simulations or cryptography. 
79 ``Random numbers'' can mainly be generated either by a deterministic and reproducible algorithm
80 called a pseudorandom number generator (PRNG), or by a physical non-deterministic 
81 process having all the characteristics of a random noise, called a truly random number
82 generator (TRNG). 
83 In this paper, we focus on reproducible generators, useful for instance in
84 Monte-Carlo based simulators or in several cryptographic schemes.
85 These domains need PRNGs that are statistically irreproachable. 
86 In some fields such as in numerical simulations, speed is a strong requirement
87 that is usually attained by using parallel architectures. In that case,
88 a recurrent problem is that a deflation of the statistical qualities is often
89 reported, when the parallelization of a good PRNG is realized.
90 This is why ad-hoc PRNGs for each possible architecture must be found to
91 achieve both speed and randomness.
92 On the other side, speed is not the main requirement in cryptography: the great
93 need is to define \emph{secure} generators able to withstand malicious
94 attacks. Roughly speaking, an attacker should not be able in practice to make 
95 the distinction between numbers obtained with the secure generator and a true random
96 sequence. \begin{color}{red} Or, in an equivalent formulation, he or she should not be
97 able (in practice) to predict the next bit of the generator, having the knowledge of all the 
98 binary digits that have been already released. ``Being able in practice'' refers here
99 to the possibility to achieve this attack in polynomial time, and to the exponential growth
100 of the difficulty of this challenge when the size of the parameters of the PRNG increases.
101 \end{color}
102
103 Finally, a small part of the community working in this domain focuses on a
104 third requirement, that is to define chaotic generators.
105 The main idea is to take benefits from a chaotic dynamical system to obtain a
106 generator that is unpredictable, disordered, sensible to its seed, or in other word chaotic.
107 Their desire is to map a given chaotic dynamics into a sequence that seems random 
108 and unassailable due to chaos.
109 However, the chaotic maps used as a pattern are defined in the real line 
110 whereas computers deal with finite precision numbers.
111 This distortion leads to a deflation of both chaotic properties and speed.
112 Furthermore, authors of such chaotic generators often claim their PRNG
113 as secure due to their chaos properties, but there is no obvious relation
114 between chaos and security as it is understood in cryptography.
115 This is why the use of chaos for PRNG still remains marginal and disputable.
116
117 The authors' opinion is that topological properties of disorder, as they are
118 properly defined in the mathematical theory of chaos, can reinforce the quality
119 of a PRNG. But they are not substitutable for security or statistical perfection.
120 Indeed, to the authors' mind, such properties can be useful in the two following situations. On the
121 one hand, a post-treatment based on a chaotic dynamical system can be applied
122 to a PRNG statistically deflective, in order to improve its statistical 
123 properties. Such an improvement can be found, for instance, in~\cite{bgw09:ip,bcgr11:ip}.
124 On the other hand, chaos can be added to a fast, statistically perfect PRNG and/or a
125 cryptographically secure one, in case where chaos can be of interest,
126 \emph{only if these last properties are not lost during
127 the proposed post-treatment}. Such an assumption is behind this research work.
128 It leads to the attempts to define a 
129 family of PRNGs that are chaotic while being fast and statistically perfect,
130 or cryptographically secure.
131 Let us finish this paragraph by noticing that, in this paper, 
132 statistical perfection refers to the ability to pass the whole 
133 {\it BigCrush} battery of tests, which is widely considered as the most
134 stringent statistical evaluation of a sequence claimed as random.
135 This battery can be found in the well-known TestU01 package~\cite{LEcuyerS07}.
136 \begin{color}{red}
137 More precisely, each time we performed a test on a PRNG, we ran it
138 twice in order to observe if all $p-$values are inside [0.01, 0.99]. In
139 fact, we observed that few $p-$values (less than ten) are sometimes
140 outside this interval but inside [0.001, 0.999], so that is why a
141 second run allows us to confirm that the values outside are not for
142 the same test. With this approach all our PRNGs pass the {\it
143   BigCrush} successfully and all $p-$values are at least once inside
144 [0.01, 0.99].
145 \end{color}
146 Chaos, for its part, refers to the well-established definition of a
147 chaotic dynamical system proposed by Devaney~\cite{Devaney}.
148
149 In a previous work~\cite{bgw09:ip,guyeux10} we have proposed a post-treatment on PRNGs making them behave
150 as a chaotic dynamical system. Such a post-treatment leads to a new category of
151 PRNGs. We have shown that proofs of Devaney's chaos can be established for this
152 family, and that the sequence obtained after this post-treatment can pass the
153 NIST~\cite{Nist10}, DieHARD~\cite{Marsaglia1996}, and TestU01~\cite{LEcuyerS07} batteries of tests, even if the inputted generators
154 cannot.
155 The proposition of this paper is to improve widely the speed of the formerly
156 proposed generator, without any lack of chaos or statistical properties.
157 In particular, a version of this PRNG on graphics processing units (GPU)
158 is proposed.
159 Although GPU was initially designed  to accelerate
160 the manipulation of  images, they are nowadays commonly  used in many scientific
161 applications. Therefore,  it is important  to be able to  generate pseudorandom
162 numbers inside a GPU when a scientific application runs in it. This remark
163 motivates our proposal of a chaotic and statistically perfect PRNG for GPU.  
164 Such device
165 allows us to generate almost 20 billion of pseudorandom numbers per second.
166 Furthermore, we show that the proposed post-treatment preserves the
167 cryptographical security of the inputted PRNG, when this last has such a 
168 property.
169 Last, but not least, we propose a rewriting of the Blum-Goldwasser asymmetric
170 key encryption protocol by using the proposed method.
171
172
173 \PCH{
174 {\bf Main contributions.} In this paper a new PRNG using chaotic iteration
175 is defined. From a theoretical point of view, it is proved that it has fine
176 topological chaotic properties and that it is cryptographically secured (when
177 the based PRNG is also cryptographically secured). From a practical point of
178 view, experiments point out a very good statistical behavior. Optimized
179 original implementation of this PRNG are also proposed and experimented.
180 Pseudo-random numbers are generated at a rate of 20GSamples/s which is faster
181 than in~\cite{conf/fpga/ThomasHL09,Marsaglia2003} (and with a better
182 statistical behavior). Experiments are also provided using BBS as the based
183 random generator. The generation speed is significantly weaker but, as far
184 as we know, it is the first cryptographically secured PRNG proposed on GPU.
185 Note too that an original qualitative comparison between topological chaotic
186 properties and statistical test is also proposed.
187 }
188
189
190
191 The remainder of this paper  is organized as follows. In Section~\ref{section:related
192   works} we  review some GPU implementations  of PRNGs.  Section~\ref{section:BASIC
193   RECALLS} gives some basic recalls  on the well-known Devaney's formulation of chaos, 
194   and on an iteration process called ``chaotic
195 iterations'' on which the post-treatment is based. 
196 The proposed PRNG and its proof of chaos are given in  Section~\ref{sec:pseudorandom}.
197 \begin{color}{red}
198 Section~\ref{The generation of pseudorandom sequence} illustrates the statistical
199 improvement related to the chaotic iteration based post-treatment, for
200 our previously released PRNGs and a new efficient 
201 implementation on CPU.
202 \end{color}
203  Section~\ref{sec:efficient PRNG
204   gpu}   describes and evaluates theoretically  the  GPU   implementation. 
205 Such generators are experimented in 
206 Section~\ref{sec:experiments}.
207 We show in Section~\ref{sec:security analysis} that, if the inputted
208 generator is cryptographically secure, then it is the case too for the
209 generator provided by the post-treatment.
210 Such a proof leads to the proposition of a cryptographically secure and
211 chaotic generator on GPU based on the famous Blum Blum Shub
212 in Section~\ref{sec:CSGPU}, \begin{color}{red} to a practical
213 security evaluation in Section~\ref{sec:Practicak evaluation}, \end{color} and to an improvement of the
214 Blum-Goldwasser protocol in Sect.~\ref{Blum-Goldwasser}.
215 This research work ends by a conclusion section, in which the contribution is
216 summarized and intended future work is presented.
217
218
219
220
221 \section{Related work on GPU based PRNGs}
222 \label{section:related works}
223
224 Numerous research works on defining GPU based PRNGs have already been proposed  in the
225 literature, so that exhaustivity is impossible.
226 This is why authors of this document only give reference to the most significant attempts 
227 in this domain, from their subjective point of view. 
228 The  quantity of pseudorandom numbers generated per second is mentioned here 
229 only when the information is given in the related work. 
230 A million numbers  per second will be simply written as
231 1MSample/s whereas a billion numbers per second is 1GSample/s.
232
233 In \cite{Pang:2008:cec}  a PRNG based on  cellular automata is defined
234 with no  requirement to an high  precision  integer   arithmetic  or to any bitwise
235 operations. Authors can   generate  about
236 3.2MSamples/s on a GeForce 7800 GTX GPU, which is quite an old card now.
237 However, there is neither a mention of statistical tests nor any proof of
238 chaos or cryptography in this document.
239
240 In \cite{ZRKB10}, the authors propose  different versions of efficient GPU PRNGs
241 based on  Lagged Fibonacci or Hybrid  Taus.  They have  used these
242 PRNGs   for  Langevin   simulations   of  biomolecules   fully  implemented   on
243 GPU. Performances of  the GPU versions are far better than  those obtained with a
244 CPU, and these PRNGs succeed to pass the {\it BigCrush} battery of TestU01. 
245 However the evaluations of the proposed PRNGs are only statistical ones.
246
247
248 Authors of~\cite{conf/fpga/ThomasHL09}  have studied the  implementation of some
249 PRNGs on  different computing architectures: CPU,  field-programmable gate array
250 (FPGA), massively parallel  processors, and GPU. This study is of interest, because
251 the  performance  of the  same  PRNGs on  different architectures are compared. 
252 FPGA appears as  the  fastest  and the most
253 efficient architecture, providing the fastest number of generated pseudorandom numbers
254 per joule. 
255 However, we notice that authors can ``only'' generate between 11 and 16GSamples/s
256 with a GTX 280  GPU, which should be compared with
257 the results presented in this document.
258 We can remark too that the PRNGs proposed in~\cite{conf/fpga/ThomasHL09} are only
259 able to pass the {\it Crush} battery, which is far easier than the {\it Big Crush} one.
260
261 Lastly, Cuda  has developed  a  library for  the  generation of  pseudorandom numbers  called
262 Curand~\cite{curand11}.        Several       PRNGs        are       implemented, among
263 other things 
264 Xorwow~\cite{Marsaglia2003} and  some variants of Sobol. The  tests reported show that
265 their  fastest version provides  15GSamples/s on  the new  Fermi C2050  card. 
266 But their PRNGs cannot pass the whole TestU01 battery (only one test is failed).
267 \newline
268 \newline
269 We can finally remark that, to the best of our knowledge, no GPU implementation has been proven to be chaotic, and the cryptographically secure property has surprisingly never been considered.
270
271 \section{Basic Recalls}
272 \label{section:BASIC RECALLS}
273
274 This section is devoted to basic definitions and terminologies in the fields of
275 topological chaos and chaotic iterations. We assume the reader is familiar
276 with basic notions on topology (see for instance~\cite{Devaney}).
277
278
279 \subsection{Devaney's Chaotic Dynamical Systems}
280 \label{subsec:Devaney}
281 In the sequel $S^{n}$ denotes the $n^{th}$ term of a sequence $S$ and $V_{i}$
282 denotes the $i^{th}$ component of a vector $V$. $f^{k}=f\circ ...\circ f$
283 is for the $k^{th}$ composition of a function $f$. Finally, the following
284 notation is used: $\llbracket1;N\rrbracket=\{1,2,\hdots,N\}$.
285
286
287 Consider a topological space $(\mathcal{X},\tau)$ and a continuous function $f :
288 \mathcal{X} \rightarrow \mathcal{X}$.
289
290 \begin{definition}
291 The function $f$ is said to be \emph{topologically transitive} if, for any pair of open sets
292 $U,V \subset \mathcal{X}$, there exists $k>0$ such that $f^k(U) \cap V \neq
293 \varnothing$.
294 \end{definition}
295
296 \begin{definition}
297 An element $x$ is a \emph{periodic point} for $f$ of period $n\in \mathds{N}^*$
298 if $f^{n}(x)=x$.% The set of periodic points of $f$ is denoted $Per(f).$
299 \end{definition}
300
301 \begin{definition}
302 $f$ is said to be \emph{regular} on $(\mathcal{X}, \tau)$ if the set of periodic
303 points for $f$ is dense in $\mathcal{X}$: for any point $x$ in $\mathcal{X}$,
304 any neighborhood of $x$ contains at least one periodic point (without
305 necessarily the same period).
306 \end{definition}
307
308
309 \begin{definition}[Devaney's formulation of chaos~\cite{Devaney}]
310 The function $f$ is said to be \emph{chaotic} on $(\mathcal{X},\tau)$ if $f$ is regular and
311 topologically transitive.
312 \end{definition}
313
314 The chaos property is strongly linked to the notion of ``sensitivity'', defined
315 on a metric space $(\mathcal{X},d)$ by:
316
317 \begin{definition}
318 \label{sensitivity} The function $f$ has \emph{sensitive dependence on initial conditions}
319 if there exists $\delta >0$ such that, for any $x\in \mathcal{X}$ and any
320 neighborhood $V$ of $x$, there exist $y\in V$ and $n > 0$ such that
321 $d\left(f^{n}(x), f^{n}(y)\right) >\delta $.
322
323 The constant $\delta$ is called the \emph{constant of sensitivity} of $f$.
324 \end{definition}
325
326 Indeed, Banks \emph{et al.} have proven in~\cite{Banks92} that when $f$ is
327 chaotic and $(\mathcal{X}, d)$ is a metric space, then $f$ has the property of
328 sensitive dependence on initial conditions (this property was formerly an
329 element of the definition of chaos). To sum up, quoting Devaney
330 in~\cite{Devaney}, a chaotic dynamical system ``is unpredictable because of the
331 sensitive dependence on initial conditions. It cannot be broken down or
332 simplified into two subsystems which do not interact because of topological
333 transitivity. And in the midst of this random behavior, we nevertheless have an
334 element of regularity''. Fundamentally different behaviors are consequently
335 possible and occur in an unpredictable way.
336
337
338
339 \subsection{Chaotic Iterations}
340 \label{sec:chaotic iterations}
341
342
343 Let us consider  a \emph{system} with a finite  number $\mathsf{N} \in
344 \mathds{N}^*$ of elements  (or \emph{cells}), so that each  cell has a
345 Boolean  \emph{state}. Having $\mathsf{N}$ Boolean values for these
346  cells  leads to the definition of a particular \emph{state  of the
347 system}. A sequence which  elements belong to $\llbracket 1;\mathsf{N}
348 \rrbracket $ is called a \emph{strategy}. The set of all strategies is
349 denoted by $\llbracket 1, \mathsf{N} \rrbracket^\mathds{N}.$
350
351 \begin{definition}
352 \label{Def:chaotic iterations}
353 The      set       $\mathds{B}$      denoting      $\{0,1\}$,      let
354 $f:\mathds{B}^{\mathsf{N}}\longrightarrow  \mathds{B}^{\mathsf{N}}$ be
355 a  function  and  $S\in  \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}$  be  a  ``strategy''.  The  so-called
356 \emph{chaotic      iterations}     are     defined      by     $x^0\in
357 \mathds{B}^{\mathsf{N}}$ and
358 \begin{equation}
359 \forall    n\in     \mathds{N}^{\ast     },    \forall     i\in
360 \llbracket1;\mathsf{N}\rrbracket ,x_i^n=\left\{
361 \begin{array}{ll}
362   x_i^{n-1} &  \text{ if  }S^n\neq i \\
363   \left(f(x^{n-1})\right)_{S^n} & \text{ if }S^n=i.
364 \end{array}\right.
365 \end{equation}
366 \end{definition}
367
368 In other words, at the $n^{th}$ iteration, only the $S^{n}-$th cell is
369 \textquotedblleft  iterated\textquotedblright .  Note  that in  a more
370 general  formulation,  $S^n$  can   be  a  subset  of  components  and
371 $\left(f(x^{n-1})\right)_{S^{n}}$      can     be      replaced     by
372 $\left(f(x^{k})\right)_{S^{n}}$, where  $k<n$, describing for example,
373 delays  transmission~\cite{Robert1986,guyeux10}.  Finally,  let us  remark that
374 the term  ``chaotic'', in  the name of  these iterations,  has \emph{a
375 priori} no link with the mathematical theory of chaos, presented above.
376
377
378 Let us now recall how to define a suitable metric space where chaotic iterations
379 are continuous. For further explanations, see, e.g., \cite{guyeux10}.
380
381 Let $\delta $ be the \emph{discrete Boolean metric}, $\delta
382 (x,y)=0\Leftrightarrow x=y.$ Given a function $f$, define the function
383 $F_{f}:  \llbracket1;\mathsf{N}\rrbracket\times \mathds{B}^{\mathsf{N}} 
384 \longrightarrow  \mathds{B}^{\mathsf{N}}$
385 \begin{equation*}
386 \begin{array}{lrll}
387 & (k,E) & \longmapsto & \left( E_{j}.\delta (k,j)+ f(E)_{k}.\overline{\delta
388 (k,j)}\right) _{j\in \llbracket1;\mathsf{N}\rrbracket}%
389 \end{array}%
390 \end{equation*}%
391 \noindent where + and . are the Boolean addition and product operations.
392 Consider the phase space:
393 \begin{equation}
394 \mathcal{X} = \llbracket 1 ; \mathsf{N} \rrbracket^\mathds{N} \times
395 \mathds{B}^\mathsf{N},
396 \end{equation}
397 \noindent and the map defined on $\mathcal{X}$:
398 \begin{equation}
399 G_f\left(S,E\right) = \left(\sigma(S), F_f(i(S),E)\right), \label{Gf}
400 \end{equation}
401 \noindent where $\sigma$ is the \emph{shift} function defined by $\sigma
402 (S^{n})_{n\in \mathds{N}}\in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}\longrightarrow (S^{n+1})_{n\in
403 \mathds{N}}\in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}$ and $i$ is the \emph{initial function} 
404 $i:(S^{n})_{n\in \mathds{N}} \in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}\longrightarrow S^{0}\in \llbracket
405 1;\mathsf{N}\rrbracket$. Then the chaotic iterations proposed in
406 Definition \ref{Def:chaotic iterations} can be described by the following iterations:
407 \begin{equation}
408 \left\{
409 \begin{array}{l}
410 X^0 \in \mathcal{X} \\
411 X^{k+1}=G_{f}(X^k).%
412 \end{array}%
413 \right.
414 \end{equation}%
415
416 With this formulation, a shift function appears as a component of chaotic
417 iterations. The shift function is a famous example of a chaotic
418 map~\cite{Devaney} but its presence is not sufficient enough to claim $G_f$ as
419 chaotic. 
420 To study this claim, a new distance between two points $X = (S,E), Y =
421 (\check{S},\check{E})\in
422 \mathcal{X}$ has been introduced in \cite{guyeux10} as follows:
423 \begin{equation}
424 d(X,Y)=d_{e}(E,\check{E})+d_{s}(S,\check{S}),
425 \end{equation}
426 \noindent where
427 \begin{equation}
428 \left\{
429 \begin{array}{lll}
430 \displaystyle{d_{e}(E,\check{E})} & = & \displaystyle{\sum_{k=1}^{\mathsf{N}%
431 }\delta (E_{k},\check{E}_{k})}, \\
432 \displaystyle{d_{s}(S,\check{S})} & = & \displaystyle{\dfrac{9}{\mathsf{N}}%
433 \sum_{k=1}^{\infty }\dfrac{|S^k-\check{S}^k|}{10^{k}}}.%
434 \end{array}%
435 \right.
436 \end{equation}
437
438
439 This new distance has been introduced to satisfy the following requirements.
440 \begin{itemize}
441 \item When the number of different cells between two systems is increasing, then
442 their distance should increase too.
443 \item In addition, if two systems present the same cells and their respective
444 strategies start with the same terms, then the distance between these two points
445 must be small because the evolution of the two systems will be the same for a
446 while. Indeed, both dynamical systems start with the same initial condition,
447 use the same update function, and as strategies are the same for a while, furthermore
448 updated components are the same as well.
449 \end{itemize}
450 The distance presented above follows these recommendations. Indeed, if the floor
451 value $\lfloor d(X,Y)\rfloor $ is equal to $n$, then the systems $E, \check{E}$
452 differ in $n$ cells ($d_e$ is indeed the Hamming distance). In addition, $d(X,Y) - \lfloor d(X,Y) \rfloor $ is a
453 measure of the differences between strategies $S$ and $\check{S}$. More
454 precisely, this floating part is less than $10^{-k}$ if and only if the first
455 $k$ terms of the two strategies are equal. Moreover, if the $k^{th}$ digit is
456 nonzero, then the $k^{th}$ terms of the two strategies are different.
457 The impact of this choice for a distance will be investigated at the end of the document.
458
459 Finally, it has been established in \cite{guyeux10} that,
460
461 \begin{proposition}
462 Let $f$ be a map from $\mathds{B}^\mathsf{N}$ to itself. Then $G_{f}$ is continuous in
463 the metric space $(\mathcal{X},d)$.
464 \end{proposition}
465
466 The chaotic property of $G_f$ has been firstly established for the vectorial
467 Boolean negation $f_0(x_1,\hdots, x_\mathsf{N}) =  (\overline{x_1},\hdots, \overline{x_\mathsf{N}})$ \cite{guyeux10}. To obtain a characterization, we have secondly
468 introduced the notion of asynchronous iteration graph recalled bellow.
469
470 Let $f$ be a map from $\mathds{B}^\mathsf{N}$ to itself. The
471 {\emph{asynchronous iteration graph}} associated with $f$ is the
472 directed graph $\Gamma(f)$ defined by: the set of vertices is
473 $\mathds{B}^\mathsf{N}$; for all $x\in\mathds{B}^\mathsf{N}$ and 
474 $i\in \llbracket1;\mathsf{N}\rrbracket$,
475 the graph $\Gamma(f)$ contains an arc from $x$ to $F_f(i,x)$. 
476 The relation between $\Gamma(f)$ and $G_f$ is clear: there exists a
477 path from $x$ to $x'$ in $\Gamma(f)$ if and only if there exists a
478 strategy $s$ such that the parallel iteration of $G_f$ from the
479 initial point $(s,x)$ reaches the point $x'$.
480 We have then proven in \cite{bcgr11:ip} that,
481
482
483 \begin{theorem}
484 \label{Th:Caractérisation   des   IC   chaotiques}  
485 Let $f:\mathds{B}^\mathsf{N}\to\mathds{B}^\mathsf{N}$. $G_f$ is chaotic  (according to  Devaney) 
486 if and only if $\Gamma(f)$ is strongly connected.
487 \end{theorem}
488
489 Finally, we have established in \cite{bcgr11:ip} that,
490 \begin{theorem}
491   Let $f: \mathds{B}^{n} \rightarrow \mathds{B}^{n}$, $\Gamma(f)$ its
492   iteration graph, $\check{M}$ its adjacency
493   matrix and $M$
494   a $n\times n$ matrix defined by 
495   $
496   M_{ij} = \frac{1}{n}\check{M}_{ij}$ %\textrm{ 
497   if $i \neq j$ and  
498   $M_{ii} = 1 - \frac{1}{n} \sum\limits_{j=1, j\neq i}^n \check{M}_{ij}$ otherwise.
499   
500   If $\Gamma(f)$ is strongly connected, then 
501   the output of the PRNG detailed in Algorithm~\ref{CI Algorithm} follows 
502   a law that tends to the uniform distribution 
503   if and only if $M$ is a double stochastic matrix.
504 \end{theorem} 
505
506
507 These results of chaos and uniform distribution have led us to study the possibility of building a
508 pseudorandom number generator (PRNG) based on the chaotic iterations. 
509 As $G_f$, defined on the domain   $\llbracket 1 ;  \mathsf{N} \rrbracket^{\mathds{N}} 
510 \times \mathds{B}^\mathsf{N}$, is built from Boolean networks $f : \mathds{B}^\mathsf{N}
511 \rightarrow \mathds{B}^\mathsf{N}$, we can preserve the theoretical properties on $G_f$
512 during implementations (due to the discrete nature of $f$). Indeed, it is as if
513 $\mathds{B}^\mathsf{N}$ represents the memory of the computer whereas $\llbracket 1 ;  \mathsf{N}
514 \rrbracket^{\mathds{N}}$ is its input stream (the seeds, for instance, in PRNG, or a physical noise in TRNG).
515 Let us finally remark that the vectorial negation satisfies the hypotheses of both theorems above.
516
517 \section{Application to Pseudorandomness}
518 \label{sec:pseudorandom}
519
520 \subsection{A First Pseudorandom Number Generator}
521
522 We have proposed in~\cite{bgw09:ip} a new family of generators that receives 
523 two PRNGs as inputs. These two generators are mixed with chaotic iterations, 
524 leading thus to a new PRNG that 
525 \begin{color}{red}
526 should improve the statistical properties of each
527 generator taken alone. 
528 Furthermore, the generator obtained by this way possesses various chaos properties that none of the generators used as input
529 present.
530
531
532
533 \begin{algorithm}[h!]
534 \begin{small}
535 \KwIn{a function $f$, an iteration number $b$, an initial configuration $x^0$
536 ($n$ bits)}
537 \KwOut{a configuration $x$ ($n$ bits)}
538 $x\leftarrow x^0$\;
539 $k\leftarrow b + PRNG_1(b)$\;
540 \For{$i=0,\dots,k$}
541 {
542 $s\leftarrow{PRNG_2(n)}$\;
543 $x\leftarrow{F_f(s,x)}$\;
544 }
545 return $x$\;
546 \end{small}
547 \caption{An arbitrary round of $Old~ CI~ PRNG_f(PRNG_1,PRNG_2)$}
548 \label{CI Algorithm}
549 \end{algorithm}
550
551
552
553
554 This generator is synthesized in Algorithm~\ref{CI Algorithm}.
555 It takes as input: a Boolean function $f$ satisfying Theorem~\ref{Th:Caractérisation   des   IC   chaotiques};
556 an integer $b$, ensuring that the number of executed iterations
557 between two outputs is at least $b$
558 and at most $2b+1$; and an initial configuration $x^0$.
559 It returns the new generated configuration $x$.  Internally, it embeds two
560 inputted generators $PRNG_i(k), i=1,2$,
561  which must return integers
562 uniformly distributed
563 into $\llbracket 1 ; k \rrbracket$.
564 For instance, these PRNGs can be the \textit{XORshift}~\cite{Marsaglia2003},
565 being a category of very fast PRNGs designed by George Marsaglia
566 that repeatedly uses the transform of exclusive or (XOR, $\oplus$) on a number
567 with a bit shifted version of it. Such a PRNG, which has a period of
568 $2^{32}-1=4.29\times10^9$, is summed up in Algorithm~\ref{XORshift}. 
569 This XORshift, or any other reasonable PRNG, is used
570 in our own generator to compute both the number of iterations between two
571 outputs (provided by $PRNG_1$) and the strategy elements ($PRNG_2$).
572
573 %This former generator has successively passed various batteries of statistical tests, as the NIST~\cite{bcgr11:ip}, DieHARD~\cite{Marsaglia1996}, and TestU01~\cite{LEcuyerS07} ones.
574
575
576 \begin{algorithm}[h!]
577 \begin{small}
578 \KwIn{the internal configuration $z$ (a 32-bit word)}
579 \KwOut{$y$ (a 32-bit word)}
580 $z\leftarrow{z\oplus{(z\ll13)}}$\;
581 $z\leftarrow{z\oplus{(z\gg17)}}$\;
582 $z\leftarrow{z\oplus{(z\ll5)}}$\;
583 $y\leftarrow{z}$\;
584 return $y$\;
585 \end{small}
586 \caption{An arbitrary round of \textit{XORshift} algorithm}
587 \label{XORshift}
588 \end{algorithm}
589
590
591 \subsection{A ``New CI PRNG''}
592
593 In order to make the Old CI PRNG usable in practice, we have proposed 
594 an adapted version of the chaotic iteration based generator in~\cite{bg10:ip}.
595 In this ``New CI PRNG'', we prevent from changing twice a given
596 bit between two outputs.
597 This new generator is designed by the following process. 
598
599 First of all, some chaotic iterations have to be done to generate a sequence 
600 $\left(x^n\right)_{n\in\mathds{N}} \in \left(\mathds{B}^{32}\right)^\mathds{N}$ 
601 of Boolean vectors, which are the successive states of the iterated system. 
602 Some of these vectors will be randomly extracted and our pseudorandom bit 
603 flow will be constituted by their components. Such chaotic iterations are 
604 realized as follows. Initial state $x^0 \in \mathds{B}^{32}$ is a Boolean 
605 vector taken as a seed and chaotic strategy $\left(S^n\right)_{n\in\mathds{N}}\in 
606 \llbracket 1, 32 \rrbracket^\mathds{N}$ is
607 an \emph{irregular decimation} of $PRNG_2$ sequence, as described in 
608 Algorithm~\ref{Chaotic iteration1}.
609
610 Then, at each iteration, only the $S^n$-th component of state $x^n$ is 
611 updated, as follows: $x_i^n = x_i^{n-1}$ if $i \neq S^n$, else $x_i^n = \overline{x_i^{n-1}}$.
612 Such a procedure is equivalent to achieve chaotic iterations with
613 the Boolean vectorial negation $f_0$ and some well-chosen strategies.
614 Finally, some $x^n$ are selected
615 by a sequence $m^n$ as the pseudorandom bit sequence of our generator.
616 $(m^n)_{n \in \mathds{N}} \in \mathcal{M}^\mathds{N}$ is computed from $PRNG_1$, where $\mathcal{M}\subset \mathds{N}^*$ is a finite nonempty set of integers.
617
618 The basic design procedure of the New CI generator is summarized in Algorithm~\ref{Chaotic iteration1}.
619 The internal state is $x$, the output state is $r$. $a$ and $b$ are those computed by the two input
620 PRNGs. Lastly, the value $g(a)$ is an integer defined as in Eq.~\ref{Formula}.
621 This function must be chosen such that the outputs of the resulted PRNG are uniform in $\llbracket 0, 2^\mathsf{N}-1 \rrbracket$. Function of \eqref{Formula} achieves this
622 goal (other candidates and more information can be found in ~\cite{bg10:ip}).
623
624 \begin{equation}
625 \label{Formula}
626 m^n = g(y^n)=
627 \left\{
628 \begin{array}{l}
629 0 \text{ if }0 \leqslant{y^n}<{C^0_{32}},\\
630 1 \text{ if }{C^0_{32}} \leqslant{y^n}<\sum_{i=0}^1{C^i_{32}},\\
631 2 \text{ if }\sum_{i=0}^1{C^i_{32}} \leqslant{y^n}<\sum_{i=0}^2{C^i_{32}},\\
632 \vdots~~~~~ ~~\vdots~~~ ~~~~\\
633 N \text{ if }\sum_{i=0}^{N-1}{C^i_{32}}\leqslant{y^n}<1.\\
634 \end{array}
635 \right.
636 \end{equation}
637
638 \begin{algorithm}
639 \textbf{Input:} the internal state $x$ (32 bits)\\
640 \textbf{Output:} a state $r$ of 32 bits
641 \begin{algorithmic}[1]
642 \FOR{$i=0,\dots,N$}
643 {
644 \STATE$d_i\leftarrow{0}$\;
645 }
646 \ENDFOR
647 \STATE$a\leftarrow{PRNG_1()}$\;
648 \STATE$k\leftarrow{g(a)}$\;
649 \WHILE{$i=0,\dots,k$}
650
651 \STATE$b\leftarrow{PRNG_2()~mod~\mathsf{N}}$\;
652 \STATE$S\leftarrow{b}$\;
653     \IF{$d_S=0$}
654     {
655 \STATE      $x_S\leftarrow{ \overline{x_S}}$\;
656 \STATE      $d_S\leftarrow{1}$\;
657
658     }
659     \ELSIF{$d_S=1$}
660     {
661 \STATE      $k\leftarrow{ k+1}$\;
662     }\ENDIF
663 \ENDWHILE\\
664 \STATE $r\leftarrow{x}$\;
665 \STATE return $r$\;
666 \medskip
667 \caption{An arbitrary round of the new CI generator}
668 \label{Chaotic iteration1}
669 \end{algorithmic}
670 \end{algorithm}
671 \end{color}
672
673 \subsection{Improving the Speed of the Former Generator}
674
675 Instead of updating only one cell at each iteration,\begin{color}{red} we now propose to choose a
676 subset of components and to update them together, for speed improvements. Such a proposition leads\end{color}
677 to a kind of merger of the two sequences used in Algorithms 
678 \ref{CI Algorithm} and \ref{Chaotic iteration1}. When the updating function is the vectorial negation,
679 this algorithm can be rewritten as follows:
680
681 \begin{equation}
682 \left\{
683 \begin{array}{l}
684 x^0 \in \llbracket 0, 2^\mathsf{N}-1 \rrbracket, S \in \llbracket 0, 2^\mathsf{N}-1 \rrbracket^\mathds{N} \\
685 \forall n \in \mathds{N}^*, x^n = x^{n-1} \oplus S^n,
686 \end{array}
687 \right.
688 \label{equation Oplus}
689 \end{equation}
690 where $\oplus$ is for the bitwise exclusive or between two integers. 
691 This rewriting can be understood as follows. The $n-$th term $S^n$ of the
692 sequence $S$, which is an integer of $\mathsf{N}$ binary digits, presents
693 the list of cells to update in the state $x^n$ of the system (represented
694 as an integer having $\mathsf{N}$ bits too). More precisely, the $k-$th 
695 component of this state (a binary digit) changes if and only if the $k-$th 
696 digit in the binary decomposition of $S^n$ is 1.
697
698 The single basic component presented in Eq.~\ref{equation Oplus} is of 
699 ordinary use as a good elementary brick in various PRNGs. It corresponds
700 to the following discrete dynamical system in chaotic iterations:
701
702 \begin{equation}
703 \forall    n\in     \mathds{N}^{\ast     },    \forall     i\in
704 \llbracket1;\mathsf{N}\rrbracket ,x_i^n=\left\{
705 \begin{array}{ll}
706   x_i^{n-1} &  \text{ if  } i \notin \mathcal{S}^n \\
707   \left(f(x^{n-1})\right)_{S^n} & \text{ if }i \in \mathcal{S}^n.
708 \end{array}\right.
709 \label{eq:generalIC}
710 \end{equation}
711 where $f$ is the vectorial negation and $\forall n \in \mathds{N}$, 
712 $\mathcal{S}^n \subset \llbracket 1, \mathsf{N} \rrbracket$ is such that
713 $k \in \mathcal{S}^n$ if and only if the $k-$th digit in the binary
714 decomposition of $S^n$ is 1. Such chaotic iterations are more general
715 than the ones presented in Definition \ref{Def:chaotic iterations} because, instead of updating only one term at each iteration,
716 we select a subset of components to change.
717
718
719 Obviously, replacing the previous CI PRNG Algorithms by 
720 Equation~\ref{equation Oplus}, which is possible when the iteration function is
721 the vectorial negation, leads to a speed improvement 
722 (the resulting generator will be referred as ``Xor CI PRNG''
723 in what follows).
724 However, proofs
725 of chaos obtained in~\cite{bg10:ij} have been established
726 only for chaotic iterations of the form presented in Definition 
727 \ref{Def:chaotic iterations}. The question is now to determine whether the
728 use of more general chaotic iterations to generate pseudorandom numbers 
729 faster, does not deflate their topological chaos properties.
730
731 \subsection{Proofs of Chaos of the General Formulation of the Chaotic Iterations}
732 \label{deuxième def}
733 Let us consider the discrete dynamical systems in chaotic iterations having 
734 the general form: $\forall    n\in     \mathds{N}^{\ast     }$, $  \forall     i\in
735 \llbracket1;\mathsf{N}\rrbracket $,
736
737 \begin{equation}
738   x_i^n=\left\{
739 \begin{array}{ll}
740   x_i^{n-1} &  \text{ if  } i \notin \mathcal{S}^n \\
741   \left(f(x^{n-1})\right)_{S^n} & \text{ if }i \in \mathcal{S}^n.
742 \end{array}\right.
743 \label{general CIs}
744 \end{equation}
745
746 In other words, at the $n^{th}$ iteration, only the cells whose id is
747 contained into the set $S^{n}$ are iterated.
748
749 Let us now rewrite these general chaotic iterations as usual discrete dynamical
750 system of the form $X^{n+1}=f(X^n)$ on an ad hoc metric space. Such a formulation
751 is required in order to study the topological behavior of the system.
752
753 Let us introduce the following function:
754 \begin{equation}
755 \begin{array}{cccc}
756  \chi: & \llbracket 1; \mathsf{N} \rrbracket \times \mathcal{P}\left(\llbracket 1; \mathsf{N} \rrbracket\right) & \longrightarrow & \mathds{B}\\
757          & (i,X) & \longmapsto  & \left\{ \begin{array}{ll} 0 & \textrm{if }i \notin X, \\ 1 & \textrm{if }i \in X,  \end{array}\right.
758 \end{array} 
759 \end{equation}
760 where $\mathcal{P}\left(X\right)$ is for the powerset of the set $X$, that is, $Y \in \mathcal{P}\left(X\right) \Longleftrightarrow Y \subset X$.
761
762 Given a function $f:\mathds{B}^\mathsf{N} \longrightarrow \mathds{B}^\mathsf{N} $, define the function:
763 $F_{f}:  \mathcal{P}\left(\llbracket1;\mathsf{N}\rrbracket \right) \times \mathds{B}^{\mathsf{N}} 
764 \longrightarrow \mathds{B}^{\mathsf{N}}$
765 \begin{equation*}
766 \begin{array}{rll}
767  (P,E) & \longmapsto & \left( E_{j}.\chi (j,P)+f(E)_{j}.\overline{\chi(j,P)}\right) _{j\in \llbracket1;\mathsf{N}\rrbracket}%
768 \end{array}%
769 \end{equation*}%
770 where + and . are the Boolean addition and product operations, and $\overline{x}$ 
771 is the negation of the Boolean $x$.
772 Consider the phase space:
773 \begin{equation}
774 \mathcal{X} = \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N} \times
775 \mathds{B}^\mathsf{N},
776 \end{equation}
777 \noindent and the map defined on $\mathcal{X}$:
778 \begin{equation}
779 G_f\left(S,E\right) = \left(\sigma(S), F_f(i(S),E)\right), %\label{Gf} %%RAPH, j'ai viré ce label qui existe déjà avant...
780 \end{equation}
781 \noindent where $\sigma$ is the \emph{shift} function defined by $\sigma
782 (S^{n})_{n\in \mathds{N}}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}\longrightarrow (S^{n+1})_{n\in
783 \mathds{N}}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}$ and $i$ is the \emph{initial function} 
784 $i:(S^{n})_{n\in \mathds{N}} \in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}\longrightarrow S^{0}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)$. 
785 Then the general chaotic iterations defined in Equation \ref{general CIs} can 
786 be described by the following discrete dynamical system:
787 \begin{equation}
788 \left\{
789 \begin{array}{l}
790 X^0 \in \mathcal{X} \\
791 X^{k+1}=G_{f}(X^k).%
792 \end{array}%
793 \right.
794 \end{equation}%
795
796 Once more, a shift function appears as a component of these general chaotic 
797 iterations. 
798
799 To study the Devaney's chaos property, a distance between two points 
800 $X = (S,E), Y = (\check{S},\check{E})$ of $\mathcal{X}$ must be defined.
801 Let us introduce:
802 \begin{equation}
803 d(X,Y)=d_{e}(E,\check{E})+d_{s}(S,\check{S}),
804 \label{nouveau d}
805 \end{equation}
806 \noindent where $ \displaystyle{d_{e}(E,\check{E})} = \displaystyle{\sum_{k=1}^{\mathsf{N}%
807  }\delta (E_{k},\check{E}_{k})}$  is once more the Hamming distance, and
808 $  \displaystyle{d_{s}(S,\check{S})}  =  \displaystyle{\dfrac{9}{\mathsf{N}}%
809  \sum_{k=1}^{\infty }\dfrac{|S^k\Delta {S}^k|}{10^{k}}}$,
810 %%RAPH : ici, j'ai supprimé tous les sauts à la ligne
811 %% \begin{equation}
812 %% \left\{
813 %% \begin{array}{lll}
814 %% \displaystyle{d_{e}(E,\check{E})} & = & \displaystyle{\sum_{k=1}^{\mathsf{N}%
815 %% }\delta (E_{k},\check{E}_{k})} \textrm{ is once more the Hamming distance}, \\
816 %% \displaystyle{d_{s}(S,\check{S})} & = & \displaystyle{\dfrac{9}{\mathsf{N}}%
817 %% \sum_{k=1}^{\infty }\dfrac{|S^k\Delta {S}^k|}{10^{k}}}.%
818 %% \end{array}%
819 %% \right.
820 %% \end{equation}
821 where $|X|$ is the cardinality of a set $X$ and $A\Delta B$ is for the symmetric difference, defined for sets A, B as
822 $A\,\Delta\,B = (A \setminus B) \cup (B \setminus A)$.
823
824
825 \begin{proposition}
826 The function $d$ defined in Eq.~\ref{nouveau d} is a metric on $\mathcal{X}$.
827 \end{proposition}
828
829 \begin{proof}
830  $d_e$ is the Hamming distance. We will prove that $d_s$ is a distance
831 too, thus $d$, as being the sum of two distances, will also be a distance.
832  \begin{itemize}
833 \item Obviously, $d_s(S,\check{S})\geqslant 0$, and if $S=\check{S}$, then 
834 $d_s(S,\check{S})=0$. Conversely, if $d_s(S,\check{S})=0$, then 
835 $\forall k \in \mathds{N}, |S^k\Delta {S}^k|=0$, and so $\forall k, S^k=\check{S}^k$.
836  \item $d_s$ is symmetric 
837 ($d_s(S,\check{S})=d_s(\check{S},S)$) due to the commutative property
838 of the symmetric difference. 
839 \item Finally, $|S \Delta S''| = |(S \Delta \varnothing) \Delta S''|= |S \Delta (S'\Delta S') \Delta S''|= |(S \Delta S') \Delta (S' \Delta S'')|\leqslant |S \Delta S'| + |S' \Delta S''|$, 
840 and so for all subsets $S,S',$ and $S''$ of $\llbracket 1, \mathsf{N} \rrbracket$, 
841 we have $d_s(S,S'') \leqslant d_e(S,S')+d_s(S',S'')$, and the triangle
842 inequality is obtained.
843  \end{itemize}
844 \end{proof}
845
846
847 Before being able to study the topological behavior of the general 
848 chaotic iterations, we must first establish that:
849
850 \begin{proposition}
851  For all $f:\mathds{B}^\mathsf{N} \longrightarrow \mathds{B}^\mathsf{N} $, the function $G_f$ is continuous on 
852 $\left( \mathcal{X},d\right)$.
853 \end{proposition}
854
855
856 \begin{proof}
857 We use the sequential continuity.
858 Let $(S^n,E^n)_{n\in \mathds{N}}$ be a sequence of the phase space $%
859 \mathcal{X}$, which converges to $(S,E)$. We will prove that $\left(
860 G_{f}(S^n,E^n)\right) _{n\in \mathds{N}}$ converges to $\left(
861 G_{f}(S,E)\right) $. Let us remark that for all $n$, $S^n$ is a strategy,
862 thus, we consider a sequence of strategies (\emph{i.e.}, a sequence of
863 sequences).\newline
864 As $d((S^n,E^n);(S,E))$ converges to 0, each distance $d_{e}(E^n,E)$ and $d_{s}(S^n,S)$ converges
865 to 0. But $d_{e}(E^n,E)$ is an integer, so $\exists n_{0}\in \mathds{N},$ $%
866 d_{e}(E^n,E)=0$ for any $n\geqslant n_{0}$.\newline
867 In other words, there exists a threshold $n_{0}\in \mathds{N}$ after which no
868 cell will change its state:
869 $\exists n_{0}\in \mathds{N},n\geqslant n_{0}\Rightarrow E^n = E.$
870
871 In addition, $d_{s}(S^n,S)\longrightarrow 0,$ so $\exists n_{1}\in %
872 \mathds{N},d_{s}(S^n,S)<10^{-1}$ for all indexes greater than or equal to $%
873 n_{1}$. This means that for $n\geqslant n_{1}$, all the $S^n$ have the same
874 first term, which is $S^0$: $\forall n\geqslant n_{1},S_0^n=S_0.$
875
876 Thus, after the $max(n_{0},n_{1})^{th}$ term, states of $E^n$ and $E$ are
877 identical and strategies $S^n$ and $S$ start with the same first term.\newline
878 Consequently, states of $G_{f}(S^n,E^n)$ and $G_{f}(S,E)$ are equal,
879 so, after the $max(n_0, n_1)^{th}$ term, the distance $d$ between these two points is strictly less than 1.\newline
880 \noindent We now prove that the distance between $\left(
881 G_{f}(S^n,E^n)\right) $ and $\left( G_{f}(S,E)\right) $ is convergent to
882 0. Let $\varepsilon >0$. \medskip
883 \begin{itemize}
884 \item If $\varepsilon \geqslant 1$, we see that the distance
885 between $\left( G_{f}(S^n,E^n)\right) $ and $\left( G_{f}(S,E)\right) $ is
886 strictly less than 1 after the $max(n_{0},n_{1})^{th}$ term (same state).
887 \medskip
888 \item If $\varepsilon <1$, then $\exists k\in \mathds{N},10^{-k}\geqslant
889 \varepsilon > 10^{-(k+1)}$. But $d_{s}(S^n,S)$ converges to 0, so
890 \begin{equation*}
891 \exists n_{2}\in \mathds{N},\forall n\geqslant
892 n_{2},d_{s}(S^n,S)<10^{-(k+2)},
893 \end{equation*}%
894 thus after $n_{2}$, the $k+2$ first terms of $S^n$ and $S$ are equal.
895 \end{itemize}
896 \noindent As a consequence, the $k+1$ first entries of the strategies of $%
897 G_{f}(S^n,E^n)$ and $G_{f}(S,E)$ are the same ($G_{f}$ is a shift of strategies) and due to the definition of $d_{s}$, the floating part of
898 the distance between $(S^n,E^n)$ and $(S,E)$ is strictly less than $%
899 10^{-(k+1)}\leqslant \varepsilon $.
900
901 In conclusion,
902 %%RAPH : ici j'ai rajouté une ligne
903 %%TOF : ici j'ai rajouté un commentaire
904 %%TOF : ici aussi
905 $
906 \forall \varepsilon >0,$ $\exists N_{0}=max(n_{0},n_{1},n_{2})\in \mathds{N}
907 ,$ $\forall n\geqslant N_{0},$
908 $ d\left( G_{f}(S^n,E^n);G_{f}(S,E)\right)
909 \leqslant \varepsilon .
910 $
911 $G_{f}$ is consequently continuous.
912 \end{proof}
913
914
915 It is now possible to study the topological behavior of the general chaotic
916 iterations. We will prove that,
917
918 \begin{theorem}
919 \label{t:chaos des general}
920  The general chaotic iterations defined on Equation~\ref{general CIs} satisfy
921 the Devaney's property of chaos.
922 \end{theorem}
923
924 Let us firstly prove the following lemma.
925
926 \begin{lemma}[Strong transitivity]
927 \label{strongTrans}
928  For all couples $X,Y \in \mathcal{X}$ and any neighborhood $V$ of $X$, we can 
929 find $n \in \mathds{N}^*$ and $X' \in V$ such that $G^n(X')=Y$.
930 \end{lemma}
931
932 \begin{proof}
933  Let $X=(S,E)$, $\varepsilon>0$, and $k_0 = \lfloor log_{10}(\varepsilon)+1 \rfloor$. 
934 Any point $X'=(S',E')$ such that $E'=E$ and $\forall k \leqslant k_0, S'^k=S^k$, 
935 are in the open ball $\mathcal{B}\left(X,\varepsilon\right)$. Let us define 
936 $\check{X} = \left(\check{S},\check{E}\right)$, where $\check{X}= G^{k_0}(X)$.
937 We denote by $s\subset \llbracket 1; \mathsf{N} \rrbracket$ the set of coordinates
938 that are different between $\check{E}$ and the state of $Y$. Thus each point $X'$ of
939 the form $(S',E')$ where $E'=E$ and $S'$ starts with 
940 $(S^0, S^1, \hdots, S^{k_0},s,\hdots)$, verifies the following properties:
941 \begin{itemize}
942  \item $X'$ is in $\mathcal{B}\left(X,\varepsilon\right)$,
943  \item the state of $G_f^{k_0+1}(X')$ is the state of $Y$.
944 \end{itemize}
945 Finally the point $\left(\left(S^0, S^1, \hdots, S^{k_0},s,s^0, s^1, \hdots\right); E\right)$, 
946 where $(s^0,s^1, \hdots)$ is the strategy of $Y$, satisfies the properties
947 claimed in the lemma.
948 \end{proof}
949
950 We can now prove the Theorem~\ref{t:chaos des general}.
951
952 \begin{proof}[Theorem~\ref{t:chaos des general}]
953 Firstly, strong transitivity implies transitivity.
954
955 Let $(S,E) \in\mathcal{X}$ and $\varepsilon >0$. To
956 prove that $G_f$ is regular, it is sufficient to prove that
957 there exists a strategy $\tilde S$ such that the distance between
958 $(\tilde S,E)$ and $(S,E)$ is less than $\varepsilon$, and such that
959 $(\tilde S,E)$ is a periodic point.
960
961 Let $t_1=\lfloor-\log_{10}(\varepsilon)\rfloor$, and let $E'$ be the
962 configuration that we obtain from $(S,E)$ after $t_1$ iterations of
963 $G_f$. As $G_f$ is strongly transitive, there exists a strategy $S'$ 
964 and $t_2\in\mathds{N}$ such
965 that $E$ is reached from $(S',E')$ after $t_2$ iterations of $G_f$.
966
967 Consider the strategy $\tilde S$ that alternates the first $t_1$ terms
968 of $S$ and the first $t_2$ terms of $S'$: 
969 %%RAPH : j'ai coupé la ligne en 2
970 $$\tilde
971 S=(S_0,\dots,S_{t_1-1},S'_0,\dots,S'_{t_2-1},S_0,$$$$\dots,S_{t_1-1},S'_0,\dots,S'_{t_2-1},S_0,\dots).$$ It
972 is clear that $(\tilde S,E)$ is obtained from $(\tilde S,E)$ after
973 $t_1+t_2$ iterations of $G_f$. So $(\tilde S,E)$ is a periodic
974 point. Since $\tilde S_t=S_t$ for $t<t_1$, by the choice of $t_1$, we
975 have $d((S,E),(\tilde S,E))<\epsilon$.
976 \end{proof}
977
978
979 \begin{color}{red}
980 \section{Statistical Improvements Using Chaotic Iterations}
981
982 \label{The generation of pseudorandom sequence}
983
984
985 Let us now explain why we are reasonable grounds to believe that chaos 
986 can improve statistical properties.
987 We will show in this section that chaotic properties as defined in the
988 mathematical theory of chaos are related to some statistical tests that can be found
989 in the NIST battery. Furthermore, we will check that, when mixing defective PRNGs with
990 chaotic iterations, the new generator presents better statistical properties
991 (this section summarizes and extends the work of~\cite{bfg12a:ip}).
992
993
994
995 \subsection{Qualitative relations between topological properties and statistical tests}
996
997
998 There are various relations between topological properties that describe an unpredictable behavior for a discrete 
999 dynamical system on the one
1000 hand, and statistical tests to check the randomness of a numerical sequence
1001 on the other hand. These two mathematical disciplines follow a similar 
1002 objective in case of a recurrent sequence (to characterize an intrinsically complicated behavior for a
1003 recurrent sequence), with two different but complementary approaches.
1004 It is true that the following illustrative links give only qualitative arguments, 
1005 and proofs should be provided later to make such arguments irrefutable. However 
1006 they give a first understanding of the reason why we think that chaotic properties should tend
1007 to improve the statistical quality of PRNGs.
1008 %
1009 Let us now list some of these relations between topological properties defined in the mathematical
1010 theory of chaos and tests embedded into the NIST battery. %Such relations need to be further 
1011 %investigated, but they presently give a first illustration of a trend to search similar properties in the 
1012 %two following fields: mathematical chaos and statistics.
1013
1014
1015 \begin{itemize}
1016     \item \textbf{Regularity}. As stated in Section~\ref{subsec:Devaney}, a chaotic dynamical system must 
1017 have an element of regularity. Depending on the chosen definition of chaos, this element can be the existence of
1018 a dense orbit, the density of periodic points, etc. The key idea is that a dynamical system with no periodicity
1019 is not as chaotic as a system having periodic orbits: in the first situation, we can predict something and gain a
1020 knowledge about the behavior of the system, that is, it never enters into a loop. A similar importance for periodicity is emphasized in
1021 the two following NIST tests~\cite{Nist10}:
1022     \begin{itemize}
1023         \item \textbf{Non-overlapping Template Matching Test}. Detect generators that produce too many occurrences of a given non-periodic (aperiodic) pattern.
1024         \item \textbf{Discrete Fourier Transform (Spectral) Test}. Detect periodic features (i.e., repetitive patterns that are near each other) in the tested sequence that would indicate a deviation from the assumption of randomness.
1025     \end{itemize}
1026
1027 \item \textbf{Transitivity}. This topological property introduced previously states that the dynamical system is intrinsically complicated: it cannot be simplified into 
1028 two subsystems that do not interact, as we can find in any neighborhood of any point another point whose orbit visits the whole phase space. 
1029 This focus on the places visited by orbits of the dynamical system takes various nonequivalent formulations in the mathematical theory
1030 of chaos, namely: transitivity, strong transitivity, total transitivity, topological mixing, and so on~\cite{bg10:ij}. A similar attention 
1031 is brought on states visited during a random walk in the two tests below~\cite{Nist10}:
1032     \begin{itemize}
1033         \item \textbf{Random Excursions Variant Test}. Detect deviations from the expected number of visits to various states in the random walk.
1034         \item \textbf{Random Excursions Test}. Determine if the number of visits to a particular state within a cycle deviates from what one would expect for a random sequence.
1035     \end{itemize}
1036
1037 \item \textbf{Chaos according to Li and Yorke}. Two points of the phase space $(x,y)$ define a couple of Li-Yorke when $\limsup_{n \rightarrow +\infty} d(f^{(n)}(x), f^{(n)}(y))>0$ et $\liminf_{n \rightarrow +\infty} d(f^{(n)}(x), f^{(n)}(y))=0$, meaning that their orbits always oscillates as the iterations pass. When a system is compact and contains an uncountable set of such points, it is claimed as chaotic according
1038 to Li-Yorke~\cite{Li75,Ruette2001}. A similar property is regarded in the following NIST test~\cite{Nist10}.
1039     \begin{itemize}
1040         \item \textbf{Runs Test}. To determine whether the number of runs of ones and zeros of various lengths is as expected for a random sequence. In particular, this test determines whether the oscillation between such zeros and ones is too fast or too slow.
1041     \end{itemize}
1042     \item \textbf{Topological entropy}. The desire to formulate an equivalency of the thermodynamics entropy
1043 has emerged both in the topological and statistical fields. Another time, a similar objective has led to two different
1044 rewritten of an entropy based disorder: the famous Shannon definition of entropy is approximated in the statistical approach, 
1045 whereas topological entropy is defined as follows.
1046 $x,y \in \mathcal{X}$ are $\varepsilon-$\emph{separated in time $n$} if there exists $k \leqslant n$ such that $d\left(f^{(k)}(x),f^{(k)}(y)\right)>\varepsilon$. Then $(n,\varepsilon)-$separated sets are sets of points that are all $\varepsilon-$separated in time $n$, which
1047 leads to the definition of $s_n(\varepsilon,Y)$, being the maximal cardinality of all $(n,\varepsilon)-$separated sets. Using these notations, 
1048 the topological entropy is defined as follows: $$h_{top}(\mathcal{X},f)  = \displaystyle{\lim_{\varepsilon \rightarrow 0} \Big[ \limsup_{n \rightarrow +\infty} \dfrac{1}{n} \log s_n(\varepsilon,\mathcal{X})\Big]}.$$
1049 This value measures the average exponential growth of the number of distinguishable orbit segments. 
1050 In this sense, it measures complexity of the topological dynamical system, whereas 
1051 the Shannon approach is in mind when defining the following test~\cite{Nist10}:
1052     \begin{itemize}
1053 \item \textbf{Approximate Entropy Test}. Compare the frequency of overlapping blocks of two consecutive/adjacent lengths ($m$ and $m+1$) against the expected result for a random sequence.
1054     \end{itemize}
1055
1056     \item \textbf{Non-linearity, complexity}. Finally, let us remark that non-linearity and complexity are 
1057 not only sought in general to obtain chaos, but they are also required for randomness, as illustrated by the two tests below~\cite{Nist10}.
1058     \begin{itemize}
1059 \item \textbf{Binary Matrix Rank Test}. Check for linear dependence among fixed length substrings of the original sequence.
1060 \item \textbf{Linear Complexity Test}. Determine whether or not the sequence is complex enough to be considered random.
1061       \end{itemize}
1062 \end{itemize}
1063
1064
1065 We have proven in our previous works~\cite{guyeux12:bc} that chaotic iterations satisfying Theorem~\ref{Th:Caractérisation   des   IC   chaotiques} are, among other
1066 things, strongly transitive, topologically mixing, chaotic as defined by Li and Yorke,
1067 and that they have a topological entropy and an exponent of Lyapunov both equal to $ln(\mathsf{N})$,
1068 where $\mathsf{N}$ is the size of the iterated vector.
1069 These topological properties make that we are ground to believe that a generator based on chaotic
1070 iterations will probably be able to pass all the existing statistical batteries for pseudorandomness like
1071 the NIST one. The following subsections, in which we prove that defective generators have their
1072 statistical properties improved by chaotic iterations, show that such an assumption is true.
1073
1074 \subsection{Details of some Existing Generators}
1075
1076 The list of defective PRNGs we will use 
1077 as inputs for the statistical tests to come is introduced here.
1078
1079 Firstly, the simple linear congruency generators (LCGs) will be used. 
1080 They are defined by the following recurrence:
1081 \begin{equation}
1082 x^n = (ax^{n-1} + c)~mod~m,
1083 \label{LCG}
1084 \end{equation}
1085 where $a$, $c$, and $x^0$ must be, among other things, non-negative and less than 
1086 $m$~\cite{LEcuyerS07}. In what follows, 2LCGs and 3LCGs refer as two (resp. three) 
1087 combinations of such LCGs. For further details, see~\cite{bfg12a:ip,combined_lcg}.
1088
1089 Secondly, the multiple recursive generators (MRGs) will be used, which
1090 are based on a linear recurrence of order 
1091 $k$, modulo $m$~\cite{LEcuyerS07}:
1092 \begin{equation}
1093 x^n = (a^1x^{n-1}+~...~+a^kx^{n-k})~mod~m .
1094 \label{MRG}
1095 \end{equation}
1096 Combination of two MRGs (referred as 2MRGs) is also used in these experiments.
1097
1098 Generators based on linear recurrences with carry will be regarded too.
1099 This family of generators includes the add-with-carry (AWC) generator, based on the recurrence:
1100 \begin{equation}
1101 \label{AWC}
1102 \begin{array}{l}
1103 x^n = (x^{n-r} + x^{n-s} + c^{n-1})~mod~m, \\
1104 c^n= (x^{n-r} + x^{n-s} + c^{n-1}) / m, \end{array}\end{equation}
1105 the SWB generator, having the recurrence:
1106 \begin{equation}
1107 \label{SWB}
1108 \begin{array}{l}
1109 x^n = (x^{n-r} - x^{n-s} - c^{n-1})~mod~m, \\
1110 c^n=\left\{
1111 \begin{array}{l}
1112 1 ~~~~~\text{if}~ (x^{i-r} - x^{i-s} - c^{i-1})<0\\
1113 0 ~~~~~\text{else},\end{array} \right. \end{array}\end{equation}
1114 and the SWC generator designed by R. Couture, which is based on the following recurrence:
1115 \begin{equation}
1116 \label{SWC}
1117 \begin{array}{l}
1118 x^n = (a^1x^{n-1} \oplus ~...~ \oplus a^rx^{n-r} \oplus c^{n-1}) ~ mod ~ 2^w, \\
1119 c^n = (a^1x^{n-1} \oplus ~...~ \oplus a^rx^{n-r} \oplus c^{n-1}) ~ / ~ 2^w. \end{array}\end{equation}
1120
1121 Then the generalized feedback shift register (GFSR) generator has been implemented, that is:
1122 \begin{equation}
1123 x^n = x^{n-r} \oplus x^{n-k} .
1124 \label{GFSR}
1125 \end{equation}
1126
1127
1128 Finally, the nonlinear inversive (INV) generator~\cite{LEcuyerS07} has been studied, which is:
1129
1130 \begin{equation}
1131 \label{INV}
1132 \begin{array}{l}
1133 x^n=\left\{
1134 \begin{array}{ll}
1135 (a^1 + a^2 / z^{n-1})~mod~m & \text{if}~ z^{n-1} \neq 0 \\
1136 a^1 & \text{if}~  z^{n-1} = 0 .\end{array} \right. \end{array}\end{equation}
1137
1138
1139
1140 \begin{table}
1141 \renewcommand{\arraystretch}{1.3}
1142 \caption{TestU01 Statistical Test}
1143 \label{TestU011}
1144 \centering
1145   \begin{tabular}{lccccc}
1146     \toprule
1147 Test name &Tests& Logistic              & XORshift      & ISAAC\\
1148 Rabbit                          &       38      &21             &14     &0       \\
1149 Alphabit                        &       17      &16             &9      &0       \\
1150 Pseudo DieHARD                  &126    &0              &2      &0      \\
1151 FIPS\_140\_2                    &16     &0              &0      &0      \\
1152 SmallCrush                      &15     &4              &5      &0       \\
1153 Crush                           &144    &95             &57     &0       \\
1154 Big Crush                       &160    &125            &55     &0       \\ \hline
1155 Failures                &       &261            &146    &0       \\
1156 \bottomrule
1157   \end{tabular}
1158 \end{table}
1159
1160
1161
1162 \begin{table}
1163 \renewcommand{\arraystretch}{1.3}
1164 \caption{TestU01 Statistical Test for Old CI algorithms ($\mathsf{N}=4$)}
1165 \label{TestU01 for Old CI}
1166 \centering
1167   \begin{tabular}{lcccc}
1168     \toprule
1169 \multirow{3}*{Test name} & \multicolumn{4}{c}{Old CI}\\
1170 &Logistic& XORshift& ISAAC&ISAAC  \\ 
1171 &+& +& + & + \\ 
1172 &Logistic& XORshift& XORshift&ISAAC  \\ \cmidrule(r){2-5}
1173 Rabbit                                  &7      &2      &0      &0       \\
1174 Alphabit                                & 3     &0      &0      &0       \\
1175 DieHARD                         &0      &0      &0      &0      \\
1176 FIPS\_140\_2                    &0      &0      &0      &0      \\
1177 SmallCrush                              &2      &0      &0      &0       \\
1178 Crush                                   &47     &4      &0      &0       \\
1179 Big Crush                               &79     &3      &0      &0       \\ \hline
1180 Failures                                &138    &9      &0      &0       \\
1181 \bottomrule
1182   \end{tabular}
1183 \end{table}
1184
1185
1186
1187
1188
1189 \subsection{Statistical tests}
1190 \label{Security analysis}
1191
1192 Three batteries of tests are reputed and usually used
1193 to evaluate the statistical properties of newly designed pseudorandom
1194 number generators. These batteries are named DieHard~\cite{Marsaglia1996},
1195 the NIST suite~\cite{ANDREW2008}, and the most stringent one called
1196 TestU01~\cite{LEcuyerS07}, which encompasses the two other batteries.
1197
1198
1199
1200 \label{Results and discussion}
1201 \begin{table*}
1202 \renewcommand{\arraystretch}{1.3}
1203 \caption{NIST and DieHARD tests suite passing rates for PRNGs without CI}
1204 \label{NIST and DieHARD tests suite passing rate the for PRNGs without CI}
1205 \centering
1206   \begin{tabular}{|l||c|c|c|c|c|c|c|c|c|c|}
1207     \hline\hline
1208 Types of PRNGs & \multicolumn{2}{c|}{Linear PRNGs} & \multicolumn{4}{c|}{Lagged PRNGs} & \multicolumn{1}{c|}{ICG PRNGs} & \multicolumn{3}{c|}{Mixed PRNGs}\\ \hline
1209 \backslashbox{\textbf{$Tests$}} {\textbf{$PRNG$}} & LCG& MRG& AWC & SWB  & SWC & GFSR & INV & LCG2& LCG3& MRG2 \\ \hline
1210 NIST & 11/15 & 14/15 &\textbf{15/15} & \textbf{15/15}   & 14/15 & 14/15  & 14/15 & 14/15& 14/15& 14/15 \\ \hline
1211 DieHARD & 16/18 & 16/18 & 15/18 & 16/18 & \textbf{18/18} & 16/18 & 16/18 & 16/18& 16/18& 16/18\\ \hline
1212 \end{tabular}
1213 \end{table*}
1214
1215 Table~\ref{NIST and DieHARD tests suite passing rate the for PRNGs without CI} shows the 
1216 results on the two firsts batteries recalled above, indicating that all the PRNGs presented
1217 in the previous section
1218 cannot pass all these tests. In other words, the statistical quality of these PRNGs cannot 
1219 fulfill the up-to-date standards presented previously. We have shown in~\cite{bfg12a:ip} that the use of chaotic
1220 iterations can solve this issue.
1221 %More precisely, to
1222 %illustrate the effects of chaotic iterations on these defective PRNGs, experiments have been divided in three parts~\cite{bfg12a:ip}:
1223 %\begin{enumerate}
1224 %  \item \textbf{Single CIPRNG}: The PRNGs involved in CI computing are of the same category.
1225 %  \item \textbf{Mixed CIPRNG}: Two different types of PRNGs are mixed during the chaotic iterations process.
1226 %  \item \textbf{Multiple CIPRNG}: The generator is obtained by repeating the composition of the iteration function as follows: $x^0\in \mathds{B}^{\mathsf{N}}$, and $\forall n\in \mathds{N}^{\ast },\forall i\in \llbracket1;\mathsf{N}\rrbracket, x_i^n=$
1227 %\begin{equation}
1228 %\begin{array}{l}
1229 %\left\{
1230 %\begin{array}{l}
1231 %x_i^{n-1}~~~~~\text{if}~S^n\neq i \\
1232 %\forall j\in \llbracket1;\mathsf{m}\rrbracket,f^m(x^{n-1})_{S^{nm+j}}~\text{if}~S^{nm+j}=i.\end{array} \right. \end{array}
1233 %\end{equation}
1234 %$m$ is called the \emph{functional power}.
1235 %\end{enumerate}
1236 %
1237 The obtained results are reproduced in Table
1238 \ref{NIST and DieHARD tests suite passing rate the for single CIPRNGs}.
1239 The scores written in boldface indicate that all the tests have been passed successfully, whereas an 
1240 asterisk ``*'' means that the considered passing rate has been improved.
1241 The improvements are obvious for both the ``Old CI'' and ``New CI'' generators.
1242 Concerning the ``Xor CI PRNG'', the score is less spectacular: a large speed improvement makes that statistics
1243  are not as good as for the two other versions of these CIPRNGs.
1244 However 8 tests have been improved (with no deflation for the other results).
1245
1246
1247 \begin{table*}
1248 \renewcommand{\arraystretch}{1.3}
1249 \caption{NIST and DieHARD tests suite passing rates for PRNGs with CI}
1250 \label{NIST and DieHARD tests suite passing rate the for single CIPRNGs}
1251 \centering
1252   \begin{tabular}{|l||c|c|c|c|c|c|c|c|c|c|c|c|}
1253     \hline
1254 Types of PRNGs & \multicolumn{2}{c|}{Linear PRNGs} & \multicolumn{4}{c|}{Lagged PRNGs} & \multicolumn{1}{c|}{ICG PRNGs} & \multicolumn{3}{c|}{Mixed PRNGs}\\ \hline
1255 \backslashbox{\textbf{$Tests$}} {\textbf{$Single~CIPRNG$}} & LCG  & MRG & AWC & SWB & SWC & GFSR & INV& LCG2 & LCG3& MRG2 \\ \hline\hline
1256 Old CIPRNG\\ \hline \hline
1257 NIST & \textbf{15/15} *  & \textbf{15/15} * & \textbf{15/15}   & \textbf{15/15}   & \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} *& \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} \\ \hline
1258 DieHARD & \textbf{18/18} *  & \textbf{18/18} * & \textbf{18/18} *  & \textbf{18/18} *  & \textbf{18/18}  & \textbf{18/18} * & \textbf{18/18} *& \textbf{18/18} * & \textbf{18/18} *& \textbf{18/18} * \\ \hline
1259 New CIPRNG\\ \hline \hline
1260 NIST & \textbf{15/15} *  & \textbf{15/15} * & \textbf{15/15}   & \textbf{15/15}  & \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} *& \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} \\ \hline
1261 DieHARD & \textbf{18/18} *  & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18}  & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18} *& \textbf{18/18} *\\ \hline
1262 Xor CIPRNG\\ \hline\hline
1263 NIST & 14/15*& \textbf{15/15} *   & \textbf{15/15}   & \textbf{15/15}   & 14/15 & \textbf{15/15} * & 14/15& \textbf{15/15} * & \textbf{15/15} *& \textbf{15/15}  \\ \hline
1264 DieHARD & 16/18 & 16/18 & 17/18* & \textbf{18/18} * & \textbf{18/18}  & \textbf{18/18} * & 16/18 & 16/18 & 16/18& 16/18\\ \hline
1265 \end{tabular}
1266 \end{table*}
1267
1268
1269 We have then investigate in~\cite{bfg12a:ip} if it is possible to improve
1270 the statistical behavior of the Xor CI version by combining more than one 
1271 $\oplus$ operation. Results are summarized in Table~\ref{threshold}, illustrating
1272 the progressive increasing effects of chaotic iterations, when giving time to chaos to get settled in.
1273 Thus rapid and perfect PRNGs, regarding the NIST and DieHARD batteries, can be obtained 
1274 using chaotic iterations on defective generators.
1275
1276 \begin{table*}
1277 \renewcommand{\arraystretch}{1.3}
1278 \caption{Number of $\oplus$ operations to pass the whole NIST and DieHARD batteries}
1279 \label{threshold}
1280 \centering
1281   \begin{tabular}{|l||c|c|c|c|c|c|c|c|}
1282     \hline
1283 Inputted $PRNG$ & LCG & MRG & SWC & GFSR & INV& LCG2 & LCG3  & MRG2 \\ \hline\hline
1284 Threshold  value $m$& 19 & 7  & 2& 1 & 11& 9& 3& 4\\ \hline\hline
1285 \end{tabular}
1286 \end{table*}
1287
1288 Finally, the TestU01 battery has been launched on three well-known generators 
1289 (a logistic map, a simple XORshift, and the cryptographically secure ISAAC, 
1290 see Table~\ref{TestU011}). These results can be compared with 
1291 Table~\ref{TestU01 for Old CI}, which gives the scores obtained by the
1292 Old CI PRNG that has received these generators.
1293 The obvious improvement speaks for itself, and together with the other
1294 results recalled in this section, it reinforces the opinion that a strong
1295 correlation between topological properties and statistical behavior exists.
1296
1297
1298 Next subsection will now give a concrete original implementation of the Xor CI PRNG, the
1299 fastest generator in the chaotic iteration based family. In the remainder,
1300 this generator will be simply referred as CIPRNG, or ``the proposed PRNG'', if this statement does not
1301 raise ambiguity.
1302 \end{color}
1303
1304 \subsection{First Efficient Implementation of a PRNG based on Chaotic Iterations}
1305 \label{sec:efficient PRNG}
1306 %
1307 %Based on the proof presented in the previous section, it is now possible to 
1308 %improve the speed of the generator formerly presented in~\cite{bgw09:ip,guyeux10}. 
1309 %The first idea is to consider
1310 %that the provided strategy is a pseudorandom Boolean vector obtained by a
1311 %given PRNG.
1312 %An iteration of the system is simply the bitwise exclusive or between
1313 %the last computed state and the current strategy.
1314 %Topological properties of disorder exhibited by chaotic 
1315 %iterations can be inherited by the inputted generator, we hope by doing so to 
1316 %obtain some statistical improvements while preserving speed.
1317 %
1318 %%RAPH : j'ai viré tout ca
1319 %% Let us give an example using 16-bits numbers, to clearly understand how the bitwise xor operations
1320 %% are
1321 %% done.  
1322 %% Suppose  that $x$ and the  strategy $S^i$ are given as
1323 %% binary vectors.
1324 %% Table~\ref{TableExemple} shows the result of $x \oplus S^i$.
1325
1326 %% \begin{table}
1327 %% \begin{scriptsize}
1328 %% $$
1329 %% \begin{array}{|cc|cccccccccccccccc|}
1330 %% \hline
1331 %% x      &=&1&0&1&1&1&0&1&0&1&0&0&1&0&0&1&0\\
1332 %% \hline
1333 %% S^i      &=&0&1&1&0&0&1&1&0&1&1&1&0&0&1&1&1\\
1334 %% \hline
1335 %% x \oplus S^i&=&1&1&0&1&1&1&0&0&0&1&1&1&0&1&0&1\\
1336 %% \hline
1337
1338 %% \hline
1339 %%  \end{array}
1340 %% $$
1341 %% \end{scriptsize}
1342 %% \caption{Example of an arbitrary round of the proposed generator}
1343 %% \label{TableExemple}
1344 %% \end{table}
1345
1346
1347
1348
1349 \lstset{language=C,caption={C code of the sequential PRNG based on chaotic iterations},label={algo:seqCIPRNG}}
1350 \begin{small}
1351 \begin{lstlisting}
1352
1353 unsigned int CIPRNG() {
1354   static unsigned int x = 123123123;
1355   unsigned long t1 = xorshift();
1356   unsigned long t2 = xor128();
1357   unsigned long t3 = xorwow();
1358   x = x^(unsigned int)t1;
1359   x = x^(unsigned int)(t2>>32);
1360   x = x^(unsigned int)(t3>>32);
1361   x = x^(unsigned int)t2;
1362   x = x^(unsigned int)(t1>>32);
1363   x = x^(unsigned int)t3;
1364   return x;
1365 }
1366 \end{lstlisting}
1367 \end{small}
1368
1369
1370
1371 In Listing~\ref{algo:seqCIPRNG} a sequential  version of the proposed PRNG based
1372 on  chaotic  iterations  is  presented.   The xor  operator  is  represented  by
1373 \textasciicircum.  This function uses  three classical 64-bits PRNGs, namely the
1374 \texttt{xorshift},         the          \texttt{xor128},         and         the
1375 \texttt{xorwow}~\cite{Marsaglia2003}.  In the following, we call them ``xor-like
1376 PRNGs''.   As each  xor-like PRNG  uses 64-bits  whereas our  proposed generator
1377 works with 32-bits, we use the command \texttt{(unsigned int)}, that selects the
1378 32 least  significant bits  of a given  integer, and the  code \texttt{(unsigned
1379   int)(t$>>$32)} in order to obtain the 32 most significant bits of \texttt{t}.
1380
1381 Thus producing a pseudorandom number needs 6 xor operations with 6 32-bits numbers
1382 that  are provided by  3 64-bits  PRNGs.  This  version successfully  passes the
1383 stringent BigCrush battery of tests~\cite{LEcuyerS07}. 
1384 \begin{color}{red}At this point, we thus
1385 have defined an efficient and statistically unbiased generator. Its speed is
1386 directly related to the use of linear operations, but for the same reason,
1387 this fast generator cannot be proven as secure.
1388 \end{color}
1389
1390
1391 \section{Efficient PRNGs based on Chaotic Iterations on GPU}
1392 \label{sec:efficient PRNG gpu}
1393
1394 In order to  take benefits from the computing power  of GPU, a program
1395 needs  to have  independent blocks  of  threads that  can be  computed
1396 simultaneously. In general,  the larger the number of  threads is, the
1397 more local  memory is  used, and the  less branching  instructions are
1398 used  (if,  while,  ...),  the  better the  performances  on  GPU  is.
1399 Obviously, having these requirements in  mind, it is possible to build
1400 a   program    similar   to    the   one   presented    in  Listing 
1401 \ref{algo:seqCIPRNG}, which computes  pseudorandom numbers on GPU.  To
1402 do  so,  we  must   firstly  recall  that  in  the  CUDA~\cite{Nvid10}
1403 environment,    threads    have     a    local    identifier    called
1404 \texttt{ThreadIdx},  which   is  relative  to   the  block  containing
1405 them. Furthermore, in  CUDA, parts of  the code that are executed by the  GPU, are
1406 called {\it kernels}.
1407
1408
1409 \subsection{Naive Version for GPU}
1410
1411  
1412 It is possible to deduce from the CPU version a quite similar version adapted to GPU.
1413 The simple principle consists in making each thread of the GPU computing the CPU version of our PRNG.  
1414 Of course,  the  three xor-like
1415 PRNGs  used in these computations must have different  parameters. 
1416 In a given thread, these parameters are
1417 randomly picked from another PRNGs. 
1418 The  initialization stage is performed by  the CPU.
1419 To do it, the  ISAAC  PRNG~\cite{Jenkins96} is used to  set  all  the
1420 parameters embedded into each thread.   
1421
1422 The implementation of  the three
1423 xor-like  PRNGs  is  straightforward  when  their  parameters  have  been
1424 allocated in  the GPU memory.  Each xor-like  works with  an internal
1425 number  $x$  that saves  the  last  generated  pseudorandom number. Additionally,  the
1426 implementation of the  xor128, the xorshift, and the  xorwow respectively require
1427 4, 5, and 6 unsigned long as internal variables.
1428
1429
1430 \begin{algorithm}
1431 \begin{small}
1432 \KwIn{InternalVarXorLikeArray: array with internal variables of the 3 xor-like
1433 PRNGs in global memory\;
1434 NumThreads: number of threads\;}
1435 \KwOut{NewNb: array containing random numbers in global memory}
1436 \If{threadIdx is concerned by the computation} {
1437   retrieve data from InternalVarXorLikeArray[threadIdx] in local variables\;
1438   \For{i=1 to n} {
1439     compute a new PRNG as in Listing\ref{algo:seqCIPRNG}\;
1440     store the new PRNG in NewNb[NumThreads*threadIdx+i]\;
1441   }
1442   store internal variables in InternalVarXorLikeArray[threadIdx]\;
1443 }
1444 \end{small}
1445 \caption{Main kernel of the GPU ``naive'' version of the PRNG based on chaotic iterations}
1446 \label{algo:gpu_kernel}
1447 \end{algorithm}
1448
1449
1450
1451 Algorithm~\ref{algo:gpu_kernel}  presents a naive  implementation of the proposed  PRNG on
1452 GPU.  Due to the available  memory in the  GPU and the number  of threads
1453 used simultaneously,  the number  of random numbers  that a thread  can generate
1454 inside   a    kernel   is   limited  (\emph{i.e.},    the    variable   \texttt{n}   in
1455 algorithm~\ref{algo:gpu_kernel}). For instance, if  $100,000$ threads are used and
1456 if $n=100$\footnote{in fact, we need to add the initial seed (a 32-bits number)},
1457 then   the  memory   required   to  store all of the  internals   variables  of both the  xor-like
1458 PRNGs\footnote{we multiply this number by $2$ in order to count 32-bits numbers}
1459 and  the pseudorandom  numbers generated by  our  PRNG,  is  equal to  $100,000\times  ((4+5+6)\times
1460 2+(1+100))=1,310,000$ 32-bits numbers, that is, approximately $52$Mb.
1461
1462 This generator is able to pass the whole BigCrush battery of tests, for all
1463 the versions that have been tested depending on their number of threads 
1464 (called \texttt{NumThreads} in our algorithm, tested up to $5$ million).
1465
1466 \begin{remark}
1467 The proposed algorithm has  the  advantage of  manipulating  independent
1468 PRNGs, so this version is easily adaptable on a cluster of computers too. The only thing
1469 to ensure is to use a single ISAAC PRNG. To achieve this requirement, a simple solution consists in
1470 using a master node for the initialization. This master node computes the initial parameters
1471 for all the different nodes involved in the computation.
1472 \end{remark}
1473
1474 \subsection{Improved Version for GPU}
1475
1476 As GPU cards using CUDA have shared memory between threads of the same block, it
1477 is possible  to use this  feature in order  to simplify the  previous algorithm,
1478 i.e., to use less  than 3 xor-like PRNGs. The solution  consists in computing only
1479 one xor-like PRNG by thread, saving  it into the shared memory, and then to use the results
1480 of some  other threads in the  same block of  threads. In order to  define which
1481 thread uses the result of which other  one, we can use a combination array that
1482 contains  the indexes  of  all threads  and  for which  a combination has  been
1483 performed. 
1484
1485 In  Algorithm~\ref{algo:gpu_kernel2},  two  combination  arrays are  used.   The
1486 variable     \texttt{offset}    is     computed    using     the     value    of
1487 \texttt{combination\_size}.   Then we  can compute  \texttt{o1}  and \texttt{o2}
1488 representing the  indexes of  the other  threads whose results  are used  by the
1489 current one.   In this algorithm, we  consider that a 32-bits  xor-like PRNG has
1490 been chosen. In practice, we  use the xor128 proposed in~\cite{Marsaglia2003} in
1491 which  unsigned longs  (64 bits)  have been  replaced by  unsigned  integers (32
1492 bits).
1493
1494 This version  can also pass the whole {\it BigCrush} battery of tests.
1495
1496 \begin{algorithm}
1497 \begin{small}
1498 \KwIn{InternalVarXorLikeArray: array with internal variables of 1 xor-like PRNGs
1499 in global memory\;
1500 NumThreads: Number of threads\;
1501 array\_comb1, array\_comb2: Arrays containing combinations of size combination\_size\;}
1502
1503 \KwOut{NewNb: array containing random numbers in global memory}
1504 \If{threadId is concerned} {
1505   retrieve data from InternalVarXorLikeArray[threadId] in local variables including shared memory and x\;
1506   offset = threadIdx\%combination\_size\;
1507   o1 = threadIdx-offset+array\_comb1[offset]\;
1508   o2 = threadIdx-offset+array\_comb2[offset]\;
1509   \For{i=1 to n} {
1510     t=xor-like()\;
1511     t=t\textasciicircum shmem[o1]\textasciicircum shmem[o2]\;
1512     shared\_mem[threadId]=t\;
1513     x = x\textasciicircum t\;
1514
1515     store the new PRNG in NewNb[NumThreads*threadId+i]\;
1516   }
1517   store internal variables in InternalVarXorLikeArray[threadId]\;
1518 }
1519 \end{small}
1520 \caption{Main kernel for the chaotic iterations based PRNG GPU efficient
1521 version\label{IR}}
1522 \label{algo:gpu_kernel2} 
1523 \end{algorithm}
1524
1525 \subsection{Theoretical Evaluation of the Improved Version}
1526
1527 A run of Algorithm~\ref{algo:gpu_kernel2} consists in an operation ($x=x\oplus t$) having 
1528 the form of Equation~\ref{equation Oplus}, which is equivalent to the iterative
1529 system of Eq.~\ref{eq:generalIC}. That is, an iteration of the general chaotic
1530 iterations is realized between the last stored value $x$ of the thread and a strategy $t$
1531 (obtained by a bitwise exclusive or between a value provided by a xor-like() call
1532 and two values previously obtained by two other threads).
1533 To be certain that we are in the framework of Theorem~\ref{t:chaos des general},
1534 we must guarantee that this dynamical system iterates on the space 
1535 $\mathcal{X} = \mathcal{P}\left(\llbracket 1, \mathsf{N} \rrbracket\right)^\mathds{N}\times\mathds{B}^\mathsf{N}$.
1536 The left term $x$ obviously belongs to $\mathds{B}^ \mathsf{N}$.
1537 To prevent from any flaws of chaotic properties, we must check that the right 
1538 term (the last $t$), corresponding to the strategies,  can possibly be equal to any
1539 integer of $\llbracket 1, \mathsf{N} \rrbracket$. 
1540
1541 Such a result is obvious, as for the xor-like(), all the
1542 integers belonging into its interval of definition can occur at each iteration, and thus the 
1543 last $t$ respects the requirement. Furthermore, it is possible to
1544 prove by an immediate mathematical induction that, as the initial $x$
1545 is uniformly distributed (it is provided by a cryptographically secure PRNG),
1546 the two other stored values shmem[o1] and shmem[o2] are uniformly distributed too,
1547 (this is the induction hypothesis), and thus the next $x$ is finally uniformly distributed.
1548
1549 Thus Algorithm~\ref{algo:gpu_kernel2} is a concrete realization of the general
1550 chaotic iterations presented previously, and for this reason, it satisfies the 
1551 Devaney's formulation of a chaotic behavior.
1552
1553 \section{Experiments}
1554 \label{sec:experiments}
1555
1556 Different experiments  have been  performed in order  to measure  the generation
1557 speed. We have used a first computer equipped with a Tesla C1060 NVidia  GPU card
1558 and an
1559 Intel  Xeon E5530 cadenced  at 2.40  GHz,  and 
1560 a second computer  equipped with a smaller  CPU and  a GeForce GTX  280. 
1561 All the
1562 cards have 240 cores.
1563
1564 In  Figure~\ref{fig:time_xorlike_gpu} we  compare the  quantity of  pseudorandom numbers
1565 generated per second with various xor-like based PRNGs. In this figure, the optimized
1566 versions use the {\it xor64} described in~\cite{Marsaglia2003}, whereas the naive versions
1567 embed  the three  xor-like  PRNGs described  in Listing~\ref{algo:seqCIPRNG}.   In
1568 order to obtain the optimal performances, the storage of pseudorandom numbers
1569 into the GPU memory has been removed. This step is time consuming and slows down the numbers
1570 generation.  Moreover this   storage  is  completely
1571 useless, in case of applications that consume the pseudorandom
1572 numbers  directly   after generation. We can see  that when the number of  threads is greater
1573 than approximately 30,000 and lower than 5 million, the number of pseudorandom numbers generated
1574 per second  is almost constant.  With the  naive version, this value ranges from 2.5 to
1575 3GSamples/s.   With  the  optimized   version,  it  is  approximately  equal to
1576 20GSamples/s. Finally  we can remark  that both GPU  cards are quite  similar, but in
1577 practice,  the Tesla C1060  has more  memory than  the GTX  280, and  this memory
1578 should be of better quality.
1579 As a  comparison,   Listing~\ref{algo:seqCIPRNG}  leads   to the  generation of  about
1580 138MSample/s when using one core of the Xeon E5530.
1581
1582 \begin{figure}[htbp]
1583 \begin{center}
1584   \includegraphics[width=\columnwidth]{curve_time_xorlike_gpu.pdf}
1585 \end{center}
1586 \caption{Quantity of pseudorandom numbers generated per second with the xorlike-based PRNG}
1587 \label{fig:time_xorlike_gpu}
1588 \end{figure}
1589
1590
1591
1592
1593
1594 In Figure~\ref{fig:time_bbs_gpu} we highlight  the performances of the optimized
1595 BBS-based PRNG on GPU.  On  the Tesla C1060 we obtain approximately 700MSample/s
1596 and  on the  GTX 280  about  670MSample/s, which  is obviously  slower than  the
1597 xorlike-based PRNG on GPU. However, we  will show in the next sections that this
1598 new PRNG  has a strong  level of  security, which is  necessarily paid by  a speed
1599 reduction.
1600
1601 \begin{figure}[htbp]
1602 \begin{center}
1603   \includegraphics[width=\columnwidth]{curve_time_bbs_gpu.pdf}
1604 \end{center}
1605 \caption{Quantity of pseudorandom numbers generated per second using the BBS-based PRNG}
1606 \label{fig:time_bbs_gpu}
1607 \end{figure}
1608
1609 All  these  experiments allow  us  to conclude  that  it  is possible  to
1610 generate a very large quantity of pseudorandom  numbers statistically perfect with the  xor-like version.
1611 To a certain extend, it is also the case with the secure BBS-based version, the speed deflation being
1612 explained by the fact that the former  version has ``only''
1613 chaotic properties and statistical perfection, whereas the latter is also cryptographically secure,
1614 as it is shown in the next sections.
1615
1616
1617
1618
1619
1620
1621
1622 \section{Security Analysis}
1623 \label{sec:security analysis}
1624
1625 \PCH{This section is dedicated to the analysis of the security of the
1626   proposed PRNGs from a theoretical point of view. The standard definition
1627   of {\it indistinguishability} used is the classical one as defined for
1628   instance in~\cite[chapter~3]{Goldreich}. It is important to emphasize that
1629   this property shows that predicting the future results of the PRNG's
1630   cannot be done in a reasonable time compared to the generation time. This
1631   is a relative notion between breaking time and the sizes of the
1632   keys/seeds. Of course, if small keys or seeds are chosen, the system can
1633   be broken in practice. But it also means that if the keys/seeds are large
1634   enough, the system is secured.}
1635
1636 In this section the concatenation of two strings $u$ and $v$ is classically
1637 denoted by $uv$.
1638 In a cryptographic context, a pseudorandom generator is a deterministic
1639 algorithm $G$ transforming strings  into strings and such that, for any
1640 seed $s$ of length $m$, $G(s)$ (the output of $G$ on the input $s$) has size
1641 $\ell_G(m)$ with $\ell_G(m)>m$.
1642 The notion of {\it secure} PRNGs can now be defined as follows. 
1643
1644 \begin{definition}
1645 A cryptographic PRNG $G$ is secure if for any probabilistic polynomial time
1646 algorithm $D$, for any positive polynomial $p$, and for all sufficiently
1647 large $m$'s,
1648 $$| \mathrm{Pr}[D(G(U_m))=1]-Pr[D(U_{\ell_G(m)})=1]|< \frac{1}{p(m)},$$
1649 where $U_r$ is the uniform distribution over $\{0,1\}^r$ and the
1650 probabilities are taken over $U_m$, $U_{\ell_G(m)}$ as well as over the
1651 internal coin tosses of $D$. 
1652 \end{definition}
1653
1654 Intuitively, it means that there is no polynomial time algorithm that can
1655 distinguish a perfect uniform random generator from $G$ with a non
1656 negligible probability. The interested reader is referred
1657 to~\cite[chapter~3]{Goldreich} for more information. Note that it is
1658 quite easily possible to change the function $\ell$ into any polynomial
1659 function $\ell^\prime$ satisfying $\ell^\prime(m)>m)$~\cite[Chapter 3.3]{Goldreich}.
1660
1661 The generation schema developed in (\ref{equation Oplus}) is based on a
1662 pseudorandom generator. Let $H$ be a cryptographic PRNG. We may assume,
1663 without loss of generality, that for any string $S_0$ of size $N$, the size
1664 of $H(S_0)$ is $kN$, with $k>2$. It means that $\ell_H(N)=kN$. 
1665 Let $S_1,\ldots,S_k$ be the 
1666 strings of length $N$ such that $H(S_0)=S_1 \ldots S_k$ ($H(S_0)$ is the concatenation of
1667 the $S_i$'s). The cryptographic PRNG $X$ defined in (\ref{equation Oplus})
1668 is the algorithm mapping any string of length $2N$ $x_0S_0$ into the string
1669 $(x_0\oplus S_0 \oplus S_1)(x_0\oplus S_0 \oplus S_1\oplus S_2)\ldots
1670 (x_o\bigoplus_{i=0}^{i=k}S_i)$. One in particular has $\ell_{X}(2N)=kN=\ell_H(N)$. 
1671 We claim now that if this PRNG is secure,
1672 then the new one is secure too.
1673
1674 \begin{proposition}
1675 \label{cryptopreuve}
1676 If $H$ is a secure cryptographic PRNG, then $X$ is a secure cryptographic
1677 PRNG too.
1678 \end{proposition}
1679
1680 \begin{proof}
1681 The proposition is proved by contraposition. Assume that $X$ is not
1682 secure. By Definition, there exists a polynomial time probabilistic
1683 algorithm $D$, a positive polynomial $p$, such that for all $k_0$ there exists
1684 $N\geq \frac{k_0}{2}$ satisfying 
1685 $$| \mathrm{Pr}[D(X(U_{2N}))=1]-\mathrm{Pr}[D(U_{kN}=1]|\geq \frac{1}{p(2N)}.$$
1686 We describe a new probabilistic algorithm $D^\prime$ on an input $w$ of size
1687 $kN$:
1688 \begin{enumerate}
1689 \item Decompose $w$ into $w=w_1\ldots w_{k}$, where each $w_i$ has size $N$.
1690 \item Pick a string $y$ of size $N$ uniformly at random.
1691 \item Compute $z=(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y
1692   \bigoplus_{i=1}^{i=k} w_i).$
1693 \item Return $D(z)$.
1694 \end{enumerate}
1695
1696
1697 Consider  for each $y\in \mathbb{B}^{kN}$ the function $\varphi_{y}$
1698 from $\mathbb{B}^{kN}$ into $\mathbb{B}^{kN}$ mapping $w=w_1\ldots w_k$
1699 (each $w_i$ has length $N$) to 
1700 $(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y
1701   \bigoplus_{i=1}^{i=k_1} w_i).$ By construction, one has for every $w$,
1702 \begin{equation}\label{PCH-1}
1703 D^\prime(w)=D(\varphi_y(w)),
1704 \end{equation}
1705 where $y$ is randomly generated. 
1706 Moreover, for each $y$, $\varphi_{y}$ is injective: if 
1707 $(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y\bigoplus_{i=1}^{i=k_1}
1708 w_i)=(y\oplus w_1^\prime)(y\oplus w_1^\prime\oplus w_2^\prime)\ldots
1709 (y\bigoplus_{i=1}^{i=k} w_i^\prime)$, then for every $1\leq j\leq k$,
1710 $y\bigoplus_{i=1}^{i=j} w_i^\prime=y\bigoplus_{i=1}^{i=j} w_i$. It follows,
1711 by a direct induction, that $w_i=w_i^\prime$. Furthermore, since $\mathbb{B}^{kN}$
1712 is finite, each $\varphi_y$ is bijective. Therefore, and using (\ref{PCH-1}),
1713 one has
1714 $\mathrm{Pr}[D^\prime(U_{kN})=1]=\mathrm{Pr}[D(\varphi_y(U_{kN}))=1]$ and,
1715 therefore, 
1716 \begin{equation}\label{PCH-2}
1717 \mathrm{Pr}[D^\prime(U_{kN})=1]=\mathrm{Pr}[D(U_{kN})=1].
1718 \end{equation}
1719
1720 Now, using (\ref{PCH-1}) again, one has  for every $x$,
1721 \begin{equation}\label{PCH-3}
1722 D^\prime(H(x))=D(\varphi_y(H(x))),
1723 \end{equation}
1724 where $y$ is randomly generated. By construction, $\varphi_y(H(x))=X(yx)$,
1725 thus
1726 \begin{equation}%\label{PCH-3}      %%RAPH : j'ai viré ce label qui existe déjà, il est 3 ligne avant
1727 D^\prime(H(x))=D(yx),
1728 \end{equation}
1729 where $y$ is randomly generated. 
1730 It follows that 
1731
1732 \begin{equation}\label{PCH-4}
1733 \mathrm{Pr}[D^\prime(H(U_{N}))=1]=\mathrm{Pr}[D(U_{2N})=1].
1734 \end{equation}
1735  From (\ref{PCH-2}) and (\ref{PCH-4}), one can deduce that
1736 there exists a polynomial time probabilistic
1737 algorithm $D^\prime$, a positive polynomial $p$, such that for all $k_0$ there exists
1738 $N\geq \frac{k_0}{2}$ satisfying 
1739 $$| \mathrm{Pr}[D(H(U_{N}))=1]-\mathrm{Pr}[D(U_{kN}=1]|\geq \frac{1}{p(2N)},$$
1740 proving that $H$ is not secure, which is a contradiction. 
1741 \end{proof}
1742
1743
1744 \section{Cryptographical Applications}
1745
1746 \subsection{A Cryptographically Secure PRNG for GPU}
1747 \label{sec:CSGPU}
1748
1749 It is  possible to build a  cryptographically secure PRNG based  on the previous
1750 algorithm (Algorithm~\ref{algo:gpu_kernel2}).   Due to Proposition~\ref{cryptopreuve},
1751 it simply consists  in replacing
1752 the  {\it  xor-like} PRNG  by  a  cryptographically  secure one.  
1753 We have chosen the Blum Blum Shub generator~\cite{BBS} (usually denoted by BBS) having the form:
1754 $$x_{n+1}=x_n^2~ mod~ M$$  where $M$ is the product of  two prime numbers (these
1755 prime numbers  need to be congruent  to 3 modulus  4). BBS is known to be
1756 very slow and only usable for cryptographic applications. 
1757
1758   
1759 The modulus operation is the most time consuming operation for current
1760 GPU cards.  So in order to obtain quite reasonable performances, it is
1761 required to use only modulus  on 32-bits integer numbers. Consequently
1762 $x_n^2$ need  to be lesser than $2^{32}$,  and thus the number $M$ must be
1763 lesser than $2^{16}$.  So in practice we can choose prime numbers around
1764 256 that are congruent to 3 modulus 4.  With 32-bits numbers, only the
1765 4 least significant bits of $x_n$ can be chosen (the maximum number of
1766 indistinguishable    bits    is    lesser    than   or    equals    to
1767 $log_2(log_2(M))$). In other words, to generate a  32-bits number, we need to use
1768 8 times  the BBS  algorithm with possibly different  combinations of  $M$. This
1769 approach is  not sufficient to be able to pass  all the tests of TestU01,
1770 as small values of  $M$ for the BBS  lead to
1771   small periods. So, in  order to add randomness  we have proceeded with
1772 the followings  modifications. 
1773 \begin{itemize}
1774 \item
1775 Firstly, we  define 16 arrangement arrays  instead of 2  (as described in
1776 Algorithm \ref{algo:gpu_kernel2}), but only 2 of them are used at each call of
1777 the  PRNG kernels. In  practice, the  selection of   combination
1778 arrays to be used is different for all the threads. It is determined
1779 by using  the three last bits  of two internal variables  used by BBS.
1780 %This approach  adds more randomness.   
1781 In Algorithm~\ref{algo:bbs_gpu},
1782 character  \& is for the  bitwise AND. Thus using  \&7 with  a number
1783 gives the last 3 bits, thus providing a number between 0 and 7.
1784 \item
1785 Secondly, after the  generation of the 8 BBS numbers  for each thread, we
1786 have a 32-bits number whose period is possibly quite small. So
1787 to add randomness,  we generate 4 more BBS numbers   to
1788 shift  the 32-bits  numbers, and  add up to  6 new  bits.  This  improvement is
1789 described  in Algorithm~\ref{algo:bbs_gpu}.  In  practice, the last 2 bits
1790 of the first new BBS number are  used to make a left shift of at most
1791 3 bits. The  last 3 bits of the  second new BBS number are  added to the
1792 strategy whatever the value of the first left shift. The third and the
1793 fourth new BBS  numbers are used similarly to apply  a new left shift
1794 and add 3 new bits.
1795 \item
1796 Finally, as  we use 8 BBS numbers  for each thread, the  storage of these
1797 numbers at the end of the  kernel is performed using a rotation. So,
1798 internal  variable for  BBS number  1 is  stored in  place  2, internal
1799 variable  for BBS  number 2  is  stored in  place 3,  ..., and finally, internal
1800 variable for BBS number 8 is stored in place 1.
1801 \end{itemize}
1802
1803 \begin{algorithm}
1804 \begin{small}
1805 \KwIn{InternalVarBBSArray: array with internal variables of the 8 BBS
1806 in global memory\;
1807 NumThreads: Number of threads\;
1808 array\_comb: 2D Arrays containing 16 combinations (in first dimension)  of size combination\_size (in second dimension)\;
1809 array\_shift[4]=\{0,1,3,7\}\;
1810 }
1811
1812 \KwOut{NewNb: array containing random numbers in global memory}
1813 \If{threadId is concerned} {
1814   retrieve data from InternalVarBBSArray[threadId] in local variables including shared memory and x\;
1815   we consider that bbs1 ... bbs8 represent the internal states of the 8 BBS numbers\;
1816   offset = threadIdx\%combination\_size\;
1817   o1 = threadIdx-offset+array\_comb[bbs1\&7][offset]\;
1818   o2 = threadIdx-offset+array\_comb[8+bbs2\&7][offset]\;
1819   \For{i=1 to n} {
1820     t$<<$=4\;
1821     t|=BBS1(bbs1)\&15\;
1822     ...\;
1823     t$<<$=4\;
1824     t|=BBS8(bbs8)\&15\;
1825     \tcp{two new shifts}
1826     shift=BBS3(bbs3)\&3\;
1827     t$<<$=shift\;
1828     t|=BBS1(bbs1)\&array\_shift[shift]\;
1829     shift=BBS7(bbs7)\&3\;
1830     t$<<$=shift\;
1831     t|=BBS2(bbs2)\&array\_shift[shift]\;
1832     t=t\textasciicircum  shmem[o1]\textasciicircum     shmem[o2]\;
1833     shared\_mem[threadId]=t\;
1834     x = x\textasciicircum   t\;
1835
1836     store the new PRNG in NewNb[NumThreads*threadId+i]\;
1837   }
1838   store internal variables in InternalVarXorLikeArray[threadId] using a rotation\;
1839 }
1840 \end{small}
1841 \caption{main kernel for the BBS based PRNG GPU}
1842 \label{algo:bbs_gpu}
1843 \end{algorithm}
1844
1845 In Algorithm~\ref{algo:bbs_gpu}, $n$ is for  the quantity of random numbers that
1846 a thread has to  generate.  The operation t<<=4 performs a left  shift of 4 bits
1847 on the variable  $t$ and stores the result in  $t$, and $BBS1(bbs1)\&15$ selects
1848 the last  four bits  of the  result of $BBS1$.   Thus an  operation of  the form
1849 $t<<=4; t|=BBS1(bbs1)\&15\;$  realizes in $t$ a  left shift of 4  bits, and then
1850 puts the 4 last bits of $BBS1(bbs1)$  in the four last positions of $t$.  Let us
1851 remark that the initialization $t$ is not a  necessity as we fill it 4 bits by 4
1852 bits, until  having obtained 32-bits.  The  two last new shifts  are realized in
1853 order to enlarge the small periods of  the BBS used here, to introduce a kind of
1854 variability.  In these operations, we make twice a left shift of $t$ of \emph{at
1855   most}  3 bits,  represented by  \texttt{shift} in  the algorithm,  and  we put
1856 \emph{exactly} the \texttt{shift}  last bits from a BBS  into the \texttt{shift}
1857 last bits of $t$. For this, an array named \texttt{array\_shift}, containing the
1858 correspondence between the  shift and the number obtained  with \texttt{shift} 1
1859 to make the \texttt{and} operation is used. For example, with a left shift of 0,
1860 we  make an  and operation  with 0,  with  a left  shift of  3, we  make an  and
1861 operation with 7 (represented by 111 in binary mode).
1862
1863 It should  be noticed that this generator has once more the form $x^{n+1} = x^n \oplus S^n$,
1864 where $S^n$ is referred in this algorithm as $t$: each iteration of this
1865 PRNG ends with $x = x \wedge t$. This $S^n$ is only constituted
1866 by secure bits produced by the BBS generator, and thus, due to
1867 Proposition~\ref{cryptopreuve}, the resulted PRNG is cryptographically
1868 secure.
1869
1870
1871
1872 \begin{color}{red}
1873 \subsection{Practical Security Evaluation}
1874 \label{sec:Practicak evaluation}
1875
1876 Suppose now that the PRNG will work during 
1877 $M=100$ time units, and that during this period,
1878 an attacker can realize $10^{12}$ clock cycles.
1879 We thus wonder whether, during the PRNG's 
1880 lifetime, the attacker can distinguish this 
1881 sequence from truly random one, with a probability
1882 greater than $\varepsilon = 0.2$.
1883 We consider that $N$ has 900 bits.
1884
1885 The random process is the BBS generator, which
1886 is cryptographically secure. More precisely, it
1887 is $(T,\varepsilon)-$secure: no 
1888 $(T,\varepsilon)-$distinguishing attack can be
1889 successfully realized on this PRNG, if~\cite{Fischlin}
1890 $$
1891 T \leqslant \dfrac{L(N)}{6 N (log_2(N))\varepsilon^{-2}M^2}-2^7 N \varepsilon^{-2} M^2 log_2 (8 N \varepsilon^{-1}M)
1892 $$
1893 where $M$ is the length of the output ($M=100$ in
1894 our example), and $L(N)$ is equal to
1895 $$
1896 2.8\times 10^{-3} exp \left(1.9229 \times (N ~ln(2)^\frac{1}{3}) \times ln(N~ln 2)^\frac{2}{3}\right)
1897 $$
1898 is the number of clock cycles to factor a $N-$bit
1899 integer.
1900
1901 A direct numerical application shows that this attacker 
1902 cannot achieve its $(10^{12},0.2)$ distinguishing
1903 attack in that context.
1904
1905 \end{color}
1906
1907 \subsection{Toward a Cryptographically Secure and Chaotic Asymmetric Cryptosystem}
1908 \label{Blum-Goldwasser}
1909 We finish this research work by giving some thoughts about the use of
1910 the proposed PRNG in an asymmetric cryptosystem.
1911 This first approach will be further investigated in a future work.
1912
1913 \subsubsection{Recalls of the Blum-Goldwasser Probabilistic Cryptosystem}
1914
1915 The Blum-Goldwasser cryptosystem is a cryptographically secure asymmetric key encryption algorithm 
1916 proposed in 1984~\cite{Blum:1985:EPP:19478.19501}.  The encryption algorithm 
1917 implements a XOR-based stream cipher using the BBS PRNG, in order to generate 
1918 the keystream. Decryption is done by obtaining the initial seed thanks to
1919 the final state of the BBS generator and the secret key, thus leading to the
1920  reconstruction of the keystream.
1921
1922 The key generation consists in generating two prime numbers $(p,q)$, 
1923 randomly and independently of each other, that are
1924  congruent to 3 mod 4, and to compute the modulus $N=pq$.
1925 The public key is $N$, whereas the secret key is the factorization $(p,q)$.
1926
1927
1928 Suppose Bob wishes to send a string $m=(m_0, \dots, m_{L-1})$ of $L$ bits to Alice:
1929 \begin{enumerate}
1930 \item Bob picks an integer $r$ randomly in the interval $\llbracket 1,N\rrbracket$ and computes $x_0 = r^2~mod~N$.
1931 \item He uses the BBS to generate the keystream of $L$ pseudorandom bits $(b_0, \dots, b_{L-1})$, as follows. For $i=0$ to $L-1$,
1932 \begin{itemize}
1933 \item $i=0$.
1934 \item While $i \leqslant L-1$:
1935 \begin{itemize}
1936 \item Set $b_i$ equal to the least-significant\footnote{As signaled previously, BBS can securely output up to $\mathsf{N} = \lfloor log(log(N)) \rfloor$ of the least-significant bits of $x_i$ during each round.} bit of $x_i$,
1937 \item $i=i+1$,
1938 \item $x_i = (x_{i-1})^2~mod~N.$
1939 \end{itemize}
1940 \end{itemize}
1941 \item The ciphertext is computed by XORing the plaintext bits $m$ with the keystream: $ c = (c_0, \dots, c_{L-1}) = m \oplus  b$. This ciphertext is $[c, y]$, where $y=x_{0}^{2^{L}}~mod~N.$
1942 \end{enumerate}
1943
1944
1945 When Alice receives $\left[(c_0, \dots, c_{L-1}), y\right]$, she can recover $m$ as follows:
1946 \begin{enumerate}
1947 \item Using the secret key $(p,q)$, she computes $r_p = y^{((p+1)/4)^{L}}~mod~p$ and $r_q = y^{((q+1)/4)^{L}}~mod~q$.
1948 \item The initial seed can be obtained using the following procedure: $x_0=q(q^{-1}~{mod}~p)r_p + p(p^{-1}~{mod}~q)r_q~{mod}~N$.
1949 \item She recomputes the bit-vector $b$ by using BBS and $x_0$.
1950 \item Alice finally computes the plaintext by XORing the keystream with the ciphertext: $ m = c \oplus  b$.
1951 \end{enumerate}
1952
1953
1954 \subsubsection{Proposal of a new Asymmetric Cryptosystem Adapted from Blum-Goldwasser}
1955
1956 We propose to adapt the Blum-Goldwasser protocol as follows. 
1957 Let $\mathsf{N} = \lfloor log(log(N)) \rfloor$ be the number of bits that can
1958 be obtained securely with the BBS generator using the public key $N$ of Alice.
1959 Alice will pick randomly $S^0$ in $\llbracket 0, 2^{\mathsf{N}-1}\rrbracket$ too, and
1960 her new public key will be $(S^0, N)$.
1961
1962 To encrypt his message, Bob will compute
1963 %%RAPH : ici, j'ai mis un simple $
1964 %\begin{equation}
1965 $c = \left(m_0 \oplus (b_0 \oplus S^0), m_1 \oplus (b_0 \oplus b_1 \oplus S^0), \hdots, \right.$
1966 $ \left. m_{L-1} \oplus (b_0 \oplus b_1 \hdots \oplus b_{L-1} \oplus S^0) \right)$
1967 %%\end{equation}
1968 instead of $\left(m_0 \oplus b_0, m_1 \oplus b_1, \hdots, m_{L-1} \oplus b_{L-1} \right)$. 
1969
1970 The same decryption stage as in Blum-Goldwasser leads to the sequence 
1971 $\left(m_0 \oplus S^0, m_1 \oplus S^0, \hdots, m_{L-1} \oplus S^0 \right)$.
1972 Thus, with a simple use of $S^0$, Alice can obtain the plaintext.
1973 By doing so, the proposed generator is used in place of BBS, leading to
1974 the inheritance of all the properties presented in this paper.
1975
1976 \section{Conclusion}
1977
1978
1979 In  this  paper, a formerly proposed PRNG based on chaotic iterations
1980 has been generalized to improve its speed. It has been proven to be
1981 chaotic according to Devaney.
1982 Efficient implementations on  GPU using xor-like  PRNGs as input generators
1983 have shown that a very large quantity of pseudorandom numbers can be generated per second (about
1984 20Gsamples/s), and that these proposed PRNGs succeed to pass the hardest battery in TestU01,
1985 namely the BigCrush.
1986 Furthermore, we have shown that when the inputted generator is cryptographically
1987 secure, then it is the case too for the PRNG we propose, thus leading to
1988 the possibility to develop fast and secure PRNGs using the GPU architecture.
1989 \begin{color}{red} An improvement of the Blum-Goldwasser cryptosystem, making it 
1990 behaves chaotically, has finally been proposed. \end{color}
1991
1992 In future  work we plan to extend this research, building a parallel PRNG for  clusters or
1993 grid computing. Topological properties of the various proposed generators will be investigated,
1994 and the use of other categories of PRNGs as input will be studied too. The improvement
1995 of Blum-Goldwasser will be deepened. Finally, we
1996 will try to enlarge the quantity of pseudorandom numbers generated per second either
1997 in a simulation context or in a cryptographic one.
1998
1999
2000
2001 \bibliographystyle{plain} 
2002 \bibliography{mabase}
2003 \end{document}