]> AND Private Git Repository - prng_gpu.git/blob - prng_gpu.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
pch
[prng_gpu.git] / prng_gpu.tex
1 %\documentclass{article}
2 \documentclass[10pt,journal,letterpaper,compsoc]{IEEEtran}
3 \usepackage[utf8]{inputenc}
4 \usepackage[T1]{fontenc}
5 \usepackage{fullpage}
6 \usepackage{fancybox}
7 \usepackage{amsmath}
8 \usepackage{amscd}
9 \usepackage{moreverb}
10 \usepackage{commath}
11 \usepackage[ruled,vlined]{algorithm2e}
12 \usepackage{listings}
13 \usepackage[standard]{ntheorem}
14 \usepackage{algorithmic}
15 \usepackage{slashbox}
16 \usepackage{ctable}
17 \usepackage{tabularx}
18 \usepackage{multirow}
19
20 % Pour mathds : les ensembles IR, IN, etc.
21 \usepackage{dsfont}
22
23 % Pour avoir des intervalles d'entiers
24 \usepackage{stmaryrd}
25
26 \usepackage{graphicx}
27 % Pour faire des sous-figures dans les figures
28 \usepackage{subfigure}
29
30 \usepackage{color}
31
32 \newtheorem{notation}{Notation}
33
34 \newcommand{\X}{\mathcal{X}}
35 \newcommand{\Go}{G_{f_0}}
36 \newcommand{\B}{\mathds{B}}
37 \newcommand{\N}{\mathds{N}}
38 \newcommand{\BN}{\mathds{B}^\mathsf{N}}
39 \let\sur=\overline
40
41 \newcommand{\alert}[1]{\begin{color}{blue}\textit{#1}\end{color}}
42
43
44 \newcommand{\PCH}[1]{\begin{color}{blue}#1\end{color}}
45
46 \title{Efficient and Cryptographically Secure Generation of Chaotic Pseudorandom Numbers on GPU}
47 \begin{document}
48
49 \author{Jacques M. Bahi, Rapha\"{e}l Couturier,  Christophe
50 Guyeux, and Pierre-Cyrille Héam\thanks{Authors in alphabetic order}}
51    
52
53 \IEEEcompsoctitleabstractindextext{
54 \begin{abstract}
55 In this paper we present a new pseudorandom number generator (PRNG) on
56 graphics processing units  (GPU). This PRNG is based  on the so-called chaotic iterations.  It
57 is firstly proven  to be chaotic according to the Devaney's  formulation. We thus propose  an efficient
58 implementation  for  GPU that successfully passes the   {\it BigCrush} tests, deemed to be the  hardest
59 battery of tests in TestU01.  Experiments show that this PRNG can generate
60 about 20 billion of random numbers  per second on Tesla C1060 and NVidia GTX280
61 cards.
62 It is then established that, under reasonable assumptions, the proposed PRNG can be cryptographically 
63 secure.
64 A chaotic version of the Blum-Goldwasser asymmetric key encryption scheme is finally proposed.
65
66
67 \end{abstract}
68 }
69
70 \maketitle
71
72 \IEEEdisplaynotcompsoctitleabstractindextext
73 \IEEEpeerreviewmaketitle
74
75
76 \section{Introduction}
77
78 Randomness is of importance in many fields such as scientific simulations or cryptography. 
79 ``Random numbers'' can mainly be generated either by a deterministic and reproducible algorithm
80 called a pseudorandom number generator (PRNG), or by a physical non-deterministic 
81 process having all the characteristics of a random noise, called a truly random number
82 generator (TRNG). 
83 In this paper, we focus on reproducible generators, useful for instance in
84 Monte-Carlo based simulators or in several cryptographic schemes.
85 These domains need PRNGs that are statistically irreproachable. 
86 In some fields such as in numerical simulations, speed is a strong requirement
87 that is usually attained by using parallel architectures. In that case,
88 a recurrent problem is that a deflation of the statistical qualities is often
89 reported, when the parallelization of a good PRNG is realized.
90 This is why ad-hoc PRNGs for each possible architecture must be found to
91 achieve both speed and randomness.
92 On the other side, speed is not the main requirement in cryptography: the great
93 need is to define \emph{secure} generators able to withstand malicious
94 attacks. Roughly speaking, an attacker should not be able in practice to make 
95 the distinction between numbers obtained with the secure generator and a true random
96 sequence. \begin{color}{red} Or, in an equivalent formulation, he or she should not be
97 able (in practice) to predict the next bit of the generator, having the knowledge of all the 
98 binary digits that have been already released. ``Being able in practice'' refers here
99 to the possibility to achieve this attack in polynomial time, and to the exponential growth
100 of the difficulty of this challenge when the size of the parameters of the PRNG increases.
101 \end{color}
102
103 Finally, a small part of the community working in this domain focuses on a
104 third requirement, that is to define chaotic generators.
105 The main idea is to take benefits from a chaotic dynamical system to obtain a
106 generator that is unpredictable, disordered, sensible to its seed, or in other word chaotic.
107 Their desire is to map a given chaotic dynamics into a sequence that seems random 
108 and unassailable due to chaos.
109 However, the chaotic maps used as a pattern are defined in the real line 
110 whereas computers deal with finite precision numbers.
111 This distortion leads to a deflation of both chaotic properties and speed.
112 Furthermore, authors of such chaotic generators often claim their PRNG
113 as secure due to their chaos properties, but there is no obvious relation
114 between chaos and security as it is understood in cryptography.
115 This is why the use of chaos for PRNG still remains marginal and disputable.
116
117 The authors' opinion is that topological properties of disorder, as they are
118 properly defined in the mathematical theory of chaos, can reinforce the quality
119 of a PRNG. But they are not substitutable for security or statistical perfection.
120 Indeed, to the authors' mind, such properties can be useful in the two following situations. On the
121 one hand, a post-treatment based on a chaotic dynamical system can be applied
122 to a PRNG statistically deflective, in order to improve its statistical 
123 properties. Such an improvement can be found, for instance, in~\cite{bgw09:ip,bcgr11:ip}.
124 On the other hand, chaos can be added to a fast, statistically perfect PRNG and/or a
125 cryptographically secure one, in case where chaos can be of interest,
126 \emph{only if these last properties are not lost during
127 the proposed post-treatment}. Such an assumption is behind this research work.
128 It leads to the attempts to define a 
129 family of PRNGs that are chaotic while being fast and statistically perfect,
130 or cryptographically secure.
131 Let us finish this paragraph by noticing that, in this paper, 
132 statistical perfection refers to the ability to pass the whole 
133 {\it BigCrush} battery of tests, which is widely considered as the most
134 stringent statistical evaluation of a sequence claimed as random.
135 This battery can be found in the well-known TestU01 package~\cite{LEcuyerS07}.
136 \begin{color}{red}
137 More precisely, each time we performed a test on a PRNG, we ran it
138 twice in order to observe if all $p-$values are inside [0.01, 0.99]. In
139 fact, we observed that few $p-$values (less than ten) are sometimes
140 outside this interval but inside [0.001, 0.999], so that is why a
141 second run allows us to confirm that the values outside are not for
142 the same test. With this approach all our PRNGs pass the {\it
143   BigCrush} successfully and all $p-$values are at least once inside
144 [0.01, 0.99].
145 \end{color}
146 Chaos, for its part, refers to the well-established definition of a
147 chaotic dynamical system proposed by Devaney~\cite{Devaney}.
148
149 In a previous work~\cite{bgw09:ip,guyeux10} we have proposed a post-treatment on PRNGs making them behave
150 as a chaotic dynamical system. Such a post-treatment leads to a new category of
151 PRNGs. We have shown that proofs of Devaney's chaos can be established for this
152 family, and that the sequence obtained after this post-treatment can pass the
153 NIST~\cite{Nist10}, DieHARD~\cite{Marsaglia1996}, and TestU01~\cite{LEcuyerS07} batteries of tests, even if the inputted generators
154 cannot.
155 The proposition of this paper is to improve widely the speed of the formerly
156 proposed generator, without any lack of chaos or statistical properties.
157 In particular, a version of this PRNG on graphics processing units (GPU)
158 is proposed.
159 Although GPU was initially designed  to accelerate
160 the manipulation of  images, they are nowadays commonly  used in many scientific
161 applications. Therefore,  it is important  to be able to  generate pseudorandom
162 numbers inside a GPU when a scientific application runs in it. This remark
163 motivates our proposal of a chaotic and statistically perfect PRNG for GPU.  
164 Such device
165 allows us to generate almost 20 billion of pseudorandom numbers per second.
166 Furthermore, we show that the proposed post-treatment preserves the
167 cryptographical security of the inputted PRNG, when this last has such a 
168 property.
169 Last, but not least, we propose a rewriting of the Blum-Goldwasser asymmetric
170 key encryption protocol by using the proposed method.
171
172 The remainder of this paper  is organized as follows. In Section~\ref{section:related
173   works} we  review some GPU implementations  of PRNGs.  Section~\ref{section:BASIC
174   RECALLS} gives some basic recalls  on the well-known Devaney's formulation of chaos, 
175   and on an iteration process called ``chaotic
176 iterations'' on which the post-treatment is based. 
177 The proposed PRNG and its proof of chaos are given in  Section~\ref{sec:pseudorandom}.
178 \begin{color}{red}
179 Section~\ref{The generation of pseudorandom sequence} illustrates the statistical
180 improvement related to the chaotic iteration based post-treatment, for
181 our previously released PRNGs and a new efficient 
182 implementation on CPU.
183 \end{color}
184  Section~\ref{sec:efficient PRNG
185   gpu}   describes and evaluates theoretically  the  GPU   implementation. 
186 Such generators are experimented in 
187 Section~\ref{sec:experiments}.
188 We show in Section~\ref{sec:security analysis} that, if the inputted
189 generator is cryptographically secure, then it is the case too for the
190 generator provided by the post-treatment.
191 Such a proof leads to the proposition of a cryptographically secure and
192 chaotic generator on GPU based on the famous Blum Blum Shub
193 in Section~\ref{sec:CSGPU}, \begin{color}{red} to a practical
194 security evaluation in Section~\ref{sec:Practicak evaluation}, \end{color} and to an improvement of the
195 Blum-Goldwasser protocol in Sect.~\ref{Blum-Goldwasser}.
196 This research work ends by a conclusion section, in which the contribution is
197 summarized and intended future work is presented.
198
199
200
201
202 \section{Related work on GPU based PRNGs}
203 \label{section:related works}
204
205 Numerous research works on defining GPU based PRNGs have already been proposed  in the
206 literature, so that exhaustivity is impossible.
207 This is why authors of this document only give reference to the most significant attempts 
208 in this domain, from their subjective point of view. 
209 The  quantity of pseudorandom numbers generated per second is mentioned here 
210 only when the information is given in the related work. 
211 A million numbers  per second will be simply written as
212 1MSample/s whereas a billion numbers per second is 1GSample/s.
213
214 In \cite{Pang:2008:cec}  a PRNG based on  cellular automata is defined
215 with no  requirement to an high  precision  integer   arithmetic  or to any bitwise
216 operations. Authors can   generate  about
217 3.2MSamples/s on a GeForce 7800 GTX GPU, which is quite an old card now.
218 However, there is neither a mention of statistical tests nor any proof of
219 chaos or cryptography in this document.
220
221 In \cite{ZRKB10}, the authors propose  different versions of efficient GPU PRNGs
222 based on  Lagged Fibonacci or Hybrid  Taus.  They have  used these
223 PRNGs   for  Langevin   simulations   of  biomolecules   fully  implemented   on
224 GPU. Performances of  the GPU versions are far better than  those obtained with a
225 CPU, and these PRNGs succeed to pass the {\it BigCrush} battery of TestU01. 
226 However the evaluations of the proposed PRNGs are only statistical ones.
227
228
229 Authors of~\cite{conf/fpga/ThomasHL09}  have studied the  implementation of some
230 PRNGs on  different computing architectures: CPU,  field-programmable gate array
231 (FPGA), massively parallel  processors, and GPU. This study is of interest, because
232 the  performance  of the  same  PRNGs on  different architectures are compared. 
233 FPGA appears as  the  fastest  and the most
234 efficient architecture, providing the fastest number of generated pseudorandom numbers
235 per joule. 
236 However, we notice that authors can ``only'' generate between 11 and 16GSamples/s
237 with a GTX 280  GPU, which should be compared with
238 the results presented in this document.
239 We can remark too that the PRNGs proposed in~\cite{conf/fpga/ThomasHL09} are only
240 able to pass the {\it Crush} battery, which is far easier than the {\it Big Crush} one.
241
242 Lastly, Cuda  has developed  a  library for  the  generation of  pseudorandom numbers  called
243 Curand~\cite{curand11}.        Several       PRNGs        are       implemented, among
244 other things 
245 Xorwow~\cite{Marsaglia2003} and  some variants of Sobol. The  tests reported show that
246 their  fastest version provides  15GSamples/s on  the new  Fermi C2050  card. 
247 But their PRNGs cannot pass the whole TestU01 battery (only one test is failed).
248 \newline
249 \newline
250 We can finally remark that, to the best of our knowledge, no GPU implementation has been proven to be chaotic, and the cryptographically secure property has surprisingly never been considered.
251
252 \section{Basic Recalls}
253 \label{section:BASIC RECALLS}
254
255 This section is devoted to basic definitions and terminologies in the fields of
256 topological chaos and chaotic iterations. We assume the reader is familiar
257 with basic notions on topology (see for instance~\cite{Devaney}).
258
259
260 \subsection{Devaney's Chaotic Dynamical Systems}
261 \label{subsec:Devaney}
262 In the sequel $S^{n}$ denotes the $n^{th}$ term of a sequence $S$ and $V_{i}$
263 denotes the $i^{th}$ component of a vector $V$. $f^{k}=f\circ ...\circ f$
264 is for the $k^{th}$ composition of a function $f$. Finally, the following
265 notation is used: $\llbracket1;N\rrbracket=\{1,2,\hdots,N\}$.
266
267
268 Consider a topological space $(\mathcal{X},\tau)$ and a continuous function $f :
269 \mathcal{X} \rightarrow \mathcal{X}$.
270
271 \begin{definition}
272 The function $f$ is said to be \emph{topologically transitive} if, for any pair of open sets
273 $U,V \subset \mathcal{X}$, there exists $k>0$ such that $f^k(U) \cap V \neq
274 \varnothing$.
275 \end{definition}
276
277 \begin{definition}
278 An element $x$ is a \emph{periodic point} for $f$ of period $n\in \mathds{N}^*$
279 if $f^{n}(x)=x$.% The set of periodic points of $f$ is denoted $Per(f).$
280 \end{definition}
281
282 \begin{definition}
283 $f$ is said to be \emph{regular} on $(\mathcal{X}, \tau)$ if the set of periodic
284 points for $f$ is dense in $\mathcal{X}$: for any point $x$ in $\mathcal{X}$,
285 any neighborhood of $x$ contains at least one periodic point (without
286 necessarily the same period).
287 \end{definition}
288
289
290 \begin{definition}[Devaney's formulation of chaos~\cite{Devaney}]
291 The function $f$ is said to be \emph{chaotic} on $(\mathcal{X},\tau)$ if $f$ is regular and
292 topologically transitive.
293 \end{definition}
294
295 The chaos property is strongly linked to the notion of ``sensitivity'', defined
296 on a metric space $(\mathcal{X},d)$ by:
297
298 \begin{definition}
299 \label{sensitivity} The function $f$ has \emph{sensitive dependence on initial conditions}
300 if there exists $\delta >0$ such that, for any $x\in \mathcal{X}$ and any
301 neighborhood $V$ of $x$, there exist $y\in V$ and $n > 0$ such that
302 $d\left(f^{n}(x), f^{n}(y)\right) >\delta $.
303
304 The constant $\delta$ is called the \emph{constant of sensitivity} of $f$.
305 \end{definition}
306
307 Indeed, Banks \emph{et al.} have proven in~\cite{Banks92} that when $f$ is
308 chaotic and $(\mathcal{X}, d)$ is a metric space, then $f$ has the property of
309 sensitive dependence on initial conditions (this property was formerly an
310 element of the definition of chaos). To sum up, quoting Devaney
311 in~\cite{Devaney}, a chaotic dynamical system ``is unpredictable because of the
312 sensitive dependence on initial conditions. It cannot be broken down or
313 simplified into two subsystems which do not interact because of topological
314 transitivity. And in the midst of this random behavior, we nevertheless have an
315 element of regularity''. Fundamentally different behaviors are consequently
316 possible and occur in an unpredictable way.
317
318
319
320 \subsection{Chaotic Iterations}
321 \label{sec:chaotic iterations}
322
323
324 Let us consider  a \emph{system} with a finite  number $\mathsf{N} \in
325 \mathds{N}^*$ of elements  (or \emph{cells}), so that each  cell has a
326 Boolean  \emph{state}. Having $\mathsf{N}$ Boolean values for these
327  cells  leads to the definition of a particular \emph{state  of the
328 system}. A sequence which  elements belong to $\llbracket 1;\mathsf{N}
329 \rrbracket $ is called a \emph{strategy}. The set of all strategies is
330 denoted by $\llbracket 1, \mathsf{N} \rrbracket^\mathds{N}.$
331
332 \begin{definition}
333 \label{Def:chaotic iterations}
334 The      set       $\mathds{B}$      denoting      $\{0,1\}$,      let
335 $f:\mathds{B}^{\mathsf{N}}\longrightarrow  \mathds{B}^{\mathsf{N}}$ be
336 a  function  and  $S\in  \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}$  be  a  ``strategy''.  The  so-called
337 \emph{chaotic      iterations}     are     defined      by     $x^0\in
338 \mathds{B}^{\mathsf{N}}$ and
339 \begin{equation}
340 \forall    n\in     \mathds{N}^{\ast     },    \forall     i\in
341 \llbracket1;\mathsf{N}\rrbracket ,x_i^n=\left\{
342 \begin{array}{ll}
343   x_i^{n-1} &  \text{ if  }S^n\neq i \\
344   \left(f(x^{n-1})\right)_{S^n} & \text{ if }S^n=i.
345 \end{array}\right.
346 \end{equation}
347 \end{definition}
348
349 In other words, at the $n^{th}$ iteration, only the $S^{n}-$th cell is
350 \textquotedblleft  iterated\textquotedblright .  Note  that in  a more
351 general  formulation,  $S^n$  can   be  a  subset  of  components  and
352 $\left(f(x^{n-1})\right)_{S^{n}}$      can     be      replaced     by
353 $\left(f(x^{k})\right)_{S^{n}}$, where  $k<n$, describing for example,
354 delays  transmission~\cite{Robert1986,guyeux10}.  Finally,  let us  remark that
355 the term  ``chaotic'', in  the name of  these iterations,  has \emph{a
356 priori} no link with the mathematical theory of chaos, presented above.
357
358
359 Let us now recall how to define a suitable metric space where chaotic iterations
360 are continuous. For further explanations, see, e.g., \cite{guyeux10}.
361
362 Let $\delta $ be the \emph{discrete Boolean metric}, $\delta
363 (x,y)=0\Leftrightarrow x=y.$ Given a function $f$, define the function
364 $F_{f}:  \llbracket1;\mathsf{N}\rrbracket\times \mathds{B}^{\mathsf{N}} 
365 \longrightarrow  \mathds{B}^{\mathsf{N}}$
366 \begin{equation*}
367 \begin{array}{lrll}
368 & (k,E) & \longmapsto & \left( E_{j}.\delta (k,j)+ f(E)_{k}.\overline{\delta
369 (k,j)}\right) _{j\in \llbracket1;\mathsf{N}\rrbracket}%
370 \end{array}%
371 \end{equation*}%
372 \noindent where + and . are the Boolean addition and product operations.
373 Consider the phase space:
374 \begin{equation}
375 \mathcal{X} = \llbracket 1 ; \mathsf{N} \rrbracket^\mathds{N} \times
376 \mathds{B}^\mathsf{N},
377 \end{equation}
378 \noindent and the map defined on $\mathcal{X}$:
379 \begin{equation}
380 G_f\left(S,E\right) = \left(\sigma(S), F_f(i(S),E)\right), \label{Gf}
381 \end{equation}
382 \noindent where $\sigma$ is the \emph{shift} function defined by $\sigma
383 (S^{n})_{n\in \mathds{N}}\in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}\longrightarrow (S^{n+1})_{n\in
384 \mathds{N}}\in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}$ and $i$ is the \emph{initial function} 
385 $i:(S^{n})_{n\in \mathds{N}} \in \llbracket 1, \mathsf{N} \rrbracket^\mathds{N}\longrightarrow S^{0}\in \llbracket
386 1;\mathsf{N}\rrbracket$. Then the chaotic iterations proposed in
387 Definition \ref{Def:chaotic iterations} can be described by the following iterations:
388 \begin{equation}
389 \left\{
390 \begin{array}{l}
391 X^0 \in \mathcal{X} \\
392 X^{k+1}=G_{f}(X^k).%
393 \end{array}%
394 \right.
395 \end{equation}%
396
397 With this formulation, a shift function appears as a component of chaotic
398 iterations. The shift function is a famous example of a chaotic
399 map~\cite{Devaney} but its presence is not sufficient enough to claim $G_f$ as
400 chaotic. 
401 To study this claim, a new distance between two points $X = (S,E), Y =
402 (\check{S},\check{E})\in
403 \mathcal{X}$ has been introduced in \cite{guyeux10} as follows:
404 \begin{equation}
405 d(X,Y)=d_{e}(E,\check{E})+d_{s}(S,\check{S}),
406 \end{equation}
407 \noindent where
408 \begin{equation}
409 \left\{
410 \begin{array}{lll}
411 \displaystyle{d_{e}(E,\check{E})} & = & \displaystyle{\sum_{k=1}^{\mathsf{N}%
412 }\delta (E_{k},\check{E}_{k})}, \\
413 \displaystyle{d_{s}(S,\check{S})} & = & \displaystyle{\dfrac{9}{\mathsf{N}}%
414 \sum_{k=1}^{\infty }\dfrac{|S^k-\check{S}^k|}{10^{k}}}.%
415 \end{array}%
416 \right.
417 \end{equation}
418
419
420 This new distance has been introduced to satisfy the following requirements.
421 \begin{itemize}
422 \item When the number of different cells between two systems is increasing, then
423 their distance should increase too.
424 \item In addition, if two systems present the same cells and their respective
425 strategies start with the same terms, then the distance between these two points
426 must be small because the evolution of the two systems will be the same for a
427 while. Indeed, both dynamical systems start with the same initial condition,
428 use the same update function, and as strategies are the same for a while, furthermore
429 updated components are the same as well.
430 \end{itemize}
431 The distance presented above follows these recommendations. Indeed, if the floor
432 value $\lfloor d(X,Y)\rfloor $ is equal to $n$, then the systems $E, \check{E}$
433 differ in $n$ cells ($d_e$ is indeed the Hamming distance). In addition, $d(X,Y) - \lfloor d(X,Y) \rfloor $ is a
434 measure of the differences between strategies $S$ and $\check{S}$. More
435 precisely, this floating part is less than $10^{-k}$ if and only if the first
436 $k$ terms of the two strategies are equal. Moreover, if the $k^{th}$ digit is
437 nonzero, then the $k^{th}$ terms of the two strategies are different.
438 The impact of this choice for a distance will be investigated at the end of the document.
439
440 Finally, it has been established in \cite{guyeux10} that,
441
442 \begin{proposition}
443 Let $f$ be a map from $\mathds{B}^\mathsf{N}$ to itself. Then $G_{f}$ is continuous in
444 the metric space $(\mathcal{X},d)$.
445 \end{proposition}
446
447 The chaotic property of $G_f$ has been firstly established for the vectorial
448 Boolean negation $f_0(x_1,\hdots, x_\mathsf{N}) =  (\overline{x_1},\hdots, \overline{x_\mathsf{N}})$ \cite{guyeux10}. To obtain a characterization, we have secondly
449 introduced the notion of asynchronous iteration graph recalled bellow.
450
451 Let $f$ be a map from $\mathds{B}^\mathsf{N}$ to itself. The
452 {\emph{asynchronous iteration graph}} associated with $f$ is the
453 directed graph $\Gamma(f)$ defined by: the set of vertices is
454 $\mathds{B}^\mathsf{N}$; for all $x\in\mathds{B}^\mathsf{N}$ and 
455 $i\in \llbracket1;\mathsf{N}\rrbracket$,
456 the graph $\Gamma(f)$ contains an arc from $x$ to $F_f(i,x)$. 
457 The relation between $\Gamma(f)$ and $G_f$ is clear: there exists a
458 path from $x$ to $x'$ in $\Gamma(f)$ if and only if there exists a
459 strategy $s$ such that the parallel iteration of $G_f$ from the
460 initial point $(s,x)$ reaches the point $x'$.
461 We have then proven in \cite{bcgr11:ip} that,
462
463
464 \begin{theorem}
465 \label{Th:Caractérisation   des   IC   chaotiques}  
466 Let $f:\mathds{B}^\mathsf{N}\to\mathds{B}^\mathsf{N}$. $G_f$ is chaotic  (according to  Devaney) 
467 if and only if $\Gamma(f)$ is strongly connected.
468 \end{theorem}
469
470 Finally, we have established in \cite{bcgr11:ip} that,
471 \begin{theorem}
472   Let $f: \mathds{B}^{n} \rightarrow \mathds{B}^{n}$, $\Gamma(f)$ its
473   iteration graph, $\check{M}$ its adjacency
474   matrix and $M$
475   a $n\times n$ matrix defined by 
476   $
477   M_{ij} = \frac{1}{n}\check{M}_{ij}$ %\textrm{ 
478   if $i \neq j$ and  
479   $M_{ii} = 1 - \frac{1}{n} \sum\limits_{j=1, j\neq i}^n \check{M}_{ij}$ otherwise.
480   
481   If $\Gamma(f)$ is strongly connected, then 
482   the output of the PRNG detailed in Algorithm~\ref{CI Algorithm} follows 
483   a law that tends to the uniform distribution 
484   if and only if $M$ is a double stochastic matrix.
485 \end{theorem} 
486
487
488 These results of chaos and uniform distribution have led us to study the possibility of building a
489 pseudorandom number generator (PRNG) based on the chaotic iterations. 
490 As $G_f$, defined on the domain   $\llbracket 1 ;  \mathsf{N} \rrbracket^{\mathds{N}} 
491 \times \mathds{B}^\mathsf{N}$, is built from Boolean networks $f : \mathds{B}^\mathsf{N}
492 \rightarrow \mathds{B}^\mathsf{N}$, we can preserve the theoretical properties on $G_f$
493 during implementations (due to the discrete nature of $f$). Indeed, it is as if
494 $\mathds{B}^\mathsf{N}$ represents the memory of the computer whereas $\llbracket 1 ;  \mathsf{N}
495 \rrbracket^{\mathds{N}}$ is its input stream (the seeds, for instance, in PRNG, or a physical noise in TRNG).
496 Let us finally remark that the vectorial negation satisfies the hypotheses of both theorems above.
497
498 \section{Application to Pseudorandomness}
499 \label{sec:pseudorandom}
500
501 \subsection{A First Pseudorandom Number Generator}
502
503 We have proposed in~\cite{bgw09:ip} a new family of generators that receives 
504 two PRNGs as inputs. These two generators are mixed with chaotic iterations, 
505 leading thus to a new PRNG that 
506 \begin{color}{red}
507 should improve the statistical properties of each
508 generator taken alone. 
509 Furthermore, the generator obtained by this way possesses various chaos properties that none of the generators used as input
510 present.
511
512
513
514 \begin{algorithm}[h!]
515 \begin{small}
516 \KwIn{a function $f$, an iteration number $b$, an initial configuration $x^0$
517 ($n$ bits)}
518 \KwOut{a configuration $x$ ($n$ bits)}
519 $x\leftarrow x^0$\;
520 $k\leftarrow b + PRNG_1(b)$\;
521 \For{$i=0,\dots,k$}
522 {
523 $s\leftarrow{PRNG_2(n)}$\;
524 $x\leftarrow{F_f(s,x)}$\;
525 }
526 return $x$\;
527 \end{small}
528 \caption{An arbitrary round of $Old~ CI~ PRNG_f(PRNG_1,PRNG_2)$}
529 \label{CI Algorithm}
530 \end{algorithm}
531
532
533
534
535 This generator is synthesized in Algorithm~\ref{CI Algorithm}.
536 It takes as input: a Boolean function $f$ satisfying Theorem~\ref{Th:Caractérisation   des   IC   chaotiques};
537 an integer $b$, ensuring that the number of executed iterations
538 between two outputs is at least $b$
539 and at most $2b+1$; and an initial configuration $x^0$.
540 It returns the new generated configuration $x$.  Internally, it embeds two
541 inputted generators $PRNG_i(k), i=1,2$,
542  which must return integers
543 uniformly distributed
544 into $\llbracket 1 ; k \rrbracket$.
545 For instance, these PRNGs can be the \textit{XORshift}~\cite{Marsaglia2003},
546 being a category of very fast PRNGs designed by George Marsaglia
547 that repeatedly uses the transform of exclusive or (XOR, $\oplus$) on a number
548 with a bit shifted version of it. Such a PRNG, which has a period of
549 $2^{32}-1=4.29\times10^9$, is summed up in Algorithm~\ref{XORshift}. 
550 This XORshift, or any other reasonable PRNG, is used
551 in our own generator to compute both the number of iterations between two
552 outputs (provided by $PRNG_1$) and the strategy elements ($PRNG_2$).
553
554 %This former generator has successively passed various batteries of statistical tests, as the NIST~\cite{bcgr11:ip}, DieHARD~\cite{Marsaglia1996}, and TestU01~\cite{LEcuyerS07} ones.
555
556
557 \begin{algorithm}[h!]
558 \begin{small}
559 \KwIn{the internal configuration $z$ (a 32-bit word)}
560 \KwOut{$y$ (a 32-bit word)}
561 $z\leftarrow{z\oplus{(z\ll13)}}$\;
562 $z\leftarrow{z\oplus{(z\gg17)}}$\;
563 $z\leftarrow{z\oplus{(z\ll5)}}$\;
564 $y\leftarrow{z}$\;
565 return $y$\;
566 \end{small}
567 \caption{An arbitrary round of \textit{XORshift} algorithm}
568 \label{XORshift}
569 \end{algorithm}
570
571
572 \subsection{A ``New CI PRNG''}
573
574 In order to make the Old CI PRNG usable in practice, we have proposed 
575 an adapted version of the chaotic iteration based generator in~\cite{bg10:ip}.
576 In this ``New CI PRNG'', we prevent from changing twice a given
577 bit between two outputs.
578 This new generator is designed by the following process. 
579
580 First of all, some chaotic iterations have to be done to generate a sequence 
581 $\left(x^n\right)_{n\in\mathds{N}} \in \left(\mathds{B}^{32}\right)^\mathds{N}$ 
582 of Boolean vectors, which are the successive states of the iterated system. 
583 Some of these vectors will be randomly extracted and our pseudorandom bit 
584 flow will be constituted by their components. Such chaotic iterations are 
585 realized as follows. Initial state $x^0 \in \mathds{B}^{32}$ is a Boolean 
586 vector taken as a seed and chaotic strategy $\left(S^n\right)_{n\in\mathds{N}}\in 
587 \llbracket 1, 32 \rrbracket^\mathds{N}$ is
588 an \emph{irregular decimation} of $PRNG_2$ sequence, as described in 
589 Algorithm~\ref{Chaotic iteration1}.
590
591 Then, at each iteration, only the $S^n$-th component of state $x^n$ is 
592 updated, as follows: $x_i^n = x_i^{n-1}$ if $i \neq S^n$, else $x_i^n = \overline{x_i^{n-1}}$.
593 Such a procedure is equivalent to achieve chaotic iterations with
594 the Boolean vectorial negation $f_0$ and some well-chosen strategies.
595 Finally, some $x^n$ are selected
596 by a sequence $m^n$ as the pseudorandom bit sequence of our generator.
597 $(m^n)_{n \in \mathds{N}} \in \mathcal{M}^\mathds{N}$ is computed from $PRNG_1$, where $\mathcal{M}\subset \mathds{N}^*$ is a finite nonempty set of integers.
598
599 The basic design procedure of the New CI generator is summarized in Algorithm~\ref{Chaotic iteration1}.
600 The internal state is $x$, the output state is $r$. $a$ and $b$ are those computed by the two input
601 PRNGs. Lastly, the value $g(a)$ is an integer defined as in Eq.~\ref{Formula}.
602 This function must be chosen such that the outputs of the resulted PRNG are uniform in $\llbracket 0, 2^\mathsf{N}-1 \rrbracket$. Function of \eqref{Formula} achieves this
603 goal (other candidates and more information can be found in ~\cite{bg10:ip}).
604
605 \begin{equation}
606 \label{Formula}
607 m^n = g(y^n)=
608 \left\{
609 \begin{array}{l}
610 0 \text{ if }0 \leqslant{y^n}<{C^0_{32}},\\
611 1 \text{ if }{C^0_{32}} \leqslant{y^n}<\sum_{i=0}^1{C^i_{32}},\\
612 2 \text{ if }\sum_{i=0}^1{C^i_{32}} \leqslant{y^n}<\sum_{i=0}^2{C^i_{32}},\\
613 \vdots~~~~~ ~~\vdots~~~ ~~~~\\
614 N \text{ if }\sum_{i=0}^{N-1}{C^i_{32}}\leqslant{y^n}<1.\\
615 \end{array}
616 \right.
617 \end{equation}
618
619 \begin{algorithm}
620 \textbf{Input:} the internal state $x$ (32 bits)\\
621 \textbf{Output:} a state $r$ of 32 bits
622 \begin{algorithmic}[1]
623 \FOR{$i=0,\dots,N$}
624 {
625 \STATE$d_i\leftarrow{0}$\;
626 }
627 \ENDFOR
628 \STATE$a\leftarrow{PRNG_1()}$\;
629 \STATE$k\leftarrow{g(a)}$\;
630 \WHILE{$i=0,\dots,k$}
631
632 \STATE$b\leftarrow{PRNG_2()~mod~\mathsf{N}}$\;
633 \STATE$S\leftarrow{b}$\;
634     \IF{$d_S=0$}
635     {
636 \STATE      $x_S\leftarrow{ \overline{x_S}}$\;
637 \STATE      $d_S\leftarrow{1}$\;
638
639     }
640     \ELSIF{$d_S=1$}
641     {
642 \STATE      $k\leftarrow{ k+1}$\;
643     }\ENDIF
644 \ENDWHILE\\
645 \STATE $r\leftarrow{x}$\;
646 \STATE return $r$\;
647 \medskip
648 \caption{An arbitrary round of the new CI generator}
649 \label{Chaotic iteration1}
650 \end{algorithmic}
651 \end{algorithm}
652 \end{color}
653
654 \subsection{Improving the Speed of the Former Generator}
655
656 Instead of updating only one cell at each iteration,\begin{color}{red} we now propose to choose a
657 subset of components and to update them together, for speed improvements. Such a proposition leads\end{color}
658 to a kind of merger of the two sequences used in Algorithms 
659 \ref{CI Algorithm} and \ref{Chaotic iteration1}. When the updating function is the vectorial negation,
660 this algorithm can be rewritten as follows:
661
662 \begin{equation}
663 \left\{
664 \begin{array}{l}
665 x^0 \in \llbracket 0, 2^\mathsf{N}-1 \rrbracket, S \in \llbracket 0, 2^\mathsf{N}-1 \rrbracket^\mathds{N} \\
666 \forall n \in \mathds{N}^*, x^n = x^{n-1} \oplus S^n,
667 \end{array}
668 \right.
669 \label{equation Oplus}
670 \end{equation}
671 where $\oplus$ is for the bitwise exclusive or between two integers. 
672 This rewriting can be understood as follows. The $n-$th term $S^n$ of the
673 sequence $S$, which is an integer of $\mathsf{N}$ binary digits, presents
674 the list of cells to update in the state $x^n$ of the system (represented
675 as an integer having $\mathsf{N}$ bits too). More precisely, the $k-$th 
676 component of this state (a binary digit) changes if and only if the $k-$th 
677 digit in the binary decomposition of $S^n$ is 1.
678
679 The single basic component presented in Eq.~\ref{equation Oplus} is of 
680 ordinary use as a good elementary brick in various PRNGs. It corresponds
681 to the following discrete dynamical system in chaotic iterations:
682
683 \begin{equation}
684 \forall    n\in     \mathds{N}^{\ast     },    \forall     i\in
685 \llbracket1;\mathsf{N}\rrbracket ,x_i^n=\left\{
686 \begin{array}{ll}
687   x_i^{n-1} &  \text{ if  } i \notin \mathcal{S}^n \\
688   \left(f(x^{n-1})\right)_{S^n} & \text{ if }i \in \mathcal{S}^n.
689 \end{array}\right.
690 \label{eq:generalIC}
691 \end{equation}
692 where $f$ is the vectorial negation and $\forall n \in \mathds{N}$, 
693 $\mathcal{S}^n \subset \llbracket 1, \mathsf{N} \rrbracket$ is such that
694 $k \in \mathcal{S}^n$ if and only if the $k-$th digit in the binary
695 decomposition of $S^n$ is 1. Such chaotic iterations are more general
696 than the ones presented in Definition \ref{Def:chaotic iterations} because, instead of updating only one term at each iteration,
697 we select a subset of components to change.
698
699
700 Obviously, replacing the previous CI PRNG Algorithms by 
701 Equation~\ref{equation Oplus}, which is possible when the iteration function is
702 the vectorial negation, leads to a speed improvement 
703 (the resulting generator will be referred as ``Xor CI PRNG''
704 in what follows).
705 However, proofs
706 of chaos obtained in~\cite{bg10:ij} have been established
707 only for chaotic iterations of the form presented in Definition 
708 \ref{Def:chaotic iterations}. The question is now to determine whether the
709 use of more general chaotic iterations to generate pseudorandom numbers 
710 faster, does not deflate their topological chaos properties.
711
712 \subsection{Proofs of Chaos of the General Formulation of the Chaotic Iterations}
713 \label{deuxième def}
714 Let us consider the discrete dynamical systems in chaotic iterations having 
715 the general form: $\forall    n\in     \mathds{N}^{\ast     }$, $  \forall     i\in
716 \llbracket1;\mathsf{N}\rrbracket $,
717
718 \begin{equation}
719   x_i^n=\left\{
720 \begin{array}{ll}
721   x_i^{n-1} &  \text{ if  } i \notin \mathcal{S}^n \\
722   \left(f(x^{n-1})\right)_{S^n} & \text{ if }i \in \mathcal{S}^n.
723 \end{array}\right.
724 \label{general CIs}
725 \end{equation}
726
727 In other words, at the $n^{th}$ iteration, only the cells whose id is
728 contained into the set $S^{n}$ are iterated.
729
730 Let us now rewrite these general chaotic iterations as usual discrete dynamical
731 system of the form $X^{n+1}=f(X^n)$ on an ad hoc metric space. Such a formulation
732 is required in order to study the topological behavior of the system.
733
734 Let us introduce the following function:
735 \begin{equation}
736 \begin{array}{cccc}
737  \chi: & \llbracket 1; \mathsf{N} \rrbracket \times \mathcal{P}\left(\llbracket 1; \mathsf{N} \rrbracket\right) & \longrightarrow & \mathds{B}\\
738          & (i,X) & \longmapsto  & \left\{ \begin{array}{ll} 0 & \textrm{if }i \notin X, \\ 1 & \textrm{if }i \in X,  \end{array}\right.
739 \end{array} 
740 \end{equation}
741 where $\mathcal{P}\left(X\right)$ is for the powerset of the set $X$, that is, $Y \in \mathcal{P}\left(X\right) \Longleftrightarrow Y \subset X$.
742
743 Given a function $f:\mathds{B}^\mathsf{N} \longrightarrow \mathds{B}^\mathsf{N} $, define the function:
744 $F_{f}:  \mathcal{P}\left(\llbracket1;\mathsf{N}\rrbracket \right) \times \mathds{B}^{\mathsf{N}} 
745 \longrightarrow \mathds{B}^{\mathsf{N}}$
746 \begin{equation*}
747 \begin{array}{rll}
748  (P,E) & \longmapsto & \left( E_{j}.\chi (j,P)+f(E)_{j}.\overline{\chi(j,P)}\right) _{j\in \llbracket1;\mathsf{N}\rrbracket}%
749 \end{array}%
750 \end{equation*}%
751 where + and . are the Boolean addition and product operations, and $\overline{x}$ 
752 is the negation of the Boolean $x$.
753 Consider the phase space:
754 \begin{equation}
755 \mathcal{X} = \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N} \times
756 \mathds{B}^\mathsf{N},
757 \end{equation}
758 \noindent and the map defined on $\mathcal{X}$:
759 \begin{equation}
760 G_f\left(S,E\right) = \left(\sigma(S), F_f(i(S),E)\right), %\label{Gf} %%RAPH, j'ai viré ce label qui existe déjà avant...
761 \end{equation}
762 \noindent where $\sigma$ is the \emph{shift} function defined by $\sigma
763 (S^{n})_{n\in \mathds{N}}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}\longrightarrow (S^{n+1})_{n\in
764 \mathds{N}}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}$ and $i$ is the \emph{initial function} 
765 $i:(S^{n})_{n\in \mathds{N}} \in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)^\mathds{N}\longrightarrow S^{0}\in \mathcal{P}\left(\llbracket 1 ; \mathsf{N} \rrbracket\right)$. 
766 Then the general chaotic iterations defined in Equation \ref{general CIs} can 
767 be described by the following discrete dynamical system:
768 \begin{equation}
769 \left\{
770 \begin{array}{l}
771 X^0 \in \mathcal{X} \\
772 X^{k+1}=G_{f}(X^k).%
773 \end{array}%
774 \right.
775 \end{equation}%
776
777 Once more, a shift function appears as a component of these general chaotic 
778 iterations. 
779
780 To study the Devaney's chaos property, a distance between two points 
781 $X = (S,E), Y = (\check{S},\check{E})$ of $\mathcal{X}$ must be defined.
782 Let us introduce:
783 \begin{equation}
784 d(X,Y)=d_{e}(E,\check{E})+d_{s}(S,\check{S}),
785 \label{nouveau d}
786 \end{equation}
787 \noindent where $ \displaystyle{d_{e}(E,\check{E})} = \displaystyle{\sum_{k=1}^{\mathsf{N}%
788  }\delta (E_{k},\check{E}_{k})}$  is once more the Hamming distance, and
789 $  \displaystyle{d_{s}(S,\check{S})}  =  \displaystyle{\dfrac{9}{\mathsf{N}}%
790  \sum_{k=1}^{\infty }\dfrac{|S^k\Delta {S}^k|}{10^{k}}}$,
791 %%RAPH : ici, j'ai supprimé tous les sauts à la ligne
792 %% \begin{equation}
793 %% \left\{
794 %% \begin{array}{lll}
795 %% \displaystyle{d_{e}(E,\check{E})} & = & \displaystyle{\sum_{k=1}^{\mathsf{N}%
796 %% }\delta (E_{k},\check{E}_{k})} \textrm{ is once more the Hamming distance}, \\
797 %% \displaystyle{d_{s}(S,\check{S})} & = & \displaystyle{\dfrac{9}{\mathsf{N}}%
798 %% \sum_{k=1}^{\infty }\dfrac{|S^k\Delta {S}^k|}{10^{k}}}.%
799 %% \end{array}%
800 %% \right.
801 %% \end{equation}
802 where $|X|$ is the cardinality of a set $X$ and $A\Delta B$ is for the symmetric difference, defined for sets A, B as
803 $A\,\Delta\,B = (A \setminus B) \cup (B \setminus A)$.
804
805
806 \begin{proposition}
807 The function $d$ defined in Eq.~\ref{nouveau d} is a metric on $\mathcal{X}$.
808 \end{proposition}
809
810 \begin{proof}
811  $d_e$ is the Hamming distance. We will prove that $d_s$ is a distance
812 too, thus $d$, as being the sum of two distances, will also be a distance.
813  \begin{itemize}
814 \item Obviously, $d_s(S,\check{S})\geqslant 0$, and if $S=\check{S}$, then 
815 $d_s(S,\check{S})=0$. Conversely, if $d_s(S,\check{S})=0$, then 
816 $\forall k \in \mathds{N}, |S^k\Delta {S}^k|=0$, and so $\forall k, S^k=\check{S}^k$.
817  \item $d_s$ is symmetric 
818 ($d_s(S,\check{S})=d_s(\check{S},S)$) due to the commutative property
819 of the symmetric difference. 
820 \item Finally, $|S \Delta S''| = |(S \Delta \varnothing) \Delta S''|= |S \Delta (S'\Delta S') \Delta S''|= |(S \Delta S') \Delta (S' \Delta S'')|\leqslant |S \Delta S'| + |S' \Delta S''|$, 
821 and so for all subsets $S,S',$ and $S''$ of $\llbracket 1, \mathsf{N} \rrbracket$, 
822 we have $d_s(S,S'') \leqslant d_e(S,S')+d_s(S',S'')$, and the triangle
823 inequality is obtained.
824  \end{itemize}
825 \end{proof}
826
827
828 Before being able to study the topological behavior of the general 
829 chaotic iterations, we must first establish that:
830
831 \begin{proposition}
832  For all $f:\mathds{B}^\mathsf{N} \longrightarrow \mathds{B}^\mathsf{N} $, the function $G_f$ is continuous on 
833 $\left( \mathcal{X},d\right)$.
834 \end{proposition}
835
836
837 \begin{proof}
838 We use the sequential continuity.
839 Let $(S^n,E^n)_{n\in \mathds{N}}$ be a sequence of the phase space $%
840 \mathcal{X}$, which converges to $(S,E)$. We will prove that $\left(
841 G_{f}(S^n,E^n)\right) _{n\in \mathds{N}}$ converges to $\left(
842 G_{f}(S,E)\right) $. Let us remark that for all $n$, $S^n$ is a strategy,
843 thus, we consider a sequence of strategies (\emph{i.e.}, a sequence of
844 sequences).\newline
845 As $d((S^n,E^n);(S,E))$ converges to 0, each distance $d_{e}(E^n,E)$ and $d_{s}(S^n,S)$ converges
846 to 0. But $d_{e}(E^n,E)$ is an integer, so $\exists n_{0}\in \mathds{N},$ $%
847 d_{e}(E^n,E)=0$ for any $n\geqslant n_{0}$.\newline
848 In other words, there exists a threshold $n_{0}\in \mathds{N}$ after which no
849 cell will change its state:
850 $\exists n_{0}\in \mathds{N},n\geqslant n_{0}\Rightarrow E^n = E.$
851
852 In addition, $d_{s}(S^n,S)\longrightarrow 0,$ so $\exists n_{1}\in %
853 \mathds{N},d_{s}(S^n,S)<10^{-1}$ for all indexes greater than or equal to $%
854 n_{1}$. This means that for $n\geqslant n_{1}$, all the $S^n$ have the same
855 first term, which is $S^0$: $\forall n\geqslant n_{1},S_0^n=S_0.$
856
857 Thus, after the $max(n_{0},n_{1})^{th}$ term, states of $E^n$ and $E$ are
858 identical and strategies $S^n$ and $S$ start with the same first term.\newline
859 Consequently, states of $G_{f}(S^n,E^n)$ and $G_{f}(S,E)$ are equal,
860 so, after the $max(n_0, n_1)^{th}$ term, the distance $d$ between these two points is strictly less than 1.\newline
861 \noindent We now prove that the distance between $\left(
862 G_{f}(S^n,E^n)\right) $ and $\left( G_{f}(S,E)\right) $ is convergent to
863 0. Let $\varepsilon >0$. \medskip
864 \begin{itemize}
865 \item If $\varepsilon \geqslant 1$, we see that the distance
866 between $\left( G_{f}(S^n,E^n)\right) $ and $\left( G_{f}(S,E)\right) $ is
867 strictly less than 1 after the $max(n_{0},n_{1})^{th}$ term (same state).
868 \medskip
869 \item If $\varepsilon <1$, then $\exists k\in \mathds{N},10^{-k}\geqslant
870 \varepsilon > 10^{-(k+1)}$. But $d_{s}(S^n,S)$ converges to 0, so
871 \begin{equation*}
872 \exists n_{2}\in \mathds{N},\forall n\geqslant
873 n_{2},d_{s}(S^n,S)<10^{-(k+2)},
874 \end{equation*}%
875 thus after $n_{2}$, the $k+2$ first terms of $S^n$ and $S$ are equal.
876 \end{itemize}
877 \noindent As a consequence, the $k+1$ first entries of the strategies of $%
878 G_{f}(S^n,E^n)$ and $G_{f}(S,E)$ are the same ($G_{f}$ is a shift of strategies) and due to the definition of $d_{s}$, the floating part of
879 the distance between $(S^n,E^n)$ and $(S,E)$ is strictly less than $%
880 10^{-(k+1)}\leqslant \varepsilon $.
881
882 In conclusion,
883 %%RAPH : ici j'ai rajouté une ligne
884 %%TOF : ici j'ai rajouté un commentaire
885 %%TOF : ici aussi
886 $
887 \forall \varepsilon >0,$ $\exists N_{0}=max(n_{0},n_{1},n_{2})\in \mathds{N}
888 ,$ $\forall n\geqslant N_{0},$
889 $ d\left( G_{f}(S^n,E^n);G_{f}(S,E)\right)
890 \leqslant \varepsilon .
891 $
892 $G_{f}$ is consequently continuous.
893 \end{proof}
894
895
896 It is now possible to study the topological behavior of the general chaotic
897 iterations. We will prove that,
898
899 \begin{theorem}
900 \label{t:chaos des general}
901  The general chaotic iterations defined on Equation~\ref{general CIs} satisfy
902 the Devaney's property of chaos.
903 \end{theorem}
904
905 Let us firstly prove the following lemma.
906
907 \begin{lemma}[Strong transitivity]
908 \label{strongTrans}
909  For all couples $X,Y \in \mathcal{X}$ and any neighborhood $V$ of $X$, we can 
910 find $n \in \mathds{N}^*$ and $X' \in V$ such that $G^n(X')=Y$.
911 \end{lemma}
912
913 \begin{proof}
914  Let $X=(S,E)$, $\varepsilon>0$, and $k_0 = \lfloor log_{10}(\varepsilon)+1 \rfloor$. 
915 Any point $X'=(S',E')$ such that $E'=E$ and $\forall k \leqslant k_0, S'^k=S^k$, 
916 are in the open ball $\mathcal{B}\left(X,\varepsilon\right)$. Let us define 
917 $\check{X} = \left(\check{S},\check{E}\right)$, where $\check{X}= G^{k_0}(X)$.
918 We denote by $s\subset \llbracket 1; \mathsf{N} \rrbracket$ the set of coordinates
919 that are different between $\check{E}$ and the state of $Y$. Thus each point $X'$ of
920 the form $(S',E')$ where $E'=E$ and $S'$ starts with 
921 $(S^0, S^1, \hdots, S^{k_0},s,\hdots)$, verifies the following properties:
922 \begin{itemize}
923  \item $X'$ is in $\mathcal{B}\left(X,\varepsilon\right)$,
924  \item the state of $G_f^{k_0+1}(X')$ is the state of $Y$.
925 \end{itemize}
926 Finally the point $\left(\left(S^0, S^1, \hdots, S^{k_0},s,s^0, s^1, \hdots\right); E\right)$, 
927 where $(s^0,s^1, \hdots)$ is the strategy of $Y$, satisfies the properties
928 claimed in the lemma.
929 \end{proof}
930
931 We can now prove the Theorem~\ref{t:chaos des general}.
932
933 \begin{proof}[Theorem~\ref{t:chaos des general}]
934 Firstly, strong transitivity implies transitivity.
935
936 Let $(S,E) \in\mathcal{X}$ and $\varepsilon >0$. To
937 prove that $G_f$ is regular, it is sufficient to prove that
938 there exists a strategy $\tilde S$ such that the distance between
939 $(\tilde S,E)$ and $(S,E)$ is less than $\varepsilon$, and such that
940 $(\tilde S,E)$ is a periodic point.
941
942 Let $t_1=\lfloor-\log_{10}(\varepsilon)\rfloor$, and let $E'$ be the
943 configuration that we obtain from $(S,E)$ after $t_1$ iterations of
944 $G_f$. As $G_f$ is strongly transitive, there exists a strategy $S'$ 
945 and $t_2\in\mathds{N}$ such
946 that $E$ is reached from $(S',E')$ after $t_2$ iterations of $G_f$.
947
948 Consider the strategy $\tilde S$ that alternates the first $t_1$ terms
949 of $S$ and the first $t_2$ terms of $S'$: 
950 %%RAPH : j'ai coupé la ligne en 2
951 $$\tilde
952 S=(S_0,\dots,S_{t_1-1},S'_0,\dots,S'_{t_2-1},S_0,$$$$\dots,S_{t_1-1},S'_0,\dots,S'_{t_2-1},S_0,\dots).$$ It
953 is clear that $(\tilde S,E)$ is obtained from $(\tilde S,E)$ after
954 $t_1+t_2$ iterations of $G_f$. So $(\tilde S,E)$ is a periodic
955 point. Since $\tilde S_t=S_t$ for $t<t_1$, by the choice of $t_1$, we
956 have $d((S,E),(\tilde S,E))<\epsilon$.
957 \end{proof}
958
959
960 \begin{color}{red}
961 \section{Statistical Improvements Using Chaotic Iterations}
962
963 \label{The generation of pseudorandom sequence}
964
965
966 Let us now explain why we are reasonable grounds to believe that chaos 
967 can improve statistical properties.
968 We will show in this section that chaotic properties as defined in the
969 mathematical theory of chaos are related to some statistical tests that can be found
970 in the NIST battery. Furthermore, we will check that, when mixing defective PRNGs with
971 chaotic iterations, the new generator presents better statistical properties
972 (this section summarizes and extends the work of~\cite{bfg12a:ip}).
973
974
975
976 \subsection{Qualitative relations between topological properties and statistical tests}
977
978
979 There are various relations between topological properties that describe an unpredictable behavior for a discrete 
980 dynamical system on the one
981 hand, and statistical tests to check the randomness of a numerical sequence
982 on the other hand. These two mathematical disciplines follow a similar 
983 objective in case of a recurrent sequence (to characterize an intrinsically complicated behavior for a
984 recurrent sequence), with two different but complementary approaches.
985 It is true that the following illustrative links give only qualitative arguments, 
986 and proofs should be provided later to make such arguments irrefutable. However 
987 they give a first understanding of the reason why we think that chaotic properties should tend
988 to improve the statistical quality of PRNGs.
989 %
990 Let us now list some of these relations between topological properties defined in the mathematical
991 theory of chaos and tests embedded into the NIST battery. %Such relations need to be further 
992 %investigated, but they presently give a first illustration of a trend to search similar properties in the 
993 %two following fields: mathematical chaos and statistics.
994
995
996 \begin{itemize}
997     \item \textbf{Regularity}. As stated in Section~\ref{subsec:Devaney}, a chaotic dynamical system must 
998 have an element of regularity. Depending on the chosen definition of chaos, this element can be the existence of
999 a dense orbit, the density of periodic points, etc. The key idea is that a dynamical system with no periodicity
1000 is not as chaotic as a system having periodic orbits: in the first situation, we can predict something and gain a
1001 knowledge about the behavior of the system, that is, it never enters into a loop. A similar importance for periodicity is emphasized in
1002 the two following NIST tests~\cite{Nist10}:
1003     \begin{itemize}
1004         \item \textbf{Non-overlapping Template Matching Test}. Detect generators that produce too many occurrences of a given non-periodic (aperiodic) pattern.
1005         \item \textbf{Discrete Fourier Transform (Spectral) Test}. Detect periodic features (i.e., repetitive patterns that are near each other) in the tested sequence that would indicate a deviation from the assumption of randomness.
1006     \end{itemize}
1007
1008 \item \textbf{Transitivity}. This topological property introduced previously states that the dynamical system is intrinsically complicated: it cannot be simplified into 
1009 two subsystems that do not interact, as we can find in any neighborhood of any point another point whose orbit visits the whole phase space. 
1010 This focus on the places visited by orbits of the dynamical system takes various nonequivalent formulations in the mathematical theory
1011 of chaos, namely: transitivity, strong transitivity, total transitivity, topological mixing, and so on~\cite{bg10:ij}. A similar attention 
1012 is brought on states visited during a random walk in the two tests below~\cite{Nist10}:
1013     \begin{itemize}
1014         \item \textbf{Random Excursions Variant Test}. Detect deviations from the expected number of visits to various states in the random walk.
1015         \item \textbf{Random Excursions Test}. Determine if the number of visits to a particular state within a cycle deviates from what one would expect for a random sequence.
1016     \end{itemize}
1017
1018 \item \textbf{Chaos according to Li and Yorke}. Two points of the phase space $(x,y)$ define a couple of Li-Yorke when $\limsup_{n \rightarrow +\infty} d(f^{(n)}(x), f^{(n)}(y))>0$ et $\liminf_{n \rightarrow +\infty} d(f^{(n)}(x), f^{(n)}(y))=0$, meaning that their orbits always oscillates as the iterations pass. When a system is compact and contains an uncountable set of such points, it is claimed as chaotic according
1019 to Li-Yorke~\cite{Li75,Ruette2001}. A similar property is regarded in the following NIST test~\cite{Nist10}.
1020     \begin{itemize}
1021         \item \textbf{Runs Test}. To determine whether the number of runs of ones and zeros of various lengths is as expected for a random sequence. In particular, this test determines whether the oscillation between such zeros and ones is too fast or too slow.
1022     \end{itemize}
1023     \item \textbf{Topological entropy}. The desire to formulate an equivalency of the thermodynamics entropy
1024 has emerged both in the topological and statistical fields. Another time, a similar objective has led to two different
1025 rewritten of an entropy based disorder: the famous Shannon definition of entropy is approximated in the statistical approach, 
1026 whereas topological entropy is defined as follows.
1027 $x,y \in \mathcal{X}$ are $\varepsilon-$\emph{separated in time $n$} if there exists $k \leqslant n$ such that $d\left(f^{(k)}(x),f^{(k)}(y)\right)>\varepsilon$. Then $(n,\varepsilon)-$separated sets are sets of points that are all $\varepsilon-$separated in time $n$, which
1028 leads to the definition of $s_n(\varepsilon,Y)$, being the maximal cardinality of all $(n,\varepsilon)-$separated sets. Using these notations, 
1029 the topological entropy is defined as follows: $$h_{top}(\mathcal{X},f)  = \displaystyle{\lim_{\varepsilon \rightarrow 0} \Big[ \limsup_{n \rightarrow +\infty} \dfrac{1}{n} \log s_n(\varepsilon,\mathcal{X})\Big]}.$$
1030 This value measures the average exponential growth of the number of distinguishable orbit segments. 
1031 In this sense, it measures complexity of the topological dynamical system, whereas 
1032 the Shannon approach is in mind when defining the following test~\cite{Nist10}:
1033     \begin{itemize}
1034 \item \textbf{Approximate Entropy Test}. Compare the frequency of overlapping blocks of two consecutive/adjacent lengths ($m$ and $m+1$) against the expected result for a random sequence.
1035     \end{itemize}
1036
1037     \item \textbf{Non-linearity, complexity}. Finally, let us remark that non-linearity and complexity are 
1038 not only sought in general to obtain chaos, but they are also required for randomness, as illustrated by the two tests below~\cite{Nist10}.
1039     \begin{itemize}
1040 \item \textbf{Binary Matrix Rank Test}. Check for linear dependence among fixed length substrings of the original sequence.
1041 \item \textbf{Linear Complexity Test}. Determine whether or not the sequence is complex enough to be considered random.
1042       \end{itemize}
1043 \end{itemize}
1044
1045
1046 We have proven in our previous works~\cite{guyeux12:bc} that chaotic iterations satisfying Theorem~\ref{Th:Caractérisation   des   IC   chaotiques} are, among other
1047 things, strongly transitive, topologically mixing, chaotic as defined by Li and Yorke,
1048 and that they have a topological entropy and an exponent of Lyapunov both equal to $ln(\mathsf{N})$,
1049 where $\mathsf{N}$ is the size of the iterated vector.
1050 These topological properties make that we are ground to believe that a generator based on chaotic
1051 iterations will probably be able to pass all the existing statistical batteries for pseudorandomness like
1052 the NIST one. The following subsections, in which we prove that defective generators have their
1053 statistical properties improved by chaotic iterations, show that such an assumption is true.
1054
1055 \subsection{Details of some Existing Generators}
1056
1057 The list of defective PRNGs we will use 
1058 as inputs for the statistical tests to come is introduced here.
1059
1060 Firstly, the simple linear congruency generators (LCGs) will be used. 
1061 They are defined by the following recurrence:
1062 \begin{equation}
1063 x^n = (ax^{n-1} + c)~mod~m,
1064 \label{LCG}
1065 \end{equation}
1066 where $a$, $c$, and $x^0$ must be, among other things, non-negative and less than 
1067 $m$~\cite{LEcuyerS07}. In what follows, 2LCGs and 3LCGs refer as two (resp. three) 
1068 combinations of such LCGs. For further details, see~\cite{bfg12a:ip,combined_lcg}.
1069
1070 Secondly, the multiple recursive generators (MRGs) will be used, which
1071 are based on a linear recurrence of order 
1072 $k$, modulo $m$~\cite{LEcuyerS07}:
1073 \begin{equation}
1074 x^n = (a^1x^{n-1}+~...~+a^kx^{n-k})~mod~m .
1075 \label{MRG}
1076 \end{equation}
1077 Combination of two MRGs (referred as 2MRGs) is also used in these experiments.
1078
1079 Generators based on linear recurrences with carry will be regarded too.
1080 This family of generators includes the add-with-carry (AWC) generator, based on the recurrence:
1081 \begin{equation}
1082 \label{AWC}
1083 \begin{array}{l}
1084 x^n = (x^{n-r} + x^{n-s} + c^{n-1})~mod~m, \\
1085 c^n= (x^{n-r} + x^{n-s} + c^{n-1}) / m, \end{array}\end{equation}
1086 the SWB generator, having the recurrence:
1087 \begin{equation}
1088 \label{SWB}
1089 \begin{array}{l}
1090 x^n = (x^{n-r} - x^{n-s} - c^{n-1})~mod~m, \\
1091 c^n=\left\{
1092 \begin{array}{l}
1093 1 ~~~~~\text{if}~ (x^{i-r} - x^{i-s} - c^{i-1})<0\\
1094 0 ~~~~~\text{else},\end{array} \right. \end{array}\end{equation}
1095 and the SWC generator designed by R. Couture, which is based on the following recurrence:
1096 \begin{equation}
1097 \label{SWC}
1098 \begin{array}{l}
1099 x^n = (a^1x^{n-1} \oplus ~...~ \oplus a^rx^{n-r} \oplus c^{n-1}) ~ mod ~ 2^w, \\
1100 c^n = (a^1x^{n-1} \oplus ~...~ \oplus a^rx^{n-r} \oplus c^{n-1}) ~ / ~ 2^w. \end{array}\end{equation}
1101
1102 Then the generalized feedback shift register (GFSR) generator has been implemented, that is:
1103 \begin{equation}
1104 x^n = x^{n-r} \oplus x^{n-k} .
1105 \label{GFSR}
1106 \end{equation}
1107
1108
1109 Finally, the nonlinear inversive (INV) generator~\cite{LEcuyerS07} has been studied, which is:
1110
1111 \begin{equation}
1112 \label{INV}
1113 \begin{array}{l}
1114 x^n=\left\{
1115 \begin{array}{ll}
1116 (a^1 + a^2 / z^{n-1})~mod~m & \text{if}~ z^{n-1} \neq 0 \\
1117 a^1 & \text{if}~  z^{n-1} = 0 .\end{array} \right. \end{array}\end{equation}
1118
1119
1120
1121 \begin{table}
1122 \renewcommand{\arraystretch}{1.3}
1123 \caption{TestU01 Statistical Test}
1124 \label{TestU011}
1125 \centering
1126   \begin{tabular}{lccccc}
1127     \toprule
1128 Test name &Tests& Logistic              & XORshift      & ISAAC\\
1129 Rabbit                          &       38      &21             &14     &0       \\
1130 Alphabit                        &       17      &16             &9      &0       \\
1131 Pseudo DieHARD                  &126    &0              &2      &0      \\
1132 FIPS\_140\_2                    &16     &0              &0      &0      \\
1133 SmallCrush                      &15     &4              &5      &0       \\
1134 Crush                           &144    &95             &57     &0       \\
1135 Big Crush                       &160    &125            &55     &0       \\ \hline
1136 Failures                &       &261            &146    &0       \\
1137 \bottomrule
1138   \end{tabular}
1139 \end{table}
1140
1141
1142
1143 \begin{table}
1144 \renewcommand{\arraystretch}{1.3}
1145 \caption{TestU01 Statistical Test for Old CI algorithms ($\mathsf{N}=4$)}
1146 \label{TestU01 for Old CI}
1147 \centering
1148   \begin{tabular}{lcccc}
1149     \toprule
1150 \multirow{3}*{Test name} & \multicolumn{4}{c}{Old CI}\\
1151 &Logistic& XORshift& ISAAC&ISAAC  \\ 
1152 &+& +& + & + \\ 
1153 &Logistic& XORshift& XORshift&ISAAC  \\ \cmidrule(r){2-5}
1154 Rabbit                                  &7      &2      &0      &0       \\
1155 Alphabit                                & 3     &0      &0      &0       \\
1156 DieHARD                         &0      &0      &0      &0      \\
1157 FIPS\_140\_2                    &0      &0      &0      &0      \\
1158 SmallCrush                              &2      &0      &0      &0       \\
1159 Crush                                   &47     &4      &0      &0       \\
1160 Big Crush                               &79     &3      &0      &0       \\ \hline
1161 Failures                                &138    &9      &0      &0       \\
1162 \bottomrule
1163   \end{tabular}
1164 \end{table}
1165
1166
1167
1168
1169
1170 \subsection{Statistical tests}
1171 \label{Security analysis}
1172
1173 Three batteries of tests are reputed and usually used
1174 to evaluate the statistical properties of newly designed pseudorandom
1175 number generators. These batteries are named DieHard~\cite{Marsaglia1996},
1176 the NIST suite~\cite{ANDREW2008}, and the most stringent one called
1177 TestU01~\cite{LEcuyerS07}, which encompasses the two other batteries.
1178
1179
1180
1181 \label{Results and discussion}
1182 \begin{table*}
1183 \renewcommand{\arraystretch}{1.3}
1184 \caption{NIST and DieHARD tests suite passing rates for PRNGs without CI}
1185 \label{NIST and DieHARD tests suite passing rate the for PRNGs without CI}
1186 \centering
1187   \begin{tabular}{|l||c|c|c|c|c|c|c|c|c|c|}
1188     \hline\hline
1189 Types of PRNGs & \multicolumn{2}{c|}{Linear PRNGs} & \multicolumn{4}{c|}{Lagged PRNGs} & \multicolumn{1}{c|}{ICG PRNGs} & \multicolumn{3}{c|}{Mixed PRNGs}\\ \hline
1190 \backslashbox{\textbf{$Tests$}} {\textbf{$PRNG$}} & LCG& MRG& AWC & SWB  & SWC & GFSR & INV & LCG2& LCG3& MRG2 \\ \hline
1191 NIST & 11/15 & 14/15 &\textbf{15/15} & \textbf{15/15}   & 14/15 & 14/15  & 14/15 & 14/15& 14/15& 14/15 \\ \hline
1192 DieHARD & 16/18 & 16/18 & 15/18 & 16/18 & \textbf{18/18} & 16/18 & 16/18 & 16/18& 16/18& 16/18\\ \hline
1193 \end{tabular}
1194 \end{table*}
1195
1196 Table~\ref{NIST and DieHARD tests suite passing rate the for PRNGs without CI} shows the 
1197 results on the two firsts batteries recalled above, indicating that all the PRNGs presented
1198 in the previous section
1199 cannot pass all these tests. In other words, the statistical quality of these PRNGs cannot 
1200 fulfill the up-to-date standards presented previously. We have shown in~\cite{bfg12a:ip} that the use of chaotic
1201 iterations can solve this issue.
1202 %More precisely, to
1203 %illustrate the effects of chaotic iterations on these defective PRNGs, experiments have been divided in three parts~\cite{bfg12a:ip}:
1204 %\begin{enumerate}
1205 %  \item \textbf{Single CIPRNG}: The PRNGs involved in CI computing are of the same category.
1206 %  \item \textbf{Mixed CIPRNG}: Two different types of PRNGs are mixed during the chaotic iterations process.
1207 %  \item \textbf{Multiple CIPRNG}: The generator is obtained by repeating the composition of the iteration function as follows: $x^0\in \mathds{B}^{\mathsf{N}}$, and $\forall n\in \mathds{N}^{\ast },\forall i\in \llbracket1;\mathsf{N}\rrbracket, x_i^n=$
1208 %\begin{equation}
1209 %\begin{array}{l}
1210 %\left\{
1211 %\begin{array}{l}
1212 %x_i^{n-1}~~~~~\text{if}~S^n\neq i \\
1213 %\forall j\in \llbracket1;\mathsf{m}\rrbracket,f^m(x^{n-1})_{S^{nm+j}}~\text{if}~S^{nm+j}=i.\end{array} \right. \end{array}
1214 %\end{equation}
1215 %$m$ is called the \emph{functional power}.
1216 %\end{enumerate}
1217 %
1218 The obtained results are reproduced in Table
1219 \ref{NIST and DieHARD tests suite passing rate the for single CIPRNGs}.
1220 The scores written in boldface indicate that all the tests have been passed successfully, whereas an 
1221 asterisk ``*'' means that the considered passing rate has been improved.
1222 The improvements are obvious for both the ``Old CI'' and ``New CI'' generators.
1223 Concerning the ``Xor CI PRNG'', the score is less spectacular: a large speed improvement makes that statistics
1224  are not as good as for the two other versions of these CIPRNGs.
1225 However 8 tests have been improved (with no deflation for the other results).
1226
1227
1228 \begin{table*}
1229 \renewcommand{\arraystretch}{1.3}
1230 \caption{NIST and DieHARD tests suite passing rates for PRNGs with CI}
1231 \label{NIST and DieHARD tests suite passing rate the for single CIPRNGs}
1232 \centering
1233   \begin{tabular}{|l||c|c|c|c|c|c|c|c|c|c|c|c|}
1234     \hline
1235 Types of PRNGs & \multicolumn{2}{c|}{Linear PRNGs} & \multicolumn{4}{c|}{Lagged PRNGs} & \multicolumn{1}{c|}{ICG PRNGs} & \multicolumn{3}{c|}{Mixed PRNGs}\\ \hline
1236 \backslashbox{\textbf{$Tests$}} {\textbf{$Single~CIPRNG$}} & LCG  & MRG & AWC & SWB & SWC & GFSR & INV& LCG2 & LCG3& MRG2 \\ \hline\hline
1237 Old CIPRNG\\ \hline \hline
1238 NIST & \textbf{15/15} *  & \textbf{15/15} * & \textbf{15/15}   & \textbf{15/15}   & \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} *& \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} \\ \hline
1239 DieHARD & \textbf{18/18} *  & \textbf{18/18} * & \textbf{18/18} *  & \textbf{18/18} *  & \textbf{18/18}  & \textbf{18/18} * & \textbf{18/18} *& \textbf{18/18} * & \textbf{18/18} *& \textbf{18/18} * \\ \hline
1240 New CIPRNG\\ \hline \hline
1241 NIST & \textbf{15/15} *  & \textbf{15/15} * & \textbf{15/15}   & \textbf{15/15}  & \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} *& \textbf{15/15} * & \textbf{15/15} * & \textbf{15/15} \\ \hline
1242 DieHARD & \textbf{18/18} *  & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18}  & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18} * & \textbf{18/18} *& \textbf{18/18} *\\ \hline
1243 Xor CIPRNG\\ \hline\hline
1244 NIST & 14/15*& \textbf{15/15} *   & \textbf{15/15}   & \textbf{15/15}   & 14/15 & \textbf{15/15} * & 14/15& \textbf{15/15} * & \textbf{15/15} *& \textbf{15/15}  \\ \hline
1245 DieHARD & 16/18 & 16/18 & 17/18* & \textbf{18/18} * & \textbf{18/18}  & \textbf{18/18} * & 16/18 & 16/18 & 16/18& 16/18\\ \hline
1246 \end{tabular}
1247 \end{table*}
1248
1249
1250 We have then investigate in~\cite{bfg12a:ip} if it is possible to improve
1251 the statistical behavior of the Xor CI version by combining more than one 
1252 $\oplus$ operation. Results are summarized in Table~\ref{threshold}, illustrating
1253 the progressive increasing effects of chaotic iterations, when giving time to chaos to get settled in.
1254 Thus rapid and perfect PRNGs, regarding the NIST and DieHARD batteries, can be obtained 
1255 using chaotic iterations on defective generators.
1256
1257 \begin{table*}
1258 \renewcommand{\arraystretch}{1.3}
1259 \caption{Number of $\oplus$ operations to pass the whole NIST and DieHARD batteries}
1260 \label{threshold}
1261 \centering
1262   \begin{tabular}{|l||c|c|c|c|c|c|c|c|}
1263     \hline
1264 Inputted $PRNG$ & LCG & MRG & SWC & GFSR & INV& LCG2 & LCG3  & MRG2 \\ \hline\hline
1265 Threshold  value $m$& 19 & 7  & 2& 1 & 11& 9& 3& 4\\ \hline\hline
1266 \end{tabular}
1267 \end{table*}
1268
1269 Finally, the TestU01 battery has been launched on three well-known generators 
1270 (a logistic map, a simple XORshift, and the cryptographically secure ISAAC, 
1271 see Table~\ref{TestU011}). These results can be compared with 
1272 Table~\ref{TestU01 for Old CI}, which gives the scores obtained by the
1273 Old CI PRNG that has received these generators.
1274 The obvious improvement speaks for itself, and together with the other
1275 results recalled in this section, it reinforces the opinion that a strong
1276 correlation between topological properties and statistical behavior exists.
1277
1278
1279 Next subsection will now give a concrete original implementation of the Xor CI PRNG, the
1280 fastest generator in the chaotic iteration based family. In the remainder,
1281 this generator will be simply referred as CIPRNG, or ``the proposed PRNG'', if this statement does not
1282 raise ambiguity.
1283 \end{color}
1284
1285 \subsection{First Efficient Implementation of a PRNG based on Chaotic Iterations}
1286 \label{sec:efficient PRNG}
1287 %
1288 %Based on the proof presented in the previous section, it is now possible to 
1289 %improve the speed of the generator formerly presented in~\cite{bgw09:ip,guyeux10}. 
1290 %The first idea is to consider
1291 %that the provided strategy is a pseudorandom Boolean vector obtained by a
1292 %given PRNG.
1293 %An iteration of the system is simply the bitwise exclusive or between
1294 %the last computed state and the current strategy.
1295 %Topological properties of disorder exhibited by chaotic 
1296 %iterations can be inherited by the inputted generator, we hope by doing so to 
1297 %obtain some statistical improvements while preserving speed.
1298 %
1299 %%RAPH : j'ai viré tout ca
1300 %% Let us give an example using 16-bits numbers, to clearly understand how the bitwise xor operations
1301 %% are
1302 %% done.  
1303 %% Suppose  that $x$ and the  strategy $S^i$ are given as
1304 %% binary vectors.
1305 %% Table~\ref{TableExemple} shows the result of $x \oplus S^i$.
1306
1307 %% \begin{table}
1308 %% \begin{scriptsize}
1309 %% $$
1310 %% \begin{array}{|cc|cccccccccccccccc|}
1311 %% \hline
1312 %% x      &=&1&0&1&1&1&0&1&0&1&0&0&1&0&0&1&0\\
1313 %% \hline
1314 %% S^i      &=&0&1&1&0&0&1&1&0&1&1&1&0&0&1&1&1\\
1315 %% \hline
1316 %% x \oplus S^i&=&1&1&0&1&1&1&0&0&0&1&1&1&0&1&0&1\\
1317 %% \hline
1318
1319 %% \hline
1320 %%  \end{array}
1321 %% $$
1322 %% \end{scriptsize}
1323 %% \caption{Example of an arbitrary round of the proposed generator}
1324 %% \label{TableExemple}
1325 %% \end{table}
1326
1327
1328
1329
1330 \lstset{language=C,caption={C code of the sequential PRNG based on chaotic iterations},label={algo:seqCIPRNG}}
1331 \begin{small}
1332 \begin{lstlisting}
1333
1334 unsigned int CIPRNG() {
1335   static unsigned int x = 123123123;
1336   unsigned long t1 = xorshift();
1337   unsigned long t2 = xor128();
1338   unsigned long t3 = xorwow();
1339   x = x^(unsigned int)t1;
1340   x = x^(unsigned int)(t2>>32);
1341   x = x^(unsigned int)(t3>>32);
1342   x = x^(unsigned int)t2;
1343   x = x^(unsigned int)(t1>>32);
1344   x = x^(unsigned int)t3;
1345   return x;
1346 }
1347 \end{lstlisting}
1348 \end{small}
1349
1350
1351
1352 In Listing~\ref{algo:seqCIPRNG} a sequential  version of the proposed PRNG based
1353 on  chaotic  iterations  is  presented.   The xor  operator  is  represented  by
1354 \textasciicircum.  This function uses  three classical 64-bits PRNGs, namely the
1355 \texttt{xorshift},         the          \texttt{xor128},         and         the
1356 \texttt{xorwow}~\cite{Marsaglia2003}.  In the following, we call them ``xor-like
1357 PRNGs''.   As each  xor-like PRNG  uses 64-bits  whereas our  proposed generator
1358 works with 32-bits, we use the command \texttt{(unsigned int)}, that selects the
1359 32 least  significant bits  of a given  integer, and the  code \texttt{(unsigned
1360   int)(t$>>$32)} in order to obtain the 32 most significant bits of \texttt{t}.
1361
1362 Thus producing a pseudorandom number needs 6 xor operations with 6 32-bits numbers
1363 that  are provided by  3 64-bits  PRNGs.  This  version successfully  passes the
1364 stringent BigCrush battery of tests~\cite{LEcuyerS07}. 
1365 \begin{color}{red}At this point, we thus
1366 have defined an efficient and statistically unbiased generator. Its speed is
1367 directly related to the use of linear operations, but for the same reason,
1368 this fast generator cannot be proven as secure.
1369 \end{color}
1370
1371
1372 \section{Efficient PRNGs based on Chaotic Iterations on GPU}
1373 \label{sec:efficient PRNG gpu}
1374
1375 In order to  take benefits from the computing power  of GPU, a program
1376 needs  to have  independent blocks  of  threads that  can be  computed
1377 simultaneously. In general,  the larger the number of  threads is, the
1378 more local  memory is  used, and the  less branching  instructions are
1379 used  (if,  while,  ...),  the  better the  performances  on  GPU  is.
1380 Obviously, having these requirements in  mind, it is possible to build
1381 a   program    similar   to    the   one   presented    in  Listing 
1382 \ref{algo:seqCIPRNG}, which computes  pseudorandom numbers on GPU.  To
1383 do  so,  we  must   firstly  recall  that  in  the  CUDA~\cite{Nvid10}
1384 environment,    threads    have     a    local    identifier    called
1385 \texttt{ThreadIdx},  which   is  relative  to   the  block  containing
1386 them. Furthermore, in  CUDA, parts of  the code that are executed by the  GPU, are
1387 called {\it kernels}.
1388
1389
1390 \subsection{Naive Version for GPU}
1391
1392  
1393 It is possible to deduce from the CPU version a quite similar version adapted to GPU.
1394 The simple principle consists in making each thread of the GPU computing the CPU version of our PRNG.  
1395 Of course,  the  three xor-like
1396 PRNGs  used in these computations must have different  parameters. 
1397 In a given thread, these parameters are
1398 randomly picked from another PRNGs. 
1399 The  initialization stage is performed by  the CPU.
1400 To do it, the  ISAAC  PRNG~\cite{Jenkins96} is used to  set  all  the
1401 parameters embedded into each thread.   
1402
1403 The implementation of  the three
1404 xor-like  PRNGs  is  straightforward  when  their  parameters  have  been
1405 allocated in  the GPU memory.  Each xor-like  works with  an internal
1406 number  $x$  that saves  the  last  generated  pseudorandom number. Additionally,  the
1407 implementation of the  xor128, the xorshift, and the  xorwow respectively require
1408 4, 5, and 6 unsigned long as internal variables.
1409
1410
1411 \begin{algorithm}
1412 \begin{small}
1413 \KwIn{InternalVarXorLikeArray: array with internal variables of the 3 xor-like
1414 PRNGs in global memory\;
1415 NumThreads: number of threads\;}
1416 \KwOut{NewNb: array containing random numbers in global memory}
1417 \If{threadIdx is concerned by the computation} {
1418   retrieve data from InternalVarXorLikeArray[threadIdx] in local variables\;
1419   \For{i=1 to n} {
1420     compute a new PRNG as in Listing\ref{algo:seqCIPRNG}\;
1421     store the new PRNG in NewNb[NumThreads*threadIdx+i]\;
1422   }
1423   store internal variables in InternalVarXorLikeArray[threadIdx]\;
1424 }
1425 \end{small}
1426 \caption{Main kernel of the GPU ``naive'' version of the PRNG based on chaotic iterations}
1427 \label{algo:gpu_kernel}
1428 \end{algorithm}
1429
1430
1431
1432 Algorithm~\ref{algo:gpu_kernel}  presents a naive  implementation of the proposed  PRNG on
1433 GPU.  Due to the available  memory in the  GPU and the number  of threads
1434 used simultaneously,  the number  of random numbers  that a thread  can generate
1435 inside   a    kernel   is   limited  (\emph{i.e.},    the    variable   \texttt{n}   in
1436 algorithm~\ref{algo:gpu_kernel}). For instance, if  $100,000$ threads are used and
1437 if $n=100$\footnote{in fact, we need to add the initial seed (a 32-bits number)},
1438 then   the  memory   required   to  store all of the  internals   variables  of both the  xor-like
1439 PRNGs\footnote{we multiply this number by $2$ in order to count 32-bits numbers}
1440 and  the pseudorandom  numbers generated by  our  PRNG,  is  equal to  $100,000\times  ((4+5+6)\times
1441 2+(1+100))=1,310,000$ 32-bits numbers, that is, approximately $52$Mb.
1442
1443 This generator is able to pass the whole BigCrush battery of tests, for all
1444 the versions that have been tested depending on their number of threads 
1445 (called \texttt{NumThreads} in our algorithm, tested up to $5$ million).
1446
1447 \begin{remark}
1448 The proposed algorithm has  the  advantage of  manipulating  independent
1449 PRNGs, so this version is easily adaptable on a cluster of computers too. The only thing
1450 to ensure is to use a single ISAAC PRNG. To achieve this requirement, a simple solution consists in
1451 using a master node for the initialization. This master node computes the initial parameters
1452 for all the different nodes involved in the computation.
1453 \end{remark}
1454
1455 \subsection{Improved Version for GPU}
1456
1457 As GPU cards using CUDA have shared memory between threads of the same block, it
1458 is possible  to use this  feature in order  to simplify the  previous algorithm,
1459 i.e., to use less  than 3 xor-like PRNGs. The solution  consists in computing only
1460 one xor-like PRNG by thread, saving  it into the shared memory, and then to use the results
1461 of some  other threads in the  same block of  threads. In order to  define which
1462 thread uses the result of which other  one, we can use a combination array that
1463 contains  the indexes  of  all threads  and  for which  a combination has  been
1464 performed. 
1465
1466 In  Algorithm~\ref{algo:gpu_kernel2},  two  combination  arrays are  used.   The
1467 variable     \texttt{offset}    is     computed    using     the     value    of
1468 \texttt{combination\_size}.   Then we  can compute  \texttt{o1}  and \texttt{o2}
1469 representing the  indexes of  the other  threads whose results  are used  by the
1470 current one.   In this algorithm, we  consider that a 32-bits  xor-like PRNG has
1471 been chosen. In practice, we  use the xor128 proposed in~\cite{Marsaglia2003} in
1472 which  unsigned longs  (64 bits)  have been  replaced by  unsigned  integers (32
1473 bits).
1474
1475 This version  can also pass the whole {\it BigCrush} battery of tests.
1476
1477 \begin{algorithm}
1478 \begin{small}
1479 \KwIn{InternalVarXorLikeArray: array with internal variables of 1 xor-like PRNGs
1480 in global memory\;
1481 NumThreads: Number of threads\;
1482 array\_comb1, array\_comb2: Arrays containing combinations of size combination\_size\;}
1483
1484 \KwOut{NewNb: array containing random numbers in global memory}
1485 \If{threadId is concerned} {
1486   retrieve data from InternalVarXorLikeArray[threadId] in local variables including shared memory and x\;
1487   offset = threadIdx\%combination\_size\;
1488   o1 = threadIdx-offset+array\_comb1[offset]\;
1489   o2 = threadIdx-offset+array\_comb2[offset]\;
1490   \For{i=1 to n} {
1491     t=xor-like()\;
1492     t=t\textasciicircum shmem[o1]\textasciicircum shmem[o2]\;
1493     shared\_mem[threadId]=t\;
1494     x = x\textasciicircum t\;
1495
1496     store the new PRNG in NewNb[NumThreads*threadId+i]\;
1497   }
1498   store internal variables in InternalVarXorLikeArray[threadId]\;
1499 }
1500 \end{small}
1501 \caption{Main kernel for the chaotic iterations based PRNG GPU efficient
1502 version\label{IR}}
1503 \label{algo:gpu_kernel2} 
1504 \end{algorithm}
1505
1506 \subsection{Theoretical Evaluation of the Improved Version}
1507
1508 A run of Algorithm~\ref{algo:gpu_kernel2} consists in an operation ($x=x\oplus t$) having 
1509 the form of Equation~\ref{equation Oplus}, which is equivalent to the iterative
1510 system of Eq.~\ref{eq:generalIC}. That is, an iteration of the general chaotic
1511 iterations is realized between the last stored value $x$ of the thread and a strategy $t$
1512 (obtained by a bitwise exclusive or between a value provided by a xor-like() call
1513 and two values previously obtained by two other threads).
1514 To be certain that we are in the framework of Theorem~\ref{t:chaos des general},
1515 we must guarantee that this dynamical system iterates on the space 
1516 $\mathcal{X} = \mathcal{P}\left(\llbracket 1, \mathsf{N} \rrbracket\right)^\mathds{N}\times\mathds{B}^\mathsf{N}$.
1517 The left term $x$ obviously belongs to $\mathds{B}^ \mathsf{N}$.
1518 To prevent from any flaws of chaotic properties, we must check that the right 
1519 term (the last $t$), corresponding to the strategies,  can possibly be equal to any
1520 integer of $\llbracket 1, \mathsf{N} \rrbracket$. 
1521
1522 Such a result is obvious, as for the xor-like(), all the
1523 integers belonging into its interval of definition can occur at each iteration, and thus the 
1524 last $t$ respects the requirement. Furthermore, it is possible to
1525 prove by an immediate mathematical induction that, as the initial $x$
1526 is uniformly distributed (it is provided by a cryptographically secure PRNG),
1527 the two other stored values shmem[o1] and shmem[o2] are uniformly distributed too,
1528 (this is the induction hypothesis), and thus the next $x$ is finally uniformly distributed.
1529
1530 Thus Algorithm~\ref{algo:gpu_kernel2} is a concrete realization of the general
1531 chaotic iterations presented previously, and for this reason, it satisfies the 
1532 Devaney's formulation of a chaotic behavior.
1533
1534 \section{Experiments}
1535 \label{sec:experiments}
1536
1537 Different experiments  have been  performed in order  to measure  the generation
1538 speed. We have used a first computer equipped with a Tesla C1060 NVidia  GPU card
1539 and an
1540 Intel  Xeon E5530 cadenced  at 2.40  GHz,  and 
1541 a second computer  equipped with a smaller  CPU and  a GeForce GTX  280. 
1542 All the
1543 cards have 240 cores.
1544
1545 In  Figure~\ref{fig:time_xorlike_gpu} we  compare the  quantity of  pseudorandom numbers
1546 generated per second with various xor-like based PRNGs. In this figure, the optimized
1547 versions use the {\it xor64} described in~\cite{Marsaglia2003}, whereas the naive versions
1548 embed  the three  xor-like  PRNGs described  in Listing~\ref{algo:seqCIPRNG}.   In
1549 order to obtain the optimal performances, the storage of pseudorandom numbers
1550 into the GPU memory has been removed. This step is time consuming and slows down the numbers
1551 generation.  Moreover this   storage  is  completely
1552 useless, in case of applications that consume the pseudorandom
1553 numbers  directly   after generation. We can see  that when the number of  threads is greater
1554 than approximately 30,000 and lower than 5 million, the number of pseudorandom numbers generated
1555 per second  is almost constant.  With the  naive version, this value ranges from 2.5 to
1556 3GSamples/s.   With  the  optimized   version,  it  is  approximately  equal to
1557 20GSamples/s. Finally  we can remark  that both GPU  cards are quite  similar, but in
1558 practice,  the Tesla C1060  has more  memory than  the GTX  280, and  this memory
1559 should be of better quality.
1560 As a  comparison,   Listing~\ref{algo:seqCIPRNG}  leads   to the  generation of  about
1561 138MSample/s when using one core of the Xeon E5530.
1562
1563 \begin{figure}[htbp]
1564 \begin{center}
1565   \includegraphics[width=\columnwidth]{curve_time_xorlike_gpu.pdf}
1566 \end{center}
1567 \caption{Quantity of pseudorandom numbers generated per second with the xorlike-based PRNG}
1568 \label{fig:time_xorlike_gpu}
1569 \end{figure}
1570
1571
1572
1573
1574
1575 In Figure~\ref{fig:time_bbs_gpu} we highlight  the performances of the optimized
1576 BBS-based PRNG on GPU.  On  the Tesla C1060 we obtain approximately 700MSample/s
1577 and  on the  GTX 280  about  670MSample/s, which  is obviously  slower than  the
1578 xorlike-based PRNG on GPU. However, we  will show in the next sections that this
1579 new PRNG  has a strong  level of  security, which is  necessarily paid by  a speed
1580 reduction.
1581
1582 \begin{figure}[htbp]
1583 \begin{center}
1584   \includegraphics[width=\columnwidth]{curve_time_bbs_gpu.pdf}
1585 \end{center}
1586 \caption{Quantity of pseudorandom numbers generated per second using the BBS-based PRNG}
1587 \label{fig:time_bbs_gpu}
1588 \end{figure}
1589
1590 All  these  experiments allow  us  to conclude  that  it  is possible  to
1591 generate a very large quantity of pseudorandom  numbers statistically perfect with the  xor-like version.
1592 To a certain extend, it is also the case with the secure BBS-based version, the speed deflation being
1593 explained by the fact that the former  version has ``only''
1594 chaotic properties and statistical perfection, whereas the latter is also cryptographically secure,
1595 as it is shown in the next sections.
1596
1597
1598
1599
1600
1601
1602
1603 \section{Security Analysis}
1604 \label{sec:security analysis}
1605
1606 \PCH{This section is dedicated to the analysis of the security of the
1607   proposed PRNGs from a theoretical point of view. The standard definition
1608   of {\it indistinguishability} used is the classical one as defined for
1609   instance in~\cite[chapter~3]{Goldreich}. It is important to emphasize that
1610   this property shows that predicting the future results of the PRNG's
1611   cannot be done in a reasonable time compared to the generation time. This
1612   is a relative notion between breaking time and the sizes of the
1613   keys/seeds. Of course, if small keys or seeds are chosen, the system can
1614   be broken in practice. But it also means that if the keys/seeds are large
1615   enough, the system is secured.}
1616
1617 In this section the concatenation of two strings $u$ and $v$ is classically
1618 denoted by $uv$.
1619 In a cryptographic context, a pseudorandom generator is a deterministic
1620 algorithm $G$ transforming strings  into strings and such that, for any
1621 seed $s$ of length $m$, $G(s)$ (the output of $G$ on the input $s$) has size
1622 $\ell_G(m)$ with $\ell_G(m)>m$.
1623 The notion of {\it secure} PRNGs can now be defined as follows. 
1624
1625 \begin{definition}
1626 A cryptographic PRNG $G$ is secure if for any probabilistic polynomial time
1627 algorithm $D$, for any positive polynomial $p$, and for all sufficiently
1628 large $m$'s,
1629 $$| \mathrm{Pr}[D(G(U_m))=1]-Pr[D(U_{\ell_G(m)})=1]|< \frac{1}{p(m)},$$
1630 where $U_r$ is the uniform distribution over $\{0,1\}^r$ and the
1631 probabilities are taken over $U_m$, $U_{\ell_G(m)}$ as well as over the
1632 internal coin tosses of $D$. 
1633 \end{definition}
1634
1635 Intuitively, it means that there is no polynomial time algorithm that can
1636 distinguish a perfect uniform random generator from $G$ with a non
1637 negligible probability. The interested reader is referred
1638 to~\cite[chapter~3]{Goldreich} for more information. Note that it is
1639 quite easily possible to change the function $\ell$ into any polynomial
1640 function $\ell^\prime$ satisfying $\ell^\prime(m)>m)$~\cite[Chapter 3.3]{Goldreich}.
1641
1642 The generation schema developed in (\ref{equation Oplus}) is based on a
1643 pseudorandom generator. Let $H$ be a cryptographic PRNG. We may assume,
1644 without loss of generality, that for any string $S_0$ of size $N$, the size
1645 of $H(S_0)$ is $kN$, with $k>2$. It means that $\ell_H(N)=kN$. 
1646 Let $S_1,\ldots,S_k$ be the 
1647 strings of length $N$ such that $H(S_0)=S_1 \ldots S_k$ ($H(S_0)$ is the concatenation of
1648 the $S_i$'s). The cryptographic PRNG $X$ defined in (\ref{equation Oplus})
1649 is the algorithm mapping any string of length $2N$ $x_0S_0$ into the string
1650 $(x_0\oplus S_0 \oplus S_1)(x_0\oplus S_0 \oplus S_1\oplus S_2)\ldots
1651 (x_o\bigoplus_{i=0}^{i=k}S_i)$. One in particular has $\ell_{X}(2N)=kN=\ell_H(N)$. 
1652 We claim now that if this PRNG is secure,
1653 then the new one is secure too.
1654
1655 \begin{proposition}
1656 \label{cryptopreuve}
1657 If $H$ is a secure cryptographic PRNG, then $X$ is a secure cryptographic
1658 PRNG too.
1659 \end{proposition}
1660
1661 \begin{proof}
1662 The proposition is proved by contraposition. Assume that $X$ is not
1663 secure. By Definition, there exists a polynomial time probabilistic
1664 algorithm $D$, a positive polynomial $p$, such that for all $k_0$ there exists
1665 $N\geq \frac{k_0}{2}$ satisfying 
1666 $$| \mathrm{Pr}[D(X(U_{2N}))=1]-\mathrm{Pr}[D(U_{kN}=1]|\geq \frac{1}{p(2N)}.$$
1667 We describe a new probabilistic algorithm $D^\prime$ on an input $w$ of size
1668 $kN$:
1669 \begin{enumerate}
1670 \item Decompose $w$ into $w=w_1\ldots w_{k}$, where each $w_i$ has size $N$.
1671 \item Pick a string $y$ of size $N$ uniformly at random.
1672 \item Compute $z=(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y
1673   \bigoplus_{i=1}^{i=k} w_i).$
1674 \item Return $D(z)$.
1675 \end{enumerate}
1676
1677
1678 Consider  for each $y\in \mathbb{B}^{kN}$ the function $\varphi_{y}$
1679 from $\mathbb{B}^{kN}$ into $\mathbb{B}^{kN}$ mapping $w=w_1\ldots w_k$
1680 (each $w_i$ has length $N$) to 
1681 $(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y
1682   \bigoplus_{i=1}^{i=k_1} w_i).$ By construction, one has for every $w$,
1683 \begin{equation}\label{PCH-1}
1684 D^\prime(w)=D(\varphi_y(w)),
1685 \end{equation}
1686 where $y$ is randomly generated. 
1687 Moreover, for each $y$, $\varphi_{y}$ is injective: if 
1688 $(y\oplus w_1)(y\oplus w_1\oplus w_2)\ldots (y\bigoplus_{i=1}^{i=k_1}
1689 w_i)=(y\oplus w_1^\prime)(y\oplus w_1^\prime\oplus w_2^\prime)\ldots
1690 (y\bigoplus_{i=1}^{i=k} w_i^\prime)$, then for every $1\leq j\leq k$,
1691 $y\bigoplus_{i=1}^{i=j} w_i^\prime=y\bigoplus_{i=1}^{i=j} w_i$. It follows,
1692 by a direct induction, that $w_i=w_i^\prime$. Furthermore, since $\mathbb{B}^{kN}$
1693 is finite, each $\varphi_y$ is bijective. Therefore, and using (\ref{PCH-1}),
1694 one has
1695 $\mathrm{Pr}[D^\prime(U_{kN})=1]=\mathrm{Pr}[D(\varphi_y(U_{kN}))=1]$ and,
1696 therefore, 
1697 \begin{equation}\label{PCH-2}
1698 \mathrm{Pr}[D^\prime(U_{kN})=1]=\mathrm{Pr}[D(U_{kN})=1].
1699 \end{equation}
1700
1701 Now, using (\ref{PCH-1}) again, one has  for every $x$,
1702 \begin{equation}\label{PCH-3}
1703 D^\prime(H(x))=D(\varphi_y(H(x))),
1704 \end{equation}
1705 where $y$ is randomly generated. By construction, $\varphi_y(H(x))=X(yx)$,
1706 thus
1707 \begin{equation}%\label{PCH-3}      %%RAPH : j'ai viré ce label qui existe déjà, il est 3 ligne avant
1708 D^\prime(H(x))=D(yx),
1709 \end{equation}
1710 where $y$ is randomly generated. 
1711 It follows that 
1712
1713 \begin{equation}\label{PCH-4}
1714 \mathrm{Pr}[D^\prime(H(U_{N}))=1]=\mathrm{Pr}[D(U_{2N})=1].
1715 \end{equation}
1716  From (\ref{PCH-2}) and (\ref{PCH-4}), one can deduce that
1717 there exists a polynomial time probabilistic
1718 algorithm $D^\prime$, a positive polynomial $p$, such that for all $k_0$ there exists
1719 $N\geq \frac{k_0}{2}$ satisfying 
1720 $$| \mathrm{Pr}[D(H(U_{N}))=1]-\mathrm{Pr}[D(U_{kN}=1]|\geq \frac{1}{p(2N)},$$
1721 proving that $H$ is not secure, which is a contradiction. 
1722 \end{proof}
1723
1724
1725 \section{Cryptographical Applications}
1726
1727 \subsection{A Cryptographically Secure PRNG for GPU}
1728 \label{sec:CSGPU}
1729
1730 It is  possible to build a  cryptographically secure PRNG based  on the previous
1731 algorithm (Algorithm~\ref{algo:gpu_kernel2}).   Due to Proposition~\ref{cryptopreuve},
1732 it simply consists  in replacing
1733 the  {\it  xor-like} PRNG  by  a  cryptographically  secure one.  
1734 We have chosen the Blum Blum Shub generator~\cite{BBS} (usually denoted by BBS) having the form:
1735 $$x_{n+1}=x_n^2~ mod~ M$$  where $M$ is the product of  two prime numbers (these
1736 prime numbers  need to be congruent  to 3 modulus  4). BBS is known to be
1737 very slow and only usable for cryptographic applications. 
1738
1739   
1740 The modulus operation is the most time consuming operation for current
1741 GPU cards.  So in order to obtain quite reasonable performances, it is
1742 required to use only modulus  on 32-bits integer numbers. Consequently
1743 $x_n^2$ need  to be lesser than $2^{32}$,  and thus the number $M$ must be
1744 lesser than $2^{16}$.  So in practice we can choose prime numbers around
1745 256 that are congruent to 3 modulus 4.  With 32-bits numbers, only the
1746 4 least significant bits of $x_n$ can be chosen (the maximum number of
1747 indistinguishable    bits    is    lesser    than   or    equals    to
1748 $log_2(log_2(M))$). In other words, to generate a  32-bits number, we need to use
1749 8 times  the BBS  algorithm with possibly different  combinations of  $M$. This
1750 approach is  not sufficient to be able to pass  all the tests of TestU01,
1751 as small values of  $M$ for the BBS  lead to
1752   small periods. So, in  order to add randomness  we have proceeded with
1753 the followings  modifications. 
1754 \begin{itemize}
1755 \item
1756 Firstly, we  define 16 arrangement arrays  instead of 2  (as described in
1757 Algorithm \ref{algo:gpu_kernel2}), but only 2 of them are used at each call of
1758 the  PRNG kernels. In  practice, the  selection of   combination
1759 arrays to be used is different for all the threads. It is determined
1760 by using  the three last bits  of two internal variables  used by BBS.
1761 %This approach  adds more randomness.   
1762 In Algorithm~\ref{algo:bbs_gpu},
1763 character  \& is for the  bitwise AND. Thus using  \&7 with  a number
1764 gives the last 3 bits, thus providing a number between 0 and 7.
1765 \item
1766 Secondly, after the  generation of the 8 BBS numbers  for each thread, we
1767 have a 32-bits number whose period is possibly quite small. So
1768 to add randomness,  we generate 4 more BBS numbers   to
1769 shift  the 32-bits  numbers, and  add up to  6 new  bits.  This  improvement is
1770 described  in Algorithm~\ref{algo:bbs_gpu}.  In  practice, the last 2 bits
1771 of the first new BBS number are  used to make a left shift of at most
1772 3 bits. The  last 3 bits of the  second new BBS number are  added to the
1773 strategy whatever the value of the first left shift. The third and the
1774 fourth new BBS  numbers are used similarly to apply  a new left shift
1775 and add 3 new bits.
1776 \item
1777 Finally, as  we use 8 BBS numbers  for each thread, the  storage of these
1778 numbers at the end of the  kernel is performed using a rotation. So,
1779 internal  variable for  BBS number  1 is  stored in  place  2, internal
1780 variable  for BBS  number 2  is  stored in  place 3,  ..., and finally, internal
1781 variable for BBS number 8 is stored in place 1.
1782 \end{itemize}
1783
1784 \begin{algorithm}
1785 \begin{small}
1786 \KwIn{InternalVarBBSArray: array with internal variables of the 8 BBS
1787 in global memory\;
1788 NumThreads: Number of threads\;
1789 array\_comb: 2D Arrays containing 16 combinations (in first dimension)  of size combination\_size (in second dimension)\;
1790 array\_shift[4]=\{0,1,3,7\}\;
1791 }
1792
1793 \KwOut{NewNb: array containing random numbers in global memory}
1794 \If{threadId is concerned} {
1795   retrieve data from InternalVarBBSArray[threadId] in local variables including shared memory and x\;
1796   we consider that bbs1 ... bbs8 represent the internal states of the 8 BBS numbers\;
1797   offset = threadIdx\%combination\_size\;
1798   o1 = threadIdx-offset+array\_comb[bbs1\&7][offset]\;
1799   o2 = threadIdx-offset+array\_comb[8+bbs2\&7][offset]\;
1800   \For{i=1 to n} {
1801     t$<<$=4\;
1802     t|=BBS1(bbs1)\&15\;
1803     ...\;
1804     t$<<$=4\;
1805     t|=BBS8(bbs8)\&15\;
1806     \tcp{two new shifts}
1807     shift=BBS3(bbs3)\&3\;
1808     t$<<$=shift\;
1809     t|=BBS1(bbs1)\&array\_shift[shift]\;
1810     shift=BBS7(bbs7)\&3\;
1811     t$<<$=shift\;
1812     t|=BBS2(bbs2)\&array\_shift[shift]\;
1813     t=t\textasciicircum  shmem[o1]\textasciicircum     shmem[o2]\;
1814     shared\_mem[threadId]=t\;
1815     x = x\textasciicircum   t\;
1816
1817     store the new PRNG in NewNb[NumThreads*threadId+i]\;
1818   }
1819   store internal variables in InternalVarXorLikeArray[threadId] using a rotation\;
1820 }
1821 \end{small}
1822 \caption{main kernel for the BBS based PRNG GPU}
1823 \label{algo:bbs_gpu}
1824 \end{algorithm}
1825
1826 In Algorithm~\ref{algo:bbs_gpu}, $n$ is for  the quantity of random numbers that
1827 a thread has to  generate.  The operation t<<=4 performs a left  shift of 4 bits
1828 on the variable  $t$ and stores the result in  $t$, and $BBS1(bbs1)\&15$ selects
1829 the last  four bits  of the  result of $BBS1$.   Thus an  operation of  the form
1830 $t<<=4; t|=BBS1(bbs1)\&15\;$  realizes in $t$ a  left shift of 4  bits, and then
1831 puts the 4 last bits of $BBS1(bbs1)$  in the four last positions of $t$.  Let us
1832 remark that the initialization $t$ is not a  necessity as we fill it 4 bits by 4
1833 bits, until  having obtained 32-bits.  The  two last new shifts  are realized in
1834 order to enlarge the small periods of  the BBS used here, to introduce a kind of
1835 variability.  In these operations, we make twice a left shift of $t$ of \emph{at
1836   most}  3 bits,  represented by  \texttt{shift} in  the algorithm,  and  we put
1837 \emph{exactly} the \texttt{shift}  last bits from a BBS  into the \texttt{shift}
1838 last bits of $t$. For this, an array named \texttt{array\_shift}, containing the
1839 correspondence between the  shift and the number obtained  with \texttt{shift} 1
1840 to make the \texttt{and} operation is used. For example, with a left shift of 0,
1841 we  make an  and operation  with 0,  with  a left  shift of  3, we  make an  and
1842 operation with 7 (represented by 111 in binary mode).
1843
1844 It should  be noticed that this generator has once more the form $x^{n+1} = x^n \oplus S^n$,
1845 where $S^n$ is referred in this algorithm as $t$: each iteration of this
1846 PRNG ends with $x = x \wedge t$. This $S^n$ is only constituted
1847 by secure bits produced by the BBS generator, and thus, due to
1848 Proposition~\ref{cryptopreuve}, the resulted PRNG is cryptographically
1849 secure.
1850
1851
1852
1853 \begin{color}{red}
1854 \subsection{Practical Security Evaluation}
1855 \label{sec:Practicak evaluation}
1856
1857 Suppose now that the PRNG will work during 
1858 $M=100$ time units, and that during this period,
1859 an attacker can realize $10^{12}$ clock cycles.
1860 We thus wonder whether, during the PRNG's 
1861 lifetime, the attacker can distinguish this 
1862 sequence from truly random one, with a probability
1863 greater than $\varepsilon = 0.2$.
1864 We consider that $N$ has 900 bits.
1865
1866 The random process is the BBS generator, which
1867 is cryptographically secure. More precisely, it
1868 is $(T,\varepsilon)-$secure: no 
1869 $(T,\varepsilon)-$distinguishing attack can be
1870 successfully realized on this PRNG, if~\cite{Fischlin}
1871 $$
1872 T \leqslant \dfrac{L(N)}{6 N (log_2(N))\varepsilon^{-2}M^2}-2^7 N \varepsilon^{-2} M^2 log_2 (8 N \varepsilon^{-1}M)
1873 $$
1874 where $M$ is the length of the output ($M=100$ in
1875 our example), and $L(N)$ is equal to
1876 $$
1877 2.8\times 10^{-3} exp \left(1.9229 \times (N ~ln(2)^\frac{1}{3}) \times ln(N~ln 2)^\frac{2}{3}\right)
1878 $$
1879 is the number of clock cycles to factor a $N-$bit
1880 integer.
1881
1882 A direct numerical application shows that this attacker 
1883 cannot achieve its $(10^{12},0.2)$ distinguishing
1884 attack in that context.
1885
1886 \end{color}
1887
1888 \subsection{Toward a Cryptographically Secure and Chaotic Asymmetric Cryptosystem}
1889 \label{Blum-Goldwasser}
1890 We finish this research work by giving some thoughts about the use of
1891 the proposed PRNG in an asymmetric cryptosystem.
1892 This first approach will be further investigated in a future work.
1893
1894 \subsubsection{Recalls of the Blum-Goldwasser Probabilistic Cryptosystem}
1895
1896 The Blum-Goldwasser cryptosystem is a cryptographically secure asymmetric key encryption algorithm 
1897 proposed in 1984~\cite{Blum:1985:EPP:19478.19501}.  The encryption algorithm 
1898 implements a XOR-based stream cipher using the BBS PRNG, in order to generate 
1899 the keystream. Decryption is done by obtaining the initial seed thanks to
1900 the final state of the BBS generator and the secret key, thus leading to the
1901  reconstruction of the keystream.
1902
1903 The key generation consists in generating two prime numbers $(p,q)$, 
1904 randomly and independently of each other, that are
1905  congruent to 3 mod 4, and to compute the modulus $N=pq$.
1906 The public key is $N$, whereas the secret key is the factorization $(p,q)$.
1907
1908
1909 Suppose Bob wishes to send a string $m=(m_0, \dots, m_{L-1})$ of $L$ bits to Alice:
1910 \begin{enumerate}
1911 \item Bob picks an integer $r$ randomly in the interval $\llbracket 1,N\rrbracket$ and computes $x_0 = r^2~mod~N$.
1912 \item He uses the BBS to generate the keystream of $L$ pseudorandom bits $(b_0, \dots, b_{L-1})$, as follows. For $i=0$ to $L-1$,
1913 \begin{itemize}
1914 \item $i=0$.
1915 \item While $i \leqslant L-1$:
1916 \begin{itemize}
1917 \item Set $b_i$ equal to the least-significant\footnote{As signaled previously, BBS can securely output up to $\mathsf{N} = \lfloor log(log(N)) \rfloor$ of the least-significant bits of $x_i$ during each round.} bit of $x_i$,
1918 \item $i=i+1$,
1919 \item $x_i = (x_{i-1})^2~mod~N.$
1920 \end{itemize}
1921 \end{itemize}
1922 \item The ciphertext is computed by XORing the plaintext bits $m$ with the keystream: $ c = (c_0, \dots, c_{L-1}) = m \oplus  b$. This ciphertext is $[c, y]$, where $y=x_{0}^{2^{L}}~mod~N.$
1923 \end{enumerate}
1924
1925
1926 When Alice receives $\left[(c_0, \dots, c_{L-1}), y\right]$, she can recover $m$ as follows:
1927 \begin{enumerate}
1928 \item Using the secret key $(p,q)$, she computes $r_p = y^{((p+1)/4)^{L}}~mod~p$ and $r_q = y^{((q+1)/4)^{L}}~mod~q$.
1929 \item The initial seed can be obtained using the following procedure: $x_0=q(q^{-1}~{mod}~p)r_p + p(p^{-1}~{mod}~q)r_q~{mod}~N$.
1930 \item She recomputes the bit-vector $b$ by using BBS and $x_0$.
1931 \item Alice finally computes the plaintext by XORing the keystream with the ciphertext: $ m = c \oplus  b$.
1932 \end{enumerate}
1933
1934
1935 \subsubsection{Proposal of a new Asymmetric Cryptosystem Adapted from Blum-Goldwasser}
1936
1937 We propose to adapt the Blum-Goldwasser protocol as follows. 
1938 Let $\mathsf{N} = \lfloor log(log(N)) \rfloor$ be the number of bits that can
1939 be obtained securely with the BBS generator using the public key $N$ of Alice.
1940 Alice will pick randomly $S^0$ in $\llbracket 0, 2^{\mathsf{N}-1}\rrbracket$ too, and
1941 her new public key will be $(S^0, N)$.
1942
1943 To encrypt his message, Bob will compute
1944 %%RAPH : ici, j'ai mis un simple $
1945 %\begin{equation}
1946 $c = \left(m_0 \oplus (b_0 \oplus S^0), m_1 \oplus (b_0 \oplus b_1 \oplus S^0), \hdots, \right.$
1947 $ \left. m_{L-1} \oplus (b_0 \oplus b_1 \hdots \oplus b_{L-1} \oplus S^0) \right)$
1948 %%\end{equation}
1949 instead of $\left(m_0 \oplus b_0, m_1 \oplus b_1, \hdots, m_{L-1} \oplus b_{L-1} \right)$. 
1950
1951 The same decryption stage as in Blum-Goldwasser leads to the sequence 
1952 $\left(m_0 \oplus S^0, m_1 \oplus S^0, \hdots, m_{L-1} \oplus S^0 \right)$.
1953 Thus, with a simple use of $S^0$, Alice can obtain the plaintext.
1954 By doing so, the proposed generator is used in place of BBS, leading to
1955 the inheritance of all the properties presented in this paper.
1956
1957 \section{Conclusion}
1958
1959
1960 In  this  paper, a formerly proposed PRNG based on chaotic iterations
1961 has been generalized to improve its speed. It has been proven to be
1962 chaotic according to Devaney.
1963 Efficient implementations on  GPU using xor-like  PRNGs as input generators
1964 have shown that a very large quantity of pseudorandom numbers can be generated per second (about
1965 20Gsamples/s), and that these proposed PRNGs succeed to pass the hardest battery in TestU01,
1966 namely the BigCrush.
1967 Furthermore, we have shown that when the inputted generator is cryptographically
1968 secure, then it is the case too for the PRNG we propose, thus leading to
1969 the possibility to develop fast and secure PRNGs using the GPU architecture.
1970 \begin{color}{red} An improvement of the Blum-Goldwasser cryptosystem, making it 
1971 behaves chaotically, has finally been proposed. \end{color}
1972
1973 In future  work we plan to extend this research, building a parallel PRNG for  clusters or
1974 grid computing. Topological properties of the various proposed generators will be investigated,
1975 and the use of other categories of PRNGs as input will be studied too. The improvement
1976 of Blum-Goldwasser will be deepened. Finally, we
1977 will try to enlarge the quantity of pseudorandom numbers generated per second either
1978 in a simulation context or in a cryptographic one.
1979
1980
1981
1982 \bibliographystyle{plain} 
1983 \bibliography{mabase}
1984 \end{document}