]> AND Private Git Repository - prng_gpu.git/blobdiff - prng_gpu.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
fdsfs
[prng_gpu.git] / prng_gpu.tex
index 0c9f9c742e91de13b4286de29106cf7a76abfa8f..f985e035f107aadeff3efa6d9babd9d65576a2be 100644 (file)
@@ -255,7 +255,7 @@ with basic notions on topology (see for instance~\cite{Devaney}).
 
 
 \subsection{Devaney's Chaotic Dynamical Systems}
 
 
 \subsection{Devaney's Chaotic Dynamical Systems}
-
+\label{subsec:Devaney}
 In the sequel $S^{n}$ denotes the $n^{th}$ term of a sequence $S$ and $V_{i}$
 denotes the $i^{th}$ component of a vector $V$. $f^{k}=f\circ ...\circ f$
 is for the $k^{th}$ composition of a function $f$. Finally, the following
 In the sequel $S^{n}$ denotes the $n^{th}$ term of a sequence $S$ and $V_{i}$
 denotes the $i^{th}$ component of a vector $V$. $f^{k}=f\circ ...\circ f$
 is for the $k^{th}$ composition of a function $f$. Finally, the following
@@ -596,7 +596,7 @@ $(m^n)_{n \in \mathds{N}} \in \mathcal{M}^\mathds{N}$ is computed from $PRNG_1$,
 The basic design procedure of the New CI generator is summarized in Algorithm~\ref{Chaotic iteration1}.
 The internal state is $x$, the output state is $r$. $a$ and $b$ are those computed by the two input
 PRNGs. Lastly, the value $g(a)$ is an integer defined as in Eq.~\ref{Formula}.
 The basic design procedure of the New CI generator is summarized in Algorithm~\ref{Chaotic iteration1}.
 The internal state is $x$, the output state is $r$. $a$ and $b$ are those computed by the two input
 PRNGs. Lastly, the value $g(a)$ is an integer defined as in Eq.~\ref{Formula}.
-This function must be chosen such that the outputs of the resulted PRNG is uniform in $\llbracket 0, 2^\mathsf{N}-1 \rrbracket$. Function of \eqref{Formula} achieves this
+This function must be chosen such that the outputs of the resulted PRNG are uniform in $\llbracket 0, 2^\mathsf{N}-1 \rrbracket$. Function of \eqref{Formula} achieves this
 goal (other candidates and more information can be found in ~\cite{bg10:ip}).
 
 \begin{equation}
 goal (other candidates and more information can be found in ~\cite{bg10:ip}).
 
 \begin{equation}
@@ -878,6 +878,8 @@ the distance between $(S^n,E^n)$ and $(S,E)$ is strictly less than $%
 
 In conclusion,
 %%RAPH : ici j'ai rajouté une ligne
 
 In conclusion,
 %%RAPH : ici j'ai rajouté une ligne
+%%TOF : ici j'ai rajouté un commentaire
+%%TOF : ici aussi
 $
 \forall \varepsilon >0,$ $\exists N_{0}=max(n_{0},n_{1},n_{2})\in \mathds{N}
 ,$ $\forall n\geqslant N_{0},$
 $
 \forall \varepsilon >0,$ $\exists N_{0}=max(n_{0},n_{1},n_{2})\in \mathds{N}
 ,$ $\forall n\geqslant N_{0},$
@@ -960,33 +962,116 @@ have $d((S,E),(\tilde S,E))<\epsilon$.
 
 Let us now explain why we are reasonable grounds to believe that chaos 
 can improve statistical properties.
 
 Let us now explain why we are reasonable grounds to believe that chaos 
 can improve statistical properties.
-We will show in this section that, when mixing defective PRNGs with
-chaotic iterations, the result presents better statistical properties
-(this section summarizes the work of~\cite{bfg12a:ip}).
+We will show in this section that chaotic properties as defined in the
+mathematical theory of chaos are related to some statistical tests that can be found
+in the NIST battery. Furthermore, we will check that, when mixing defective PRNGs with
+chaotic iterations, the new generator presents better statistical properties
+(this section summarizes and extends the work of~\cite{bfg12a:ip}).
+
+
+
+\subsection{Qualitative relations between topological properties and statistical tests}
+
+
+There are various relations between topological properties that describe an unpredictable behavior for a discrete 
+dynamical system on the one
+hand, and statistical tests to check the randomness of a numerical sequence
+on the other hand. These two mathematical disciplines follow a similar 
+objective in case of a recurrent sequence (to characterize an intrinsically complicated behavior for a
+recurrent sequence), with two different but complementary approaches.
+It is true that the following illustrative links give only qualitative arguments, 
+and proofs should be provided later to make such arguments irrefutable. However 
+they give a first understanding of the reason why we think that chaotic properties should tend
+to improve the statistical quality of PRNGs.
+%
+Let us now list some of these relations between topological properties defined in the mathematical
+theory of chaos and tests embedded into the NIST battery. %Such relations need to be further 
+%investigated, but they presently give a first illustration of a trend to search similar properties in the 
+%two following fields: mathematical chaos and statistics.
+
+
+\begin{itemize}
+    \item \textbf{Regularity}. As stated in Section~\ref{subsec:Devaney}, a chaotic dynamical system must 
+have an element of regularity. Depending on the chosen definition of chaos, this element can be the existence of
+a dense orbit, the density of periodic points, etc. The key idea is that a dynamical system with no periodicity
+is not as chaotic as a system having periodic orbits: in the first situation, we can predict something and gain a
+knowledge about the behavior of the system, that is, it never enters into a loop. A similar importance for periodicity is emphasized in
+the two following NIST tests~\cite{Nist10}:
+    \begin{itemize}
+        \item \textbf{Non-overlapping Template Matching Test}. Detect generators that produce too many occurrences of a given non-periodic (aperiodic) pattern.
+        \item \textbf{Discrete Fourier Transform (Spectral) Test}. Detect periodic features (i.e., repetitive patterns that are near each other) in the tested sequence that would indicate a deviation from the assumption of randomness.
+    \end{itemize}
+
+\item \textbf{Transitivity}. This topological property introduced previously states that the dynamical system is intrinsically complicated: it cannot be simplified into 
+two subsystems that do not interact, as we can find in any neighborhood of any point another point whose orbit visits the whole phase space. 
+This focus on the places visited by orbits of the dynamical system takes various nonequivalent formulations in the mathematical theory
+of chaos, namely: transitivity, strong transitivity, total transitivity, topological mixing, and so on~\cite{bg10:ij}. A similar attention 
+is brought on states visited during a random walk in the two tests below~\cite{Nist10}:
+    \begin{itemize}
+        \item \textbf{Random Excursions Variant Test}. Detect deviations from the expected number of visits to various states in the random walk.
+        \item \textbf{Random Excursions Test}. Determine if the number of visits to a particular state within a cycle deviates from what one would expect for a random sequence.
+    \end{itemize}
+
+\item \textbf{Chaos according to Li and Yorke}. Two points of the phase space $(x,y)$ define a couple of Li-Yorke when $\limsup_{n \rightarrow +\infty} d(f^{(n)}(x), f^{(n)}(y))>0$ et $\liminf_{n \rightarrow +\infty} d(f^{(n)}(x), f^{(n)}(y))=0$, meaning that their orbits always oscillates as the iterations pass. When a system is compact and contains an uncountable set of such points, it is claimed as chaotic according
+to Li-Yorke~\cite{Li75,Ruette2001}. A similar property is regarded in the following NIST test~\cite{Nist10}.
+    \begin{itemize}
+        \item \textbf{Runs Test}. To determine whether the number of runs of ones and zeros of various lengths is as expected for a random sequence. In particular, this test determines whether the oscillation between such zeros and ones is too fast or too slow.
+    \end{itemize}
+    \item \textbf{Topological entropy}. The desire to formulate an equivalency of the thermodynamics entropy
+has emerged both in the topological and statistical fields. Another time, a similar objective has led to two different
+rewritten of an entropy based disorder: the famous Shannon definition of entropy is approximated in the statistical approach, 
+whereas topological entropy is defined as follows.
+$x,y \in \mathcal{X}$ are $\varepsilon-$\emph{separated in time $n$} if there exists $k \leqslant n$ such that $d\left(f^{(k)}(x),f^{(k)}(y)\right)>\varepsilon$. Then $(n,\varepsilon)-$separated sets are sets of points that are all $\varepsilon-$separated in time $n$, which
+leads to the definition of $s_n(\varepsilon,Y)$, being the maximal cardinality of all $(n,\varepsilon)-$separated sets. Using these notations, 
+the topological entropy is defined as follows: $$h_{top}(\mathcal{X},f)  = \displaystyle{\lim_{\varepsilon \rightarrow 0} \Big[ \limsup_{n \rightarrow +\infty} \dfrac{1}{n} \log s_n(\varepsilon,\mathcal{X})\Big]}.$$
+This value measures the average exponential growth of the number of distinguishable orbit segments. 
+In this sense, it measures complexity of the topological dynamical system, whereas 
+the Shannon approach is in mind when defining the following test~\cite{Nist10}:
+    \begin{itemize}
+\item \textbf{Approximate Entropy Test}. Compare the frequency of overlapping blocks of two consecutive/adjacent lengths ($m$ and $m+1$) against the expected result for a random sequence.
+    \end{itemize}
+
+    \item \textbf{Non-linearity, complexity}. Finally, let us remark that non-linearity and complexity are 
+not only sought in general to obtain chaos, but they are also required for randomness, as illustrated by the two tests below~\cite{Nist10}.
+    \begin{itemize}
+\item \textbf{Binary Matrix Rank Test}. Check for linear dependence among fixed length substrings of the original sequence.
+\item \textbf{Linear Complexity Test}. Determine whether or not the sequence is complex enough to be considered random.
+      \end{itemize}
+\end{itemize}
+
+
+We have proven in our previous works~\cite{} that chaotic iterations satisfying Theorem~\ref{Th:Caractérisation   des   IC   chaotiques} are, among other
+things, strongly transitive, topologically mixing, chaotic as defined by Li and Yorke,
+and that they have a topological entropy and an exponent of Lyapunov both equal to $ln(\mathsf{N})$,
+where $\mathsf{N}$ is the size of the iterated vector.
+These topological properties make that we are ground to believe that a generator based on chaotic
+iterations will probably be able to pass all the existing statistical batteries for pseudorandomness like
+the NIST one. The following subsections, in which we prove that defective generators have their
+statistical properties improved by chaotic iterations, show that such an assumption is true.
 
 \subsection{Details of some Existing Generators}
 
 The list of defective PRNGs we will use 
 as inputs for the statistical tests to come is introduced here.
 
 
 \subsection{Details of some Existing Generators}
 
 The list of defective PRNGs we will use 
 as inputs for the statistical tests to come is introduced here.
 
-Firstly, the simple linear congruency generator (LCGs) will be used. 
-It is defined by the following recurrence:
+Firstly, the simple linear congruency generators (LCGs) will be used. 
+They are defined by the following recurrence:
 \begin{equation}
 \begin{equation}
-x^n = (ax^{n-1} + c)~mod~m
+x^n = (ax^{n-1} + c)~mod~m,
 \label{LCG}
 \end{equation}
 where $a$, $c$, and $x^0$ must be, among other things, non-negative and less than 
 $m$~\cite{LEcuyerS07}. In what follows, 2LCGs and 3LCGs refer as two (resp. three) 
 combinations of such LCGs. For further details, see~\cite{bfg12a:ip,combined_lcg}.
 
 \label{LCG}
 \end{equation}
 where $a$, $c$, and $x^0$ must be, among other things, non-negative and less than 
 $m$~\cite{LEcuyerS07}. In what follows, 2LCGs and 3LCGs refer as two (resp. three) 
 combinations of such LCGs. For further details, see~\cite{bfg12a:ip,combined_lcg}.
 
-Secondly, the multiple recursive generators (MRGs) will be used too, which
+Secondly, the multiple recursive generators (MRGs) will be used, which
 are based on a linear recurrence of order 
 $k$, modulo $m$~\cite{LEcuyerS07}:
 \begin{equation}
 are based on a linear recurrence of order 
 $k$, modulo $m$~\cite{LEcuyerS07}:
 \begin{equation}
-x^n = (a^1x^{n-1}+~...~+a^kx^{n-k})~mod~m
+x^n = (a^1x^{n-1}+~...~+a^kx^{n-k})~mod~m .
 \label{MRG}
 \end{equation}
 \label{MRG}
 \end{equation}
-Combination of two MRGs (referred as 2MRGs) is also used in these experimentations.
+Combination of two MRGs (referred as 2MRGs) is also used in these experiments.
 
 Generators based on linear recurrences with carry will be regarded too.
 This family of generators includes the add-with-carry (AWC) generator, based on the recurrence:
 
 Generators based on linear recurrences with carry will be regarded too.
 This family of generators includes the add-with-carry (AWC) generator, based on the recurrence:
@@ -1013,12 +1098,12 @@ c^n = (a^1x^{n-1} \oplus ~...~ \oplus a^rx^{n-r} \oplus c^{n-1}) ~ / ~ 2^w. \end
 
 Then the generalized feedback shift register (GFSR) generator has been implemented, that is:
 \begin{equation}
 
 Then the generalized feedback shift register (GFSR) generator has been implemented, that is:
 \begin{equation}
-x^n = x^{n-r} \oplus x^{n-k}
+x^n = x^{n-r} \oplus x^{n-k} .
 \label{GFSR}
 \end{equation}
 
 
 \label{GFSR}
 \end{equation}
 
 
-Finally, the nonlinear inversive generator~\cite{LEcuyerS07} has been regarded too, which is:
+Finally, the nonlinear inversive (INV) generator~\cite{LEcuyerS07} has been studied, which is:
 
 \begin{equation}
 \label{INV}
 
 \begin{equation}
 \label{INV}
@@ -1132,8 +1217,9 @@ The obtained results are reproduced in Table
 The scores written in boldface indicate that all the tests have been passed successfully, whereas an 
 asterisk ``*'' means that the considered passing rate has been improved.
 The improvements are obvious for both the ``Old CI'' and ``New CI'' generators.
 The scores written in boldface indicate that all the tests have been passed successfully, whereas an 
 asterisk ``*'' means that the considered passing rate has been improved.
 The improvements are obvious for both the ``Old CI'' and ``New CI'' generators.
-Concerning the ``Xor CI PRNG'', the speed improvement makes that statistical 
-results are not as good as for the two other versions of these CIPRNGs.
+Concerning the ``Xor CI PRNG'', the score is less spectacular: a large speed improvement makes that statistics
+ are not as good as for the two other versions of these CIPRNGs.
+However 8 tests have been improved (with no deflation for the other results).
 
 
 \begin{table*}
 
 
 \begin{table*}
@@ -1160,8 +1246,9 @@ DieHARD & 16/18 & 16/18 & 17/18* & \textbf{18/18} * & \textbf{18/18}  & \textbf{
 
 We have then investigate in~\cite{bfg12a:ip} if it is possible to improve
 the statistical behavior of the Xor CI version by combining more than one 
 
 We have then investigate in~\cite{bfg12a:ip} if it is possible to improve
 the statistical behavior of the Xor CI version by combining more than one 
-$\oplus$ operation. Results are summarized in~\ref{threshold}, showing
-that rapid and perfect PRNGs, regarding the NIST and DieHARD batteries, can be obtained 
+$\oplus$ operation. Results are summarized in Table~\ref{threshold}, illustrating
+the progressive increasing effects of chaotic iterations, when giving time to chaos to get settled in.
+Thus rapid and perfect PRNGs, regarding the NIST and DieHARD batteries, can be obtained 
 using chaotic iterations on defective generators.
 
 \begin{table*}
 using chaotic iterations on defective generators.
 
 \begin{table*}
@@ -1176,19 +1263,23 @@ Threshold  value $m$& 19 & 7  & 2& 1 & 11& 9& 3& 4\\ \hline\hline
 \end{tabular}
 \end{table*}
 
 \end{tabular}
 \end{table*}
 
-Finally, the TestU01 battery as been launched on three well-known generators 
+Finally, the TestU01 battery has been launched on three well-known generators 
 (a logistic map, a simple XORshift, and the cryptographically secure ISAAC, 
 see Table~\ref{TestU011}). These results can be compared with 
 Table~\ref{TestU01 for Old CI}, which gives the scores obtained by the
 Old CI PRNG that has received these generators.
 (a logistic map, a simple XORshift, and the cryptographically secure ISAAC, 
 see Table~\ref{TestU011}). These results can be compared with 
 Table~\ref{TestU01 for Old CI}, which gives the scores obtained by the
 Old CI PRNG that has received these generators.
+The obvious improvement speaks for itself, and together with the other
+results recalled in this section, it reinforces the opinion that a strong
+correlation between topological properties and statistical behavior exists.
 
 
 
 
-Next subsection gives a concrete implementation of this Xor CI PRNG, which will 
-new be simply called CIPRNG, or ``the proposed PRNG'', if this statement does not
+Next subsection will now give a concrete original implementation of the Xor CI PRNG, the
+fastest generator in the chaotic iteration based family. In the remainder,
+this generator will be simply referred as CIPRNG, or ``the proposed PRNG'', if this statement does not
 raise ambiguity.
 \end{color}
 
 raise ambiguity.
 \end{color}
 
-\subsection{Efficient Implementation of a PRNG based on Chaotic Iterations}
+\subsection{First Efficient Implementation of a PRNG based on Chaotic Iterations}
 \label{sec:efficient PRNG}
 %
 %Based on the proof presented in the previous section, it is now possible to 
 \label{sec:efficient PRNG}
 %
 %Based on the proof presented in the previous section, it is now possible to 
@@ -1267,7 +1358,13 @@ works with 32-bits, we use the command \texttt{(unsigned int)}, that selects the
 
 Thus producing a pseudorandom number needs 6 xor operations with 6 32-bits numbers
 that  are provided by  3 64-bits  PRNGs.  This  version successfully  passes the
 
 Thus producing a pseudorandom number needs 6 xor operations with 6 32-bits numbers
 that  are provided by  3 64-bits  PRNGs.  This  version successfully  passes the
-stringent BigCrush battery of tests~\cite{LEcuyerS07}.
+stringent BigCrush battery of tests~\cite{LEcuyerS07}. 
+\begin{color}{red}At this point, we thus
+have defined an efficient and statistically unbiased generator. Its speed is
+directly related to the use of linear operations, but for the same reason,
+this fast generator cannot be proven as secure.
+\end{color}
+
 
 \section{Efficient PRNGs based on Chaotic Iterations on GPU}
 \label{sec:efficient PRNG gpu}
 
 \section{Efficient PRNGs based on Chaotic Iterations on GPU}
 \label{sec:efficient PRNG gpu}