reservoir.tex

   1 \documentclass{beamer}
   2
   3 \usepackage{beamerthemefemto}
   4
   5 \usepackage[latin1]{inputenc}
   6 \usepackage[T1]{fontenc}
   7 \usepackage{amsfonts,amsmath,amssymb,stmaryrd}
   8 \usepackage[frenchb]{babel}
   9
  10
  11 \usepackage{graphicx}
  12 \DeclareGraphicsExtensions{.jpg, .png , .pdf, .bmp, .pdftex}
  13
  14
  15 \title{Parallelization and optimization \\
  16 of the neuromorphic simulation code.
  17 Application on the MNIST problem}
  18
  19 \author{Rapha\"el Couturier, {\bf Michel Salomon}}
  20
  21 \institute[FEMTO-ST Institute]{\textit{FEMTO-ST - DISC Department - AND Team}}
  22
  23 \date{November 2 \& 3, 2015 / Besançon \\
  24   Dynamical Systems and Brain-inspired Information Processing Workshop}
  25
  26 %  ____  _____ ____  _   _ _____
  27 % |  _ \| ____| __ )| | | |_   _|
  28 % | | | |  _| |  _ \| | | | | |
  29 % | |_| | |___| |_) | |_| | | |
  30 % |____/|_____|____/ \___/  |_|
  31 %
  32
  33 \begin{document}
  34 \setbeamertemplate{background}{\titrefemto}
  35
  36 \begin{frame}[plain]
  37 \titlepage
  38 \end{frame}
  39
  40 \setbeamertemplate{background}{\pagefemto}
  41
  42 \begin{frame}{Introduction} % Slide 1
  43   % 1 - Photonic implementation of reservoir computing through NLDDE in Laurent's team
  44   % 2 - Motivation
  45   % -> Success of reservoir computing
  46   % -> Hardware implementation allowing fast processing
  47   % 3 - Simulation by a Matlab code - pre and post-processing by computer
  48   % -> Drawback = redhibitory computation time
  49   \begin{femtoBlock}
  50     {Background}
  51     \begin{itemize}
  52     \item Emergence of hardware RC implementation
  53       \begin{center}
  54         Analogue electronic; {\bf optoelectronic}; fully optical
  55       \end{center}
  56       {\scriptsize Larger {\em et al.} - {\it Photonic information processing beyond Turing: an optoelectronic
  57       implementation of reservoir computing}, Opt. Express 20, 3241-3249 (2012)}
  58     \item Simulation code
  59       \begin{itemize}
  60       \item Study processing conditions
  61       \item Tuning parameters
  62       \item Pre and post-processing by computer
  63       \end{itemize}
  64     \end{itemize}
  65   \end{femtoBlock}
  66   \medskip
  67   \begin{femtoBlock}
  68     {Motivation}
  69     \begin{itemize}
  70     \item Study the concept of Reservoir Computing
  71     \item Design a faster simulation code
  72     \item Apply it to a new problem
  73     \end{itemize}
  74   \end{femtoBlock}
  75 \end{frame}
  76
  77 \begin{frame}{Outline}
  78 \setbeamertemplate{section in toc}[sections numbered]
  79 \tableofcontents
  80 \end{frame}
  81
  82 \section{Neuromorphic processing}
  83
  84 \begin{frame}{Delay Dynamics as a Reservoir} % Slide 2
  85   \begin{femtoBlock}
  86     % Reprendre le schema de la figure 2 du pdf NTC de Laurent
  87     {Spatio-temporal viewpoint of a DDE ({\NoAutoSpaceBeforeFDP \tiny Larger {\em et al.} - Opt. Express 20:3 2012})\\}
  88     \centering
  89     \includegraphics[width=7.5cm]{ntc.png}
  90     \begin{itemize}
  91     \item $\delta_t \rightarrow \mbox{temporal spacing}; \tau_D \rightarrow \mbox{time delay}$
  92     \item $f(x) \rightarrow \mbox{nonlinear transformation}; h(t) \rightarrow \mbox{impulse response}$
  93     \end{itemize}
  94   \end{femtoBlock}
  95   % Slide 21 + equation a retard du NTC
  96   \begin{femtoBlock}
  97     {Computer simulation with an Ikeda type NLDDE}
  98     $$
  99     \tau \frac{dx}{dt}(t)=-x(t)+\beta \sin^2 [\alpha\,x(t-\tau_D)+\rho\,u_{\mbox{in}}(t-\tau_D)+\Phi_0]
 100     $$
 101     \centering
 102     $\alpha \rightarrow \mbox{feedback scaling}; \beta \rightarrow \mbox{gain}; \rho \rightarrow \mbox{amplification};
 103     \Phi_0 \rightarrow \mbox{offset}$
 104   \end{femtoBlock}
 105 \end{frame}
 106
 107 \begin{frame}{Photonic Reservoir Computing} % Slide 3
 108   \begin{femtoBlock}
 109     {Optoelectronic setup ({\NoAutoSpaceBeforeFDP \tiny Larger~{\em et al.}~-~Opt.~Express~20:3~2012})\\}
 110     \vspace{0.25cm}
 111     \centering
 112     \includegraphics[width=7.5cm]{photonic-RC.png}
 113     \vspace{0.25cm}
 114   \end{femtoBlock}
 115   \begin{femtoBlock}
 116     {Spoken digits recognition task}
 117     \begin{itemize}
 118     \item Input data $\rightarrow$ {\small matrix obtained by Lyon ear model transformation}
 119     \item Output data $\rightarrow$ {\small matrix describing the spoken digit}
 120     \end{itemize}
 121   \end{femtoBlock}
 122 \end{frame}
 123
 124 \begin{frame}{Spoken Digits Recognition} % Slide 4
 125   \begin{femtoBlock}
 126     {Input (pre-processing) \\}
 127     \begin{itemize}
 128     \item Lyon ear model transformation \\
 129       $\rightarrow$ 60 samples $\times$ 86 frequency channels
 130     \item Channels connection to reservoir (400 neurons) \\
 131       $\rightarrow$ sparse and random
 132     \end{itemize}
 133     \centering
 134     \includegraphics[width=7.5cm]{sdr.png}
 135   \end{femtoBlock}
 136   \begin{femtoBlock}
 137     {Reservoir transient response\\}
 138     \vspace{0.125cm}
 139     \centering
 140     Temporal series recorded for Read-Out processing
 141   \end{femtoBlock}
 142 \end{frame}
 143
 144 \begin{frame}{Spoken Digits Recognition} % Slide 5
 145   \begin{femtoBlock}
 146     {Output (post-processing)\\}
 147     \begin{itemize}
 148     \item Training of the Read-Out \\
 149       $\rightarrow$ optimize $W^R$ matrix for the digits of the training set
 150     \item Regression problem for $A \times W^R \approx B$
 151       \vspace{-0.25cm}
 152       $$
 153       W^R_{\mbox{opt}}=\left(A^TA - \lambda I\right)^{-1} A^T B
 154       $$
 155       \vspace{-0.5cm}
 156       \begin{itemize}
 157       \item $A$ = concatenates reservoir transient response for each digit
 158       \item $B$ = concatenates target matrices
 159       \end{itemize}
 160     \end{itemize}
 161   \end{femtoBlock}
 162   \begin{femtoBlock}
 163     {Testing\\}
 164     \begin{itemize}
 165     \item Dataset of 500 speech samples $\rightarrow$ 5 female speakers
 166     \item 20-fold cross-validation $\rightarrow$ 20 $\times$ 25 test samples
 167     \item Performance evaluation $\rightarrow$ {\bf W}ord {\bf E}rror {\bf R}ate
 168     \end{itemize}
 169   \end{femtoBlock}
 170 \end{frame}
 171
 172 \begin{frame}{Matlab Simulation Code} % Slide 7
 173   % Grandes lignes a partir du pdf de Laurent
 174   \begin{femtoBlock}
 175     {Main lines\\}
 176   \end{femtoBlock}
 177   % Inconvenient de ce code => temps de calcul
 178   \begin{femtoBlock}
 179    {Computation time\\}
 180   \end{femtoBlock}
 181 \end{frame}
 182
 183 \section{Parallelization and optimization}
 184
 185 \begin{frame}{Parallelization Scheme} % Slide 8
 186   % 1 - Comment le paralleliser
 187   % 2 - Langage et bibliotheque
 188 \end{frame}
 189
 190 \begin{frame}{Finding the Optimal Parameters} % Slide 9
 191   % 1 - Quels parametres et pourquoi ?
 192 \end{frame}
 193
 194 \begin{frame}{Finding the Optimal Parameters} % Slide 10
 195   % 2 - Optimisation par recuit simule
 196 \end{frame}
 197
 198 \begin{frame}{Performances} % Slide 11
 199   % 1 - Taux d'erreur en terme de classification
 200   % 2 - Gain en temps d'execution / speedup curve
 201 \end{frame}
 202
 203 \section{Performances on the MNIST problem}
 204
 205 \begin{frame}{Application on the MNIST problem} % Slide 12
 206   % 1 - Decrire ce qu'est le MNIST
 207   % 2 - Setup de notre reservoir
 208 \end{frame}
 209
 210 \begin{frame}{Comparison with other approaches} % Slide 13
 211   % 1 - Convolutional Neural Networks
 212   % 2 - Reservoir en pipeline (papier de 2015)
 213 \end{frame}
 214
 215 \begin{frame}{Comparison with other approaches} % Slide 14
 216   % Tableau recapitulant les performances
 217 \end{frame}
 218
 219 \section{Conclusion and perspectives}
 220
 221 \begin{frame}{Conclusion and perspectives} % Slide 15
 222
 223 \end{frame}
 224
 225 \begin{frame}{Thank you for your attention}
 226   \begin{center}
 227     \LARGE Questions ?
 228   \end{center}
 229 \end{frame}
 230
 231 %\begin{frame}{Titre du slide}
 232
 233 %       \begin{femtoBlock}
 234 %               {Ceci est un femtoBlock\\}
 235 %               Et ici le texte dans le femtoBlock
 236 %               \begin{itemize}
 237 %                       \item premier item
 238 %                       \item deuxième item
 239 %               \end{itemize}%
 240 %       \end{femtoBlock}
 241 %       \begin{femtoBlock}
 242 %               {Autre femtoBlock\\}
 243 %               \begin{itemize}
 244 %                       \item bla bla
 245 %                       \item bla bla
 246 %               \end{itemize}
 247 %       \end{femtoBlock}
 248 %\end{frame}
 249
 250 %\section{Titre2}
 251
 252 %\begin{frame}{Autre titre}
 253
 254 %       \begin{femtoBlock}
 255 %               {Utilisation possible de block (standard)\\}
 256
 257 %               \begin{block}{Titre du block}
 258 %               texte contenu dans le block
 259 %               \begin{itemize}
 260 %                       \item bla bla
 261 %                       \item bla bla
 262 %               \end{itemize}
 263 %               \end{block}
 264 %       \end{femtoBlock}
 265
 266 %\end{frame}
 267
 268 \end{document}
 269 %  _____ ___ _   _
 270 % |  ___|_ _| \ | |
 271 % | |_   | ||  \| |
 272 % |  _|  | || |\  |
 273 % |_|   |___|_| \_|
 274 %