experiments.tex

   1 For all the experiments, the whole set of 10,000 images
   2 of the BOSS contest~\cite{Boss10} database is taken.
   3 In this set, each cover is a $512\times 512$
   4 grayscale digital image in a RAW format.
   5 We restrict experiments to
   6 this set of cover images since this paper is more focused on
   7 the methodology than on benchmarks.
   8
   9 We use the matrices $\hat{H}$
  10 generated by the integers given
  11 in Table~\ref{table:matrices:H}
  12 as introduced in~\cite{FillerJF11}, since these ones have experimentally
  13 be proven to have the best modification efficiency.
  14 For instance if the rate between the size of the message and the size of the
  15 cover vector
  16 is 1/4, each number in $\{81, 95, 107, 121\}$ is translated into a binary number
  17 and each one constitutes thus a column of $\hat{H}$.
  18
  19 \begin{table}
  20 $$
  21 \begin{array}{|l|l|}
  22 \hline
  23 \textrm{Rate} & \textrm{Matrix generators} \\
  24 \hline
  25 {1}/{2} & \{71,109\}\\
  26 \hline
  27 {1}/{3} & \{95, 101, 121\}\\
  28 \hline
  29 {1}/{4} & \{81, 95, 107, 121\}\\
  30 \hline
  31 {1}/{5} & \{75, 95, 97, 105, 117\}\\
  32 \hline
  33 {1}/{6} & \{73, 83, 95, 103, 109, 123\}\\
  34 \hline
  35 {1}/{7} & \{69, 77, 93, 107, 111, 115, 121\}\\
  36 \hline
  37 {1}/{8} & \{69, 79, 81, 89, 93, 99, 107, 119\}\\
  38 \hline
  39 {1}/{9} & \{69, 79, 81, 89, 93, 99, 107, 119, 125\}\\
  40 \hline
  41 \end{array}
  42 $$
  43 \caption{Matrix Generator for $\hat{H}$ in STC}\label{table:matrices:H}
  44 \end{table}
  45
  46
  47 Our approach is always compared to Hugo~\cite{DBLP:conf/ih/PevnyFB10}
  48 and to EAISLSBMR~\cite{Luo:2010:EAI:1824719.1824720}.
  49 The former is the least detectable information hiding tool in spatial domain
  50 and the latter is the work that is the closest to ours, as far as we know.
  51
  52
  53
  54 First of all,  in our experiments and with the adaptive scheme,
  55 the average size of the message that can be embedded is 16,445 bits.
  56 It corresponds to an  average payload of 6.35\%.
  57 The two other tools will then be compared with this payload.
  58 Sections~\ref{sub:quality} and~\ref{sub:steg} respectively present
  59 the quality analysis and the security of our scheme.
  60
  61
  62
  63
  64
  65 \subsection{Image quality}\label{sub:quality}
  66 The visual quality of the STABYLO scheme is evaluated in this section.
  67 For the sake of completeness, three metrics are computed in these experiments:
  68 the Peak Signal to Noise Ratio (PSNR),
  69 the PSNR-HVS-M family~\cite{psnrhvsm11},
  70 %the BIQI~\cite{MB10},
  71 and
  72 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
  73 The first one is widely used but does not take into
  74 account the Human Visual System (HVS).
  75 The other ones have been designed to tackle this problem.
  76
  77 If we apply them on the running example,
  78 the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to
  79 68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
  80 If $b$ is 6, these values are respectively equal to
  81 65.43, 77.2, and 89.35.
  82
  83
  84
  85
  86 \begin{table*}
  87 \begin{center}
  88 \begin{small}
  89 \begin{tabular}{|c|c|c||c|c|c|c|c|c|c|c|c|c|}
  90 \hline
  91 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} & \multicolumn{2}{|c|}{WOW} & \multicolumn{2}{|c|}{UNIWARD}\\
  92 \hline
  93 Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive (about 6.35\%)} &  Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive \\
  94 \hline
  95 Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&6.35\%& 10\%&6.35\%& 10\%&6.35\%& 10\%&6.35\%\\
  96 \hline
  97 PSNR & 61.86 & 63.48 &  66.55 (\textbf{-0.8\%}) &  63.7  & 64.65 & {67.08} & 60.8 & 62.9&65.9 & 68.3 & 65.8 & 69.2\\
  98 \hline
  99 PSNR-HVS-M & 72.9 & 75.39 & 78.6 (\textbf{-0.8\%}) & 75.5  & 76.67 & {79.23} & 71.8  & 74.3\\
 100 %\hline
 101 %BIQI & 28.3 & 28.28 & 28.4 & 28.28 & 28.28 & 28.2 & 28.2\\
 102 \hline
 103 wPSNR & 77.47 & 80.59 & 86.43(\textbf{-1.6\%})& 86.28  & 83.03 & {88.6} & 76.7 & 83& 83.8 & 90.4 & 85.2 & 91.9\\
 104 \hline
 105 \end{tabular}
 106 \end{small}
 107 \begin{footnotesize}
 108 \vspace{2em}
 109 Variances given in bold font express the quality differences between
 110 HUGO and STABYLO with  STC+adaptive parameters.
 111 \end{footnotesize}
 112
 113 \end{center}
 114 \caption{Quality measures of steganography approaches\label{table:quality}}
 115 \end{table*}
 116
 117
 118
 119 Results are summarized in Table~\ref{table:quality}.
 120 Let us give an interpretation of these experiments.
 121 First of all, the adaptive strategy produces images with lower distortion
 122 than the images resulting from the 10\% fixed strategy.
 123 Numerical results are indeed always greater for the former strategy than
 124 for the latter one.
 125 These results are not surprising since the adaptive strategy aims at
 126 embedding messages whose length is decided according to an higher threshold
 127 into the edge detection.
 128 Let us focus on the quality of HUGO images: with a given fixed
 129 embedding rate (10\%),
 130 HUGO always produces images whose quality is higher than the STABYLO's one.
 131 However our approach is always better than EAISLSBMR since this one may modify
 132 the two least significant bits.
 133
 134 If we combine \emph{adaptive} and \emph{STC} strategies
 135 (which leads to an average embedding rate equal to 6.35\%)
 136 our approach  provides metrics equivalent to those provided by HUGO.
 137 In this column STC(7) stands for embedding data in the LSB whereas
 138 in STC(6), data are hidden in the last two  significant bits.
 139
 140
 141
 142 The quality variance between HUGO and STABYLO for these parameters
 143 is given in bold font. It is always close to 1\% which confirms
 144 the objective presented in the motivations:
 145 providing an efficient steganography approach in a lightweight manner.
 146
 147
 148 Let us now compare the STABYLO approach with other edge based steganography
 149 approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
 150 These two schemes focus on increasing the
 151 payload while the PSNR is acceptable, but do not
 152 give quality metrics for fixed embedding rates from a large base of images.
 153
 154
 155
 156
 157 \subsection{Steganalysis}\label{sub:steg}
 158
 159
 160
 161 The steganalysis quality of our approach has been evaluated through the % two
 162 % AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 163 % and
 164 Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalyser.
 165 This approach  aims at detecting hidden bits in grayscale natural
 166 images and is
 167 considered as state of the art steganalysers in the spatial domain~\cite{FK12}.
 168 %The former approach is based on a simplified parametric model of natural images.
 169 % Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 170 % (AUMP) test is designed (theoretically and practically), to check whether
 171 % an image has stego content or not.
 172 % This approach is dedicated to verify whether LSB has been modified or not.
 173 % , the authors show that the
 174 % machine learning step, which is often
 175 % implemented as a support vector machine,
 176 % can be favorably executed thanks to an ensemble classifier.
 177
 178
 179 \begin{table*}
 180 \begin{center}
 181 \begin{small}
 182 \begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|c|c|}
 183 \hline
 184 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} &  \multicolumn{2}{|c|}{WOW} &  \multicolumn{2}{|c|}{UNIWARD}\\
 185 \hline
 186 Embedding & Fixed &   \multicolumn{3}{|c|}{Adaptive (about 6.35\%)}  & Fixed & Adapt. & Fixed & Adapt. & Fixed & Adapt. & Fixed & Adapt. \\
 187 \hline
 188 Rate & 10\% &  + sample &   +STC(7) & +STC(6)   & 10\%& 6.35\%& 10\%& 6.35\% & 10\%& 6.35\%& 10\%& 6.35\%\\
 189 \hline
 190 %AUMP & 0.22 & 0.33 & 0.39  &   0.45    &  0.50 &  0.50 & 0.49 & 0.50 \\
 191 %\hline
 192 Ensemble Classifier & 0.35 & 0.44 & 0.47 & 0.47     & 0.48 &  0.49  &  0.43  & 0.47 & 0.48 & 0.49 & 0.46 & 0.49 \\
 193
 194 \hline
 195 \end{tabular}
 196 \end{small}
 197 \end{center}
 198 \caption{Steganalysing STABYLO\label{table:steganalyse}}
 199 \end{table*}
 200
 201
 202 Results are summarized in Table~\ref{table:steganalyse}.
 203 First of all, STC outperforms the sample strategy %for % the two steganalysers
 204  as
 205 already noticed in the quality analysis presented in the previous section.
 206 Next, our approach is more easily detectable than HUGO, which
 207 is the most secure steganographic tool, as far as we know.
 208 However by combining \emph{adaptive} and \emph{STC} strategies
 209 our approach obtains similar results to HUGO ones.
 210
 211 %%%%et pour b= 6 ?
 212
 213
 214 Compared to EAILSBMR, we obtain better results when the strategy is
 215 \emph{adaptive}.
 216 However due to its
 217 huge number of integration features, it is not lightweight, which justifies
 218 in the authors' opinion the consideration of the proposed method.