experiments.tex

   1 For whole experiments, the whole set of 10,000 images
   2 of the BOSS contest~\cite{Boss10} database is taken.
   3 In this set, each cover is a $512\times 512$
   4 grayscale digital image in a RAW format.
   5 We restrict experiments to
   6 this set of cover images since this paper is more focused on
   7 the methodology than benchmarking.
   8
   9 We use the matrices $\hat{H}$
  10 generated by the integers given
  11 in table~\ref{table:matrices:H}
  12 as introduced in~\cite{FillerJF11}, since these ones have experimentally
  13 be proven to have the best modification efficiency.
  14 For instance if the rate between the size of message and the size of the host is
  15 1/4, each number in $\{81, 95, 107, 121\}$ is translated into a binary number
  16 and each one consitutes thus an column of $\hat{H}$.
  17
  18 \begin{table}
  19 $$
  20 \begin{array}{|l|l|}
  21 \hline
  22 \textrm{Rate} & \textrm{Matrix generators} \\
  23 \hline
  24 {1}/{2} & \{71,109\}\\
  25 \hline
  26 {1}/{3} & \{95, 101, 121\}\\
  27 \hline
  28 {1}/{4} & \{81, 95, 107, 121\}\\
  29 \hline
  30 {1}/{5} & \{75, 95, 97, 105, 117\}\\
  31 \hline
  32 {1}/{6} & \{73, 83, 95, 103, 109, 123\}\\
  33 \hline
  34 {1}/{7} & \{69, 77, 93, 107, 111, 115, 121\}\\
  35 \hline
  36 {1}/{8} & \{69, 79, 81, 89, 93, 99, 107, 119\}\\
  37 \hline
  38 {1}/{9} & \{69, 79, 81, 89, 93, 99, 107, 119, 125\}\\
  39 \hline
  40 \end{array}
  41 $$
  42 \caption{Matrix Generator for $\hat{H}$ in STC}\label{table:matrices:H}
  43 \end{table}
  44
  45
  46 Our approach is always compared to Hugo~\cite{DBLP:conf/ih/PevnyFB10}
  47 and to EAISLSBMR~\cite{Luo:2010:EAI:1824719.1824720}.
  48 The former is the least detectable information hiding tool in spatial domain
  49 and the latter is the work that is the closest to ours, as far as we know.
  50
  51
  52
  53 First of all,  in our experiments and with the adaptive scheme,
  54 the average size of the message that can be embedded is 16,445 bits.
  55 Its corresponds to an  average payload of 6.35\%.
  56 The two other tools will then be compared with this payload.
  57 Sections~\ref{sub:quality} and~\ref{sub:steg} respectively present
  58 the quality analysis and the security of our scheme.
  59
  60
  61
  62
  63
  64 \subsection{Image quality}\label{sub:quality}
  65 The visual quality of the STABYLO scheme is evaluated in this section.
  66 For the sake of completeness, three metrics are computed in these experiments:
  67 the Peak Signal to Noise Ratio (PSNR),
  68 the PSNR-HVS-M family~\cite{psnrhvsm11},
  69 %the BIQI~\cite{MB10},
  70 and
  71 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
  72 The first one is widely used but does not take into
  73 account the Human Visual System (HVS).
  74 The other ones have been designed to tackle this problem.
  75
  76 If we apply them on the running example,
  77 the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to
  78 68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
  79 If $b$ is 6, these values are respectively equal to
  80 65.43, 77.2, and 89.35.
  81
  82
  83
  84
  85 \begin{table*}
  86 \begin{center}
  87 \begin{tabular}{|c|c|c||c|c|c|c|c|c|}
  88 \hline
  89 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} \\
  90 \hline
  91 Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive (about 6.35\%)} &  \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
  92 \hline
  93 Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&6.35\%& 10\%&6.35\%\\
  94 \hline
  95 PSNR & 61.86 & 63.48 &  66.55 (\textbf{-0.8\%}) &  63.7  & 64.65 & {67.08} & 60.8 & 62.9\\
  96 \hline
  97 PSNR-HVS-M & 72.9 & 75.39 & 78.6 (\textbf{-0.8\%}) & 75.5  & 76.67 & {79.23} & 71.8  & 74.3\\
  98 %\hline
  99 %BIQI & 28.3 & 28.28 & 28.4 & 28.28 & 28.28 & 28.2 & 28.2\\
 100 \hline
 101 wPSNR & 77.47 & 80.59 & 86.43(\textbf{-1.6\%})& 86.28  & 83.03 & {87.8} & 76.7 & 80.6\\
 102 \hline
 103 \end{tabular}
 104
 105 \begin{footnotesize}
 106 \vspace{2em}
 107 Variances given in bold font express the quality differences between
 108 HUGO and STABYLO with  STC+adaptive parameters.
 109 \end{footnotesize}
 110
 111 \end{center}
 112 \caption{Quality measures of steganography approaches\label{table:quality}}
 113 \end{table*}
 114
 115
 116
 117 Results are summarized in Table~\ref{table:quality}.
 118 Let us give an interpretation of these experiments.
 119 First of all, the adaptive strategy produces images with lower distortion
 120 than the images resulting from the 10\% fixed strategy.
 121 Numerical results are indeed always greater for the former strategy than
 122 for the latter one.
 123 These results are not surprising since the adaptive strategy aims at
 124 embedding messages whose length is decided according to an higher threshold
 125 into the edge detection.
 126 Let us focus on the quality of HUGO images: with a given fixed
 127 embedding rate (10\%),
 128 HUGO always produces images whose quality is higher than the STABYLO's one.
 129 However our approach is always better than EAISLSBMR since this one may modify
 130 the two least significant bits.
 131
 132 If we combine \emph{adaptive} and \emph{STC} strategies
 133 (which leads to an average embedding rate equal to 6.35\%)
 134 our approach  provides metrics equivalent to those provided by HUGO.
 135 In this column STC(7) stands for embedding data in the LSB whereas
 136 in STC(6), data are hidden in the two last significant bits.
 137
 138
 139
 140 The quality variance between HUGO and STABYLO for these parameters
 141 is given in bold font. It is always close to 1\% which confirms
 142 the objective presented in the motivations:
 143 providing an efficient steganography approach with a lightweight manner.
 144
 145
 146 Let us now compare the STABYLO approach with other edge based steganography
 147 approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
 148 These two schemes focus on increasing the
 149 payload while the PSNR is acceptable, but do not
 150 give quality metrics for fixed embedding rates from a large base of images.
 151
 152
 153
 154
 155 \subsection{Steganalysis}\label{sub:steg}
 156
 157
 158
 159 The steganalysis quality of our approach has been evaluated through the two
 160 AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 161 and Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalysers.
 162 Both aim at detecting hidden bits in grayscale natural images and are
 163 considered as state of the art steganalysers in the spatial domain~\cite{FK12}.
 164 The former approach is based on a simplified parametric model of natural images.
 165 Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 166 (AUMP) test is designed (theoretically and practically), to check whether
 167 an image has stego content or not.
 168 This approach is dedicated to verify whether LSB has been modified or not.
 169 In the latter, the authors show that the
 170 machine learning step, which is often
 171 implemented as a support vector machine,
 172 can be favorably executed thanks to an ensemble classifier.
 173
 174
 175 \begin{table*}
 176 \begin{center}
 177 %\begin{small}
 178 \begin{tabular}{|c|c|c|c|c|c|c|c|c|}
 179 \hline
 180 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR}\\
 181 \hline
 182 Embedding & Fixed &   \multicolumn{3}{|c|}{Adaptive (about 6.35\%)}  & \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
 183 \hline
 184 Rate & 10\% &  + sample &   +STC(7) & +STC(6)   & 10\%& 6.35\%& 10\%& 6.35\%\\
 185 \hline
 186 AUMP & 0.22 & 0.33 & 0.39  &   0.45    &  0.50 &  0.50 & 0.49 & 0.50 \\
 187 \hline
 188 Ensemble Classifier & 0.35 & 0.44 & 0.47 & 0.47     & 0.48 &  0.49  &  0.43  & 0.46 \\
 189
 190 \hline
 191 \end{tabular}
 192 %\end{small}
 193 \end{center}
 194 \caption{Steganalysing STABYLO\label{table:steganalyse}}
 195 \end{table*}
 196
 197
 198 Results are summarized in Table~\ref{table:steganalyse}.
 199 First of all, STC outperforms the sample strategy for the two steganalysers, as
 200 already noticed in the quality analysis presented in the previous section.
 201 Next, our approach is more easily detectable than HUGO, which
 202 is the most secure steganographic tool, as far as we know.
 203 However by combining \emph{adaptive} and \emph{STC} strategies
 204 our approach obtains similar results to HUGO ones.
 205
 206 However due to its
 207 huge number of integration features, it is not lightweight, which justifies
 208 in the authors' opinion the consideration of the proposed method.
 209