experiments.tex

   1 For whole experiments, the whole set of 10,000 images
   2 of the BOSS contest~\cite{Boss10} database is taken.
   3 In this set, each cover is a $512\times 512$
   4 grayscale digital image in a RAW format.
   5 We restrict experiments to
   6 this set of cover images since this paper is more focused on
   7 the methodology than benchmarking.
   8 We use the matrices given in table~\ref{table:matrices:H}
   9 as introduced in~\cite{}, since these ones have experimentally
  10 be proven to have the best modification efficiency.
  11
  12 \begin{table}
  13 $$
  14 \begin{array}{|l|l|}
  15 \textrm{rate} & \textrm{matrix generators} \\
  16 $\frac{1}{2} & \{71,109\}
  17 $\frac{1}{3} & \{95, 101, 121\}
  18 $\frac{1}{4} & \{81, 95, 107, 121\}
  19 $\frac{1}{5} & \{75, 95, 97, 105, 117\}
  20 $\frac{1}{6} & \{73, 83, 95, 103, 109, 123\}
  21 $\frac{1}{7} & \{69, 77, 93, 107, 111, 115, 121\}
  22 $\frac{1}{8} & \{69, 79, 81, 89, 93, 99, 107, 119\}
  23 $\frac{1}{9} & \{69, 79, 81, 89, 93, 99, 107, 119, 125]
  24
  25
  26
  27 Our approach is always compared to Hugo~\cite{DBLP:conf/ih/PevnyFB10}
  28 and to EAISLSBMR~\cite{Luo:2010:EAI:1824719.1824720}.
  29 The former is the least detectable information hiding tool in spatial domain
  30 and the latter is the work that is the closest to ours, as far as we know.
  31
  32
  33
  34 First of all,  in our experiments and with the adaptive scheme,
  35 the average size of the message that can be embedded is 16,445 bits.
  36 Its corresponds to an  average payload of 6.35\%.
  37 The two other tools will then be compared with this payload.
  38 Sections~\ref{sub:quality} and~\ref{sub:steg} respectively present
  39 the quality analysis and the security of our scheme.
  40
  41
  42
  43
  44
  45 \subsection{Image quality}\label{sub:quality}
  46 The visual quality of the STABYLO scheme is evaluated in this section.
  47 For the sake of completeness, three metrics are computed in these experiments:
  48 the Peak Signal to Noise Ratio (PSNR),
  49 the PSNR-HVS-M family~\cite{psnrhvsm11},
  50 %the BIQI~\cite{MB10},
  51 and
  52 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
  53 The first one is widely used but does not take into
  54 account the Human Visual System (HVS).
  55 The other ones have been designed to tackle this problem.
  56
  57 If we apply them on the running example,
  58 the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to
  59 68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
  60 If $b$ is 6, these values are respectively equal to
  61 65.43, 77.2, and 89.35.
  62
  63
  64
  65
  66 \begin{table*}
  67 \begin{center}
  68 \begin{tabular}{|c|c|c||c|c|c|c|c|c|}
  69 \hline
  70 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} \\
  71 \hline
  72 Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive (about 6.35\%)} &  \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
  73 \hline
  74 Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&6.35\%& 10\%&6.35\%\\
  75 \hline
  76 PSNR & 61.86 & 63.48 &  66.55 (\textbf{-0.8\%}) &  63.7  & 64.65 & {67.08} & 60.8 & 62.9\\
  77 \hline
  78 PSNR-HVS-M & 72.9 & 75.39 & 78.6 (\textbf{-0.8\%}) & 75.5  & 76.67 & {79.23} & 71.8  & 74.3\\
  79 %\hline
  80 %BIQI & 28.3 & 28.28 & 28.4 & 28.28 & 28.28 & 28.2 & 28.2\\
  81 \hline
  82 wPSNR & 77.47 & 80.59 & 86.43(\textbf{-1.6\%})& 86.28  & 83.03 & {87.8} & 76.7 & 80.6\\
  83 \hline
  84 \end{tabular}
  85
  86 \begin{footnotesize}
  87 \vspace{2em}
  88 Variances given in bold font express the quality differences between
  89 HUGO and STABYLO with  STC+adaptive parameters.
  90 \end{footnotesize}
  91
  92 \end{center}
  93 \caption{Quality measures of steganography approaches\label{table:quality}}
  94 \end{table*}
  95
  96
  97
  98 Results are summarized in Table~\ref{table:quality}.
  99 Let us give an interpretation of these experiments.
 100 First of all, the adaptive strategy produces images with lower distortion
 101 than the images resulting from the 10\% fixed strategy.
 102 Numerical results are indeed always greater for the former strategy than
 103 for the latter one.
 104 These results are not surprising since the adaptive strategy aims at
 105 embedding messages whose length is decided according to an higher threshold
 106 into the edge detection.
 107 Let us focus on the quality of HUGO images: with a given fixed
 108 embedding rate (10\%),
 109 HUGO always produces images whose quality is higher than the STABYLO's one.
 110 However our approach is always better than EAISLSBMR since this one may modify
 111 the two least significant bits.
 112
 113 If we combine \emph{adaptive} and \emph{STC} strategies
 114 (which leads to an average embedding rate equal to 6.35\%)
 115 our approach  provides metrics equivalent to those provided by HUGO.
 116 In this column STC(7) stands for embedding data in the LSB whereas
 117 in STC(6), data are hidden in the two last significant bits.
 118
 119
 120
 121 The quality variance between HUGO and STABYLO for these parameters
 122 is given in bold font. It is always close to 1\% which confirms
 123 the objective presented in the motivations:
 124 providing an efficient steganography approach with a lightweight manner.
 125
 126
 127 Let us now compare the STABYLO approach with other edge based steganography
 128 approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
 129 These two schemes focus on increasing the
 130 payload while the PSNR is acceptable, but do not
 131 give quality metrics for fixed embedding rates from a large base of images.
 132
 133
 134
 135
 136 \subsection{Steganalysis}\label{sub:steg}
 137
 138
 139
 140 The steganalysis quality of our approach has been evaluated through the two
 141 AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 142 and Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalysers.
 143 Both aim at detecting hidden bits in grayscale natural images and are
 144 considered as state of the art steganalysers in the spatial domain~\cite{FK12}.
 145 The former approach is based on a simplified parametric model of natural images.
 146 Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 147 (AUMP) test is designed (theoretically and practically), to check whether
 148 an image has stego content or not.
 149 This approach is dedicated to verify whether LSB has been modified or not.
 150 In the latter, the authors show that the
 151 machine learning step, which is often
 152 implemented as a support vector machine,
 153 can be favorably executed thanks to an ensemble classifier.
 154
 155
 156 \begin{table*}
 157 \begin{center}
 158 %\begin{small}
 159 \begin{tabular}{|c|c|c|c|c|c|c|c|c|}
 160 \hline
 161 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR}\\
 162 \hline
 163 Embedding & Fixed &   \multicolumn{3}{|c|}{Adaptive (about 6.35\%)}  & \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
 164 \hline
 165 Rate & 10\% &  + sample &   +STC(7) & +STC(6)   & 10\%& 6.35\%& 10\%& 6.35\%\\
 166 \hline
 167 AUMP & 0.22 & 0.33 & 0.39  &   0.45    &  0.50 &  0.50 & 0.49 & 0.50 \\
 168 \hline
 169 Ensemble Classifier & 0.35 & 0.44 & 0.47 & 0.47     & 0.48 &  0.49  &  0.43  & 0.46 \\
 170
 171 \hline
 172 \end{tabular}
 173 %\end{small}
 174 \end{center}
 175 \caption{Steganalysing STABYLO\label{table:steganalyse}}
 176 \end{table*}
 177
 178
 179 Results are summarized in Table~\ref{table:steganalyse}.
 180 First of all, STC outperforms the sample strategy for the two steganalysers, as
 181 already noticed in the quality analysis presented in the previous section.
 182 Next, our approach is more easily detectable than HUGO, which
 183 is the most secure steganographic tool, as far as we know.
 184 However by combining \emph{adaptive} and \emph{STC} strategies
 185 our approach obtains similar results to HUGO ones.
 186
 187 However due to its
 188 huge number of integration features, it is not lightweight, which justifies
 189 in the authors' opinion the consideration of the proposed method.
 190