experiments.tex

   1 For whole experiments, the whole set of 10000 images
   2 of the BOSS contest~\cite{Boss10} database is taken.
   3 In this set, each cover is a $512\times 512$
   4 grayscale digital image in a RAW format.
   5 We restrict experiments to
   6 this set of cover images since this paper is more focused on
   7 the methodology than benchmarking.
   8 Our approach is always compared to Hugo~\cite{DBLP:conf/ih/PevnyFB10}
   9 and to EAISLSBMR~\cite{Luo:2010:EAI:1824719.1824720}.
  10 The former is the less detectable information hidding tool in spatial domain
  11 and the later is the work which is close to ours, as far as we know.
  12
  13
  14
  15 First of all,  in our experiments and with the adaptive scheme,
  16 the average size of the message that can be embedded is 16,445 bits.
  17 Its corresponds to an  average payload of 6.35\%.
  18 The two other tools will then be compared with this payload.
  19 The Sections~\ref{sub:quality} and~\ref{sub:steg} respectively present
  20 the quality analysis and the security of our scheme.
  21
  22
  23
  24
  25
  26 \subsection{Image Quality}\label{sub:quality}
  27 The visual quality of the STABYLO scheme is evaluated in this section.
  28 For the sake of completeness, three metrics are computed in these experiments:
  29 the Peak Signal to Noise Ratio (PSNR),
  30 the PSNR-HVS-M family~\cite{psnrhvsm11},
  31 %the BIQI~\cite{MB10},
  32 and
  33 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
  34 The first one is widely used but does not take into
  35 account the Human Visual System (HVS).
  36 The other ones have been designed to tackle this problem.
  37
  38
  39
  40
  41 \begin{table*}
  42 \begin{center}
  43 \begin{tabular}{|c|c|c||c|c|c|c|c|}
  44 \hline
  45 Schemes & \multicolumn{3}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} \\
  46 \hline
  47 Embedding &   Fixed & \multicolumn{2}{|c|}{Adaptive} &  \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
  48 \hline
  49 Rate &   10\% &  + sample & + STC  &  10\%&6.35\%& 10\%&6.35\%\\
  50 \hline
  51 PSNR & 61.86 & 63.48 &  66.55 (\textbf{-0.8\%})     & 64.65 & {67.08} & 60.8 & 62.9\\
  52 \hline
  53 PSNR-HVS-M & 72.9 & 75.39 & 78.6 (\textbf{-0.8\%})    & 76.67 & {79.23} & 61.3  & 63.4\\
  54 %\hline
  55 %BIQI & 28.3 & 28.28 & 28.4 & 28.28 & 28.28 & 28.2 & 28.2\\
  56 \hline
  57 wPSNR & 77.47 & 80.59 & 86.43(\textbf{-1.6\%})  & 83.03 & {87.8} & 76.7 & 80.6\\
  58 \hline
  59 \end{tabular}
  60
  61 \begin{footnotesize}
  62 \vspace{2em}
  63 Variances given in bold font express the quality differences between
  64 HUGO and STABYLO with  STC+adaptive parameters.
  65 \end{footnotesize}
  66
  67 \end{center}
  68 \caption{Quality Measures of Steganography Approaches\label{table:quality}}
  69 \end{table*}
  70
  71
  72
  73 Results are summarized into the Table~\ref{table:quality}.
  74 Let us give an interpretation of these experiments.
  75 First of all, the adaptive strategy produces images with lower distortion
  76 than the one of images resulting from the 10\% fixed strategy.
  77 Numerical results are indeed always greater for the former strategy than
  78 for the latter.
  79 These results are not surprising since the adaptive strategy aims at
  80 embedding messages whose length is decided according to an higher threshold
  81 into the edge detection.
  82 Let us focus on the quality of HUGO images: with a given fixed
  83 embedding rate (10\%),
  84 HUGO always produces images whose quality is higher than the STABYLO's one.
  85 However our approach always outperforms EAISLSBMR since this one may modify
  86 the two least significant bits whereas STABYLO only alter LSB.
  87
  88 If we combine \emph{adaptive} and \emph{STC} strategies
  89 (which leads to an average embedding rate equal to 6.35\%)
  90 our approach  provides equivalent metrics than HUGO.
  91 The quality variance between HUGO and STABYLO for these parameters
  92 is given in bold font. It is always close to 1\% which confirms
  93 the objective presented in the motivations:
  94 providing an efficient steganography approach with a lightweight manner.
  95
  96
  97 Let us now compare the STABYLO approach with other edge based steganography
  98 approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
  99 These two schemes focus on increasing the
 100 payload while the PSNR is acceptable, but do not
 101 give quality metrics for fixed embedding rates from a large base of images.
 102
 103
 104
 105
 106 \subsection{Steganalysis}\label{sub:steg}
 107
 108
 109
 110 The steganalysis quality of our approach has been evaluated through the two
 111 AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 112 and Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalysers.
 113 Both aims at detecting hidden bits in grayscale natural images and are
 114 considered as the state of the art of steganalysers in spatial domain~\cite{FK12}.
 115 The former approach is based on a simplified parametric model of natural images.
 116 Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 117 (AUMP) test is designed (theoretically and practically), to check whether
 118 an image has stego content or not.
 119 This approach is dedicated to verify whether LSB has been modified or not.
 120 In the latter, the authors show that the
 121 machine learning step, which is often
 122 implemented as support vector machine,
 123 can be favorably executed thanks to an ensemble classifier.
 124
 125
 126 \begin{table*}
 127 \begin{center}
 128 %\begin{small}
 129 \begin{tabular}{|c|c|c|c|c|c|c|c|}
 130 \hline
 131 Schemes & \multicolumn{3}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR}\\
 132 \hline
 133 Embedding & Fixed &   \multicolumn{2}{|c|}{Adaptive}  & \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
 134 \hline
 135 Rate & 10\% &  + sample &   + STC   & 10\%& 6.35\%& 10\%& 6.35\%\\
 136 \hline
 137 AUMP & 0.22 & 0.33 & 0.39         &  0.50 &  0.50 & 0.49 & 0.50 \\
 138 \hline
 139 Ensemble Classifier & 0.35 & 0.44 & 0.47       & 0.48 &  0.49  &  0.43  & 0.46 \\
 140
 141 \hline
 142 \end{tabular}
 143 %\end{small}
 144 \end{center}
 145 \caption{Steganalysing STABYLO\label{table:steganalyse}}
 146 \end{table*}
 147
 148
 149 Results are summarized in Table~\ref{table:steganalyse}.
 150 First of all, STC outperforms the sample strategy for the two steganalysers, as
 151 already noticed in the quality analysis presented in the previous section.
 152 Next, our approach is more easily detectable than HUGO, which
 153 is the most secure steganographic tool, as far as we know.
 154 However by combining \emph{adaptive} and \emph{STC} strategies
 155 our approach obtains similar results than HUGO ones.
 156 However due to its
 157 huge number of features integration, it is not lightweight, which justifies
 158 in the authors' opinion the consideration of the proposed method.
 159