experiments.tex

   1 For whole experiments, the whole set of 10000 images
   2 of the BOSS contest~\cite{Boss10} database is taken.
   3 In this set, each cover is a $512\times 512$
   4 grayscale digital image in a RAW format.
   5 We restrict experiments to
   6 this set of cover images since this paper is more focused on
   7 the methodology than benchmarking.
   8 Our approach is always compared to Hugo~\cite{DBLP:conf/ih/PevnyFB10}
   9 and to EAISLSBMR~\cite{Luo:2010:EAI:1824719.1824720}.
  10
  11
  12
  13
  14
  15 \subsection{Adaptive Embedding Rate}
  16 Two strategies have been developed in our scheme,
  17 depending on the embedding rate that is either \emph{adaptive} or \emph{fixed}.
  18
  19 In the former the embedding rate depends on the number of edge pixels.
  20 The higher it is, the larger the message length that can be inserted is.
  21 Practically, a set of edge pixels is computed according to the
  22 Canny algorithm with an high threshold.
  23 The message length is thus defined to be half of this set cardinality.
  24 In this strategy, two methods are thus applied to extract bits that
  25 are modified. The first one is a direct application of the STC algorithm.
  26 This method is further referred to as \emph{adaptive+STC}.
  27 The second one randomly chooses the subset of pixels to modify by
  28 applying the BBS PRNG again. This method is denoted \emph{adaptive+sample}.
  29 Notice that the rate between
  30 available bits  and bit message length is always equal to 2.
  31 This constraint is indeed induced by the fact that the efficiency
  32 of the STC algorithm is unsatisfactory under that threshold.
  33 In our experiments and with the adaptive scheme,
  34 the average size of the message that can be embedded is 16,445 bits.
  35 Its corresponds to an  average payload of 6.35\%.
  36
  37
  38
  39
  40 In the latter, the embedding rate is defined as a percentage between the
  41 number of modified pixels and the length of the bit message.
  42 This is the classical approach adopted in steganography.
  43 Practically, the Canny algorithm generates
  44 a set of edge pixels related to a threshold that is decreasing until its cardinality
  45 is sufficient. If the set cardinality is more than twice larger than the
  46 bit message length, a STC step is again applied.
  47 Otherwise, pixels are again randomly chosen with BBS.
  48
  49
  50
  51 \subsection{Image Quality}
  52 The visual quality of the STABYLO scheme is evaluated in this section.
  53 For the sake of completeness, four metrics are computed in these experiments:
  54 the Peak Signal to Noise Ratio (PSNR),
  55 the PSNR-HVS-M family~\cite{psnrhvsm11},
  56 %the BIQI~\cite{MB10},
  57 and
  58 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
  59 The first one is widely used but does not take into
  60 account the Human Visual System (HVS).
  61 The other ones have been designed to tackle this problem.
  62
  63
  64
  65
  66 \begin{table*}
  67 \begin{center}
  68 \begin{tabular}{|c|c|c||c|c|c|c|c|}
  69 \hline
  70 Schemes & \multicolumn{3}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} \\
  71 \hline
  72 Embedding &   Fixed & \multicolumn{2}{|c|}{Adaptive} &  \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
  73 \hline
  74 Rate &   10\% &  + sample & + STC  &  10\%&6.35\%& 10\%&6.35\%\\
  75 \hline
  76 PSNR & 61.86 & 63.48 &  66.55 (\textbf{-0.8\%})     & 64.65 & {67.08} & 60.8 & 62.9\\
  77 \hline
  78 PSNR-HVS-M & 72.9 & 75.39 & 78.6 (\textbf{-0.8\%})    & 76.67 & {79.23} & 61.3  & 63.4\\
  79 %\hline
  80 %BIQI & 28.3 & 28.28 & 28.4 & 28.28 & 28.28 & 28.2 & 28.2\\
  81 \hline
  82 wPSNR & 77.47 & 80.59 & 86.43(\textbf{-1.6\%})  & 83.03 & {87.8} & 76.7 & 80.6\\
  83 \hline
  84 \end{tabular}
  85
  86 \begin{footnotesize}
  87 \vspace{2em}
  88 Variances given in bold font express the quality differences between
  89 HUGO and STABYLO with  STC+adaptive parameters.
  90 \end{footnotesize}
  91
  92 \end{center}
  93 \caption{Quality Measures of Steganography Approaches\label{table:quality}}
  94 \end{table*}
  95
  96
  97
  98 Results are summarized into the Table~\ref{table:quality}.
  99 Let us give an interpretation of these first experiments.
 100 First of all, the adaptive strategy produces images with lower distortion
 101 than the one of images resulting from the 10\% fixed strategy.
 102 Numerical results are indeed always greater for the former strategy than
 103 for the latter.
 104 These results are not surprising since the adaptive strategy aims at
 105 embedding messages whose length is decided according to an higher threshold
 106 into the edge detection.
 107 Let us focus on the quality of HUGO images: with a given fixed
 108 embedding rate (10\%),
 109 HUGO always produces images whose quality is higher than the STABYLO's one.
 110 However our approach always outperforms EAISLSBMR since this one may modify
 111 the two least significant bits whereas STABYLO only alter LSB.
 112
 113 If we combine \emph{adaptive} and \emph{STC} strategies
 114 (which leads to an average embedding rate equal to 6.35\%)
 115 our approach  provides equivalent metrics than HUGO.
 116 The quality variance between HUGO and STABYLO for these parameters
 117 is given in bold font. It is always close to 1\% which confirms
 118 the objective presented in the motivations:
 119 providing an efficient steganography approach with a lightweight manner.
 120
 121
 122 Let us now compare the STABYLO approach with other edge based steganography
 123 approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
 124 These two schemes focus on increasing the
 125 payload while the PSNR is acceptable, but do not
 126 give quality metrics for fixed embedding rates from a large base of images.
 127
 128
 129
 130
 131 \subsection{Steganalysis}
 132
 133
 134
 135 The steganalysis quality of our approach has been evaluated through the two
 136 AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 137 and Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalysers.
 138 Both aims at detecting hidden bits in grayscale natural images and are
 139 considered as the state of the art of steganalysers in spatial domain~\cite{FK12}.
 140 The former approach is based on a simplified parametric model of natural images.
 141 Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 142 (AUMP) test is designed (theoretically and practically), to check whether
 143 an image has stego content or not.
 144 This approach is dedicated to verify whether LSB has been modified or not.
 145 In the latter, the authors show that the
 146 machine learning step, which is often
 147 implemented as support vector machine,
 148 can be favorably executed thanks to an ensemble classifier.
 149
 150
 151 \begin{table*}
 152 \begin{center}
 153 %\begin{small}
 154 \begin{tabular}{|c|c|c|c|c|c|c|c|}
 155 \hline
 156 Schemes & \multicolumn{3}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR}\\
 157 \hline
 158 Embedding & Fixed &   \multicolumn{2}{|c|}{Adaptive}  & \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
 159 \hline
 160 Rate & 10\% &  + sample &   + STC   & 10\%& 6.35\%& 10\%& 6.35\%\\
 161 \hline
 162 AUMP & 0.22 & 0.33 & 0.39         &  0.50 &  0.50 & 0.49 & 0.50 \\
 163 \hline
 164 Ensemble Classifier & 0.35 & 0.44 & 0.47       & 0.48 &  0.49  &  0.43  & 0.46 \\
 165
 166 \hline
 167 \end{tabular}
 168 %\end{small}
 169 \end{center}
 170 \caption{Steganalysing STABYLO\label{table:steganalyse}}
 171 \end{table*}
 172
 173
 174 Results are summarized in Table~\ref{table:steganalyse}.
 175 First of all, STC outperforms the sample strategy for the two steganalysers, as
 176 already noticed in the quality analysis presented in the previous section.
 177 Next, our approach is more easily detectable than HUGO, which
 178 is the most secure steganographic tool, as far as we know.
 179 However by combining \emph{adaptive} and \emph{STC} strategies
 180 our approach obtains similar results than HUGO ones.
 181 However due to its
 182 huge number of features integration, it is not lightweight, which justifies
 183 in the authors' opinion the consideration of the proposed method.
 184