experiments.tex

   1 For whole experiments, the whole set of 10000 images
   2 of the BOSS contest~\cite{Boss10} database is taken.
   3 In this set, each cover is a $512\times 512$
   4 grayscale digital image in a RAW format.
   5 We restrict experiments to
   6 this set of cover images since this paper is more focussed on
   7 the methodology than benchmarking.
   8
   9
  10 \subsection{Adaptive Embedding Rate}
  11
  12 Two strategies have been developed in our scheme, depending on the embedding rate that is either \emph{adaptive} or \emph{fixed}.
  13
  14 In the former the embedding rate depends on the number of edge pixels.
  15 The higher it is, the larger the message length that can be inserted is.
  16 Practically, a set of edge pixels is computed according to the
  17 Canny algorithm with an high threshold.
  18 The message length is thus defined to be half of this set cardinality.
  19 In this strategy, two methods are thus applied to extract bits that
  20 are modified. The first one is a direct application of the STC algorithm.
  21 This method is further referred to as \emph{adaptive+STC}.
  22 The second one randomly chooses the subset of pixels to modify by
  23 applying the BBS PRNG again. This method is denoted \emph{adaptive+sample}.
  24 Notice that the rate between
  25 available bits  and bit message length is always equal to 2.
  26 This constraint is indeed induced by the fact that the efficiency
  27 of the STC algorithm is unsatisfactory under that threshold.
  28 In our experiments and with the adaptive scheme,
  29 the average size of the message that can be embedded is 16,445 bits.
  30 Its corresponds to an  average payload of 6.35\%.
  31
  32
  33
  34
  35 In the latter, the embedding rate is defined as a percentage between the
  36 number of modified pixels and the length of the bit message.
  37 This is the classical approach adopted in steganography.
  38 Practically, the Canny algorithm generates
  39 a set of edge pixels related to a threshold that is decreasing until its cardinality
  40 is sufficient. If the set cardinality is more than twice larger than the
  41 bit message length, a STC step is again applied.
  42 Otherwise, pixels are again randomly chosen with BBS.
  43
  44
  45
  46 \subsection{Image Quality}
  47 The visual quality of the STABYLO scheme is evaluated in this section.
  48 For the sake of completeness, four metrics are computed in these experiments:
  49 the Peak Signal to Noise Ratio (PSNR),
  50 the PSNR-HVS-M family~\cite{psnrhvsm11},
  51 the BIQI~\cite{MB10}, and
  52 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
  53 The first one is widely used but does not take into
  54 account the Human Visual System (HVS).
  55 The other ones have been designed to tackle this problem.
  56
  57 \begin{table*}
  58 \begin{center}
  59 \begin{tabular}{|c|c|c||c|c|c|}
  60 \hline
  61 Schemes & \multicolumn{3}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}\\
  62 \hline
  63 Embedding &   \multicolumn{2}{|c||}{Adaptive} & Fixed & \multicolumn{2}{|c|}{Fixed} \\
  64 \hline
  65 Rate &   + STC &  + sample & 10\% & 10\%&6.35\%\\
  66 \hline
  67 PSNR &  66.55 & 63.48  & 61.86  & 64.65 & 67.08  \\
  68 \hline
  69 PSNR-HVS-M & 78.6 & 75.39 & 72.9 & 76.67 & 79.23 \\
  70 \hline
  71 BIQI & 28.3 & 28.28 & 28.4 & 28.28 & 28.28 \\
  72 \hline
  73 wPSNR & 86.43& 80.59 & 77.47& 83.03 & 87.8\\
  74 \hline
  75 \end{tabular}
  76 \end{center}
  77 \caption{Quality Measures of Steganography Approaches\label{table:quality}}
  78 \end{table*}
  79
  80 Let us give an interpretation of these experiments.
  81 First of all, the adaptive strategy produces images with lower distortion
  82 than the one of images resulting from the 10\% fixed strategy.
  83 Numerical results are indeed always greater for the former strategy than
  84 for the latter, except for the BIQI metrics where differences are not really relevant.
  85 These results are not surprising since the adaptive strategy aims at
  86 embedding messages whose length is decided according to an higher threshold
  87 into the edge detection.
  88 Let us focus on the quality of HUGO images: with a given fixed
  89 embedding rate (10\%),
  90 HUGO always produces images whose quality is higher than the STABYLO's one.
  91 However, our approach nevertheless provides equivalent
  92 results with the strategy
  93 \emph{adaptive+STC} than HUGO with an average embedding rate set to
  94 6.35\%.
  95 This occurs with a lightweight manner, as motivated in the introduction.
  96
  97
  98 Let us now compare the STABYLO approach with other edge based steganography
  99 schemes with respect to the image quality.
 100 First of all, the Edge Adaptive
 101 scheme detailed in~\cite{Luo:2010:EAI:1824719.1824720}
 102 executed with a 10\% embedding rate
 103 has the same PSNR but a lower wPSNR than ours:
 104 these two metrics are respectively equal to 61.9 and 68.9.
 105 Next, both  approaches~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}
 106 focus on increasing the payload while the PSNR is acceptable, but do not
 107 give quality metrics for fixed embedding rates from a large base of images.
 108 Our approach outperforms the former thanks to the introduction of the STC
 109 algorithm.
 110
 111
 112
 113
 114 \subsection{Steganalysis}
 115
 116
 117
 118 The quality of our approach has been evaluated through the two
 119 AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 120 and Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalysers.
 121 Both aims at detecting hidden bits in grayscale natural images and are
 122 considered as the state of the art of steganalysers in spatial domain~\cite{FK12}.
 123 The former approach is based on a simplified parametric model of natural images.
 124 Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 125 (AUMP) test is designed (theoretically and practically), to check whether
 126 an image has stego content or not.
 127 In the latter, the authors show that the
 128 machine learning step, which is often
 129 implemented as support vector machine,
 130 can be favorably executed thanks to an ensemble classifier.
 131
 132
 133
 134 \begin{table*}
 135 \begin{center}
 136 %\begin{small}
 137 \begin{tabular}{|c|c|c|c|c|c|}
 138 \hline
 139 Schemes & \multicolumn{3}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}\\
 140 \hline
 141 Embedding &   \multicolumn{2}{|c|}{Adaptive} & Fixed & \multicolumn{2}{|c|}{Fixed} \\
 142 \hline
 143 Rate &   + STC &  + sample & 10\% & 10\%& 6.35\%\\
 144 \hline
 145 AUMP & 0.39  & 0.33  & 0.22     &  0.50 &  0.50  \\
 146 \hline
 147 Ensemble Classifier & 0.47 & 0.44 & 0.35     & 0.48 &  0.49  \\
 148
 149 \hline
 150 \end{tabular}
 151 %\end{small}
 152 \end{center}
 153 \caption{Steganalysing STABYLO\label{table:steganalyse}}
 154 \end{table*}
 155
 156
 157 Results show that our approach is more easily detectable than HUGO, which
 158 is the most secure steganographic tool, as far as we know. However due to its
 159 huge number of features integration, it is not lightweight, which justifies
 160 in the authors' opinion the consideration of the proposed method.
 161