experiments.tex

   1 First of all, the whole code of STABYLO can be downloaded
   2 \footnote{\url{http://members.femto-st.fr/raphael-couturier/stabylo/}}.
   3 For all the experiments, the whole set of 10,000 images
   4 of the BOSS contest~\cite{Boss10} database is taken.
   5 In this set, each cover is a $512\times 512$
   6 grayscale digital image in a RAW format.
   7 We restrict experiments to
   8 this set of cover images since this paper is more focused on
   9 the methodology than on benchmarks.
  10
  11 We use the matrices $\hat{H}$
  12 generated by the integers given
  13 in Table~\ref{table:matrices:H}
  14 as introduced in~\cite{FillerJF11}, since these ones have experimentally
  15 be proven to have the strongest modification efficiency.
  16 For instance if the rate between the size of the message and the size of the
  17 cover vector
  18 is 1/4, each number in $\{81, 95, 107, 121\}$ is translated into a binary number
  19 and each one constitutes thus a column of $\hat{H}$.
  20
  21 \begin{table}
  22 $$
  23 \begin{array}{|l|l|}
  24 \hline
  25 \textrm{Rate} & \textrm{Matrix generators} \\
  26 \hline
  27 {1}/{2} & \{71,109\}\\
  28 \hline
  29 {1}/{3} & \{95, 101, 121\}\\
  30 \hline
  31 {1}/{4} & \{81, 95, 107, 121\}\\
  32 \hline
  33 {1}/{5} & \{75, 95, 97, 105, 117\}\\
  34 \hline
  35 {1}/{6} & \{73, 83, 95, 103, 109, 123\}\\
  36 \hline
  37 {1}/{7} & \{69, 77, 93, 107, 111, 115, 121\}\\
  38 \hline
  39 {1}/{8} & \{69, 79, 81, 89, 93, 99, 107, 119\}\\
  40 \hline
  41 {1}/{9} & \{69, 79, 81, 89, 93, 99, 107, 119, 125\}\\
  42 \hline
  43 \end{array}
  44 $$
  45 \caption{Matrix Generator for $\hat{H}$ in STC}\label{table:matrices:H}
  46 \end{table}
  47
  48
  49 Our approach is always compared to HUGO, to EAISLSBMR, to WOW and to UNIWARD
  50 for the two strategies Fixed and Adaptive.
  51 For the former one, the payload has been set to 10\%.
  52 For the latter one, the Canny parameter $T$ has been set to 3.
  53 When $b$ is 7, the average size of the message that can be embedded
  54 is 16,445 bits,
  55 that corresponds to an  average payload of 6.35\%.
  56 For each cover image the STABYLO's embedding rate with these two parameters
  57 is memorized.
  58 Next each steganographic scheme is executed to produce the stego content of
  59 this cover with respect to this embedding rate.
  60
  61
  62
  63
  64
  65 \subsection{Image quality}\label{sub:quality}
  66 The visual quality of the STABYLO scheme is evaluated in this section.
  67 For the sake of completeness, three metrics are computed in these experiments:
  68 the Peak Signal to Noise Ratio (PSNR),
  69 the PSNR-HVS-M family~\cite{psnrhvsm11},
  70 and
  71 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
  72 The first one is widely used but does not take into
  73 account the Human Visual System (HVS).
  74 The other ones have been designed to tackle this problem.
  75
  76 If we apply them on the running example with the Adaptive and STC strategies,
  77 the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to
  78 68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
  79 If $b$ is 6, these values are respectively equal to
  80 65.43, 77.2, and 89.35.
  81
  82
  83
  84
  85 \begin{table*}
  86 \begin{center}
  87 \begin{small}
  88 \setlength{\tabcolsep}{3pt}
  89 \begin{tabular}{|c|c|c||c|c|c|c|c|c|c|c|c|c|}
  90 \hline
  91 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} & \multicolumn{2}{|c|}{WOW} & \multicolumn{2}{|c|}{UNIWARD}\\
  92 \hline
  93 Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive (about 6.35\%)} &  Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive \\
  94 \hline
  95 Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%\\
  96 \hline
  97 PSNR & 61.86 & 63.48 &  66.55  &  63.7  & 64.65 & {67.08} & 60.8 & 62.9&65.9 & 68.3 & 65.8 & 69.2\\
  98 \hline
  99 PSNR-HVS-M & 72.9 & 75.39 & 78.6  & 75.5  & 76.67 & {79.6} & 71.8  & 76.0 &
 100 76.7 & 80.35 & 77.6 & 81.2 \\
 101 \hline
 102 wPSNR & 77.47 & 80.59 & 86.43& 86.28  & 83.03 & {88.6} & 76.7 & 83& 83.8 & 90.4 & 85.2 & 91.9\\
 103 \hline
 104 \end{tabular}
 105 \end{small}
 106 \end{center}
 107 \caption{Quality measures of steganography approaches\label{table:quality}}
 108 \end{table*}
 109
 110
 111
 112 Results are summarized in Table~\ref{table:quality}.
 113 In this table, STC(7) stands for embedding data in the LSB whereas
 114 in STC(6), data are hidden in the last two  significant bits.
 115
 116
 117 Let us give an interpretation of these experiments.
 118 First of all, the Adaptive strategy produces images with lower distortion
 119 than the images resulting from the 10\% fixed strategy.
 120 Numerical results are indeed always greater for the former strategy than
 121 for the latter one.
 122 These results are not surprising since the Adaptive strategy aims at
 123 embedding messages whose length is decided according to a higher threshold
 124 into the edge detection.
 125
 126
 127 If we combine Adaptive and STC strategies
 128 the STABYLO scheme  provides images whose quality is higher than
 129 the EAISLSBMR's one but lower than the quality of high complexity
 130 schemes. Notice that the quality of the less respectful scheme (EAILSBMR)
 131 is lower than 6\% than the one of the most one.
 132
 133
 134 % Let us now compare the STABYLO approach with other edge based steganography
 135 % approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
 136 % These two schemes focus on increasing the
 137 % payload while the PSNR is acceptable, but do not
 138 % give quality metrics for fixed embedding rates from a large base of images.
 139
 140
 141
 142
 143 \subsection{Steganalysis}\label{sub:steg}
 144
 145
 146
 147 The steganalysis quality of our approach has been evaluated through the % two
 148 % AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 149 % and
 150 Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalyser.
 151 Its  particularization to spatial domain is
 152 considered as state of the art steganalysers.
 153 Firstly, a space
 154 of 686 co-occurrence and Markov features is extracted from the
 155 set of cover images and the set of training images. Next a small
 156 set of weak classifiers is randomly built,
 157 each one working on a subspace of all the features.
 158 The final classifier is constructed by a majority voting
 159 between the decisions of these  individual classifiers.
 160
 161
 162 %The former approach is based on a simplified parametric model of natural images.
 163 % Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 164 % (AUMP) test is designed (theoretically and practically), to check whether
 165 % an image has stego content or not.
 166 % This approach is dedicated to verify whether LSB has been modified or not.
 167 % , the authors show that the
 168 % machine learning step, which is often
 169 % implemented as a support vector machine,
 170 % can be favorably executed thanks to an ensemble classifier.
 171
 172
 173 \begin{table*}
 174 \begin{center}
 175 \begin{small}
 176 \setlength{\tabcolsep}{3pt}
 177 \begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|c|c|}
 178 \hline
 179 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} &  \multicolumn{2}{|c|}{WOW} &  \multicolumn{2}{|c|}{UNIWARD}\\
 180 \hline
 181 Embedding & Fixed &   \multicolumn{3}{|c|}{Adaptive (about 6.35\%)}  & Fixed & Adapt. & Fixed & Adapt. & Fixed & Adapt. & Fixed & Adapt. \\
 182 \hline
 183 Rate & 10\% &  + sample &   +STC(7) & +STC(6)   & 10\%& $\approx$6.35\%& 10\%& $\approx$6.35\% & 10\%& $\approx$6.35\%& 10\%& $\approx$6.35\%\\
 184 \hline
 185 %AUMP & 0.22 & 0.33 & 0.39  &   0.45    &  0.50 &  0.50 & 0.49 & 0.50 \\
 186 %\hline
 187 Ensemble Classifier & 0.35 & 0.44 & 0.47 & 0.47     & 0.48 &  0.49  &  0.43  & 0.47 & 0.48 & 0.49 & 0.46 & 0.49 \\
 188
 189 \hline
 190 \end{tabular}
 191 \end{small}
 192 \end{center}
 193 \caption{Steganalysing STABYLO\label{table:steganalyse}}
 194 \end{table*}
 195
 196
 197 Results of average testing errors
 198 are summarized in Table~\ref{table:steganalyse}.
 199 First of all, STC outperforms the sample strategy %for % the two steganalysers
 200  as
 201 already noticed in the quality analysis presented in the previous section.
 202 Next, our approach is more easily detectable than HUGO,
 203 WOW and UNIWARD which are the most secure steganographic tool,
 204 as far as we know.
 205 However by combining Adaptive and STC strategies
 206 our approach obtains similar results than the ones of these schemes.
 207
 208 Compared to EAILSBMR, we obtain better results when the strategy is
 209 Adaptive.
 210 However due to its
 211 huge number of integration features, it is not lightweight.
 212
 213 All these numerical experiments confirm
 214 the objective presented in the motivations:
 215 providing an efficient steganography approach in a lightweight manner.