]> AND Private Git Repository - canny.git/blob - experiments.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
j'ai rajouté une figure avec l'erreur, la valeur du milieu est interpolée :-)
[canny.git] / experiments.tex
1 First of all, the whole code of STABYLO can be downloaded
2 \footnote{\url{http://http://members.femto-st.fr/jf-couchot/en/stabylo}}.
3 For all the experiments, the whole set of 10,000 images 
4 of the BOSS contest~\cite{Boss10} database is taken. 
5 In this set, each cover is a $512\times 512$
6 grayscale digital image in a RAW format. 
7 We restrict experiments to 
8 this set of cover images since this paper is more focused on 
9 the methodology than on benchmarks.    
10
11 We use the matrices $\hat{H}$ 
12 generated by the integers given
13 in Table~\ref{table:matrices:H}
14 as introduced in~\cite{FillerJF11}, since these ones have experimentally 
15 be proven to have the strongest modification efficiency.
16 For instance if the rate between the size of the message and the size of the 
17 cover vector
18 is 1/4, each number in $\{81, 95, 107, 121\}$ is translated into a binary number 
19 and each one constitutes thus a column of $\hat{H}$. 
20
21 \begin{table}
22 $$
23 \begin{array}{|l|l|}
24 \hline
25 \textrm{Rate} & \textrm{Matrix generators} \\
26 \hline
27 {1}/{2} & \{71,109\}\\
28 \hline
29 {1}/{3} & \{95, 101, 121\}\\
30 \hline
31 {1}/{4} & \{81, 95, 107, 121\}\\
32 \hline
33 {1}/{5} & \{75, 95, 97, 105, 117\}\\
34 \hline
35 {1}/{6} & \{73, 83, 95, 103, 109, 123\}\\
36 \hline
37 {1}/{7} & \{69, 77, 93, 107, 111, 115, 121\}\\
38 \hline
39 {1}/{8} & \{69, 79, 81, 89, 93, 99, 107, 119\}\\
40 \hline
41 {1}/{9} & \{69, 79, 81, 89, 93, 99, 107, 119, 125\}\\
42 \hline
43 \end{array}
44 $$
45 \caption{Matrix Generator for $\hat{H}$ in STC}\label{table:matrices:H}
46 \end{table}
47
48
49 Our approach is always compared to HUGO, to EAISLSBMR, to WOW and to UNIWARD
50 for the two strategies Fixed and Adaptive. 
51 For the former one, the payload has been set to 10\%. 
52 For the latter one, the Canny parameter $T$ has been set to 3. 
53 When $b$ is 7, the average size of the message that can be embedded
54 is 16,445 bits, 
55 that corresponds to an  average payload of 6.35\%.
56 For each cover image the STABYLO's embedding rate with these two parameters 
57 is memorized. 
58 Next each steganographic scheme is executed to produce the stego content of 
59 this cover with respect to this embedding rate.  
60
61
62
63  
64
65 % \subsection{Image quality}\label{sub:quality}
66 % The visual quality of the STABYLO scheme is evaluated in this section.
67 % For the sake of completeness, three metrics are computed in these experiments: 
68 % the Peak Signal to Noise Ratio (PSNR), 
69 % the PSNR-HVS-M family~\cite{psnrhvsm11}, 
70 % and 
71 % the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
72 % The first one is widely used but does not take into
73 % account the Human Visual System (HVS).
74 % The other ones have been designed to tackle this problem.
75
76 % If we apply them on the running example with the Adaptive and STC strategies, 
77 % the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to 
78 % 68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
79 % If $b$ is 6, these values are respectively equal to 
80 % 65.43, 77.2, and 89.35.
81
82
83
84
85 % \begin{table*}
86 % \begin{center}
87 % \begin{small}
88 % \setlength{\tabcolsep}{3pt}
89 % \begin{tabular}{|c|c|c||c|c|c|c|c|c|c|c|c|c|}
90 % \hline
91 % Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} & \multicolumn{2}{|c|}{WOW} & \multicolumn{2}{|c|}{UNIWARD}\\
92 % \hline
93 % Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive (about 6.35\%)} &  Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive \\
94 % \hline
95 % Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%\\ 
96 % \hline
97 % PSNR & 61.86 & 63.48 &  66.55  &  63.7  & 64.65 & {67.08} & 60.8 & 62.9&65.9 & 68.3 & 65.8 & 69.2\\ 
98 % \hline
99 % PSNR-HVS-M & 72.9 & 75.39 & 78.6  & 75.5  & 76.67 & {79.6} & 71.8  & 76.0 &
100 % 76.7 & 80.35 & 77.6 & 81.2 \\
101 % \hline
102 % wPSNR & 77.47 & 80.59 & 86.43& 86.28  & 83.03 & {88.6} & 76.7 & 83& 83.8 & 90.4 & 85.2 & 91.9\\ 
103 % \hline
104 % \end{tabular}
105 % \end{small}
106 % \end{center}
107 % \caption{Quality measures of steganography approaches\label{table:quality}}
108 % \end{table*}
109
110
111
112 % Results are summarized in Table~\ref{table:quality}.
113 % In this table, STC(7) stands for embedding data in the LSB whereas
114 % in STC(6), data are hidden in the last two  significant bits. 
115
116
117 % Let us give an interpretation of these experiments.
118 % First of all, the Adaptive strategy produces images with lower distortion 
119 % than the images resulting from the 10\% fixed strategy.
120 % Numerical results are indeed always greater for the former strategy than 
121 % for the latter one.
122 % These results are not surprising since the Adaptive strategy aims at 
123 % embedding messages whose length is decided according to a higher threshold
124 % into the edge detection.  
125
126
127 % If we combine Adaptive and STC strategies 
128 % the STABYLO scheme  provides images whose quality is higher than 
129 % the EAISLSBMR's one but lower than the quality of high complexity 
130 % schemes. Notice that the quality of the less respectful scheme (EAILSBMR) 
131 % is lower than 6\% than the one of the most one.
132
133
134 % % Let us now compare the STABYLO approach with other edge based steganography
135 % % approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
136 % % These two schemes focus on increasing the
137 % % payload while the PSNR is acceptable, but do not 
138 % % give quality metrics for fixed embedding rates from a large base of images. 
139
140
141
142
143 \subsection{Steganalysis}\label{sub:steg}
144
145
146
147 The steganalysis quality of our approach has been evaluated through the % two 
148 % AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
149 % and
150 Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalyser.
151 Its  particularization to spatial domain is 
152 considered as state of the art steganalysers.
153 \JFC{Features that are embedded into this steganalysis process 
154 are CCPEV and SPAM features as described 
155 in~\cite{DBLP:dblp_conf/mediaforensics/KodovskyPF10}.
156 These one are extracted from the 
157 set of cover images and the set of training images.}
158 Next a small 
159 set of weak classifiers is randomly built,
160 each one working on a subspace of all the features.
161 The final classifier is constructed by a majority voting 
162 between the decisions of these  individual classifiers.
163
164
165 %The former approach is based on a simplified parametric model of natural images.
166 % Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
167 % (AUMP) test is designed (theoretically and practically), to check whether
168 % an image has stego content or not.
169 % This approach is dedicated to verify whether LSB has been modified or not.
170 % , the authors show that the 
171 % machine learning step, which is often
172 % implemented as a support vector machine,
173 % can be favorably executed thanks to an ensemble classifier.
174
175
176 \begin{table*}
177 \begin{center}
178 \begin{small}
179 \setlength{\tabcolsep}{3pt}
180 \begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|c|c|}
181 \hline
182 Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} &  \multicolumn{2}{|c|}{WOW} &  \multicolumn{2}{|c|}{UNIWARD}\\
183 \hline
184 Embedding & Fixed &   \multicolumn{3}{|c|}{Adaptive (about 6.35\%)}  & Fixed & Adapt. & Fixed & Adapt. & Fixed & Adapt. & Fixed & Adapt. \\
185 \hline
186 Rate & 10\% &  + sample &   +STC(7) & +STC(6)   & 10\%& $\approx$6.35\%& 10\%& $\approx$6.35\% & 10\%& $\approx$6.35\%& 10\%& $\approx$6.35\%\\ 
187 \hline
188 %AUMP & 0.22 & 0.33 & 0.39  &   0.45    &  0.50 &  0.50 & 0.49 & 0.50 \\
189 %\hline
190 Ensemble Classifier & 0.35 & 0.44 & 0.47 & 0.47     & 0.48 &  0.49  &  0.43  & 0.47 & 0.48 & 0.49 & 0.46 & 0.49 \\
191
192 \hline
193 \end{tabular}
194 \end{small}
195 \end{center}
196 \caption{Steganalysing STABYLO\label{table:steganalyse}} 
197 \end{table*}
198
199
200 Results of average testing errors 
201 are summarized in Table~\ref{table:steganalyse}.
202 First of all, STC outperforms the sample strategy %for % the two steganalysers
203  as 
204 already noticed in the quality analysis presented in the previous section. 
205 Next, our approach is more easily detectable than HUGO, 
206 WOW and UNIWARD which are the most secure steganographic tool, 
207 as far as we know. 
208 However by combining Adaptive and STC strategies
209 our approach obtains similar results than the ones of these schemes.
210
211 Compared to EAILSBMR, we obtain similar
212 results when the strategy is 
213 Adaptive. 
214 However due to its huge number of integration features, it is not lightweight.
215
216 All these numerical experiments confirm 
217 the objective presented in the motivations:
218 providing an efficient steganography approach in a lightweight manner.
219
220 \RC{In Figure~\ref{fig:error}, Ensemble Classifier has been used with all the previsou steganalizers with 3 different payloads. It can be observed that with important payload, STABYLO is not efficient, but as mentionned its complexity is far more simple compared to other tools.\\
221 \begin{figure}
222 \begin{center}
223 \includegraphics[scale=0.5]{error}
224 \end{center}
225 \caption{Error obtained by Ensemble classifier with WOW/UNIWARD, HUGO, and STABYLO and different paylaods.}
226 \label{fig:error} 
227 \end{figure}
228 }