]> AND Private Git Repository - canny.git/blobdiff - experiments.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
Merge branch 'master' of ssh://info.iut-bm.univ-fcomte.fr/canny
[canny.git] / experiments.tex
index 5ba43dfa16ae206dcee8557c46adc9ef457b7645..9590b1c4982484f286f04cd151f3b821449ac6c5 100644 (file)
@@ -1,5 +1,5 @@
 First of all, the whole code of STABYLO can be downloaded
-\footnote{\url{http://members.femto-st.fr/raphael-couturier/stabylo/}}.
+\footnote{\url{http://http://members.femto-st.fr/jf-couchot/en/stabylo}}.
 For all the experiments, the whole set of 10,000 images 
 of the BOSS contest~\cite{Boss10} database is taken. 
 In this set, each cover is a $512\times 512$
@@ -62,80 +62,80 @@ this cover with respect to this embedding rate.
 
  
 
-\subsection{Image quality}\label{sub:quality}
-The visual quality of the STABYLO scheme is evaluated in this section.
-For the sake of completeness, three metrics are computed in these experiments: 
-the Peak Signal to Noise Ratio (PSNR), 
-the PSNR-HVS-M family~\cite{psnrhvsm11}, 
-and 
-the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
-The first one is widely used but does not take into
-account the Human Visual System (HVS).
-The other ones have been designed to tackle this problem.
+\subsection{Image quality}\label{sub:quality}
+The visual quality of the STABYLO scheme is evaluated in this section.
+For the sake of completeness, three metrics are computed in these experiments: 
+the Peak Signal to Noise Ratio (PSNR), 
+the PSNR-HVS-M family~\cite{psnrhvsm11}, 
+and 
+the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
+The first one is widely used but does not take into
+account the Human Visual System (HVS).
+The other ones have been designed to tackle this problem.
 
-If we apply them on the running example with the Adaptive and STC strategies, 
-the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to 
-68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
-If $b$ is 6, these values are respectively equal to 
-65.43, 77.2, and 89.35.
+If we apply them on the running example with the Adaptive and STC strategies, 
+the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to 
+68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
+If $b$ is 6, these values are respectively equal to 
+65.43, 77.2, and 89.35.
 
 
 
 
-\begin{table*}
-\begin{center}
-\begin{small}
-\setlength{\tabcolsep}{3pt}
-\begin{tabular}{|c|c|c||c|c|c|c|c|c|c|c|c|c|}
-\hline
-Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} & \multicolumn{2}{|c|}{WOW} & \multicolumn{2}{|c|}{UNIWARD}\\
-\hline
-Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive (about 6.35\%)} &  Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive \\
-\hline
-Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%\\ 
-\hline
-PSNR & 61.86 & 63.48 &  66.55  &  63.7  & 64.65 & {67.08} & 60.8 & 62.9&65.9 & 68.3 & 65.8 & 69.2\\ 
-\hline
-PSNR-HVS-M & 72.9 & 75.39 & 78.6  & 75.5  & 76.67 & {79.6} & 71.8  & 76.0 &
-76.7 & 80.35 & 77.6 & 81.2 \\
-\hline
-wPSNR & 77.47 & 80.59 & 86.43& 86.28  & 83.03 & {88.6} & 76.7 & 83& 83.8 & 90.4 & 85.2 & 91.9\\ 
-\hline
-\end{tabular}
-\end{small}
-\end{center}
-\caption{Quality measures of steganography approaches\label{table:quality}}
-\end{table*}
+\begin{table*}
+\begin{center}
+\begin{small}
+\setlength{\tabcolsep}{3pt}
+\begin{tabular}{|c|c|c||c|c|c|c|c|c|c|c|c|c|}
+\hline
+Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} & \multicolumn{2}{|c|}{WOW} & \multicolumn{2}{|c|}{UNIWARD}\\
+\hline
+Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive (about 6.35\%)} &  Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive & Fixed &Adaptive \\
+\hline
+Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%& 10\%&$\approx$6.35\%\\ 
+\hline
+PSNR & 61.86 & 63.48 &  66.55  &  63.7  & 64.65 & {67.08} & 60.8 & 62.9&65.9 & 68.3 & 65.8 & 69.2\\ 
+\hline
+PSNR-HVS-M & 72.9 & 75.39 & 78.6  & 75.5  & 76.67 & {79.6} & 71.8  & 76.0 &
+76.7 & 80.35 & 77.6 & 81.2 \\
+\hline
+wPSNR & 77.47 & 80.59 & 86.43& 86.28  & 83.03 & {88.6} & 76.7 & 83& 83.8 & 90.4 & 85.2 & 91.9\\ 
+\hline
+\end{tabular}
+\end{small}
+\end{center}
+\caption{Quality measures of steganography approaches\label{table:quality}}
+\end{table*}
 
 
 
-Results are summarized in Table~\ref{table:quality}.
-In this table, STC(7) stands for embedding data in the LSB whereas
-in STC(6), data are hidden in the last two  significant bits. 
+Results are summarized in Table~\ref{table:quality}.
+In this table, STC(7) stands for embedding data in the LSB whereas
+in STC(6), data are hidden in the last two  significant bits. 
 
 
-Let us give an interpretation of these experiments.
-First of all, the Adaptive strategy produces images with lower distortion 
-than the images resulting from the 10\% fixed strategy.
-Numerical results are indeed always greater for the former strategy than 
-for the latter one.
-These results are not surprising since the Adaptive strategy aims at 
-embedding messages whose length is decided according to a higher threshold
-into the edge detection.  
+Let us give an interpretation of these experiments.
+First of all, the Adaptive strategy produces images with lower distortion 
+than the images resulting from the 10\% fixed strategy.
+Numerical results are indeed always greater for the former strategy than 
+for the latter one.
+These results are not surprising since the Adaptive strategy aims at 
+embedding messages whose length is decided according to a higher threshold
+into the edge detection.  
 
 
-If we combine Adaptive and STC strategies 
-the STABYLO scheme  provides images whose quality is higher than 
-the EAISLSBMR's one but lower than the quality of high complexity 
-schemes. Notice that the quality of the less respectful scheme (EAILSBMR) 
-is lower than 6\% than the one of the most one.
+If we combine Adaptive and STC strategies 
+the STABYLO scheme  provides images whose quality is higher than 
+the EAISLSBMR's one but lower than the quality of high complexity 
+schemes. Notice that the quality of the less respectful scheme (EAILSBMR) 
+is lower than 6\% than the one of the most one.
 
 
-% Let us now compare the STABYLO approach with other edge based steganography
-% approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
-% These two schemes focus on increasing the
-% payload while the PSNR is acceptable, but do not 
-% give quality metrics for fixed embedding rates from a large base of images. 
+% Let us now compare the STABYLO approach with other edge based steganography
+% approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
+% These two schemes focus on increasing the
+% payload while the PSNR is acceptable, but do not 
+% give quality metrics for fixed embedding rates from a large base of images. 
 
 
 
@@ -150,9 +150,12 @@ The steganalysis quality of our approach has been evaluated through the % two
 Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalyser.
 Its  particularization to spatial domain is 
 considered as state of the art steganalysers.
-Firstly, a space 
-of 686 co-occurrence and Markov features is extracted from the 
-set of cover images and the set of training images. Next a small 
+\JFC{Features that are embedded into this steganalysis process 
+are CCPEV and SPAM features as described 
+in~\cite{DBLP:dblp_conf/mediaforensics/KodovskyPF10}.
+These latter are extracted from the 
+set of cover images and the set of training images.}
+Next a small 
 set of weak classifiers is randomly built,
 each one working on a subspace of all the features.
 The final classifier is constructed by a majority voting 
@@ -205,11 +208,21 @@ as far as we know.
 However by combining Adaptive and STC strategies
 our approach obtains similar results than the ones of these schemes.
 
-Compared to EAILSBMR, we obtain better results when the strategy is 
+Compared to EAILSBMR, we obtain similar
+results when the strategy is 
 Adaptive. 
-However due to its 
-huge number of integration features, it is not lightweight.
+However due to its huge number of integration features, it is not lightweight.
 
 All these numerical experiments confirm 
 the objective presented in the motivations:
 providing an efficient steganography approach in a lightweight manner.
+
+\RC{In Figure~\ref{fig:error}, Ensemble Classifier has been used with all the previsou steganalizers with 3 different payloads. It can be observed that with important payload, STABYLO is not efficient, but as mentionned its complexity is far more simple compared to other tools.\\
+\begin{figure}
+\begin{center}
+\includegraphics[scale=0.5]{error}
+\end{center}
+\caption{Error obtained by Ensemble classifier with WOW/UNIWARD, HUGO, and STABYLO and different paylaods.}
+\label{fig:error} 
+\end{figure}
+}