]> AND Private Git Repository - canny.git/blobdiff - experiments.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
corrections christophes
[canny.git] / experiments.tex
index c92062c01027a8f4eed07bcf6fcf9b4e835d9192..2fc8a68527d8156735290d45b82898090e7d4289 100644 (file)
-For whole experiments, a set of 500 images is randomly extracted 
-from the database taken from the BOSS contest~\cite{Boss10}
+For whole experiments, the whole set of 10000 images 
+of the BOSS contest~\cite{Boss10} database is taken
 In this set, each cover is a $512\times 512$
-grayscale digital image.
-
-
-\subsection{Adaptive Embedding Rate} 
-
-Two strategies have been developed in our scheme, depending on the embedding rate that is either \emph{adaptive} or \emph{fixed}.
-
-In the former the embedding rate depends on the number of edge pixels.
-The higher it is, the larger is the message length that can be inserted.
-Practically, a set of edge pixels is computed according to the 
-Canny algorithm with an high threshold.
-The message length is thus defined to be the half of this set cardinality.
-In this strategy, two methods are thus applied to extract bits that 
-are modified. The first one is a direct application of the STC algorithm.
-This method is further referred as \emph{adaptive+STC}.
-The second one randomly choose the subset of pixels to modify by 
-applying the BBS PRNG again. This method is denoted \emph{adaptive+sample}.
-Notice that the rate between 
-available bits  and bit message length is always equal to 2.
-This constraint is indeed induced by the fact that the efficiency 
-of the STC algorithm is unsatisfactory under that threshold.
-On our experiments and with the adaptive scheme, 
-the average size of the message that can be embedded is 16445.
-Its corresponds to an  average payload of 6.35\%. 
+grayscale digital image in a RAW format. 
+We restrict experiments to 
+this set of cover images since this paper is more focused on 
+the methodology than benchmarking.    
+Our approach is always compared to Hugo~\cite{DBLP:conf/ih/PevnyFB10}
+and to EAISLSBMR~\cite{Luo:2010:EAI:1824719.1824720}.
+The former is the least detectable information hiding tool in spatial domain 
+and the later is the work that is close to ours, as far as we know. 
+
 
 
+First of all,  in our experiments and with the adaptive scheme, 
+the average size of the message that can be embedded is 16,445 bits.
+Its corresponds to an  average payload of 6.35\%. 
+The two other tools will then be compared with this payload. 
+The Sections~\ref{sub:quality} and~\ref{sub:steg} respectively present 
+the quality analysis and the security of our scheme. 
 
 
-In the latter, the embedding rate is defined as a percentage between the 
-number of the modified pixels and the length of the bit message.
-This is the classical approach adopted in steganography.
-Practically, the Canny algorithm generates a 
-a set of edge pixels with threshold that is decreasing until its cardinality
-is sufficient. If the set cardinality is more than twice larger than the 
-bit message length, a STC step is again applied.
-Otherwise, pixels are again randomly chosen with BBS.
 
  
 
-\subsection{Image Quality}
+\subsection{Image quality}\label{sub:quality}
 The visual quality of the STABYLO scheme is evaluated in this section.
-For the sake of completeness, four metrics are computed in these experiments: 
+For the sake of completeness, three metrics are computed in these experiments: 
 the Peak Signal to Noise Ratio (PSNR), 
-the PSNR-HVS-M family~\cite{PSECAL07,psnrhvsm11} , 
-the BIQI~\cite{MB10,biqi11}, and 
+the PSNR-HVS-M family~\cite{psnrhvsm11}, 
+%the BIQI~\cite{MB10}, 
+and 
 the weighted PSNR (wPSNR)~\cite{DBLP:conf/ih/PereiraVMMP01}.
 The first one is widely used but does not take into
 account the Human Visual System (HVS).
-The other last ones have been designed to tackle this problem.
+The other ones have been designed to tackle this problem.
+
+If we apply them on the running example, 
+the PSNR, PSNR-HVS-M, and wPSNR values are respectively equal to 
+68.39, 79.85, and 89.71 for the stego Lena when $b$ is equal to 7.
+If $b$ is 6, these values are respectively equal to 
+65.43, 77.2, and 89.35.
+
 
-\begin{table}
+
+
+\begin{table*}
 \begin{center}
-\begin{tabular}{|c|c|c||c|c|}
+\begin{tabular}{|c|c|c||c|c|c|c|c|c|}
 \hline
-Schemes & \multicolumn{3}{|c|}{STABYLO} & HUGO\\
+Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR} \\
 \hline
-Embedding &   \multicolumn{2}{|c||}{Adaptive} & Fixed & Fixed \\
+Embedding &   Fixed & \multicolumn{3}{|c|}{Adaptive} &  \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
 \hline
-Rate &   + STC &  + sample & 10\% & 10\%\\ 
+Rate &   10\% &  + sample &  +STC(7) & +STC(6) &  10\%&6.35\%& 10\%&6.35\%\\ 
 \hline
-PSNR &  66.55 & 63.48  & 61.86  & 64.65   \\ 
+PSNR & 61.86 & 63.48 &  66.55 (\textbf{-0.8\%}) &  63.7  & 64.65 & {67.08} & 60.8 & 62.9\\ 
 \hline
-PSNR-HVS-M & 78.6 & 75.39 & 72.9 & 76.67\\ 
+PSNR-HVS-M & 72.9 & 75.39 & 78.6 (\textbf{-0.8\%}) & 75.5  & 76.67 & {79.23} & 71.8  & 74.3\\ 
+%\hline
+%BIQI & 28.3 & 28.28 & 28.4 & 28.28 & 28.28 & 28.2 & 28.2\\ 
 \hline
-BIQI & 28.3 & 28.28 & 28.4 & 28.28\\ 
-\hline
-wPSNR & 86.43& 80.59 & 77.47& 83.03\\ 
+wPSNR & 77.47 & 80.59 & 86.43(\textbf{-1.6\%})& 86.28  & 83.03 & {87.8} & 76.7 & 80.6\\ 
 \hline
 \end{tabular}
+
+\begin{footnotesize}
+\vspace{2em}
+Variances given in bold font express the quality differences between 
+HUGO and STABYLO with  STC+adaptive parameters.
+\end{footnotesize}
+
 \end{center}
-\caption{Quality Measures of Steganography Approaches\label{table:quality}} 
-\end{table}
+\caption{Quality measures of steganography approaches\label{table:quality}}
+\end{table*}
+
+
 
+Results are summarized in Table~\ref{table:quality}.
 Let us give an interpretation of these experiments.
 First of all, the adaptive strategy produces images with lower distortion 
 than the one of images resulting from the 10\% fixed strategy.
 Numerical results are indeed always greater for the former strategy than 
-for the latter, except for the BIQI metrics where differences are not relevant.
+for the latter one.
 These results are not surprising since the adaptive strategy aims at 
-embedding messages whose length is decided according to a higher threshold
+embedding messages whose length is decided according to an higher threshold
 into the edge detection.  
 Let us focus on the quality of HUGO images: with a given fixed 
 embedding rate (10\%), 
 HUGO always produces images whose quality is higher than the STABYLO's one.
-However, our approach nevertheless provides better results with the strategy 
-\emph{adaptive+STC} in a lightweight manner, as motivated in the introduction.      
+However our approach always outperforms EAISLSBMR since this one may modify 
+the two least significant bits whereas STABYLO only alter LSB.
+
+If we combine \emph{adaptive} and \emph{STC} strategies 
+(which leads to an average embedding rate equal to 6.35\%)
+our approach  provides equivalent metrics than HUGO.
+In this column STC(7) stands for embedding data in the LSB whereas
+in STC(6), data are hidden in the two last significant bits. 
+
+
+
+The quality variance between HUGO and STABYLO for these parameters
+is given in bold font. It is always close to 1\% which confirms 
+the objective presented in the motivations:
+providing an efficient steganography approach with a lightweight manner.
 
 
 Let us now compare the STABYLO approach with other edge based steganography
-schemes with respect to the image quality.
-First of all, the Edge Adaptive
-scheme detailed in~\cite{Luo:2010:EAI:1824719.1824720} 
-executed with a 10\% embedding rate 
-has the same PSNR but a lower wPSNR than ours:
-these two metrics are respectively equal to 61.9 and 68.9. 
-Next both the approaches~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}
-focus on increasing the payload while the PSNR is acceptable, but do not 
-give quality metrics for fixed embedding rate from a large base of images. 
-Our approach outperforms the former thanks to the introduction of the STC 
-algorithm.
+approaches, namely~\cite{DBLP:journals/eswa/ChenCL10,Chang20101286}.
+These two schemes focus on increasing the
+payload while the PSNR is acceptable, but do not 
+give quality metrics for fixed embedding rates from a large base of images. 
 
 
 
 
-\subsection{Steganalysis}
+\subsection{Steganalysis}\label{sub:steg}
 
 
 
-The quality of our approach has been evaluated through the two 
+The steganalysis quality of our approach has been evaluated through the two 
 AUMP~\cite{Fillatre:2012:ASL:2333143.2333587}
 and Ensemble Classifier~\cite{DBLP:journals/tifs/KodovskyFH12} based steganalysers.
-Both aims at detecting hidden bits in grayscale natural images and are 
+Both aim at detecting hidden bits in grayscale natural images and are 
 considered as the state of the art of steganalysers in spatial domain~\cite{FK12}.
 The former approach is based on a simplified parametric model of natural images.
 Parameters are firstly estimated and an adaptive Asymptotically Uniformly Most Powerful
 (AUMP) test is designed (theoretically and practically), to check whether
-an image has stego content or not.  
+an image has stego content or not.
+This approach is dedicated to verify whether LSB has been modified or not.
 In the latter, the authors show that the 
-machine learning step, (which is often
-implemented as support vector machine)
-can be favorably executed thanks to an Ensemble Classifiers.
+machine learning step, which is often
+implemented as a support vector machine,
+can be favorably executed thanks to an ensemble classifier.
 
 
-
-\begin{table}
+\begin{table*}
 \begin{center}
-\begin{tabular}{|c|c|c|c|c|}
+%\begin{small}
+\begin{tabular}{|c|c|c|c|c|c|c|c|c|}
 \hline
-Schemes & \multicolumn{3}{|c|}{STABYLO} & HUGO\\
+Schemes & \multicolumn{4}{|c|}{STABYLO} & \multicolumn{2}{|c|}{HUGO}& \multicolumn{2}{|c|}{EAISLSBMR}\\
 \hline
-Embedding &   \multicolumn{2}{|c|}{Adaptive} & Fixed & Fixed \\
+Embedding & Fixed &   \multicolumn{3}{|c|}{Adaptive}  & \multicolumn{2}{|c|}{Fixed}& \multicolumn{2}{|c|}{Fixed} \\
 \hline
-Rate &   + STC &  + sample & 10\% & 10\%\\ 
+Rate & 10\% &  + sample &   +STC(7) & +STC(6)   & 10\%& 6.35\%& 10\%& 6.35\%\\ 
 \hline
-AUMP & 0.39  & 0.33  & 0.22     &  0.50     \\
+AUMP & 0.22 & 0.33 & 0.39  &   0.45    &  0.50 &  0.50 & 0.49 & 0.50 \\
 \hline
-Ensemble Classifier & 0.47 & 0.44 & 0.35     & 0.48     \\
+Ensemble Classifier & 0.35 & 0.44 & 0.47 & 0.47     & 0.48 &  0.49  &  0.43  & 0.46 \\
 
 \hline
 \end{tabular}
+%\end{small}
 \end{center}
 \caption{Steganalysing STABYLO\label{table:steganalyse}} 
-\end{table}
+\end{table*}
+
 
+Results are summarized in Table~\ref{table:steganalyse}.
+First of all, STC outperforms the sample strategy for the two steganalysers, as 
+already noticed in the quality analysis presented in the previous section. 
+Next, our approach is more easily detectable than HUGO, which
+is the most secure steganographic tool, as far as we know. 
+However by combining \emph{adaptive} and \emph{STC} strategies
+our approach obtains similar results than HUGO ones.
 
-Results show that our approach is more easily detectable than HUGO, which
-is the most secure steganographic tool, as far as we know. However due to it
-huge number of features integration, it is not lightweight.   
+However due to its 
+huge number of features integration, it is not lightweight, which justifie
+in the authors' opinion the consideration of the proposed method.