IH/iihmsp13/robustness.tex

   1 This section is devoted to the robustness study of our scheme.
   2 This one has to ensure that the watermark withstands against
   3 different types of active attacks that modify the watermarked image.
   4
   5 For the whole experiment, a set of 100 images is randomly extracted
   6 from the database taken from the BOSS contest~\cite{Boss10}.
   7 In this set, each cover is a $512\times 512$
   8 grayscale digital image.
   9 The considered watermark $m$ is given in Fig.~\ref{(b) Watermark}.
  10 Testing the robustness of the approach is achieved by successively applying
  11 on watermarked images attacks like cropping, compression, geometric
  12 transformations,\ldots % (from Sec.~\ref{sub:crop} to Sec.~\ref{sub:lsb}).
  13
  14
  15
  16
  17 \begin{figure}
  18 \begin{center}
  19 \includegraphics[width=0.06\textwidth]{exp/invader}
  20 \end{center}
  21 \caption{The Watermark}
  22 \label{(b) Watermark}
  23 \end{figure}
  24
  25
  26 Differences between $m$ and $m'$ are
  27 computed. Behind a given threshold rate, the image is said to be watermarked.
  28 %Finally,
  29 Discussion on metric quality of the approach is finally given.
  30 %Sect.~\ref{sub:roc}.
  31
  32 \begin{remark}
  33 In the remainder of this article, on following figures, the difference percentage
  34 corresponds to the distance between the retrieved and the original watermarks.
  35 \end{remark}
  36
  37 %\subsection{Robustness against Cropping}\label{sub:crop}
  38 %\subsection{Against Cropping Attack}\label{sub:crop}
  39
  40 Robustness of the approach is  evaluated by
  41 applying different percentages of cropping: from 0.25\% to 90\%.
  42 Results are given in Fig.~\ref{Fig:atck:dec}, %.
  43 %, and Fig.~\ref{Fig:atq:dec:img} gives the cropped image
  44 %where 36\% of the image is removed.
  45 %Fig.~\ref{Fig:atq:dec:curves}
  46 which presents effects of such an attack.
  47 All the percentage differences are so far less than 97\%
  48 and thus robustness is established.
  49
  50
  51
  52 \begin{figure}[ht]
  53   \centering
  54   % \subfigure[Cropped Image.]{\includegraphics[width=0.24\textwidth]
  55   %   {5007_dec_307.png}\label{Fig:atq:dec:img}}\hspace{2cm}
  56 %  \subfigure[Cropped Image.]{\includegraphics[width=0.24\textwidth]
  57   %  {5007_dec_307}\label{Fig:atq:dec:img}}\hspace{2cm}
  58 %  \subfigure[Cropping Effect]{
  59 \includegraphics[width=0.35\textwidth]{exp/atq-dec}\label{Fig:atq:dec:curves}%}
  60 %\includegraphics[width=0.5\textwidth]{exp/atq-dec.eps}\label{Fig:atq:dec:curves}}
  61 \caption{Cropping Results}
  62 \label{Fig:atck:dec}
  63 \end{figure}
  64
  65
  66 %\subsection{Robustness against compression}\label{sub:comp}
  67 %\subsection{Against Compression Attack}\label{sub:comp}
  68
  69 Robustness against compression is addressed
  70 by studying both JPEG  and JPEG 2000 image compression.
  71 Results are respectively presented in Fig.~\ref{Fig:atq:jpg:curves}
  72 and Fig.~\ref{Fig:atq:jp2:curves}.
  73 It is not hard to see that robustness is well established for
  74 JPEG2000 compression: for all the ratio larger than 10\%, the watermark
  75 is retrieved.
  76 However, our scheme is not robust against JPEG compression for a ratio inferior
  77 to 90\%.
  78
  79 A potential solution in order to improve this result should be to insert the
  80 watermark in least significant coefficient of the image described in frequency
  81 domain as for example with discrete cosine transform or with wavelet transform.
  82 This study will be described in future works.
  83 %\JFC{voir comment amméliorer}
  84 \begin{figure}[ht]
  85   \centering
  86   \subfigure[JPEG Effect]{
  87 \includegraphics[width=0.35\textwidth]{exp/atq-jpg}\label{Fig:atq:jpg:curves}}
  88 %\includegraphics[width=0.45\textwidth]{exp/atq-jpg.eps}\label{Fig:atq:jpg:curves}}
  89   \subfigure[JPEG 2000 Effect]{
  90 \includegraphics[width=0.35\textwidth]{exp/atq-jp2}\label{Fig:atq:jp2:curves}}
  91 %\includegraphics[width=0.45\textwidth]{exp/atq-jp2.eps}\label{Fig:atq:jp2:curves}}
  92 \caption{Compression Results}
  93 \label{Fig:atck:comp}
  94 \end{figure}
  95
  96
  97
  98 %\subsection{Robustness against Contrast and Sharpness
  99 %Attack}\label{sub:contrast}
 100 %\subsection{Against Contrast and Sharpness Attack}\label{sub:contrast}
 101
 102 % Contrast and Sharpness adjustment belong to the classical set of
 103 % filtering image attacks.
 104 % Results of such attacks are presented in
 105 % Fig.~\ref{Fig:atq:fil}, where
 106 % Fig.~\ref{Fig:atq:cont:curve} and Fig.~\ref{Fig:atq:sh:curve} summarize
 107 % effects of contrast and sharpness adjustment respectively.
 108 % Robustness is not established for both these types of attacks.
 109 % Future works give issues to tackle this problem.
 110
 111 % \begin{figure}[ht]
 112 %   \centering
 113 %   \subfigure[Contrast Effect]{
 114 % \includegraphics[width=0.4\textwidth]{exp/atq-contrast}\label{Fig:atq:cont:curve}}
 115 % %\includegraphics[width=0.45\textwidth]{exp/atq-contrast.eps}\label{Fig:atq:cont:curve}}
 116 %   \subfigure[Sharpness Effect]{
 117 % \includegraphics[width=0.4\textwidth]{exp/atq-flou}\label{Fig:atq:sh:curve}}
 118 % %\includegraphics[width=0.45\textwidth]{exp/atq-flou.eps}\label{Fig:atq:sh:curve}}
 119 % \caption{Filtering Results}
 120 % \label{Fig:atq:fil}
 121 % \end{figure}
 122
 123
 124 %nom;../../../../BCG10/Oxford11/experiments/images/1247 donne des résultats
 125 %étonnants
 126
 127 %\subsection{Against Geometric Transformation}\label{sub:rotation}
 128 Among geometric transformations, we focus on
 129 rotations, \textit{i.e.}, when two opposite rotations
 130 of angle $\theta$ are successively applied around the center of the image.
 131 In these geometric transformations,  angles range from 2 to 60
 132 degrees.
 133 Results are presented in Fig.~\ref{Fig:atq:rot}. %: Fig.~\ref{Fig:atq:rot:img}
 134 % gives the image of a rotation of 20 degrees whereas
 135 % Fig.~\ref{Fig:atq:rot:curve} presents the effects of such an attack.
 136 Thanks to an efficient embedding, our scheme is resistant to all
 137 that type of attacks.
 138
 139
 140
 141 \begin{figure}[ht]
 142   \centering
 143 %   \subfigure[20 degrees Rotation Image]{
 144 %     \includegraphics[width=0.2\textwidth]{5007_rot_20}\label{Fig:atq:rot:img}}
 145 % %    \includegraphics[width=0.25\textwidth]{5007_rot_10.eps}\label{Fig:atq:rot:img}}
 146 %
 147 %   \subfigure[Rotation Effect]{
 148 \includegraphics[width=0.35\textwidth]{exp/atq-rot}\label{Fig:atq:rot:curve}%}
 149 %\includegraphics[width=0.45\textwidth]{exp/atq-rot.eps}\label{Fig:atq:rot:curve}}
 150
 151 \caption{Rotation Attack Results}
 152 \label{Fig:atq:rot}
 153 \end{figure}
 154
 155 %\subsection{Against LSB Transformation}\label{sub:lsb}
 156 The first step of this scheme has defined $x$ as the LSB of the host and
 157 is thus based on LSB modifications.
 158 This part focuses on two types of attacks modifying these LSB sets (see
 159 Fig~\ref{Fig:atq:lsb}). The former consists in setting to zero a subset of this one.
 160 Results are expressed in Fig.~\ref{Fig:atq:lsb:curve} and
 161 show that the scheme is robust, unless 95\% of the LSB is erased.
 162 In this case the image is really damaged.
 163 The latter consists in applying again this scheme on the watermarked image
 164 but  with another message.
 165 Results of Fig.~\ref{Fig:atq:ci2:curve} show that this scheme is robust
 166 against that type of attack, provided the number of iterations is
 167 lesser than $1.75$ times the number of pixels.
 168 With more iterations, the image is dramatically modified: more than 50\%
 169 of the LSB is switched. However, future works present ideas to tackle
 170 this problem.
 171
 172
 173 \begin{figure}[ht]
 174   \centering
 175   \subfigure[LSB Erasing Effect]{
 176     \includegraphics[width=0.35\textwidth]{exp/atq-lsb}\label{Fig:atq:lsb:curve}}
 177
 178   \subfigure[Applying Algorithm twice]{
 179 \includegraphics[width=0.35\textwidth]{exp/atq-ci2}\label{Fig:atq:ci2:curve}}
 180 %\includegraphics[width=0.45\textwidth]{exp/atq-rot.eps}\label{Fig:atq:rot:curve}}
 181
 182 \caption{LSB Modifications}
 183 \label{Fig:atq:lsb}
 184 \end{figure}
 185
 186
 187
 188
 189 \subsection{Evaluation of the  Embeddings}\label{sub:roc}
 190 A Receiver Operating Characteristic approach has been implemented to find
 191 the most adapted threshold w.r.t. the separation between
 192 watermarked images and other ones.
 193
 194 \begin{figure}[ht]
 195 \begin{center}
 196 \includegraphics[width=0.35\textwidth]{exp/ROC}
 197 %\includegraphics[width=7cm]{ROC.eps}
 198 \end{center}
 199 \caption{ROC Curves for DWT or DCT Embeddings}\label{fig:roc:dwt}
 200 \end{figure}
 201
 202 The Figure~\ref{fig:roc:dwt} is the Receiver Operating Characteristic (ROC)
 203 curve. This curve is close to the ideal one that is without
 204 False Positive and False Negative answer.
 205 The threshold with best results is  a distance equal to 0,97.
 206 With such a value, we can give some confidence intervals
 207 for most of
 208  evaluated attacks. The
 209 approach is resistant to all the cropping where percentage is less than 90,
 210 to  JPEG200 compression where quality ratio is greater than 5\%,
 211 to all the rotation attacks,
 212 to LSB erasing when less than 95\% are set to 0,
 213 a second application of the scheme with less than 1.75 iterations
 214 per pixel.
 215