]> AND Private Git Repository - chloroplast13.git/blobdiff - annotated.tex
Logo AND Algorithmique Numérique Distribuée

Private GIT Repository
Modifications made in section 4
[chloroplast13.git] / annotated.tex
index fb04c9bca230c989814da9b3e311a212e1d4b93a..6bd0d552b050c368d00b966d3b1566925f4b47d9 100644 (file)
@@ -266,15 +266,15 @@ core genes with its two genomes parents.
 \begin{algorithmic} 
 \REQUIRE $L \leftarrow \text{genomes sets}$
 \ENSURE $B1 \leftarrow \text{Max Core set}$ 
 \begin{algorithmic} 
 \REQUIRE $L \leftarrow \text{genomes sets}$
 \ENSURE $B1 \leftarrow \text{Max Core set}$ 
-\FOR{$i \leftarrow 0:len(L)-1$}
+\FOR{$i \leftarrow 1:len(L)-1$}
         \STATE $score \leftarrow 0$
        \STATE $core1 \leftarrow set(GenomeList[L[i]])$
        \STATE $g1 \leftarrow L[i]$
        \FOR{$j \leftarrow i+1:len(L)$}
                \STATE $core2 \leftarrow set(GenomeList[L[j]])$
         \STATE $score \leftarrow 0$
        \STATE $core1 \leftarrow set(GenomeList[L[i]])$
        \STATE $g1 \leftarrow L[i]$
        \FOR{$j \leftarrow i+1:len(L)$}
                \STATE $core2 \leftarrow set(GenomeList[L[j]])$
-               \STATE $Core \leftarrow core1 \cap core2$
-               \IF{$len(Core) > score$}
-                  \STATE $score \leftarrow len(Core)$
+               \STATE $core \leftarrow core1 \cap core2$
+               \IF{$len(core) > score$}
+                  \STATE $score \leftarrow len(core)$
                  \STATE $g2 \leftarrow L[j]$
                 \ENDIF
        \ENDFOR
                  \STATE $g2 \leftarrow L[j]$
                 \ENDIF
        \ENDFOR
@@ -315,97 +315,109 @@ The procedure used to built a phylogenetic tree is as follows:
 \item For each gene in a core gene, extract its sequence and store it in the database.
 \item Use multiple alignment tools such as (****to be write after see christophe****) 
 to align these sequences with each others.
 \item For each gene in a core gene, extract its sequence and store it in the database.
 \item Use multiple alignment tools such as (****to be write after see christophe****) 
 to align these sequences with each others.
-\item we use an outer-group genome from cyanobacteria to calculate distances.
-\item Submit the resulting aligned sequences to RAxML program to compute the distances and finally draw the phylogenetic tree.
+\item Use an outer-group genome from cyanobacteria to calculate distances.
+\item Submit the resulting aligned sequences to RAxML program to compute 
+the distances and finally draw the phylogenetic tree.
 \end{enumerate} 
 
 \begin{figure}[H]
 \end{enumerate} 
 
 \begin{figure}[H]
-  \centering \includegraphics[width=0.75\textwidth]{Whole_system}
-  \caption{Overview of the pipeline}\label{wholesystem}
+  \centering \includegraphics[width=0.75\textwidth]{Whole_system} \caption{Overview
+  of the pipeline}\label{wholesystem}
 \end{figure}
 
 \section{Implementation}
 \end{figure}
 
 \section{Implementation}
-We implemented the three algorithms to extract maximum core genes from large amount of chloroplast genomes. Table \ref{Etime}, show the annotation, execution time, and the number of core genes for each method:
+
+The different  algorithms have  been implemented using  Python version
+2.7,  on  a  laptop  running Ubuntu~12.04~LTS.   More  precisely,  the
+computer is a Dell Latitude laptop - model E6430 with 6~GiB memory and
+a  quad-core Intel  core~i5~processor with  an operating  frequency of
+2.5~GHz. Many python packages  such as os, Biopython, memory\_profile,
+re,  numpy, time,  shutil, and  xlsxwriter were  used to  extract core
+genes  from large  amount of  chloroplast  genomes.
 
 \begin{center}
 
 \begin{center}
-\begin{tiny}
-\begin{table}[H]
-\caption{Annotation, Execution Time, and core genes for each methodology. Annotation means the type of annotation algorithm used to annotate chloroplast genome, Features means the gene features which it is in two types: either gene name, gene sequence, or using the both. The execution time is represented in minute. The number of core genes in the super core is represented with NCBI and DOGMA. Bad genomes: are the number of genomes that can destroy core genes by low number of gene intersection}\label{Etime}
-\begin{tabular}{ccccccccccc}
+\begin{table}[b]
+\caption{Type of annotation, execution time, and core genes 
+for each method}\label{Etime}
+{\scriptsize
+\begin{tabular}{p{2cm}p{0.5cm}p{0.25cm}p{0.5cm}p{0.25cm}p{0.5cm}p{0.25cm}p{0.5cm}p{0.25cm}p{0.5cm}p{0.2cm}}
 \hline\hline
 \hline\hline
- & \multicolumn{2}{c}{Annotation} & \multicolumn{2}{c}{Features} & \multicolumn{2}{c}{Exec Time} & \multicolumn{2}{c}{Core genes} & \multicolumn{2}{c}{Bad genomes} \\
-~ & NCBI & DOGMA & Name & Seq & NCBI & DOGMA & NCBI & DOGMA & NCBI & \multicolumn{1}{c}{DOGMA} \\
+ Method & \multicolumn{2}{c}{Annotation} & \multicolumn{2}{c}{Features} & \multicolumn{2}{c}{Exec. time (min.)} & \multicolumn{2}{c}{Core genes} & \multicolumn{2}{c}{Bad genomes} \\
+~ & N & D & Name & Seq & N & D & N & D & N & D \\
+\hline
+Gene prediction & $\surd$ & - & - & $\surd$ & ? & - & ? & - & 0 & -\\[0.5ex]
+Gene features & $\surd$ & $\surd$ & $\surd$ & - & 4.98 & 1.52 & 28 & 10 & 1 & 0\\[0.5ex]
+Gene quality & $\surd$ & $\surd$ & $\surd$ & $\surd$ & \multicolumn{2}{c}{$\simeq$3 days + 1.29} & \multicolumn{2}{c}{4} & \multicolumn{2}{c}{1}\\[1ex]
 \hline
 \hline
-Gene prediction & $\surd$ & - & - & $\surd$ & ? & - & ? & - & 0 & -\\
-Gene Features & $\surd$ & $\surd$ & $\surd$ & - & 4.98 & 1.52 & 28 & 10 & 1 & 0\\
-Gene Quality & $\surd$ & $\surd$ & $\surd$ & $\surd$ & \multicolumn{2}{c}{1.29} & \multicolumn{2}{c}{4} & \multicolumn{2}{c}{1}
-
 \end{tabular}
 \end{tabular}
+}
 \end{table}
 \end{table}
-\end{tiny}
 \end{center} 
 
 \end{center} 
 
-
-The second important factor is the amount of memory usage in each methodology. Table \ref{mem} show the amounts of memory consumption by each method.
+\vspace{-1cm}
+
+Table~\ref{Etime}  presents  for  each  method  the  annotation  type,
+execution time,  and the  number of core  genes. We use  the following
+notations:  \textbf{N}  denotes NCBI,  while  \textbf{D} means  DOGMA,
+and \textbf{Seq}  is for sequence. The first  {\it Annotation} columns
+represent the algorithm used to annotate chloroplast genomes, the {\it
+Features} columns mean  the kind  of gene feature used to extract core
+genes: gene name, gene sequence, or  both of them. It can be seen that
+almost all methods need low {\it Execution time} to extract core genes
+from large chloroplast genome.   Only the gene quality method requires
+several days of computation (about 3-4 days) for sequence comparisons,
+once the quality genomes are  construced it takes just 1.29~minutes to
+extract core gene. Thanks to this low execution times we can use these
+methods to extract core genes  on a personal computer rather than main
+frames or parallel computers. The lowest execution time: 1.52~minutes,
+is obtained with the second method using Dogma annotations. The number
+of {\it  Core genes} represents the  amount of genes in  the last core
+genome. The main goal is to  find the maximum core genes that simulate
+biological background of chloroplasts. With  NCBI we have 28 genes for
+96   genomes,   instead   of    10   genes   for   97   genomes   with
+Dogma. Unfortunately, the biological distribution of genomes with NCBI
+in core tree do not  reflect good biological perspective, whereas with
+DOGMA the  distribution of genomes is biologically  relevant. {\it Bad
+genomes} gives  the number of genomes  that destroy core  genes due to
+low  number  of  gene  intersection.  \textit{NC\_012568.1  Micromonas
+pusilla} is the only genome which destroyed the core genome with NCBI
+annotations for both gene features and gene quality methods.
+
+The second important factor is the amount of memory being used by each
+methodology.   Table   \ref{mem}  shows  the  memory   usage  of  each
+method.  We  used  a  package from  PyPI~(\textit{the  Python  Package
+Index})     named     \textit{Memory\_profile}    (located     at~{\tt
+https://pypi.python.org/pypi})   to   extract   all  the   values   in
+table~\ref{mem}. In  this table, the values are  presented in megabyte
+unit and \textit{gV} means  genevision~file~format. We can notice that
+the level  of memory which is  used is relatively low  for all methods
+and is available  on any personal computer. The  different values also
+show that the gene features  method based on Dogma annotations has the
+more   reasonable   memory   usage,   except  when   extracting   core
+sequences. The third method gives the lowest values if we already have
+the   quality   genomes,   otherwise   it  will   consume   far   more
+memory. Moreover, the  amount of memory used by  the third method also
+depends on the size of each genome.
 
 \begin{center}
 
 \begin{center}
-\begin{tiny}
 \begin{table}[H]
 \begin{table}[H]
-\caption{Annotation, Execution Time, and core genes for each methodology. Annotation means the type of annotation algorithm used to annotate chloroplast genome, Features means the gene features which it is in two types: either gene name, gene sequence, or using the both. The execution time is represented in minute. The number of core genes in the super core is represented with NCBI and DOGMA. Bad genomes: are the number of genomes that can destroy core genes by low number of gene intersection}\label{Etime}
-\begin{tabular}{cccccccc}
+\caption{Memory usages in (MB) for each methodology}\label{mem}
+{\scriptsize
+\begin{tabular}{p{2.5cm}p{1.5cm}p{1cm}p{1cm}p{1cm}p{1cm}p{1cm}p{1cm}}
 \hline\hline
 \hline\hline
-& & Load Genomes & T. genevision & Read genevision & ICM & Draw tree & Core Seq. \\
+Method& & Load Gen. & Conv. gV & Read gV & ICM & Core tree & Core Seq. \\
 \hline
 Gene prediction & ~ & ~ & ~ & ~ & ~ & ~ & ~\\
 \multirow{2}{*}{Gene Features} & NCBI & 15.4 & 18.9 & 17.5 & 18 & 18 & 28.1\\
               & DOGMA& 15.3 & 15.3 & 16.8 & 17.8 & 17.9 & 31.2\\
 \hline
 Gene prediction & ~ & ~ & ~ & ~ & ~ & ~ & ~\\
 \multirow{2}{*}{Gene Features} & NCBI & 15.4 & 18.9 & 17.5 & 18 & 18 & 28.1\\
               & DOGMA& 15.3 & 15.3 & 16.8 & 17.8 & 17.9 & 31.2\\
-Gene Quality  & ~    & 15.3 & >134 & 16.1 & 17 & 17.1 & 24.4 
+Gene Quality  & ~ & 15.3 & $\le$3G & 16.1 & 17 & 17.1 & 24.4\\ 
+\hline
 \end{tabular}
 \end{tabular}
+}
 \end{table}
 \end{table}
-\end{tiny}
 \end{center}  
 
 \end{center}  
 
-one algorithm used to extract core genes based on NCBI annotation, and the others based on NCBI and DOGMA annotation tool. Evolutionary tree generated as a result from each method implementation. 
 
 
-\subsection{Extract Core Genes based on Gene Contents}
 
 
-\subsubsection{Core Genes based on NCBI Annotation}
-The first idea to construct the core genome is based on the extraction of Genes names (as gene presence or absence). For instant, in this stage neither sequence comparison nor new annotation were made, we just want to extract all genes with counts stored in each chloroplast genome, then find the intersection core genes based on gene names. \\
-The pipeline of extracting core genes can summarize in the following steps according to pre-processing method used:\\
-
-\begin{enumerate}
-\item We downloads already annotated chloroplast genomes in the form of fasta coding genes (\emph{i.e.} \textit{exons}).
-\item Extract genes names and apply to solve gene duplication using first method. 
-\item Convert fasta file format to geneVision file format to generate ICM. 
-\item Calculate ICM matrix to find maximum core \textit{Score}. New core genes for two genomes will generate and a specific \textit{CoreId} will assign to it. This process continue until no elements remain in the matrix.
-\item Evolutionary tree will take place by using all data generated from step 1 and 4. The tree will also display the amount of genes lost from each intersection iteration. A specific excel file will be generated that store all the data in local database.
-\end{enumerate}
 
 
-There main drawback with this method is genes orthography (e.g two different genes sequences with same gene name). In this case, Gene lost is considered by solving gene duplication based on first method to solve gene duplication.
 
 
-\subsubsection{Core Genes based on Dogma Annotation}  
-The main goal is to get as much as possible the core genes of maximum coding genes names. According to NCBI annotation problem based on \cite{Bakke2009}, annotation method like dogma can give us more reliable coding genes than NCBI. This is because NCBI annotation can carry some annotation and gene identification errors. The general overview of whole process of extraction illustrated in figure \ref{wholesystem}.
-
-extracting core genes based on genes names and counts summarized in the following steps:\\
-\begin{enumerate}
-\item We apply the genome annotation manually using Dogma annotation tool. 
-\item Analysing genomes to store lists of code genes names (\textit{i.e. exons}). solve gene fragments is done by using first method in solve gene fragments. The output from annotation process with dogma is genomes files in GenVision file format. Sets of genes were stored in the database.
-\item Generate ICM matrix to calculate maximum core genes.
-\item Draw the evolutionary tree by extracted all genes sequences from each core. Then applying multiple alignment process on the sequences to calculate the distance among cores to draw a phylogenetic tree.
-\end{enumerate}
-
-The main drawback from the method of extracting core genes based on gene names and counts is that we can not depending only on genes names because of three causes: first, the genome may have not totally named (This can be found in early versions of NCBI genomes), so we will have some lost sequences. Second, we may have two genes sharing the same name, while their sequences are different. Third, we need to annotate all the genomes.               
-
-\subsection{Extract Core Genes based on Gene Quality Control}
-The main idea from this method is to focus on genes quality to predict maximum core genes. By comparing only genes names from one annotation tool is not enough. The question here, does the predicted gene from NCBI is the same gene predicted by Dogma based on gene name and gene sequence?. If yes, then we can predict new quality genomes based on quality control test with a specific threshold. Predicted Genomes comes from merging two annotation techniques. While if no, we can not depending neither on NCBI nor Dogma because of annotation error. Core genes can by predicted by using one of the 
-
-\subsubsection{Core genes based on NCBI and Dogma Annotation}
-This method summarized in the following steps:\\
-
-\begin{enumerate}
-\item Retrieve the annotation of all genomes from NCBI and Dogma: in this step, we apply the annotation of all chloroplast genomes in the database using NCBI annotation and Dogma annotation tool.
-\item Convert NCBI genomes to GeneVision file format, then apply the second method of gene defragmentation methods for NCBI and dogma genomes.  
-\item Predict quality genomes: the process is to pick a genome annotation from two sources, extracting all common genes based on genes names, then applying Needle-man wunch algorithm to align the two sequences based on a threshold equal to 65\%. If the alignment score pass the threshold, then this gene will removed from the competition and store it in quality genome by saving its name with the largest gene sequence with respect to start and end codons. All quality genomes will store in the form of GenVision file format.    
-\item Extract Core genes: from the above two steps, we will have new genomes with quality genes, ofcourse, we have some genes lost here, because dogma produced tRNA and rRNA genes while NCBI did not generate rRNA genes and vise-versa. Build ICM to extract core genes will be sufficient because we already check genes sequences.
-\item Display tree: An evolution tree then will be display based on the intersections of quality genomes.   
-\end{enumerate}