]> AND Public Git Repository - simgrid.git/blobdiff - doc/doxygen/platform.doc
Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge remote-tracking branch 'upstream/master' into issue95
[simgrid.git] / doc / doxygen / platform.doc
index c116d146a65fcab9963817f147c083b4fcb2f9d0..83c8aab609b05995f5e2ed88947ca0ca0049e66a 100644 (file)
@@ -5,105 +5,6 @@
 
 @subsection pf_res_computing Computing Resources
 
-
-@subsubsection pf_tag_cluster <cluster>
-
-``<cluster />`` represents a machine-cluster. It is most commonly used
-when one wants to define many hosts and a network quickly. Technically,
-``cluster`` is a meta-tag: <b>from the inner SimGrid point of
-view, a cluster is a network zone where some optimized routing is defined</b>.
-The default inner organization of the cluster is as follow:
-
-@verbatim
-                 __________
-                |          |
-                |  router  |
-    ____________|__________|_____________ backbone
-      |   |   |              |     |   |
-    l0|        l1| l2|           l97| l96 |   | l99
-      |   |   |   ........   |     |   |
-      |                                |
-    c-0.me                             c-99.me
-@endverbatim
-
-Here, a set of <b>host</b>s is defined. Each of them has a <b>link</b>
-to a central backbone (backbone is a link itself, as a link can
-be used to represent a switch, see the switch / link section
-below for more details about it). A <b>router</b> allows one to connect a
-<b>cluster</b> to the outside world. Internally,
-SimGrid treats a cluster as a network zone containing all hosts: the router is the default
-gateway for the cluster.
-
-There is an alternative organization, which is as follows:
-@verbatim
-                 __________
-                |          |
-                |  router  |
-                |__________|
-                    / | @
-                   /  |  @
-               l0 / l1|   @l2
-                 /    |    @
-                /     |     @
-            host0   host1   host2
-@endverbatim
-
-The principle is the same, except that there is no backbone. This representation
-can be obtained easily: just do not set the bb_* attributes.
-
-
-Attribute name  | Mandatory | Values | Description
---------------- | --------- | ------ | -----------
-id              | yes       | string | The identifier of the cluster. Facilitates referring to this cluster.
-prefix          | yes       | string | Each node of the cluster has to have a name. This name will be prefixed with this prefix.
-suffix          | yes       | string | Each node of the cluster will be suffixed with this suffix
-radical         | yes       | string | Regexp used to generate cluster nodes name. Syntax: "10-20" will give you 11 machines numbered from 10 to 20, "10-20;2" will give you 12 machines, one with the number 2, others numbered as before. The produced number is concatenated between prefix and suffix to form machine names.
-speed           | yes       | int    | Same as the ``speed`` attribute of the ``@<host@>`` tag.
-core            | no        | int (default: 1) | Same as the ``core`` attribute of the ``@<host@>`` tag.
-bw              | yes       | int    | Bandwidth for the links between nodes and backbone (if any). See the @ref pf_tag_link "link section" for syntax/details.
-lat             | yes       | int    | Latency for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
-sharing_policy  | no        | string | Sharing policy for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
-bb_bw           | no        | int    | Bandwidth for backbone (if any). See <b>link</b> section for syntax/details. If bb_bw and bb_lat (see below) attributes are omitted, no backbone is created (alternative cluster architecture <b>described before</b>).
-bb_lat          | no        | int    | Latency for backbone (if any). See <b>link</b> section for syntax/details. If bb_lat and bb_bw (see above) attributes are omitted, no backbone is created (alternative cluster architecture <b>described before</b>).
-bb_sharing_policy | no      | string | Sharing policy for the backbone (if any). See <b>link</b> section for syntax/details.
-limiter_link      | no        | int    | Bandwidth for limiter link (if any). This adds a specific link for each node, to set the maximum bandwidth reached when communicating in both directions at the same time. In theory this value should be 2*bw for splitduplex links, but in reality this might be less. This value will depend heavily on the communication model, and on the cluster's hardware, so no default value can be set, this has to be measured. More details can be obtained in <a href="https://hal.inria.fr/hal-00919507/"> "Toward Better Simulation of MPI Applications on Ethernet/TCP Networks"</a>
-loopback_bw       | no      | int    | Bandwidth for loopback (if any). See <b>link</b> section for syntax/details. If loopback_bw and loopback_lat (see below) attributes are omitted, no loopback link is created and all intra-node communication will use the main network link of the node. Loopback link is a @ref pf_sharing_policy_fatpipe "@b FATPIPE".
-loopback_lat      | no      | int    | Latency for loopback (if any). See <b>link</b> section for syntax/details. See loopback_bw for more info.
-topology          | no      | FLAT@|TORUS@|FAT_TREE@|DRAGONFLY (default: FLAT) | Network topology to use. SimGrid currently supports FLAT (with or without backbone, as described before), <a href="http://en.wikipedia.org/wiki/Torus_interconnect">TORUS </a>, FAT_TREE, and DRAGONFLY attributes for this tag.
-topo_parameters   | no      | string | Specific parameters to pass for the topology defined in the topology tag. For torus networks, comma-separated list of the number of nodes in each dimension of the torus. Please refer to the specific documentation for @ref simgrid::kernel::routing::FatTreeZone "FatTree NetZone", @ref simgrid::kernel::routing::DragonflyZone "Dragonfly NetZone".
-
-
-the router name is defined as the resulting String in the following
-java line of code:
-
-@verbatim
-router_name = prefix + clusterId + "_router" + suffix;
-@endverbatim
-
-
-#### Cluster example ####
-
-Consider the following two (and independent) uses of the ``cluster`` tag:
-
-@verbatim
-<cluster id="my_cluster_1" prefix="" suffix="" radical="0-262144"
-         speed="1e9" bw="125e6" lat="5E-5"/>
-
-<cluster id="my_cluster_2" prefix="c-" suffix=".me" radical="0-99"
-         speed="1e9" bw="125e6" lat="5E-5"
-         bb_bw="2.25e9" bb_lat="5E-4"/>
-@endverbatim
-
-The second example creates one router and 100 machines with the following names:
-@verbatim
-c-my_cluster_2_router.me
-c-0.me
-c-1.me
-c-2.me
-...
-c-99.me
-@endverbatim
-
 @subsubsection pf_cabinet &lt;cabinet&gt;
 
 @note
@@ -165,11 +66,6 @@ There are two tags at all times available to represent network entities and
 several other tags that are available only in certain contexts.
 1. ``<link>``:
 
-2. ``<router/>``: Represents an entity that a message can be routed
-    to, but that is unable to execute any code. In SimGrid, routers have also
-    no impact on the performance: Routers do not limit any bandwidth nor
-    do they increase latency. As a matter of fact, routers are (almost) ignored
-    by the simulator when the simulation has begun.
 
 3. ``<backbone/>``: This tag is only available when the containing network zone is
                     used as a cluster (i.e., mode="Cluster")
@@ -189,209 +85,10 @@ Attribute name  | Mandatory | Values | Description
 --------------- | --------- | ------ | -----------
 id              | yes       | string | Name of the link that is supposed to act as a backbone.
 
-@subsection pf_storage Storage
-
-@note
-  This is a prototype version that should evolve quickly, hence this
-  is just some doc valuable only at the time of writing.
-  This section describes the storage management under SimGrid ; nowadays
-  it's only usable with MSG. It relies basically on linux-like concepts.
-  You also may want to have a look to its corresponding section in
-  @ref msg_file ; access functions are organized as a POSIX-like
-  interface.
 
 
 @section pf_routing Routing
 
-To achieve high performance, the routing tables used within SimGrid are
-static. This means that routing between two nodes is calculated once
-and will not change during execution. The SimGrid team chose to use this
-approach as it is rare to have a real deficiency of a resource;
-most of the time, a communication fails because the links experience too much
-congestion and hence, your connection stops before the timeout or
-because the computer designated to be the destination of that message
-is not responding.
-
-We also chose to use shortest paths algorithms in order to emulate
-routing. Doing so is consistent with the reality: [RIP](https://en.wikipedia.org/wiki/Routing_Information_Protocol),
-[OSPF](https://en.wikipedia.org/wiki/Open_Shortest_Path_First), [BGP](https://en.wikipedia.org/wiki/Border_Gateway_Protocol)
-are all calculating shortest paths. They do require some time to converge, but
-eventually, when the routing tables have stabilized, your packets will follow
-the shortest paths.
-
-@subsection  pf_tag_zone &lt;zone&gt;
-
-@subsection pf_rm Routing models
-
-For each network zone, you must define explicitly which routing model will
-be used. There are 3 different categories for routing models:
-
-1. @ref pf_routing_model_shortest_path "Shortest-path" based models: SimGrid calculates shortest
-   paths and manages them. Behaves more or less like most real life
-   routing mechanisms.
-2. @ref pf_routing_model_manual "Manually-entered" route models: you have to define all routes
-   manually in the platform description file; this can become
-   tedious very quickly, as it is very verbose.
-   Consistent with some manually managed real life routing.
-3. @ref pf_routing_model_simple "Simple/fast models": those models offer fast, low memory routing
-   algorithms. You should consider to use this type of model if
-   you can make some assumptions about your network zone.
-   Routing in this case is more or less ignored.
-
-@subsubsection pf_raf The router affair
-
-Using routers becomes mandatory when using shortest-path based
-models or when using the bindings to the ns-3 packet-level
-simulator instead of the native analytical network model implemented
-in SimGrid.
-
-For graph-based shortest path algorithms, routers are mandatory, because these
-algorithms require a graph as input and so we need to have source and
-destination for each edge.
-
-Routers are naturally an important concept ns-3 since the
-way routers run the packet routing algorithms is actually simulated.
-SimGrid's analytical models however simply aggregate the routing time
-with the transfer time.
-
-So why did we incorporate routers in SimGrid? Rebuilding a graph representation
-only from the route information turns out to be a very difficult task, because
-of the missing information about how routes intersect. That is why we
-introduced routers, which are simply used to express these intersection points.
-It is important to understand that routers are only used to provide topological
-information.
-
-To express this topological information, a <b>route</b> has to be
-defined in order to declare which link is connected to a router.
-
-
-@subsubsection pf_routing_model_shortest_path Shortest-path based models
-
-The following table shows all the models that compute routes using
-shortest-paths algorithms are currently available in SimGrid. More detail on how
-to choose the best routing model is given in the Section called @"@ref pf_routing_howto_choose_wisely@".
-
-| Name                                                | Description                                                                |
-| --------------------------------------------------- | -------------------------------------------------------------------------- |
-| @ref pf_routing_model_floyd "Floyd"                 | Floyd routing data. Pre-calculates all routes once                         |
-| @ref pf_routing_model_dijkstra "Dijkstra"           | Dijkstra routing data. Calculates routes only when needed                  |
-| @ref pf_routing_model_dijkstracache "DijkstraCache" | Dijkstra routing data. Handles some cache for already calculated routes.   |
-
-All those shortest-path models are instantiated in the same way and are
-completely interchangeable. Here are some examples:
-
-@anchor pf_routing_model_floyd
-### Floyd ###
-
-Floyd example:
-@verbatim
-<zone  id="zone0"  routing="Floyd">
-
-  <cluster id="my_cluster_1" prefix="c-" suffix=""
-           radical="0-1" speed="1000000000" bw="125000000" lat="5E-5"
-           router_id="router1"/>
-
-  <zone id="zone1" routing="None">
-    <host id="host1" speed="1000000000"/>
-  </zone>
-
-  <link id="link1" bandwidth="100000" latency="0.01"/>
-
-  <zoneroute src="my_cluster_1" dst="zone1"
-    gw_src="router1"
-    gw_dst="host1">
-    <link_ctn id="link1"/>
-  </zoneroute>
-
-</zone>
-@endverbatim
-
-zoneroute given at the end gives a topological information: link1 is
-between router1 and host1.
-
-#### Example platform files ####
-
-This is an automatically generated list of example files that use the Floyd
-routing model (the path is given relative to SimGrid's source directory)
-
-@verbinclude example_filelist_routing_floyd
-
-@anchor pf_routing_model_dijkstra
-### Dijkstra ###
-
-#### Example platform files ####
-
-This is an automatically generated list of example files that use the Dijkstra
-routing model (the path is given relative to SimGrid's source directory)
-
-@verbinclude example_filelist_routing_dijkstra
-
-Dijkstra example:
-@verbatim
- <zone id="zone_2" routing="Dijkstra">
-     <host id="zone_2_host1" speed="1000000000"/>
-     <host id="zone_2_host2" speed="1000000000"/>
-     <host id="zone_2_host3" speed="1000000000"/>
-     <link id="zone_2_link1" bandwidth="1250000000" latency="5E-4"/>
-     <link id="zone_2_link2" bandwidth="1250000000" latency="5E-4"/>
-     <link id="zone_2_link3" bandwidth="1250000000" latency="5E-4"/>
-     <link id="zone_2_link4" bandwidth="1250000000" latency="5E-4"/>
-     <router id="central_router"/>
-     <router id="zone_2_gateway"/>
-     <!-- routes providing topological information -->
-     <route src="central_router" dst="zone_2_host1"><link_ctn id="zone_2_link1"/></route>
-     <route src="central_router" dst="zone_2_host2"><link_ctn id="zone_2_link2"/></route>
-     <route src="central_router" dst="zone_2_host3"><link_ctn id="zone_2_link3"/></route>
-     <route src="central_router" dst="zone_2_gateway"><link_ctn id="zone_2_link4"/></route>
-  </zone>
-@endverbatim
-
-@anchor pf_routing_model_dijkstracache
-### DijkstraCache ###
-
-DijkstraCache example:
-@verbatim
-<zone id="zone_2" routing="DijkstraCache">
-     <host id="zone_2_host1" speed="1000000000"/>
-     ...
-(platform unchanged compared to upper example)
-@endverbatim
-
-#### Example platform files ####
-
-This is an automatically generated list of example files that use the DijkstraCache
-routing model (the path is given relative to SimGrid's source directory):
-
-Editor's note: At the time of writing, no platform file used this routing model - so
-if there are no example files listed here, this is likely to be correct.
-
-@verbinclude example_filelist_routing_dijkstra_cache
-
-@subsubsection pf_routing_model_manual Manually-entered route models
-
-| Name                               | Description                                                                    |
-| ---------------------------------- | ------------------------------------------------------------------------------ |
-| @ref pf_routing_model_full "Full"  | You have to enter all necessary routers manually; that is, every single route. This may consume a lot of memory when the XML is parsed and might be tedious to write; i.e., this is only recommended (if at all) for small platforms. |
-
-@anchor pf_routing_model_full
-### Full ###
-
-Full example:
-@verbatim
-<zone  id="zone0"  routing="Full">
-   <host id="host1" speed="1000000000"/>
-   <host id="host2" speed="1000000000"/>
-   <link id="link1" bandwidth="125000000" latency="0.000100"/>
-   <route src="host1" dst="host2"><link_ctn id="link1"/></route>
- </zone>
-@endverbatim
-
-#### Example platform files ####
-
-This is an automatically generated list of example files that use the Full
-routing model (the path is given relative to SimGrid's source directory):
-
-@verbinclude example_filelist_routing_full
 
 @subsubsection pf_routing_model_simple Simple/fast models
 
@@ -436,6 +133,8 @@ routing model (the path is given relative to SimGrid's source directory):
 @verbinclude example_filelist_routing_none
 
 
+
+
 @anchor pf_routing_model_vivaldi
 ### Vivaldi ###
 
@@ -539,75 +238,6 @@ This example shows that link @c link_tmp (definition not displayed here) directl
 connects host @c host_1 to host @c host_2. Additionally, as the @c symmetrical
 attribute was not given, this route is presumed to be symmetrical.
 
-@subsection pb_baroex Basic Routing Example
-
-Let's say you have a zone named zone_Big that contains two other zones, zone_1
-and zone_2. If you want to make a host (h1) from zone_1 with another one
-(h2) from zone_2 then you'll have to proceed as follows:
-@li First, you have to ensure that a route is defined from h1 to the
-    zone_1's exit gateway and from h2 to zone_2's exit gateway.
-@li Then, you'll have to define a route between zone_1 to zone_2. As those
-    zone are both resources belonging to zone_Big, then it has to be done
-    at zone_big level. To define such a route, you have to give the
-    source zone (zone_1), the destination zone (zone_2), and their respective
-    gateway (as the route is effectively defined between those two
-    entry/exit points). Elements of this route can only be elements
-    belonging to zone_Big, so links and routers in this route should be
-    defined inside zone_Big. If you choose some shortest-path model,
-    this route will be computed automatically.
-
-As said before, there are mainly 2 tags for routing:
-@li <b>zoneroute</b>: to define routes between two  <b>zone</b>
-@li <b>route</b>: to define routes between two <b>host/router</b>
-
-As we are dealing with routes between zone, it means that those we'll
-have some definition at zone_Big level. Let consider zone_1 contains 1
-host, 1 link and one router and zone_2 3 hosts, 4 links and one router.
-There will be a central router, and a cross-like topology. At the end
-of the crosses arms, you'll find the 3 hosts and the router that will
-act as a gateway. We have to define routes inside those two zone. Let
-say that zone_1 contains full routes, and zone_2 contains some Floyd
-routing (as we don't want to bother with defining all routes). As
-we're using some shortest path algorithms to route into zone_2, we'll
-then have to define some <b>route</b> to gives some topological
-information to SimGrid. Here is a file doing it all:
-
-@verbatim
-<zone  id="zone_Big"  routing="Dijkstra">
-  <zone id="zone_1" routing="Full">
-     <host id="zone_1_host1" speed="1000000000"/>
-     <link id="zone_1_link" bandwidth="1250000000" latency="5E-4"/>
-     <router id="zone_1_gateway"/>
-     <route src="zone_1_host1" dst="zone_1_gateway">
-            <link_ctn id="zone_1_link"/>
-     </route>
-  </zone>
-  <zone id="zone_2" routing="Floyd">
-     <host id="zone_2_host1" speed="1000000000"/>
-     <host id="zone_2_host2" speed="1000000000"/>
-     <host id="zone_2_host3" speed="1000000000"/>
-     <link id="zone_2_link1" bandwidth="1250000000" latency="5E-4"/>
-     <link id="zone_2_link2" bandwidth="1250000000" latency="5E-4"/>
-     <link id="zone_2_link3" bandwidth="1250000000" latency="5E-4"/>
-     <link id="zone_2_link4" bandwidth="1250000000" latency="5E-4"/>
-     <router id="central_router"/>
-     <router id="zone_2_gateway"/>
-     <!-- routes providing topological information -->
-     <route src="central_router" dst="zone_2_host1"><link_ctn id="zone_2_link1"/></route>
-     <route src="central_router" dst="zone_2_host2"><link_ctn id="zone_2_link2"/></route>
-     <route src="central_router" dst="zone_2_host3"><link_ctn id="zone_2_link3"/></route>
-     <route src="central_router" dst="zone_2_gateway"><link_ctn id="zone_2_link4"/></route>
-  </zone>
-    <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
-
-     <zoneroute src="zone_1" dst="zone_2"
-        gw_src="zone_1_gateway"
-        gw_dst="zone_2_gateway">
-               <link_ctn id="backbone"/>
-     </zoneroute>
-</zone>
-@endverbatim
-
 @section pf_other Other tags
 
 The following tags can be used inside a @<platform@> tag even if they are not
@@ -786,58 +416,6 @@ issues) to have routes from a zone to a single host/router, you have to
 enclose your gateway, when you have zone included in your zone, within a
 zone to define routes to it.
 
-@subsection pf_P2P_tags P2P or how to use coordinates
-SimGrid allows you to use some coordinated-based system, like vivaldi,
-to describe a platform. The main concept is that you have some peers
-that are located somewhere: this is the function of the
-<b>coordinates</b> of the @<peer@> or @<host@> tag. There's nothing
-complicated in using it, here is an example:
-
-@verbatim
-<?xml version='1.0'?>
-<!DOCTYPE platform SYSTEM "https://simgrid.org/simgrid.dtd">
-<platform version="4">
-
- <zone  id="zone0"  routing="Vivaldi">
-       <host id="100030591" coordinates="25.5 9.4 1.4" speed="1.5Gf" />
-       <host id="100036570" coordinates="-12.7 -9.9 2.1" speed="7.3Gf" />
-       ...
-       <host id="100429957" coordinates="17.5 6.7 18.8" speed="8.3Gf" />
- </zone>
-</platform>
-@endverbatim
-
-Coordinates are then used to calculate latency (in microseconds)
-between two hosts by calculating the distance between the two hosts
-coordinates with the following formula: distance( (x1, y1, z1), (x2,
-y2, z2) ) = euclidian( (x1,y1), (x2,y2) ) + abs(z1) + abs(z2)
-
-In other words, we take the euclidian distance on the two first
-dimensions, and then add the absolute values found on the third
-dimension. This may seem strange, but it was found to allow better
-approximations of the latency matrices (see the paper describing
-Vivaldi).
-
-Note that the previous example defines a routing directly between hosts but it could be also used to define a routing between zone.
-That is for example what is commonly done when using peers (see Section @ref pf_peer).
-@verbatim
-<?xml version='1.0'?>
-<!DOCTYPE platform SYSTEM "https://simgrid.org/simgrid.dtd">
-<platform version="4">
-
- <zone  id="zone0"  routing="Vivaldi">
-   <peer id="peer-0" coordinates="173.0 96.8 0.1" speed="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us"/>
-   <peer id="peer-1" coordinates="247.0 57.3 0.6" speed="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
-   <peer id="peer-2" coordinates="243.4 58.8 1.4" speed="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
-</zone>
-</platform>
-@endverbatim
-In such a case though, we connect the zone created by the <b>peer</b> tag with the Vivaldi routing mechanism.
-This means that to route between zone1 and zone2, it will use the coordinates of router_zone1 and router_zone2.
-This is currently a convention and we may offer to change this convention in the DTD later if needed.
-You may have noted that conveniently, a peer named FOO defines a zone named FOO and a router named router_FOO, which is why it works seamlessly with the <b>peer</b> tag.
-
-
 @subsection pf_routing_howto_choose_wisely Choosing wisely the routing model to use