Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Cosmetics in an example and integrate it to the doc
[simgrid.git] / examples / README.rst
1 .. S4U (Simgrid for you) is the modern interface of SimGrid, which new project should use.
2 ..
3 .. This file follows the ReStructured syntax to be included in the
4 .. documentation, but it should remain readable directly.
5
6 .. _s4u_examples:
7
8 Examples
9 ********
10
11 SimGrid comes with an extensive set of examples, documented on this
12 page. Most of them only demonstrate one single feature, with some
13 larger exemplars listed below.
14
15 The C++ examples can be found under examples/cpp while python examples
16 are in examples/python. Each such directory contains the source code (also listed
17 from this page), and the so-called tesh file containing how to call
18 the binary obtained by compiling this example and also the expected
19 output. Tesh files are used to turn each of our examples into an
20 integration test. Some examples also contain other files, on need.
21
22 A good way to bootstrap your own project is to copy and combine some
23 of the provided examples to constitute the skeleton of what you plan
24 to simulate.
25
26 .. _s4u_ex_actors:
27
28 ===========================
29 Actors: the Active Entities
30 ===========================
31
32 Starting and Stopping Actors
33 ----------------------------
34
35 .. _s4u_ex_actors_create:
36
37 Creating actors
38 ^^^^^^^^^^^^^^^
39
40 Most actors are started from the deployment XML file because this
41 is a :ref:`better scientific habit <howto_science>`, but you can
42 also create them directly from your code.
43
44 .. tabs::
45
46    .. example-tab:: examples/cpp/actor-create/s4u-actor-create.cpp
47
48       You create actors either:
49
50       - Directly with :cpp:func:`simgrid::s4u::Actor::create`
51       - From XML with :cpp:func:`simgrid::s4u::Engine::register_actor` (if your actor is a class)
52         or :cpp:func:`simgrid::s4u::Engine::register_function` (if your actor is a function)
53         and then :cpp:func:`simgrid::s4u::Engine::load_deployment`
54
55    .. example-tab:: examples/python/actor-create/actor-create.py
56
57       You create actors either:
58
59       - Directly with :py:func:`simgrid.Actor.create()`
60       - From XML with :py:func:`simgrid.Engine.register_actor()` and then :py:func:`simgrid.Engine.load_deployment()`
61
62    .. example-tab:: examples/c/actor-create/actor-create.c
63
64       You create actors either:
65
66       - Directly with :cpp:func:`sg_actor_create` followed by :cpp:func:`sg_actor_start`.
67       - From XML with :cpp:func:`simgrid_register_function` and then :cpp:func:`simgrid_load_deployment`.
68
69    .. example-tab:: examples/python/actor-create/actor-create_d.xml
70
71       The following file is used in both C++ and Python.
72
73 Reacting to actors' end
74 ^^^^^^^^^^^^^^^^^^^^^^^
75
76 You can attach callbacks to the end of actors. There are several ways of doing so, depending on whether you want to
77 attach your callback to a given actor and on how you define the end of a
78 given actor. User code probably wants to react to the termination of an actor
79 while some plugins want to react to the destruction (memory collection) of
80 actors.
81
82 .. tabs::
83
84    .. example-tab:: examples/cpp/actor-exiting/s4u-actor-exiting.cpp
85
86       This example shows how to attach a callback to:
87
88       - the end of a specific actor: :cpp:func:`simgrid::s4u::Actor::on_exit()`
89       - the end of any actor: :cpp:func:`simgrid::s4u::Actor::on_termination_cb`
90       - the destruction of any actor: :cpp:func:`simgrid::s4u::Actor::on_destruction_cb`
91
92    .. example-tab:: examples/c/actor-exiting/actor-exiting.c
93
94       This example shows how to attach a callback to the end of a specific actor with
95       :cpp:func:`sg_actor_on_exit()`.
96
97 Killing actors
98 ^^^^^^^^^^^^^^
99
100 Actors can forcefully stop other actors.
101
102 .. tabs::
103
104    .. example-tab:: examples/cpp/actor-kill/s4u-actor-kill.cpp
105
106       See also :cpp:func:`void simgrid::s4u::Actor::kill(void)`, :cpp:func:`void simgrid::s4u::Actor::kill_all()`,
107       :cpp:func:`simgrid::s4u::this_actor::exit`, :cpp:func:`simgrid::s4u::Actor::on_exit`.
108
109    .. example-tab:: examples/python/actor-kill/actor-kill.py
110
111       See also :py:func:`simgrid.Actor.kill()`, :py:func:`simgrid.Actor.kill_all()`, :py:func:`simgrid.this_actor.exit()`,
112       :py:func:`simgrid.this_actor.on_exit`.
113
114    .. example-tab:: examples/c/actor-kill/actor-kill.c
115
116       See also :cpp:func:`sg_actor_kill`, :cpp:func:`sg_actor_kill_all`, :cpp:func:`sg_actor_exit`, :cpp:func:`sg_actor_on_exit`.
117
118 Actors' life cycle from XML_reference
119 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
120
121 You can specify a start time and a kill time in the deployment file.
122
123 .. tabs::
124
125    .. example-tab:: examples/cpp/actor-lifetime/s4u-actor-lifetime.cpp
126
127       This file is not really interesting: the important matter is in the XML file.
128
129    .. example-tab:: examples/cpp/actor-lifetime/s4u-actor-lifetime_d.xml
130
131       This demonstrates the ``start_time`` and ``kill_time`` attribute of the :ref:`pf_tag_actor` tag.
132
133    .. example-tab:: examples/python/actor-lifetime/actor-lifetime.py
134
135       This file is not really interesting: the important matter is in the XML file.
136
137    .. example-tab:: examples/c/actor-lifetime/actor-lifetime.c
138
139       This file is not really interesting: the important matter is in the XML file.
140
141 Daemon actors
142 ^^^^^^^^^^^^^
143
144 Some actors may be intended to simulate daemons that run in the background.
145 This example shows how to transform a regular
146 actor into a daemon that will be automatically killed once the simulation is over.
147
148 .. tabs::
149
150    .. example-tab:: examples/cpp/actor-daemon/s4u-actor-daemon.cpp
151
152       See also :cpp:func:`simgrid::s4u::Actor::daemonize()` and :cpp:func:`simgrid::s4u::Actor::is_daemon()`.
153
154    .. example-tab:: examples/python/actor-daemon/actor-daemon.py
155
156       See also :py:func:`simgrid.Actor.daemonize()` and :py:func:`simgrid.Actor.is_daemon()`.
157
158    .. example-tab:: examples/c/actor-daemon/actor-daemon.c
159
160       See also :cpp:func:`sg_actor_daemonize` and :cpp:func:`sg_actor_is_daemon`.
161
162 Specifying the stack size
163 ^^^^^^^^^^^^^^^^^^^^^^^^^
164
165 The stack size can be specified by default on the command line,
166 globally by changing the configuration with :cpp:func:`simgrid::s4u::Engine::set_config`,
167 or for a specific actor using :cpp:func:`simgrid::s4u::Actor::set_stacksize` before its start.
168
169 .. tabs::
170
171    .. example-tab:: examples/cpp/actor-stacksize/s4u-actor-stacksize.cpp
172
173    .. example-tab:: examples/c/actor-stacksize/actor-stacksize.c
174
175 Inter-Actors Interactions
176 -------------------------
177
178 See also the examples on :ref:`inter-actors communications
179 <s4u_ex_communication>` and the ones on :ref:`classical
180 synchronization objects <s4u_ex_IPC>`.
181
182 Suspending/resuming Actors
183 ^^^^^^^^^^^^^^^^^^^^^^^^^^
184
185 Actors can be suspended and resumed during their executions.
186
187 .. tabs::
188
189    .. example-tab:: examples/cpp/actor-suspend/s4u-actor-suspend.cpp
190
191       See also :cpp:func:`simgrid::s4u::this_actor::suspend()`,
192       :cpp:func:`simgrid::s4u::Actor::suspend()`, :cpp:func:`simgrid::s4u::Actor::resume()`, and
193       :cpp:func:`simgrid::s4u::Actor::is_suspended()`.
194
195    .. example-tab:: examples/python/actor-suspend/actor-suspend.py
196
197       See also :py:func:`simgrid.this_actor.suspend()`,
198       :py:func:`simgrid.Actor.suspend()`, :py:func:`simgrid.Actor.resume()`, and
199       :py:func:`simgrid.Actor.is_suspended()`.
200
201    .. example-tab:: examples/c/actor-suspend/actor-suspend.c
202
203       See also :cpp:func:`sg_actor_suspend()`, :cpp:func:`sg_actor_resume()`, and
204       :cpp:func:`sg_actor_is_suspended()`.
205
206 Migrating Actors
207 ^^^^^^^^^^^^^^^^
208
209 Actors can move or be moved from a host to another very easily. It amounts to setting them on a new host.
210
211 .. tabs::
212
213    .. example-tab:: examples/cpp/actor-migrate/s4u-actor-migrate.cpp
214
215       See also :cpp:func:`simgrid::s4u::this_actor::set_host()` and :cpp:func:`simgrid::s4u::Actor::set_host()`.
216
217    .. example-tab:: examples/python/actor-migrate/actor-migrate.py
218
219       See also :py:attr:`simgrid.Actor.host`.
220
221    .. example-tab:: examples/c/actor-migrate/actor-migrate.c
222
223       See also :cpp:func:`sg_actor_set_host()`.
224
225 Waiting for the termination of an actor (joining on it)
226 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
227
228 You can block the current actor until the end of another actor.
229
230 .. tabs::
231
232    .. example-tab:: examples/cpp/actor-join/s4u-actor-join.cpp
233
234       See also :cpp:func:`simgrid::s4u::Actor::join()`.
235
236    .. example-tab:: examples/python/actor-join/actor-join.py
237
238       See also :py:func:`simgrid.Actor.join()`.
239
240    .. example-tab:: examples/c/actor-join/actor-join.c
241
242       See also :cpp:func:`sg_actor_join`.
243
244 Yielding to other actors
245 ^^^^^^^^^^^^^^^^^^^^^^^^
246
247 The ```yield()``` function interrupts the execution of the current
248 actor, leaving a chance to the other actors that are ready to run
249 at this timestamp.
250
251 .. tabs::
252
253    .. example-tab:: examples/cpp/actor-yield/s4u-actor-yield.cpp
254
255       See also :cpp:func:`simgrid::s4u::this_actor::yield()`.
256
257    .. example-tab:: examples/python/actor-yield/actor-yield.py
258
259       See also :py:func:`simgrid.this_actor.yield_()`.
260
261    .. example-tab:: examples/c/actor-yield/actor-yield.c
262
263       See also :cpp:func:`sg_actor_yield()`.
264
265 Traces Replay as a Workload
266 ---------------------------
267
268 This section details how to run trace-driven simulations. It is very
269 handy when you want to test an algorithm or protocol that only reacts
270 to external events. For example, many P2P protocols react to user
271 requests, but do nothing if there is no such event.
272
273 In such situations, you should write your protocol in C++, and separate
274 the workload that you want to play onto your protocol in a separate
275 text file. Declare a function handling each type of the events in your
276 trace, register them using :cpp:func:`xbt_replay_action_register()` in
277 your main, and then run the simulation.
278
279 Then, you can either have one trace file containing all your events,
280 or a file per simulated process: the former may be easier to work
281 with, but the second is more efficient on very large traces. Check
282 also the tesh files in the example directories for details.
283
284 Communication replay
285 ^^^^^^^^^^^^^^^^^^^^
286
287 Presents a set of event handlers reproducing classical communication primitives (asynchronous send/receive at the moment).
288
289 .. tabs::
290
291    .. example-tab:: examples/cpp/replay-comm/s4u-replay-comm.cpp
292
293 I/O replay
294 ^^^^^^^^^^
295
296 Presents a set of event handlers reproducing classical I/O primitives (open, read, close).
297
298 .. tabs::
299
300    .. example-tab:: examples/cpp/replay-io/s4u-replay-io.cpp
301
302 ==========================
303 Activities: what Actors do
304 ==========================
305
306 .. _s4u_ex_communication:
307
308 Communications on the Network
309 -----------------------------
310
311 Basic communications
312 ^^^^^^^^^^^^^^^^^^^^
313
314 This simple example just sends one message back and forth.
315 The tesh file laying in the directory shows how to start the simulator binary, highlighting how to pass options to
316 the simulators (as detailed in Section :ref:`options`).
317
318 .. tabs::
319
320    .. example-tab:: examples/cpp/comm-pingpong/s4u-comm-pingpong.cpp
321
322    .. example-tab:: examples/python/comm-pingpong/comm-pingpong.py
323
324    .. example-tab:: examples/c/comm-pingpong/comm-pingpong.c
325
326 Basic asynchronous communications
327 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
328
329 Illustrates how to have non-blocking communications, that are communications running in the background leaving the process 
330 free to do something else during their completion.
331
332 .. tabs::
333
334    .. example-tab:: examples/cpp/comm-wait/s4u-comm-wait.cpp
335
336       See also :cpp:func:`simgrid::s4u::Mailbox::put_async()` and :cpp:func:`simgrid::s4u::Comm::wait()`.
337
338    .. example-tab:: examples/python/comm-wait/comm-wait.py
339
340       See also :py:func:`simgrid.Mailbox.put_async()` and :py:func:`simgrid.Comm.wait()`.
341
342    .. example-tab:: examples/c/comm-wait/comm-wait.c
343
344       See also :cpp:func:`sg_mailbox_put_async()` and :cpp:func:`sg_comm_wait()`.
345
346 Waiting for communications with timeouts
347 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
348
349 This example is very similar to the previous one, simply adding how to declare timeouts when waiting on asynchronous communication.
350
351 .. tabs::
352
353    .. example-tab:: examples/cpp/comm-waituntil/s4u-comm-waituntil.cpp
354
355       See also :cpp:func:`simgrid::s4u::Activity::wait_until()` and :cpp:func:`simgrid::s4u::Comm::wait_for()`.
356
357    .. example-tab:: examples/python/comm-waituntil/comm-waituntil.py
358
359       See also :py:func:`simgrid.Comm.wait_until()`
360
361 Suspending communications
362 ^^^^^^^^^^^^^^^^^^^^^^^^^
363
364 The ``suspend()`` and ``resume()`` functions block the progression of a given communication for a while and then unblock it.
365 ``is_suspended()`` returns whether that activity is currently blocked or not.
366
367 .. tabs::
368
369    .. example-tab:: examples/cpp/comm-suspend/s4u-comm-suspend.cpp
370
371       See also :cpp:func:`simgrid::s4u::Activity::suspend()`
372       :cpp:func:`simgrid::s4u::Activity::resume()` and
373       :cpp:func:`simgrid::s4u::Activity::is_suspended()`.
374
375    .. example-tab:: examples/python/comm-suspend/comm-suspend.py
376
377       See also :py:func:`simgrid.Comm::suspend()` and
378       :py:func:`simgrid.Comm.resume()`.
379
380 Waiting for all communications in a set
381 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
382
383 The ``wait_all()`` function is useful when you want to block until all activities in a given set have been completed.
384
385 .. tabs::
386
387    .. example-tab:: examples/cpp/comm-waitall/s4u-comm-waitall.cpp
388
389       See also :cpp:func:`simgrid::s4u::Comm::wait_all()`.
390
391    .. example-tab:: examples/python/comm-waitall/comm-waitall.py
392
393       See also :py:func:`simgrid.Comm.wait_all()`.
394
395    .. example-tab:: examples/c/comm-waitall/comm-waitall.c
396
397       See also :cpp:func:`sg_comm_wait_all()`.
398
399 Waiting for the first completed communication in a set
400 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
401
402 The ``wait_any()`` blocks until one activity of the set completes, no matter which terminates first.
403
404 .. tabs::
405
406    .. example-tab:: examples/cpp/comm-waitany/s4u-comm-waitany.cpp
407
408       See also :cpp:func:`simgrid::s4u::Comm::wait_any()`.
409
410    .. example-tab:: examples/python/comm-waitany/comm-waitany.py
411
412       See also :py:func:`simgrid.Comm.wait_any()`.
413
414    .. example-tab:: examples/c/comm-waitany/comm-waitany.c
415
416       See also :cpp:func:`sg_comm_wait_any`.
417
418 Testing whether at least one communication completed
419 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
420
421 The ``test_any()`` returns whether at least one activity of the set has completed, or -1.
422
423 .. tabs::
424
425    .. example-tab:: examples/cpp/comm-testany/s4u-comm-testany.cpp
426
427       See also :cpp:func:`simgrid::s4u::Comm::test_any()`.
428
429    .. example-tab:: examples/python/comm-testany/comm-testany.py
430
431       See also :py:func:`simgrid.Comm.test_any()`.
432
433 .. _s4u_ex_comm_failure:
434
435 Dealing with network failures
436 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
437
438 This examples shows how to survive to network exceptions that occur when a link is turned off. In this case, any blocking operation
439 such as ``put``, ``get`` or ``wait`` will raise an exception that you can catch and react to. See also :ref:`howto_churn` and
440 :ref:`this example <s4u_ex_platform_state_profile>` on how to attach a state profile to hosts and react to execution failures.
441
442 .. tabs::
443
444    .. example-tab:: examples/cpp/comm-failure/s4u-comm-failure.cpp
445
446    .. example-tab:: examples/python/comm-failure/comm-failure.py
447
448 .. _s4u_ex_comm_host2host:
449
450 Direct host-to-host communication
451 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
452
453 This example demonstrates the direct communication mechanism, that allows to send data from one host to another without
454 relying on the mailbox mechanism.
455
456 .. tabs::
457
458    .. example-tab:: examples/cpp/comm-host2host/s4u-comm-host2host.cpp
459
460       See also :cpp:func:`simgrid::s4u::Comm::sendto_init()` and  :cpp:func:`simgrid::s4u::Comm::sendto_async()`.
461
462    .. example-tab:: examples/python/comm-host2host/comm-host2host.py
463
464       See also :py:func:`simgrid.Comm.sendto_init()` and  :py:func:`simgrid.Comm.sendto_async()`.
465
466 .. _s4u_ex_execution:
467
468 Executions on the CPU
469 ---------------------
470
471 Basic execution
472 ^^^^^^^^^^^^^^^
473
474 The computations done in your program are not reported to the
475 simulated world unless you explicitly request the simulator to pause
476 the actor until a given amount of flops gets computed on its simulated
477 host. Some executions can be given a higher priority so that they
478 get more resources.
479
480 .. tabs::
481
482    .. example-tab:: examples/cpp/exec-basic/s4u-exec-basic.cpp
483
484       See also :cpp:func:`void simgrid::s4u::this_actor::execute(double)`
485       and :cpp:func:`void simgrid::s4u::this_actor::execute(double, double)`.
486
487    .. example-tab:: examples/python/exec-basic/exec-basic.py
488
489       See also :py:func:`simgrid.this_actor.execute()`.
490
491    .. example-tab:: examples/c/exec-basic/exec-basic.c
492
493       See also :cpp:func:`void sg_actor_execute(double)`
494       and :cpp:func:`void sg_actor_execute_with_priority(double, double)`.
495
496 Asynchronous execution
497 ^^^^^^^^^^^^^^^^^^^^^^
498
499 You can start asynchronous executions, just like you would fire background threads.
500
501 .. tabs::
502
503    .. example-tab:: examples/cpp/exec-async/s4u-exec-async.cpp
504
505       See also :cpp:func:`simgrid::s4u::this_actor::exec_init()`,
506       :cpp:func:`simgrid::s4u::Activity::start()`,
507       :cpp:func:`simgrid::s4u::Activity::wait()`,
508       :cpp:func:`simgrid::s4u::Activity::get_remaining()`,
509       :cpp:func:`simgrid::s4u::Exec::get_remaining_ratio()`,
510       :cpp:func:`simgrid::s4u::this_actor::exec_async()` and
511       :cpp:func:`simgrid::s4u::Activity::cancel()`.
512
513    .. example-tab:: examples/python/exec-async/exec-async.py
514
515       See also :py:func:`simgrid.this_actor.exec_init()`,
516       :py:func:`simgrid.Exec.start()`,
517       :py:func:`simgrid.Exec.wait()`,
518       :py:attr:`simgrid.Exec.remaining`,
519       :py:attr:`simgrid.Exec.remaining_ratio`,
520       :py:func:`simgrid.this_actor.exec_async()` and
521       :py:func:`simgrid.Exec.cancel()`.
522
523    .. example-tab:: examples/c/exec-async/exec-async.c
524
525       See also :cpp:func:`sg_actor_exec_init()`,
526       :cpp:func:`sg_exec_start()`,
527       :cpp:func:`sg_exec_wait()`,
528       :cpp:func:`sg_exec_get_remaining()`,
529       :cpp:func:`sg_exec_get_remaining_ratio()`,
530       :cpp:func:`sg_actor_exec_async()` and
531       :cpp:func:`sg_exec_cancel()`,
532
533 Remote execution
534 ^^^^^^^^^^^^^^^^
535
536 You can start executions on remote hosts, or even change the host on which they occur during their execution.
537
538 .. tabs::
539
540    .. example-tab:: examples/cpp/exec-remote/s4u-exec-remote.cpp
541
542       See also :cpp:func:`simgrid::s4u::Exec::set_host()`.
543
544    .. example-tab:: examples/python/exec-remote/exec-remote.py
545
546       See also :py:attr:`simgrid.Exec.host`.
547
548    .. example-tab:: examples/c/exec-remote/exec-remote.c
549
550       See also :cpp:func:`sg_exec_set_host()`.
551
552 .. _s4u_ex_ptasks:
553
554 Parallel executions
555 ^^^^^^^^^^^^^^^^^^^
556
557 These objects are convenient abstractions of parallel
558 computational kernels that span over several machines, such as a
559 PDGEM and the other ScaLAPACK routines. Note that this only works
560 with the "ptask_L07" host model (``--cfg=host/model:ptask_L07``).
561
562 This example demonstrates several kinds of parallel tasks: regular
563 ones, communication-only (without computation), computation-only
564 (without communication), synchronization-only (neither
565 communication nor computation). It also shows how to reconfigure a
566 task after its start, to change the number of hosts it runs onto.
567 This allows simulating malleable tasks.
568
569 .. tabs::
570
571    .. example-tab:: examples/cpp/exec-ptask/s4u-exec-ptask.cpp
572
573       See also :cpp:func:`simgrid::s4u::this_actor::parallel_execute()`.
574
575    .. example-tab:: examples/python/exec-ptask/exec-ptask.py
576
577       See also :ref:`simgrid.this_actor.parallel_execute()`
578
579 .. _s4u_ex_dvfs:
580
581 DVFS and pstates
582 ^^^^^^^^^^^^^^^^
583
584 This example shows how to define a set of pstates in the XML. The current pstate
585 of a host can then be accessed and changed from the program.
586
587 .. tabs::
588
589    .. example-tab:: examples/cpp/exec-dvfs/s4u-exec-dvfs.cpp
590
591       See also :cpp:func:`simgrid::s4u::Host::get_pstate_speed` and :cpp:func:`simgrid::s4u::Host::set_pstate`.
592
593    .. example-tab:: examples/c/exec-dvfs/exec-dvfs.c
594
595       See also :cpp:func:`sg_host_get_pstate_speed` and :cpp:func:`sg_host_set_pstate`.
596
597    .. example-tab:: examples/python/exec-dvfs/exec-dvfs.py
598
599       See also :py:func:`simgrid.Host.pstate_speed()` and :py:attr:`simgrid.Host.pstate`.
600
601    .. example-tab:: examples/platforms/energy_platform.xml
602
603       The important parts are in the :ref:`pf_tag_host` tag. The ``pstate`` attribute is the initial pstate while the ``speed`` attribute must
604       be a comma-separated list of values: the speed at each pstate. This platform file also describes the ``wattage_per_state`` and
605       ``wattage_off`` properties, that are used by the :ref:`plugin_host_energy` plugin.
606
607 .. _s4u_ex_disk_io:
608
609 I/O on Disks and Files
610 ----------------------
611
612 SimGrid provides two levels of abstraction to interact with the
613 simulated disks. At the simplest level, you simply create read and
614 write actions on the disk resources.
615
616 Access to raw disk devices
617 ^^^^^^^^^^^^^^^^^^^^^^^^^^
618
619 This example illustrates how to simply read and write data on a simulated disk resource.
620
621 .. tabs::
622
623    .. example-tab:: examples/cpp/io-disk-raw/s4u-io-disk-raw.cpp
624
625    .. example-tab:: examples/c/io-disk-raw/io-disk-raw.c
626
627    .. example-tab:: examples/platforms/hosts_with_disks.xml
628
629       This shows how to declare disks in XML.
630
631 Filesystem plugin
632 ^^^^^^^^^^^^^^^^^
633
634 The FileSystem plugin provides a more detailed view, with the
635 classical operations over files: open, move, unlink, and of course,
636 read and write. The file and disk sizes are also dealt with and can
637 result in short reads and short writes, as in reality.
638
639   - **File Management:**
640     This example illustrates the use of operations on files
641     (read, write, seek, tell, unlink, etc).
642
643     .. tabs::
644
645        .. example-tab:: examples/cpp/io-file-system/s4u-io-file-system.cpp
646
647   - **Remote I/O:**
648     I/O operations on files can also be done remotely,
649     i.e. when the accessed disk is not mounted on the caller's host.
650
651     .. tabs::
652
653        .. example-tab:: examples/cpp/io-file-remote/s4u-io-file-remote.cpp
654
655        .. example-tab:: examples/c/io-file-remote/io-file-remote.c
656
657 .. _s4u_ex_IPC:
658
659 Classical synchronization objects
660 ---------------------------------
661
662 Barrier
663 ^^^^^^^
664
665 Shows how to use :cpp:type:`simgrid::s4u::Barrier` synchronization objects.
666
667 .. tabs::
668
669    .. example-tab:: examples/cpp/synchro-barrier/s4u-synchro-barrier.cpp
670
671    .. example-tab:: examples/python/synchro-barrier/synchro-barrier.py
672
673 Condition variable: basic usage
674 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
675
676 Shows how to use :cpp:type:`simgrid::s4u::ConditionVariable` synchronization objects.
677
678 .. tabs::
679
680    .. example-tab:: examples/cpp/synchro-condition-variable/s4u-synchro-condition-variable.cpp
681
682 Condition variable: timeouts
683 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
684
685 Shows how to specify timeouts when blocking on condition variables.
686
687 .. tabs::
688
689    .. example-tab:: examples/cpp/synchro-condition-variable-waituntil/s4u-synchro-condition-variable-waituntil.cpp
690
691 Mutex
692 ^^^^^
693
694 Shows how to use :cpp:type:`simgrid::s4u::Mutex` synchronization objects.
695
696 .. tabs::
697
698    .. example-tab:: examples/cpp/synchro-mutex/s4u-synchro-mutex.cpp
699
700    .. example-tab:: examples/python/synchro-mutex/synchro-mutex.py
701
702 Semaphore
703 ^^^^^^^^^
704
705 Shows how to use :cpp:type:`simgrid::s4u::Semaphore` synchronization objects.
706
707 .. tabs::
708
709    .. example-tab:: examples/cpp/synchro-semaphore/s4u-synchro-semaphore.cpp
710
711    .. example-tab:: examples/python/synchro-semaphore/synchro-semaphore.py
712
713    .. example-tab:: examples/c/synchro-semaphore/synchro-semaphore.c
714
715 =============================
716 Interacting with the Platform
717 =============================
718
719 User-defined properties
720 -----------------------
721
722 You can attach arbitrary information to most platform elements from the XML file, and then interact with these values from your
723 program. Note that the changes are not written permanently on disk, in the XML file nor anywhere else. They only last until the end of
724 your simulation.
725
726 .. tabs::
727
728    .. example-tab:: examples/cpp/platform-properties/s4u-platform-properties.cpp
729
730       - :cpp:func:`simgrid::s4u::Actor::get_property()` and :cpp:func:`simgrid::s4u::Actor::set_property()`
731       - :cpp:func:`simgrid::s4u::Host::get_property()` and :cpp:func:`simgrid::s4u::Host::set_property()`
732       - :cpp:func:`simgrid::s4u::Link::get_property()` and :cpp:func:`simgrid::s4u::Link::set_property()`
733       - :cpp:func:`simgrid::s4u::NetZone::get_property()` and :cpp:func:`simgrid::s4u::NetZone::set_property()`
734
735    .. example-tab:: examples/c/platform-properties/platform-properties.c
736
737       - :cpp:func:`sg_actor_get_property_value()`
738       - :cpp:func:`sg_host_get_property_value()` and :cpp:func:sg_host_set_property_value()`
739       - :cpp:func:`sg_zone_get_property_value()` and :cpp:func:`sg_zone_set_property_value()`
740
741    .. group-tab:: XML
742
743       **Platform file:**
744
745       .. showfile:: examples/platforms/prop.xml
746          :language: xml
747
748 Element filtering
749 -----------------
750
751 Retrieving the netzones matching given criteria
752 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
753
754 Shows how to filter the cluster netzones.
755
756 .. tabs::
757
758    .. example-tab:: examples/cpp/routing-get-clusters/s4u-routing-get-clusters.cpp
759
760 Retrieving the list of hosts matching given criteria
761 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
762
763 Shows how to filter the actors that match given criteria.
764
765 .. tabs::
766
767    .. example-tab:: examples/cpp/engine-filtering/s4u-engine-filtering.cpp
768
769 Profiles
770 --------
771
772 .. _s4u_ex_platform_state_profile:
773
774 Specifying state profiles
775 ^^^^^^^^^^^^^^^^^^^^^^^^^
776
777 Shows how to specify when the resources must be turned off and on again, and how to react to such
778 failures in your code. See also :ref:`howto_churn` and :ref:`this example <s4u_ex_comm_failure>`
779 on how to react to communication failures.
780
781 .. tabs::
782
783    .. example-tab:: examples/cpp/platform-failures/s4u-platform-failures.cpp
784
785    .. example-tab:: examples/c/platform-failures/platform-failures.c
786
787    .. example-tab:: examples/python/platform-failures/platform-failures.py
788
789    .. group-tab:: XML
790
791       .. showfile:: examples/platforms/small_platform_failures.xml
792          :language: xml
793
794       .. showfile:: examples/platforms/profiles/jupiter_state.profile
795
796       .. showfile:: examples/platforms/profiles/fafard_state.profile
797
798 Specifying speed profiles
799 ^^^^^^^^^^^^^^^^^^^^^^^^^
800
801 Shows how to specify an external load to resources, variating their peak speed over time.
802
803    .. tabs::
804
805       .. example-tab:: examples/cpp/platform-profile/s4u-platform-profile.cpp
806
807       .. example-tab:: examples/python/platform-profile/platform-profile.py
808
809       .. group-tab:: XML
810
811          .. showfile:: examples/platforms/small_platform_profile.xml
812             :language: xml
813
814          .. showfile:: examples/platforms/profiles/jupiter_speed.profile
815
816          .. showfile:: examples/platforms/profiles/link1_bandwidth.profile
817
818          .. showfile:: examples/platforms/profiles/link1_latency.profile
819
820 Modifying the platform
821 ----------------------
822
823 Serializing communications 
824 ^^^^^^^^^^^^^^^^^^^^^^^^^^
825
826 This example shows how to limit the amount of communications going through a given link.
827 It is very similar to the other asynchronous communication examples, but messages get serialized by the platform.
828 Without this call to ``Link::set_concurrency_limit(2)``, all messages would be received at the exact same timestamp since
829 they are initiated at the same instant and are of the same size. But with this extra configuration to the link, at most 2 
830 messages can travel through the link at the same time.
831
832 .. tabs::
833
834    .. example-tab:: examples/cpp/platform-comm-serialize/s4u-platform-comm-serialize.cpp
835
836       See also :cpp:func:`simgrid::s4u::Link::set_concurrency_limit()`.
837
838    .. example-tab:: examples/python/platform-comm-serialize/platform-comm-serialize.py
839
840       See also :py:func:`simgrid.Link.set_concurrency_limit()`.
841
842 =================
843 Energy Simulation
844 =================
845
846 Setup
847 -----
848
849 Describing the energy profiles in the platform
850 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
851
852 The first platform file contains the energy profile of each link and host for a wired network, which is necessary to get energy consumption
853 predictions. The second platform file is the equivalent for a wireless network. As usual, you should not trust our example, and you should
854 strive to double-check that your instantiation matches your target platform.
855
856 .. tabs::
857
858    .. group-tab:: XML
859
860 .. showfile:: examples/platforms/energy_platform.xml
861    :language: xml
862
863 .. showfile:: examples/platforms/wifi_energy.xml
864    :language: xml
865
866 Usage
867 -----
868
869 CPU energy consumption
870 ^^^^^^^^^^^^^^^^^^^^^^
871
872 This example shows how to retrieve the amount of energy consumed by the CPU during computations, and the impact of the pstate.
873
874 .. tabs::
875
876    .. example-tab:: examples/cpp/energy-exec/s4u-energy-exec.cpp
877
878    .. example-tab:: examples/c/energy-exec/energy-exec.c
879
880 Virtual machines consumption
881 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
882
883 This example is very similar to the previous one, adding VMs to the picture.
884
885 .. tabs::
886
887    .. example-tab:: examples/cpp/energy-vm/s4u-energy-vm.cpp
888
889    .. example-tab:: examples/c/energy-vm/energy-vm.c
890
891 Wired network energy consumption
892 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
893
894 This example shows how to retrieve and display the energy consumed by the wired network during communications.
895
896 .. tabs::
897
898    .. example-tab:: examples/cpp/energy-link/s4u-energy-link.cpp
899
900 WiFi network energy consumption
901 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
902
903 This example shows how to retrieve and display the energy consumed by the wireless network during communications.
904
905 .. tabs::
906
907    .. example-tab:: examples/cpp/energy-wifi/s4u-energy-wifi.cpp
908
909 Modeling the shutdown and boot of hosts
910 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
911
912 Simple example of a model for the energy consumption during the host boot and shutdown periods.
913
914 .. tabs::
915
916    .. example-tab:: examples/platforms/energy_boot.xml
917
918    .. example-tab:: examples/cpp/energy-boot/s4u-energy-boot.cpp
919
920 =======================
921 Tracing and Visualizing
922 =======================
923
924 Tracing can be activated by various configuration options which are illustrated in these examples. See also the
925 :ref:`full list of options related to tracing <tracing_tracing_options>`.
926 The following introduces  some option sets of interest that you may want to pass to your simulators.
927
928 .. todo::
929    These tracing examples should be integrated in the examples to not duplicate the C++ files.
930    A full command line to see the result in the right tool (vite/FrameSoc) should be given along with some screenshots.
931
932 Platform Tracing
933 ----------------
934
935 Basic example
936 ^^^^^^^^^^^^^
937
938 This program is a toy example just loading the platform so that you can play with the platform visualization. Recommended options:
939 ``--cfg=tracing:yes --cfg=tracing/categorized:yes``
940
941 .. tabs::
942
943    .. example-tab:: examples/cpp/trace-platform/s4u-trace-platform.cpp
944
945 Setting Categories
946 ^^^^^^^^^^^^^^^^^^
947
948 This example declares several tracing categories that are used to
949 classify its tasks. When the program is executed, the tracing mechanism
950 registers the resource utilization of hosts and links according to these
951 categories. Recommended options:
952 ``--cfg=tracing:yes --cfg=tracing/categorized:yes --cfg=tracing/uncategorized:yes``
953
954 .. tabs::
955
956    .. example-tab:: examples/cpp/trace-categories/s4u-trace-categories.cpp
957
958 Master Workers tracing
959 ^^^^^^^^^^^^^^^^^^^^^^
960
961 This is an augmented version of our basic master/worker example using
962 several tracing features. It traces resource usage, sorted out in several
963 categories; Trace marks and user variables are also used. Recommended
964 options: ``--cfg=tracing/categorized:yes --cfg=tracing/uncategorized:yes``
965
966 .. tabs::
967
968    .. example-tab:: examples/cpp/trace-masterworkers/s4u-trace-masterworkers.cpp
969
970    .. example-tab:: examples/python/app-masterworkers/app-masterworkers.py
971
972 Process migration tracing
973 ^^^^^^^^^^^^^^^^^^^^^^^^^
974
975 This version is enhanced so that the process migrations can be displayed
976 as arrows in a Gantt-chart visualization. Recommended options to that
977 extend: ``--cfg=tracing:yes --cfg=tracing/actor:yes``
978
979 .. tabs::
980
981    .. example-tab:: examples/cpp/trace-process-migration/s4u-trace-process-migration.cpp
982
983 Tracing user variables
984 ----------------------
985
986 You can also attach your own variables to any resource described in the platform
987 file. The following examples illustrate this feature.  They have to be run with
988 the following options: ``--cfg=tracing:yes --cfg=tracing/platform:yes``
989
990 Attaching variables to Hosts
991 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
992
993 .. tabs::
994
995    .. example-tab:: examples/cpp/trace-host-user-variables/s4u-trace-host-user-variables.cpp
996
997 Attaching variables to Links
998 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
999
1000 The tricky part is that you have to know the name of the link you want to enhance with a variable.
1001
1002 .. tabs::
1003
1004    .. example-tab:: examples/cpp/trace-link-user-variables/s4u-trace-link-user-variables.cpp
1005
1006 Attaching variables to network routes
1007 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1008
1009 It is often easier to update a given variable for all links of a given network path (identified by its source and destination hosts) instead of
1010 knowing the name of each specific link.
1011
1012 .. tabs::
1013
1014    .. example-tab::  examples/cpp/trace-route-user-variables/s4u-trace-route-user-variables.cpp
1015
1016 ========================
1017 Larger SimGrid Exemplars
1018 ========================
1019
1020 This section contains application examples that are somewhat larger than the previous examples.
1021
1022 Classical examples
1023 ------------------
1024
1025 Token ring
1026 ^^^^^^^^^^
1027
1028 Shows how to implement a classical communication pattern, where a token is exchanged along a ring to reach every participant.
1029
1030 .. tabs::
1031
1032    .. example-tab:: examples/cpp/app-token-ring/s4u-app-token-ring.cpp
1033
1034    .. example-tab:: examples/c/app-token-ring/app-token-ring.c
1035
1036 Master Workers
1037 ^^^^^^^^^^^^^^
1038
1039 Another good old example, where one Master actor has a bunch of tasks to dispatch to a set of several Worker actors.
1040 This example is used in the :ref:`SimGrid tutorial <usecase_simalgo>`.
1041
1042 .. tabs::
1043
1044    .. group-tab:: C++
1045
1046       This example comes in two equivalent variants, one where the actors
1047       are specified as simple functions (which is easier to understand for
1048       newcomers) and one where the actors are specified as classes (which is
1049       more powerful for the users wanting to build their own projects upon
1050       the example).
1051
1052       .. showfile:: examples/cpp/app-masterworkers/s4u-app-masterworkers-class.cpp
1053          :language: cpp
1054
1055       .. showfile:: examples/cpp/app-masterworkers/s4u-app-masterworkers-fun.cpp
1056          :language: cpp
1057
1058    .. group-tab:: C
1059
1060       .. showfile:: examples/c/app-masterworker/app-masterworker.c
1061          :language: cpp
1062
1063    .. example-tab:: examples/python/app-masterworkers/app-masterworkers.py
1064
1065 Data diffusion
1066 --------------
1067
1068 Bit Torrent
1069 ^^^^^^^^^^^
1070
1071 Classical protocol for Peer-to-Peer data diffusion.
1072
1073 .. tabs::
1074
1075    .. group-tab:: C++
1076
1077       .. showfile:: examples/cpp/app-bittorrent/s4u-bittorrent.cpp
1078          :language: cpp
1079
1080       .. showfile:: examples/cpp/app-bittorrent/s4u-peer.cpp
1081          :language: cpp
1082
1083       .. showfile:: examples/cpp/app-bittorrent/s4u-tracker.cpp
1084          :language: cpp
1085
1086    .. group-tab:: C
1087
1088       .. showfile:: examples/c/app-bittorrent/app-bittorrent.c
1089          :language: cpp
1090
1091       .. showfile:: examples/c/app-bittorrent/bittorrent-peer.c
1092          :language: cpp
1093
1094       .. showfile:: examples/c/app-bittorrent/tracker.c
1095          :language: cpp
1096
1097 Chained Send
1098 ^^^^^^^^^^^^
1099
1100 Data broadcast over a ring of processes.
1101
1102 .. tabs::
1103
1104    .. example-tab:: examples/cpp/app-chainsend/s4u-app-chainsend.cpp
1105
1106    .. group-tab:: C
1107
1108       .. showfile:: examples/c/app-chainsend/chainsend.c
1109          :language: c
1110
1111       .. showfile:: examples/c/app-chainsend/broadcaster.c
1112          :language: c
1113
1114       .. showfile:: examples/c/app-chainsend/peer.c
1115          :language: c
1116
1117 Distributed Hash Tables (DHT)
1118 -----------------------------
1119
1120 Chord Protocol
1121 ^^^^^^^^^^^^^^
1122
1123 One of the most famous DHT protocol.
1124
1125 .. tabs::
1126
1127    .. group-tab:: C++
1128
1129       .. showfile:: examples/cpp/dht-chord/s4u-dht-chord.cpp
1130          :language: cpp
1131
1132       .. showfile:: examples/cpp/dht-chord/s4u-dht-chord-node.cpp
1133          :language: cpp
1134
1135 Kademlia
1136 ^^^^^^^^
1137
1138 Another well-known DHT protocol.
1139
1140 .. tabs::
1141
1142    .. group-tab:: C++
1143
1144       .. showfile:: examples/cpp/dht-kademlia/s4u-dht-kademlia.cpp
1145          :language: cpp
1146
1147       .. showfile:: examples/cpp/dht-kademlia/routing_table.cpp
1148          :language: cpp
1149
1150       .. showfile:: examples/cpp/dht-kademlia/answer.cpp
1151          :language: cpp
1152
1153       .. showfile:: examples/cpp/dht-kademlia/node.cpp
1154          :language: cpp
1155
1156    .. group-tab:: C
1157
1158       .. showfile:: examples/c/dht-kademlia/dht-kademlia.c
1159          :language: cpp
1160
1161       .. showfile:: examples/c/dht-kademlia/routing_table.c
1162          :language: cpp
1163
1164       .. showfile:: examples/c/dht-kademlia/answer.c
1165          :language: cpp
1166
1167       .. showfile:: examples/c/dht-kademlia/message.c
1168          :language: cpp
1169
1170       .. showfile:: examples/c/dht-kademlia/node.c
1171          :language: cpp
1172
1173 Pastry
1174 ^^^^^^
1175
1176 Yet another well-known DHT protocol.
1177
1178 .. tabs::
1179
1180    .. example-tab:: examples/c/dht-pastry/dht-pastry.c
1181
1182 .. _s4u_ex_clouds:
1183
1184 Simulating Clouds
1185 -----------------
1186
1187 Cloud basics
1188 ^^^^^^^^^^^^
1189
1190 This example starts some computations both on PMs and VMs and migrates some VMs around.
1191
1192 .. tabs::
1193
1194    .. example-tab:: examples/cpp/cloud-simple/s4u-cloud-simple.cpp
1195
1196    .. example-tab:: examples/c/cloud-simple/cloud-simple.c
1197
1198 Migrating VMs
1199 ^^^^^^^^^^^^^
1200
1201 This example shows how to migrate VMs between PMs.
1202
1203 .. tabs::
1204
1205    .. example-tab:: examples/cpp/cloud-migration/s4u-cloud-migration.cpp
1206
1207    .. example-tab:: examples/c/cloud-migration/cloud-migration.c
1208
1209 =======================
1210 Model-Related Examples
1211 =======================
1212
1213 ns-3 as a model
1214 ---------------
1215
1216 This simple ping-pong example demonstrates how to use the bindings to the Network
1217 Simulator. The most interesting is probably not the C++ files since
1218 they are unchanged from the other simulations, but the associated files,
1219 such as the platform file to see how to declare a platform to be used
1220 with the ns-3 bindings of SimGrid and the tesh file to see how to
1221 start a simulation in these settings.
1222
1223 .. tabs::
1224
1225    .. example-tab:: examples/cpp/network-ns3/s4u-network-ns3.cpp
1226
1227    .. group-tab:: XML
1228
1229       **Platform files:**
1230
1231       .. showfile:: examples/platforms/small_platform_one_link_routes.xml
1232          :language: xml
1233
1234 WiFi links
1235 ----------
1236
1237 This demonstrates how to declare a wifi zone in your platform and
1238 how to use it in your simulation. For that, you should have a link
1239 whose sharing policy is set to `WIFI`. Such links can have more
1240 than one bandwidth value (separated by commas), corresponding to
1241 the several SNR level of your wifi link.
1242
1243 In this case, SimGrid automatically switches to validated
1244 performance models of wifi networks, where the time is shared
1245 between users instead of the bandwidth for wired links (the
1246 corresponding publication is currently being written).
1247
1248 If your wifi link provides more than one SNR level, you can switch
1249 the level of a given host using
1250 :cpp:func:`simgrid::s4u::Link::set_host_wifi_rate`. By default,
1251 the first level is used.
1252
1253 .. tabs::
1254
1255    .. example-tab:: examples/cpp/network-wifi/s4u-network-wifi.cpp
1256
1257    .. group-tab:: XML
1258
1259       **Platform files:**
1260
1261       .. showfile:: examples/platforms/wifi.xml
1262          :language: xml
1263
1264
1265
1266 ===============
1267 Plugin Examples
1268 ===============
1269
1270 It is possible to extend SimGrid without modifying its internals by
1271 attaching code to the existing signals and by adding extra data to the
1272 simulation objects through extensions. How to do that is not exactly
1273 documented yet, and you should look for examples in the src/plugins
1274 directory.
1275
1276 This section documents how the existing plugins can be used. Remember
1277 that you are very welcome to modify the plugins to fit your needs. It
1278 should be much easier than modifying the SimGrid kernel.
1279
1280 Monitoring the host load
1281 ------------------------
1282
1283 .. tabs::
1284
1285    .. example-tab:: examples/cpp/plugin-host-load/s4u-plugin-host-load.cpp
1286
1287    .. example-tab:: examples/c/plugin-host-load/plugin-host-load.c
1288
1289 Monitoring the link load
1290 ------------------------
1291
1292 .. tabs::
1293
1294    .. example-tab:: examples/cpp/plugin-link-load/s4u-plugin-link-load.cpp
1295
1296 =======================
1297 Model-Checking Examples
1298 =======================
1299
1300 The model-checker can be used to exhaustively search for issues in the tested application. It must be activated at compile-time, but this
1301 mode is rather experimental in SimGrid (as of v3.25). We are working on it :)
1302
1303 Failing assert
1304 --------------
1305
1306 In this example, two actors send some data to a central server, which asserts that the messages are always received in the same order.
1307 This is wrong, and the model-checker correctly finds a counter-example to that assertion.
1308
1309 .. tabs::
1310
1311    .. example-tab:: examples/cpp/mc-failing-assert/s4u-mc-failing-assert.cpp
1312
1313 .. |br| raw:: html
1314
1315    <br />