Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'master' of https://framagit.org/simgrid/simgrid into no_simix_global
[simgrid.git] / src / plugins / host_energy.cpp
index 9d35a374081c19ffdf921aaf8da42f4f90f507c2..7917c2df1cc709576b5f26cc1a42372f186f1d7c 100644 (file)
@@ -1,4 +1,4 @@
-/* Copyright (c) 2010-2020. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2010-2021. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
@@ -131,12 +131,16 @@ class HostEnergy {
   simgrid::s4u::Host* host_ = nullptr;
   /*< List of (idle_power, epsilon_power, max_power) tuple corresponding to each cpu pstate */
   std::vector<PowerRange> power_range_watts_list_;
+  bool has_pstate_power_values_ = false; /*< Whether power consumption values were provided for all pstates */
 
   /* We need to keep track of what pstate has been used, as we will sometimes be notified only *after* a pstate has been
    * used (but we need to update the energy consumption with the old pstate!)
    */
   int pstate_           = 0;
   const int pstate_off_ = -1;
+  double watts_off_     = 0.0;              /*< Consumption when the machine is turned off (shutdown) */
+  double total_energy_  = 0.0;              /*< Total energy consumed by the host */
+  double last_updated_  = surf_get_clock(); /*< Timestamp of the last energy update event*/
 
   /* Only used to split total energy into unused/used hosts.
    * If you want to get this info for something else, rather use the host_load plugin
@@ -152,26 +156,30 @@ public:
   explicit HostEnergy(simgrid::s4u::Host* ptr);
   ~HostEnergy();
 
+  bool has_pstate_power_values() const;
+
   double get_current_watts_value();
-  double get_current_watts_value(double cpu_load);
+  double get_current_watts_value(double cpu_load) const;
   double get_consumed_energy();
-  double get_watt_idle_at(int pstate);
-  double get_watt_min_at(int pstate);
-  double get_watt_max_at(int pstate);
-  double get_power_range_slope_at(int pstate);
+  double get_watt_idle_at(int pstate) const;
+  double get_watt_min_at(int pstate) const;
+  double get_watt_max_at(int pstate) const;
+  double get_power_range_slope_at(int pstate) const;
+  double get_last_update_time() const { return last_updated_; }
   void update();
-
-  double watts_off_    = 0.0; /*< Consumption when the machine is turned off (shutdown) */
-  double total_energy_ = 0.0; /*< Total energy consumed by the host */
-  double last_updated_ = surf_get_clock(); /*< Timestamp of the last energy update event*/
 };
 
 simgrid::xbt::Extension<simgrid::s4u::Host, HostEnergy> HostEnergy::EXTENSION_ID;
 
+/* Returns whether power consumption values were provided for all pstates. */
+bool HostEnergy::has_pstate_power_values() const {
+  return has_pstate_power_values_;
+}
+
 /* Computes the consumption so far. Called lazily on need. */
 void HostEnergy::update()
 {
-  double start_time  = this->last_updated_;
+  double start_time  = last_updated_;
   double finish_time = surf_get_clock();
   //
   // We may have start == finish if the past consumption was updated since the simcall was started
@@ -180,7 +188,7 @@ void HostEnergy::update()
   // Even in this case, we need to save the pstate for the next call (after this if),
   // which may have changed since that recent update.
   if (start_time < finish_time) {
-    double previous_energy = this->total_energy_;
+    double previous_energy = total_energy_;
 
     double instantaneous_power_consumption = this->get_current_watts_value();
 
@@ -188,17 +196,17 @@ void HostEnergy::update()
 
     // TODO Trace: Trace energy_this_step from start_time to finish_time in host->getName()
 
-    this->total_energy_ = previous_energy + energy_this_step;
-    this->last_updated_ = finish_time;
+    total_energy_ = previous_energy + energy_this_step;
+    last_updated_ = finish_time;
 
     XBT_DEBUG("[update_energy of %s] period=[%.8f-%.8f]; current speed=%.2E flop/s (pstate %i); total consumption "
               "before: %.8f J -> added now: %.8f J",
-              host_->get_cname(), start_time, finish_time, host_->get_pstate_speed(this->pstate_), this->pstate_,
-              previous_energy, energy_this_step);
+              host_->get_cname(), start_time, finish_time, host_->get_pstate_speed(pstate_), pstate_, previous_energy,
+              energy_this_step);
   }
 
   /* Save data for the upcoming time interval: whether it's on/off and the pstate if it's on */
-  this->pstate_ = host_->is_on() ? host_->get_pstate() : pstate_off_;
+  pstate_ = host_->is_on() ? host_->get_pstate() : pstate_off_;
 }
 
 HostEnergy::HostEnergy(simgrid::s4u::Host* ptr) : host_(ptr)
@@ -206,15 +214,6 @@ HostEnergy::HostEnergy(simgrid::s4u::Host* ptr) : host_(ptr)
   init_watts_range_list();
 
   const char* off_power_str = host_->get_property("wattage_off");
-  if (off_power_str == nullptr) {
-    off_power_str = host_->get_property("watt_off");
-
-    static bool warned = false;
-    if (off_power_str != nullptr && not warned) {
-      warned = true;
-      XBT_WARN("Please use 'wattage_off' instead of 'watt_off' to define the idle wattage of hosts in your XML.");
-    }
-  }
   if (off_power_str != nullptr) {
     try {
       this->watts_off_ = std::stod(std::string(off_power_str));
@@ -228,31 +227,31 @@ HostEnergy::HostEnergy(simgrid::s4u::Host* ptr) : host_(ptr)
 
 HostEnergy::~HostEnergy() = default;
 
-double HostEnergy::get_watt_idle_at(int pstate)
+double HostEnergy::get_watt_idle_at(int pstate) const
 {
-  xbt_assert(not power_range_watts_list_.empty(), "No power range properties specified for host %s",
-             host_->get_cname());
+  if (not has_pstate_power_values_)
+    return 0.0;
   return power_range_watts_list_[pstate].idle_;
 }
 
-double HostEnergy::get_watt_min_at(int pstate)
+double HostEnergy::get_watt_min_at(int pstate) const
 {
-  xbt_assert(not power_range_watts_list_.empty(), "No power range properties specified for host %s",
-             host_->get_cname());
+  if (not has_pstate_power_values_)
+    return 0.0;
   return power_range_watts_list_[pstate].epsilon_;
 }
 
-double HostEnergy::get_watt_max_at(int pstate)
+double HostEnergy::get_watt_max_at(int pstate) const
 {
-  xbt_assert(not power_range_watts_list_.empty(), "No power range properties specified for host %s",
-             host_->get_cname());
+  if (not has_pstate_power_values_)
+    return 0.0;
   return power_range_watts_list_[pstate].max_;
 }
 
-double HostEnergy::get_power_range_slope_at(int pstate)
+double HostEnergy::get_power_range_slope_at(int pstate) const
 {
-  xbt_assert(not power_range_watts_list_.empty(), "No power range properties specified for host %s",
-             host_->get_cname());
+  if (not has_pstate_power_values_)
+    return 0.0;
   return power_range_watts_list_[pstate].slope_;
 }
 
@@ -292,10 +291,10 @@ double HostEnergy::get_current_watts_value()
  *
  * Whether the host is ON or OFF is not taken into account.
  */
-double HostEnergy::get_current_watts_value(double cpu_load)
+double HostEnergy::get_current_watts_value(double cpu_load) const
 {
-  xbt_assert(not power_range_watts_list_.empty(), "No power range properties specified for host %s",
-             host_->get_cname());
+  if (not has_pstate_power_values_)
+    return 0.0;
 
   /* Return watts_off if pstate == pstate_off (ie, if the host is off) */
   if (this->pstate_ == pstate_off_) {
@@ -340,70 +339,9 @@ double HostEnergy::get_consumed_energy()
 
 void HostEnergy::init_watts_range_list()
 {
-  const char* old_prop = host_->get_property("watt_per_state");
-  if (old_prop != nullptr) {
-    std::vector<std::string> all_power_values;
-    boost::split(all_power_values, old_prop, boost::is_any_of(","));
-
-    xbt_assert(all_power_values.size() == (unsigned)host_->get_pstate_count(),
-               "Invalid XML file. Found %zu energetic profiles for %d pstates", all_power_values.size(),
-               host_->get_pstate_count());
-
-    // XBT_ATTRIB_DEPRECATED_v328: putting this macro name here so that we find it during the deprecation cleanups
-    std::string msg = std::string("DEPRECATION WARNING: Property 'watt_per_state' will only work until v3.28.\n");
-    msg += std::string("The old syntax 'Idle:OneCore:AllCores' must be converted into 'Idle:Epsilon:AllCores' to "
-                       "properly model the consumption of non-whole tasks on mono-core hosts. Here are the values to "
-                       "use for host '") +
-           host_->get_cname() + "' in your XML file:\n";
-    msg += "     <prop id=\"wattage_per_state\" value=\"";
-    for (auto const& current_power_values_str : all_power_values) {
-      std::vector<std::string> current_power_values;
-      boost::split(current_power_values, current_power_values_str, boost::is_any_of(":"));
-      double p_idle = xbt_str_parse_double((current_power_values.at(0)).c_str(),
-                                           "Invalid obsolete XML file. Fix your watt_per_state property.");
-      double p_full;
-      double p_epsilon;
-
-      if (current_power_values.size() == 3) {
-        double p_one_core = xbt_str_parse_double((current_power_values.at(1)).c_str(),
-                                                 "Invalid obsolete XML file. Fix your watt_per_state property.");
-        p_full     = xbt_str_parse_double((current_power_values.at(2)).c_str(),
-                                      "Invalid obsolete XML file. Fix your watt_per_state property.");
-        if (host_->get_core_count() == 1) {
-          p_epsilon = p_full;
-        } else {
-          p_epsilon = p_one_core - ((p_full - p_one_core) / (host_->get_core_count() - 1));
-        }
-      } else { // consumption given with idle and full only
-        p_full = xbt_str_parse_double((current_power_values.at(1)).c_str(),
-                                      "Invalid obsolete XML file. Fix your watt_per_state property.");
-        if (host_->get_core_count() == 1) {
-          p_epsilon = p_full;
-        } else {
-          p_epsilon = p_idle;
-        }
-      }
-
-      PowerRange range(p_idle, p_epsilon, p_full);
-      power_range_watts_list_.push_back(range);
-
-      msg += std::to_string(p_idle) + ":" + std::to_string(p_epsilon) + ":" + std::to_string(p_full);
-      msg += ",";
-    }
-    msg.pop_back(); // Remove the extraneous ','
-    msg += "\" />";
-    XBT_WARN("%s", msg.c_str());
-    return;
-  }
-
   const char* all_power_values_str = host_->get_property("wattage_per_state");
   if (all_power_values_str == nullptr) {
-    /* If no power values are given, we assume it's 0 everywhere */
-    XBT_DEBUG("No energetic profiles given for host %s, using 0 W by default.", host_->get_cname());
-    for (int i = 0; i < host_->get_pstate_count(); ++i) {
-        PowerRange range(0,0,0);
-        power_range_watts_list_.push_back(range);
-    }
+    XBT_WARN("No energetic profiles (wattage_per_state) given for host %s, using 0 W by default. Direct request of power/energy consumption of this host will fail.", host_->get_cname());
     return;
   }
 
@@ -411,8 +349,8 @@ void HostEnergy::init_watts_range_list()
   boost::split(all_power_values, all_power_values_str, boost::is_any_of(","));
   XBT_DEBUG("%s: power properties: %s", host_->get_cname(), all_power_values_str);
 
-  xbt_assert(all_power_values.size() == (unsigned)host_->get_pstate_count(),
-             "Invalid XML file. Found %zu energetic profiles for %d pstates", all_power_values.size(),
+  xbt_assert(all_power_values.size() == host_->get_pstate_count(),
+             "Invalid XML file. Found %zu energetic profiles for %lu pstates", all_power_values.size(),
              host_->get_pstate_count());
 
   int i = 0;
@@ -430,28 +368,27 @@ void HostEnergy::init_watts_range_list()
     double epsilon_power;
     double max_power;
 
-    char* msg_idle    = bprintf("Invalid Idle value for pstate %d on host %s: %%s", i, host_->get_cname());
-    char* msg_epsilon = bprintf("Invalid Epsilon value for pstate %d on host %s: %%s", i, host_->get_cname());
-    char* msg_max     = bprintf("Invalid AllCores value for pstate %d on host %s: %%s", i, host_->get_cname());
+    auto msg_idle    = xbt::string_printf("Invalid Idle value for pstate %d on host %s", i, host_->get_cname());
+    auto msg_epsilon = xbt::string_printf("Invalid Epsilon value for pstate %d on host %s", i, host_->get_cname());
+    auto msg_max     = xbt::string_printf("Invalid AllCores value for pstate %d on host %s", i, host_->get_cname());
 
-    idle_power = xbt_str_parse_double((current_power_values.at(0)).c_str(), msg_idle);
+    idle_power = xbt_str_parse_double((current_power_values.at(0)).c_str(), msg_idle.c_str());
     if (current_power_values.size() == 2) { // Case: Idle:AllCores
-      epsilon_power = xbt_str_parse_double((current_power_values.at(0)).c_str(), msg_idle);
-      max_power     = xbt_str_parse_double((current_power_values.at(1)).c_str(), msg_max);
+      epsilon_power = xbt_str_parse_double((current_power_values.at(0)).c_str(), msg_idle.c_str());
+      max_power     = xbt_str_parse_double((current_power_values.at(1)).c_str(), msg_max.c_str());
     } else { // Case: Idle:Epsilon:AllCores
-      epsilon_power = xbt_str_parse_double((current_power_values.at(1)).c_str(), msg_epsilon);
-      max_power     = xbt_str_parse_double((current_power_values.at(2)).c_str(), msg_max);
+      epsilon_power = xbt_str_parse_double((current_power_values.at(1)).c_str(), msg_epsilon.c_str());
+      max_power     = xbt_str_parse_double((current_power_values.at(2)).c_str(), msg_max.c_str());
     }
 
     XBT_DEBUG("Creating PowerRange for host %s. Idle:%f, Epsilon:%f, AllCores:%f.", host_->get_cname(), idle_power, epsilon_power, max_power);
 
     PowerRange range(idle_power, epsilon_power, max_power);
     power_range_watts_list_.push_back(range);
-    xbt_free(msg_idle);
-    xbt_free(msg_epsilon);
-    xbt_free(msg_max);
     ++i;
   }
+
+  has_pstate_power_values_ = true;
 }
 } // namespace plugin
 } // namespace simgrid
@@ -472,8 +409,8 @@ static void on_creation(simgrid::s4u::Host& host)
 static void on_action_state_change(simgrid::kernel::resource::CpuAction const& action,
                                    simgrid::kernel::resource::Action::State /*previous*/)
 {
-  for (simgrid::kernel::resource::Cpu* const& cpu : action.cpus()) {
-    simgrid::s4u::Host* host = cpu->get_host();
+  for (simgrid::kernel::resource::CpuImpl* const& cpu : action.cpus()) {
+    simgrid::s4u::Host* host = cpu->get_iface();
     if (host != nullptr) {
       // If it's a VM, take the corresponding PM
       const simgrid::s4u::VirtualMachine* vm = dynamic_cast<simgrid::s4u::VirtualMachine*>(host);
@@ -481,9 +418,9 @@ static void on_action_state_change(simgrid::kernel::resource::CpuAction const& a
         host = vm->get_pm();
 
       // Get the host_energy extension for the relevant host
-      HostEnergy* host_energy = host->extension<HostEnergy>();
+      auto* host_energy = host->extension<HostEnergy>();
 
-      if (host_energy->last_updated_ < surf_get_clock())
+      if (host_energy->get_last_update_time() < surf_get_clock())
         host_energy->update();
     }
   }
@@ -496,7 +433,7 @@ static void on_host_change(simgrid::s4u::Host const& host)
   if (dynamic_cast<simgrid::s4u::VirtualMachine const*>(&host)) // Ignore virtual machines
     return;
 
-  HostEnergy* host_energy = host.extension<HostEnergy>();
+  auto* host_energy = host.extension<HostEnergy>();
 
   host_energy->update();
 }
@@ -512,15 +449,13 @@ static void on_host_destruction(simgrid::s4u::Host const& host)
 
 static void on_simulation_end()
 {
-  std::vector<simgrid::s4u::Host*> hosts = simgrid::s4u::Engine::get_instance()->get_all_hosts();
-
   double total_energy      = 0.0; // Total energy consumption (whole platform)
   double used_hosts_energy = 0.0; // Energy consumed by hosts that computed something
-  for (size_t i = 0; i < hosts.size(); i++) {
-    if (dynamic_cast<simgrid::s4u::VirtualMachine*>(hosts[i]) == nullptr) { // Ignore virtual machines
-      double energy      = hosts[i]->extension<HostEnergy>()->get_consumed_energy();
+  for (simgrid::s4u::Host const* host : simgrid::s4u::Engine::get_instance()->get_all_hosts()) {
+    if (host && dynamic_cast<const simgrid::s4u::VirtualMachine*>(host) == nullptr) { // Ignore virtual machines
+      double energy = host->extension<HostEnergy>()->get_consumed_energy();
       total_energy += energy;
-      if (hosts[i]->extension<HostEnergy>()->host_was_used_)
+      if (host->extension<HostEnergy>()->host_was_used_)
         used_hosts_energy += energy;
     }
   }
@@ -553,7 +488,7 @@ void sg_host_energy_plugin_init()
   // that the next trigger would be the 2nd compute, hence ignoring the idle time
   // during the recv call. By updating at the beginning of a compute, we can
   // fix that. (If the cpu is not idle, this is not required.)
-  simgrid::s4u::Exec::on_start.connect([](simgrid::s4u::Actor const&, simgrid::s4u::Exec const& activity) {
+  simgrid::s4u::Exec::on_start.connect([](simgrid::s4u::Exec const& activity) {
     if (activity.get_host_number() == 1) { // We only run on one host
       simgrid::s4u::Host* host         = activity.get_host();
       const simgrid::s4u::VirtualMachine* vm = dynamic_cast<simgrid::s4u::VirtualMachine*>(host);
@@ -600,7 +535,10 @@ static void ensure_plugin_inited()
 double sg_host_get_consumed_energy(const_sg_host_t host)
 {
   ensure_plugin_inited();
-  return host->extension<HostEnergy>()->get_consumed_energy();
+  auto host_energy = host->extension<HostEnergy>();
+  xbt_assert(host_energy->has_pstate_power_values(), "No power range properties specified for host %s",
+             host->get_cname());
+  return host_energy->get_consumed_energy();
 }
 
 /** @ingroup plugin_host_energy
@@ -651,5 +589,8 @@ double sg_host_get_power_range_slope_at(const_sg_host_t host, int pstate)
 double sg_host_get_current_consumption(const_sg_host_t host)
 {
   ensure_plugin_inited();
-  return host->extension<HostEnergy>()->get_current_watts_value();
+  auto host_energy = host->extension<HostEnergy>();
+  xbt_assert(host_energy->has_pstate_power_values(), "No power range properties specified for host %s",
+             host->get_cname());
+  return host_energy->get_current_watts_value();
 }