src/mc/remote/CheckerSide.cpp

   1 /* Copyright (c) 2007-2023. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "src/mc/remote/CheckerSide.hpp"
   7 #include "src/mc/explo/Exploration.hpp"
   8 #include "src/mc/explo/LivenessChecker.hpp"
   9 #include "src/mc/sosp/RemoteProcessMemory.hpp"
  10 #include "xbt/system_error.hpp"
  11
  12 #ifdef __linux__
  13 #include <sys/personality.h>
  14 #include <sys/prctl.h>
  15 #endif
  16
  17 #include <boost/tokenizer.hpp>
  18 #include <csignal>
  19 #include <fcntl.h>
  20 #include <sys/ptrace.h>
  21 #include <sys/wait.h>
  22
  23 #ifdef __linux__
  24 #define WAITPID_CHECKED_FLAGS __WALL
  25 #else
  26 #define WAITPID_CHECKED_FLAGS 0
  27 #endif
  28
  29 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_checkerside, mc, "MC communication with the application");
  30
  31 static simgrid::config::Flag<std::string> _sg_mc_setenv{
  32     "model-check/setenv", "Extra environment variables to pass to the child process (ex: 'AZE=aze;QWE=qwe').", "",
  33     [](std::string_view value) {
  34       xbt_assert(value.empty() || value.find('=', 0) != std::string_view::npos,
  35                  "The 'model-check/setenv' parameter must be like 'AZE=aze', but it does not contain an equal sign.");
  36     }};
  37
  38 namespace simgrid::mc {
  39
  40 XBT_ATTRIB_NORETURN static void run_child_process(int socket, const std::vector<char*>& args)
  41 {
  42   /* On startup, simix_global_init() calls simgrid::mc::Client::initialize(), which checks whether the MC_ENV_SOCKET_FD
  43    * env variable is set. If so, MC mode is assumed, and the client is setup from its side
  44    */
  45
  46 #ifdef __linux__
  47   // Make sure we do not outlive our parent
  48   sigset_t mask;
  49   sigemptyset(&mask);
  50   xbt_assert(sigprocmask(SIG_SETMASK, &mask, nullptr) >= 0, "Could not unblock signals");
  51   xbt_assert(prctl(PR_SET_PDEATHSIG, SIGHUP) == 0, "Could not PR_SET_PDEATHSIG");
  52
  53   // Make sure that the application process layout is not randomized, so that the info we gather is stable over re-execs
  54   if (personality(ADDR_NO_RANDOMIZE) == -1) {
  55     XBT_ERROR("Could not set the NO_RANDOMIZE personality");
  56     throw xbt::errno_error();
  57   }
  58 #endif
  59
  60   // Remove CLOEXEC to pass the socket to the application
  61   int fdflags = fcntl(socket, F_GETFD, 0);
  62   xbt_assert(fdflags != -1 && fcntl(socket, F_SETFD, fdflags & ~FD_CLOEXEC) != -1,
  63              "Could not remove CLOEXEC for socket");
  64
  65   setenv(MC_ENV_SOCKET_FD, std::to_string(socket).c_str(), 1);
  66
  67   /* Setup the tokenizer that parses the cfg:model-check/setenv parameter */
  68   using Tokenizer = boost::tokenizer<boost::char_separator<char>>;
  69   boost::char_separator<char> semicol_sep(";");
  70   boost::char_separator<char> equal_sep("=");
  71   Tokenizer token_vars(_sg_mc_setenv.get(), semicol_sep); /* Iterate over all FOO=foo parts */
  72   for (const auto& token : token_vars) {
  73     std::vector<std::string> kv;
  74     Tokenizer token_kv(token, equal_sep);
  75     for (const auto& t : token_kv) /* Iterate over 'FOO' and then 'foo' in that 'FOO=foo' */
  76       kv.push_back(t);
  77     xbt_assert(kv.size() == 2, "Parse error on 'model-check/setenv' value %s. Does it contain an equal sign?",
  78                token.c_str());
  79     XBT_INFO("setenv '%s'='%s'", kv[0].c_str(), kv[1].c_str());
  80     setenv(kv[0].c_str(), kv[1].c_str(), 1);
  81   }
  82
  83   /* And now, exec the child process */
  84   int i = 1;
  85   while (args[i] != nullptr && args[i][0] == '-')
  86     i++;
  87
  88   xbt_assert(args[i] != nullptr,
  89              "Unable to find a binary to exec on the command line. Did you only pass config flags?");
  90
  91   execvp(args[i], args.data() + i);
  92   XBT_CRITICAL("The model-checked process failed to exec(%s): %s.\n"
  93                "        Make sure that your binary exists on disk and is executable.",
  94                args[i], strerror(errno));
  95   if (strchr(args[i], '=') != nullptr)
  96     XBT_CRITICAL("If you want to pass environment variables to the application, please use --cfg=model-check/setenv:%s",
  97                  args[i]);
  98
  99   xbt_die("Aborting now.");
 100 }
 101
 102 static void wait_application_process(pid_t pid)
 103 {
 104   XBT_DEBUG("Waiting for the model-checked process");
 105   int status;
 106
 107   // The model-checked process SIGSTOP itself to signal it's ready:
 108   xbt_assert(waitpid(pid, &status, WAITPID_CHECKED_FLAGS) == pid && WIFSTOPPED(status) && WSTOPSIG(status) == SIGSTOP,
 109              "Could not wait model-checked process");
 110
 111   errno = 0;
 112 #ifdef __linux__
 113   ptrace(PTRACE_SETOPTIONS, pid, nullptr, PTRACE_O_TRACEEXIT);
 114   ptrace(PTRACE_CONT, pid, 0, 0);
 115 #elif defined BSD
 116   ptrace(PT_CONTINUE, pid, (caddr_t)1, 0);
 117 #else
 118 #error "no ptrace equivalent coded for this platform"
 119 #endif
 120   xbt_assert(errno == 0,
 121              "Ptrace does not seem to be usable in your setup (errno: %d). "
 122              "If you run from within a docker, adding `--cap-add SYS_PTRACE` to the docker line may help. "
 123              "If it does not help, please report this bug.",
 124              errno);
 125 }
 126
 127 void CheckerSide::setup_events()
 128 {
 129   if (base_ != nullptr)
 130     event_base_free(base_.get());
 131   auto* base = event_base_new();
 132   base_.reset(base);
 133
 134   auto* socket_event = event_new(
 135       base, get_channel().get_socket(), EV_READ | EV_PERSIST,
 136       [](evutil_socket_t sig, short events, void* arg) {
 137         auto checker = static_cast<simgrid::mc::CheckerSide*>(arg);
 138         if (events == EV_READ) {
 139           std::array<char, MC_MESSAGE_LENGTH> buffer;
 140           ssize_t size = recv(checker->get_channel().get_socket(), buffer.data(), buffer.size(), MSG_DONTWAIT);
 141           if (size == -1) {
 142             XBT_ERROR("Channel::receive failure: %s", strerror(errno));
 143             if (errno != EAGAIN)
 144               throw simgrid::xbt::errno_error();
 145           }
 146
 147           if (not checker->handle_message(buffer.data(), size))
 148             checker->break_loop();
 149         } else {
 150           xbt_die("Unexpected event");
 151         }
 152       },
 153       this);
 154   event_add(socket_event, nullptr);
 155   socket_event_.reset(socket_event);
 156
 157   auto* signal_event = event_new(
 158       base, SIGCHLD, EV_SIGNAL | EV_PERSIST,
 159       [](evutil_socket_t sig, short events, void* arg) {
 160         auto checker = static_cast<simgrid::mc::CheckerSide*>(arg);
 161         if (events == EV_SIGNAL) {
 162           if (sig == SIGCHLD)
 163             checker->handle_waitpid();
 164           else
 165             xbt_die("Unexpected signal: %d", sig);
 166         } else {
 167           xbt_die("Unexpected event");
 168         }
 169       },
 170       this);
 171   event_add(signal_event, nullptr);
 172   signal_event_.reset(signal_event);
 173 }
 174
 175 CheckerSide::CheckerSide(const std::vector<char*>& args) : running_(true)
 176 {
 177   // Create an AF_LOCAL socketpair used for exchanging messages between the model-checker process (ancestor)
 178   // and the application process (child)
 179   int sockets[2];
 180   xbt_assert(socketpair(AF_LOCAL, SOCK_SEQPACKET | SOCK_CLOEXEC, 0, sockets) != -1, "Could not create socketpair");
 181
 182   pid_ = fork();
 183   xbt_assert(pid_ >= 0, "Could not fork model-checked process");
 184
 185   if (pid_ == 0) { // Child
 186     ::close(sockets[1]);
 187     run_child_process(sockets[0], args);
 188     DIE_IMPOSSIBLE;
 189   }
 190
 191   // Parent (model-checker):
 192   ::close(sockets[0]);
 193   channel_.reset_socket(sockets[1]);
 194
 195   setup_events();
 196   wait_application_process(pid_);
 197
 198   wait_for_requests();
 199 }
 200
 201 void CheckerSide::dispatch_events() const
 202 {
 203   event_base_dispatch(base_.get());
 204 }
 205
 206 void CheckerSide::break_loop() const
 207 {
 208   event_base_loopbreak(base_.get());
 209 }
 210
 211 bool CheckerSide::handle_message(const char* buffer, ssize_t size)
 212 {
 213   s_mc_message_t base_message;
 214   xbt_assert(size >= (ssize_t)sizeof(base_message), "Broken message");
 215   memcpy(&base_message, buffer, sizeof(base_message));
 216
 217   switch (base_message.type) {
 218     case MessageType::INITIAL_ADDRESSES: {
 219       s_mc_message_initial_addresses_t message;
 220       xbt_assert(size == sizeof(message), "Broken message. Got %d bytes instead of %d.", (int)size,
 221                  (int)sizeof(message));
 222       memcpy(&message, buffer, sizeof(message));
 223       /* Create the memory address space, now that we have the mandatory information */
 224       remote_memory_ = std::make_unique<simgrid::mc::RemoteProcessMemory>(pid_, message.mmalloc_default_mdp);
 225       break;
 226     }
 227
 228     case MessageType::IGNORE_HEAP: {
 229       s_mc_message_ignore_heap_t message;
 230       xbt_assert(size == sizeof(message), "Broken message");
 231       memcpy(&message, buffer, sizeof(message));
 232
 233       IgnoredHeapRegion region;
 234       region.block    = message.block;
 235       region.fragment = message.fragment;
 236       region.address  = message.address;
 237       region.size     = message.size;
 238       get_remote_memory().ignore_heap(region);
 239       break;
 240     }
 241
 242     case MessageType::UNIGNORE_HEAP: {
 243       s_mc_message_ignore_memory_t message;
 244       xbt_assert(size == sizeof(message), "Broken message");
 245       memcpy(&message, buffer, sizeof(message));
 246       get_remote_memory().unignore_heap((void*)(std::uintptr_t)message.addr, message.size);
 247       break;
 248     }
 249
 250     case MessageType::IGNORE_MEMORY: {
 251       s_mc_message_ignore_memory_t message;
 252       xbt_assert(size == sizeof(message), "Broken message");
 253       memcpy(&message, buffer, sizeof(message));
 254       get_remote_memory().ignore_region(message.addr, message.size);
 255       break;
 256     }
 257
 258     case MessageType::STACK_REGION: {
 259       s_mc_message_stack_region_t message;
 260       xbt_assert(size == sizeof(message), "Broken message");
 261       memcpy(&message, buffer, sizeof(message));
 262       get_remote_memory().stack_areas().push_back(message.stack_region);
 263     } break;
 264
 265     case MessageType::REGISTER_SYMBOL: {
 266       s_mc_message_register_symbol_t message;
 267       xbt_assert(size == sizeof(message), "Broken message");
 268       memcpy(&message, buffer, sizeof(message));
 269       xbt_assert(not message.callback, "Support for client-side function proposition is not implemented.");
 270       XBT_DEBUG("Received symbol: %s", message.name.data());
 271
 272       LivenessChecker::automaton_register_symbol(get_remote_memory(), message.name.data(), remote((int*)message.data));
 273       break;
 274     }
 275
 276     case MessageType::WAITING:
 277       return false;
 278
 279     case MessageType::ASSERTION_FAILED:
 280       Exploration::get_instance()->report_assertion_failure();
 281       break;
 282
 283     default:
 284       xbt_die("Unexpected message from model-checked application");
 285   }
 286   return true;
 287 }
 288
 289 void CheckerSide::wait_for_requests()
 290 {
 291   /* Resume the application */
 292   if (get_channel().send(MessageType::CONTINUE) != 0)
 293     throw xbt::errno_error();
 294   clear_memory_cache();
 295
 296   if (running())
 297     dispatch_events();
 298 }
 299
 300 void CheckerSide::clear_memory_cache()
 301 {
 302   if (remote_memory_)
 303     remote_memory_->clear_cache();
 304 }
 305
 306 void CheckerSide::handle_waitpid()
 307 {
 308   XBT_DEBUG("Check for wait event");
 309   int status;
 310   pid_t pid;
 311   while ((pid = waitpid(-1, &status, WNOHANG)) != 0) {
 312     if (pid == -1) {
 313       if (errno == ECHILD) { // No more children:
 314         xbt_assert(not this->running(), "Inconsistent state");
 315         break;
 316       } else {
 317         XBT_ERROR("Could not wait for pid");
 318         throw simgrid::xbt::errno_error();
 319       }
 320     }
 321
 322     if (pid == get_pid()) {
 323       // From PTRACE_O_TRACEEXIT:
 324 #ifdef __linux__
 325       if (status >> 8 == (SIGTRAP | (PTRACE_EVENT_EXIT << 8))) {
 326         unsigned long eventmsg;
 327         xbt_assert(ptrace(PTRACE_GETEVENTMSG, pid, 0, &eventmsg) != -1, "Could not get exit status");
 328         status = static_cast<int>(eventmsg);
 329         if (WIFSIGNALED(status)) {
 330           this->terminate();
 331           Exploration::get_instance()->report_crash(status);
 332         }
 333       }
 334 #endif
 335
 336       // We don't care about non-lethal signals, just reinject them:
 337       if (WIFSTOPPED(status)) {
 338         XBT_DEBUG("Stopped with signal %i", (int)WSTOPSIG(status));
 339         errno = 0;
 340 #ifdef __linux__
 341         ptrace(PTRACE_CONT, pid, 0, WSTOPSIG(status));
 342 #elif defined BSD
 343         ptrace(PT_CONTINUE, pid, (caddr_t)1, WSTOPSIG(status));
 344 #endif
 345         xbt_assert(errno == 0, "Could not PTRACE_CONT");
 346       }
 347
 348       else if (WIFSIGNALED(status)) {
 349         this->terminate();
 350         Exploration::get_instance()->report_crash(status);
 351       } else if (WIFEXITED(status)) {
 352         XBT_DEBUG("Child process is over");
 353         this->terminate();
 354       }
 355     }
 356   }
 357 }
 358
 359 } // namespace simgrid::mc