Mesos如何将资源分配给Hadoop的task

3290阅读　0评论2013-10-05　风箫夜吟
分类：架构设计与优化

在这一个章节中，我们来追踪一下，用户提交了一个作业之后，如何从Mesos之中获取资源？

当然我们还是接着我上一中我们追踪到，FrameworkScheduler的代码，resourceOffers（）函数

点击(此处)折叠或打开

  1. public void resourceOffers(SchedulerDriver d, List<Offer> offers) {
  2.     try {
  3.       synchronized(jobTracker) {

  5.         int numOffers = (int) offers.size();
  6.         double[] cpus = new double[numOffers];
  7.         double[] mem = new double[numOffers];

  9.         // Count up the amount of free CPUs and memory on each node
  10.         for (int i = 0; i < numOffers; i++) {
  11.           Offer offer = offers.get(i);
  12.           LOG.info("Got resource offer " + offer.getId());
  13.           cpus[i] = getResource(offer, "cpus");
  14.           mem[i] = getResource(offer, "mem");
  15.         }

  17.         // Assign tasks to the nodes in a round-robin manner, and stop when we
  18.         // are unable to assign a task to any node.
  19.         // We do this by keeping a linked list of indices of nodes for which
  20.         // we are still considering assigning tasks. Whenever we can't find a
  21.         // new task for a node, we remove it from the list. When the list is
  22.         // empty, no further assignments can be made. This algorithm was chosen
  23.         // because it minimizing the amount of scanning we need to do if we
  24.         // get a large set of offered nodes.
  25.         List<Integer> indices = new LinkedList<Integer>();
  26.         List<List<TaskInfo>> replies =
  27.             new ArrayList<List<TaskInfo>>(numOffers);
  28.         for (int i = 0; i < numOffers; i++) {
  29.           indices.add(i);
  30.           replies.add(new ArrayList<TaskInfo>());
  31.         }
  32.         while (indices.size() > 0) {
  33.           for (Iterator<Integer> it = indices.iterator(); it.hasNext();) {
  34.             int i = it.next();
  35.             Offer offer = offers.get(i);
  36.             TaskInfo task = findTask(
  37.                 offer.getSlaveId(), offer.getHostname(), cpus[i], mem[i]);
  38.             if (task != null) {
  39.               cpus[i] -= getResource(task, "cpus");
  40.               mem[i] -= getResource(task, "mem");
  41.               replies.get(i).add(task);
  42.             } else {
  43.               it.remove();
  44.             }
  45.           }
  46.         }

  48.         for (int i = 0; i < numOffers; i++) {
  49.           OfferID offerId = offers.get(i).getId();
  50.           Status status = d.launchTasks(offerId, replies.get(i));
  51.           if (status != Status.DRIVER_RUNNING) {
  52.             LOG.warn("SchedulerDriver returned irregular status: " + status);
  53.           }
  54.         }
  55.       }
  56.     } catch(Exception e) {
  57.       LOG.error("Error in resourceOffer", e);
  58.     }
  59.   }
这里代码的长度也不是很长，我们一步一步来分析，首先SchedulerProcess调用了本函数，将携带资源的offer传递了过来。
（一）创建了两个数组cpus和mem，这两个数组下标跟offers list的下标是一致的，用他们保存了list中对应下标offer的cpu和mem的数量。
（二）为这个offers list创建了一个索引数组indices，其中保存的是offers list中的下标。
（三）创建了List>replies，其中存放的是分配给每个offer的所有任务信息的列表。
（五）按照indices中的顺序遍历，整个offers list，调用了findTask(
                offer.getSlaveId(), offer.getHostname(), cpus[i], mem[i])
我们重点看下这个函数的工作方式：

点击(此处)折叠或打开

  1. // Find a single task for a given node. Assumes JobTracker is locked.
  2.   private TaskInfo findTask(
  3.       SlaveID slaveId, String host, double cpus, double mem) {
  4.     if (cpus < cpusPerTask || mem < memPerTask) {
  5.       return null; // Too few resources are left on the node
  6.     }

  8.     TaskTrackerInfo ttInfo = getTaskTrackerInfo(host, slaveId);

  10.     // Pick whether to launch a map or a reduce based on available tasks
  11.     String taskType = null;
  12.     boolean haveMaps = canLaunchMap(host);
  13.     boolean haveReduces = canLaunchReduce(host);
  14.     //LOG.info("Looking at " + host + ": haveMaps=" + haveMaps +
  15.     // ", haveReduces=" + haveReduces);
  16.     if (!haveMaps && !haveReduces) {
  17.       return null;
  18.     } else if (haveMaps && !haveReduces) {
  19.       taskType = "map";
  20.     } else if (haveReduces && !haveMaps) {
  21.       taskType = "reduce";
  22.     } else {
  23.       float mapToReduceRatio = 1;
  24.       if (ttInfo.reduces.size() < ttInfo.maps.size() / mapToReduceRatio)
  25.         taskType = "reduce";
  26.       else
  27.         taskType = "map";
  28.     }
  29.     //LOG.info("Task type chosen: " + taskType);

  31.     // Get a Mesos task ID for the new task
  32.     TaskID mesosId = newMesosTaskId();

  34.     // Remember that it is launched
  35.     boolean isMap = taskType.equals("map");
  36.     if (isMap) {
  37.       unassignedMaps++;
  38.     } else {
  39.       unassignedReduces++;
  40.     }
  41.     MesosTask nt = new MesosTask(isMap, mesosId, host);
  42.     mesosIdToMesosTask.put(mesosId, nt);
  43.     ttInfo.add(nt);

  45.     LOG.info("Launching Mesos task " + mesosId.getValue() +
  46.              " as " + taskType + " on " + host);

  48.     // Create a task description to pass back to Mesos.
  49.     return TaskInfo.newBuilder()
  50.         .setTaskId(mesosId)
  51.         .setSlaveId(slaveId)
  52.         .setName("task " + mesosId.getValue() + " (" + taskType + ")")
  53.         .addResources(makeResource("cpus", cpusPerTask))
  54.         .addResources(makeResource("mem", memPerTask))
  55.         .setExecutor(getExecutorInfo())
  56.         .build();
  57.   }
（1）判断该节点剩余的资源是否够分配一个任务
（2）获取该节点主机名对应的TaskTrackerInfo信息，这里TaskTracker仅仅是mesos中用来管理逻辑分配的一个数据结构，跟Hadoop没有关系
（3）那么我们如何获取到hadoop的job的task信息呢？我们来分析另外两个非常重要的函数

点击(此处)折叠或打开

  1. private boolean canLaunchMap(String host) {
  2.     // Check whether the TT is saturated on maps
  3.     TaskTrackerInfo ttInfo = ttInfos.get(host);
  4.     if (ttInfo == null) {
  5.       throw new RuntimeException("Expecting TaskTrackerInfo for host " + host);
  6.     }

  8.     if (ttInfo.maps.size() >= ttInfo.maxMaps) {
  9.       return false;
  10.     }

  12.     // Compute the total demand for maps to make sure we don't exceed it
  13.     Collection<JobInProgress> jobs = jobTracker.jobs.values();
  14.     int neededMaps = 0;
  15.     for (JobInProgress job : jobs) {
  16.       if (job.getStatus().getRunState() == JobStatus.RUNNING) {
  17.         neededMaps += job.pendingMaps();
  18.       }
  19.     }
  20.     // TODO (!!!): Count speculatable tasks and add them to neededMaps
  21.     // For now, we just add 1
  22.     if (jobs.size() > 0)
  23.       neededMaps += 1;

  25.     if (unassignedMaps < neededMaps) {
  26.       // 0. check for a failed map task to place. These tasks are not included
  27.       // in the "normal" lists of tasks in the JobInProgress object.
  28.       for (JobInProgress job: jobs) {
  29.         int state = job.getStatus().getRunState();
  30.         if (job.failedMaps != null && state == JobStatus.RUNNING) {
  31.           for (TaskInProgress tip : job.failedMaps) {
  32.             if (!tip.hasFailedOnMachine(host)) {
  33.               return true;
  34.             }
  35.           }
  36.         }
  37.       }

  39.       int maxLevel = Integer.MAX_VALUE;
  40.       // Look for a map with the required level
  41.       for (JobInProgress job: jobs) {
  42.         int state = job.getStatus().getRunState();
  43.         if (state == JobStatus.RUNNING) {
  44.           int availLevel = availableMapLevel(job, host, maxLevel);
  45.           if (availLevel != -1) {
  46.             lastMapWasLocal = (availLevel == 0);
  47.             return true;
  48.           }
  49.         }
  50.       }
  51.     }
1、从FrameworkSheduler保存的表：Map ttInfos中获取对应于该slave节点的TaskTrackerInfo，TaskTrackInfo中记载了什么东西呢？

点击(此处)折叠或打开

  1. private static class TaskTrackerInfo {
  2.     SlaveID mesosSlaveId;
  3.     List<MesosTask> maps = new LinkedList<MesosTask>();
  4.     List<MesosTask> reduces = new LinkedList<MesosTask>();
  5.     int maxMaps = 1;
  6.     int maxReduces = 1;

  8.     public TaskTrackerInfo(SlaveID mesosSlaveId) {
  9.       this.mesosSlaveId = mesosSlaveId;
  10.     }

  12.     void add(MesosTask nt) {
  13.       if (nt.isMap)
  14.         maps.add(nt);
  15.       else
  16.         reduces.add(nt);
  17.     }

  19.     public void remove(MesosTask nt) {
  20.       if (nt.isMap)
  21.         maps.remove(nt);
  22.       else
  23.         reduces.remove(nt);
  24.     }
这是TaskTrackInfo的定义，它是FrameworkScheduler的一个内部类，记录
它所属的Slave节点的Slaveid
在该slave节点上属于该计算框架的map和reduce任务的列表，这些任务的标识是mesos内部产生的，对于计算框架是透明的。
里面定义了最大map和reduce队列的长度
杀掉超时的任务的方法。

2、获取了jobtracker上已经初始化的jobs的列表（这里非常的重要，就是在这个地方，mesos从hadoop中把用户提交的jobs拉了过来），遍列列表中的没有个JobInprogress，计算所有的job需要的map任务的总和neededmaps。

3、遍历jobs的列表中的每一个job，优先处理job的failmaps列表中任务，failmaps列表中的每一个任务的执行失败的主机列表，如果没有该salve节点，就返回true表明可以lauch一个map任务。

我们分析canLaunchMap这函数的目的是找到mesos跟hadoop交互的那个点，对于具体的任务查找方式，大家可以忽略，因为这些东西都是可以修改的。我们只需要记住就是在findTask->canLaunchMap之中，我们实现的基于mesos的调度器，去jobtracker上获取jobs的信息。

我们回到findTask函数之中，对于canLauchReduce的处理，大家可以自行解读，其实跟canLaunchMap大同小异。

（4）我们知道在该节点上是应该启动一个map和reduce任务之后，就产生一个新的TaskID为这个新任务。更新unassignedMaps或者unassignedReduces两个计数器。创建一个新的MesosTask对象：    MesosTask nt = new MesosTask(isMap, mesosId, host);将其加入到Map mesosIdToMesosTask这张表之中，便于查找。将该MesosTask加入到该salve节点对应TaskTrackInfo之中。同时返回一个TaskInfo对象，其中记录了任务的mesosid，slaveid，executorinfo等信息

ok，现在我们回到再上一层的resourceOffers函数：

（五）我们通过findtask（）函数获取到了一个taskInfo，如果该TaskInfo不为空，我们继续寻找，为空说明资源已经使用完毕或者hadoop任务task都已经分配完毕，应该从indices之中将对应于该offer的下标擦除。
整个循环执行完毕之后，replies之中就记录了对应于每个offer的需要启动的任务信息的一个列表，但是这些任务信息都现在为止还仅仅是一个标志（我应该在哪个slave节点上，启动一个什么框架的什么任务（map或者reduce），并没有具体任务的信息）

（六）接下来就是遍历replies，去启动这些任务，调用了SchedulerDriver.launchTasks（）方法。调用我们之前sched.cpp之中launchTasks（）方法，该方法会产生一条LanuchTasksMessage消息中包含了frameworkid、offerId、所有在该slave节点上的task的信息，一起发送给了Mesos master

（七）master接受到了LauchTasksMessage之后会调用这个消息的处理函数launchTasks。

点击(此处)折叠或打开

  1. void Master::launchTasks(const FrameworkID& frameworkId,
  2.                          const OfferID& offerId,
  3.                          const vector<TaskInfo>& tasks,
  4.                          const Filters& filters)
  5. {
  6.   Framework* framework = getFramework(frameworkId);
  7.   if (framework != NULL) {
  8.     // TODO(benh): Support offer "hoarding" and allow multiple offers
  9.     // *from the same slave* to be used to launch tasks. This can be
  10.     // accomplished rather easily by collecting and merging all offers
  11.     // into a mega-offer and passing that offer to
  12.     // Master::processTasks.
  13.     Offer* offer = getOffer(offerId);
  14.     if (offer != NULL) {
  15.       CHECK(offer->framework_id() == frameworkId);
  16.       Slave* slave = getSlave(offer->slave_id());
  17.       CHECK(slave != NULL) << "An offer should not outlive a slave!";
  18.       processTasks(offer, framework, slave, tasks, filters);
  19.     } else {
  20.       // The offer is gone (possibly rescinded, lost slave, re-reply
  21.       // to same offer, etc). Report all tasks in it as failed.
  22.       // TODO: Consider adding a new task state TASK_INVALID for
  23.       // situations like these.
  24.       LOG(WARNING) << "Offer " << offerId << " is no longer valid";
  25.       foreach (const TaskInfo& task, tasks) {
  26.         StatusUpdateMessage message;
  27.         StatusUpdate* update = message.mutable_update();
  28.         update->mutable_framework_id()->MergeFrom(frameworkId);
  29.         TaskStatus* status = update->mutable_status();
  30.         status->mutable_task_id()->MergeFrom(task.task_id());
  31.         status->set_state(TASK_LOST);
  32.         status->set_message("Task launched with invalid offer");
  33.         update->set_timestamp(Clock::now());
  34.         update->set_uuid(UUID::random().toBytes());
  35.         send(framework->pid, message);
  36.       }
  37.     }
  38.   }
  39. }
【1】根据frameworkId去master的hashmapframeworks中取出对应的framework对象，通过offerId获取了该offer的所有信息，调用了processTasks函数。
【2】该函数主要作用统计offer之中的资源使用情况，将其报告给allocator更新资源，调用了launchTask（）我们下一节分析任务加载的过程。

总结一下：我们可以看到，其实在整个分配资源的过程之中，mesos用一些特定的数据结构，对于任务、资源、计算框架进行了逻辑上的标记、然后等逻辑上划分好了之后呢？然后再去通知真正的干事的程序去执行，这些逻辑上的数据结构跟实际的数据结构之间的对应关系设计的十分的巧妙，使得整个的调度变得十分的灵巧，减少了通讯的开销！

上一篇：Shell之find命令
下一篇：select函数的用法