Spark源码精读之SparkSubmit（client）
创始人
2025-05-30 13:00:45
一、SparkSubmit（Client）总流程图
二、流程分析
按照图1流程，整个提交过程可以分为9个步骤。
1、yarnClient提交AM的启动命令给RM。
2、RM找到空闲NM，启动用户自定义Spark进程。
3、初始化SparkContext时，注册AM。
4、创建YarnAlocator对象，并向RM获取Container资源。
5、YarnAlocator对象中laucherPool对象启动线程，并通过nmClient启动新的容器，并创建ExectuorBackend。
6、ExecutorBackend向DriverEndpoint注册。
7、DriverEndpoint回复true。
8、ExectuorBackend向DriverEndpoint提交LauchedExector消息。
9、DriverEndpoint将Task任务序列化后并回复LauchTask消息。
三、代码解析
待续
相关内容
热门资讯
今日重大通报“老友福建麻将有没...
您好：老友福建麻将这款游戏可以开挂，确实是有挂的，需要软件加微信【8487422】很多玩家在这款游戏...
［黑科技实测］“沧海麻将怎么开...
［黑科技实测］“沧海麻将怎么开挂!”!必胜开挂神器亲.沧海麻将这款游戏是可以开挂的，确实是有挂的,通...
重大通报“永胜联盟究竟是不是有...
亲.永胜联盟这款游戏是可以开挂的，确实是有挂的,通过添加客服【4830828】很多玩家在这款游戏中怀...
[第一财经]“友友麻将究竟有挂...
您好：友友麻将这款游戏可以开挂，确实是有挂的，需要软件加微信【4830828】很多玩家在这款游戏中打...
玩家必看“新奇玩乐究竟有挂吗”...
您好：新奇玩乐这款游戏可以开挂，确实是有挂的，需要软件加微信【3671900】很多玩家在这款游戏中打...