Spark源码精读之SparkSubmit（client）
创始人
2025-05-30 13:00:45
一、SparkSubmit（Client）总流程图
二、流程分析
按照图1流程，整个提交过程可以分为9个步骤。
1、yarnClient提交AM的启动命令给RM。
2、RM找到空闲NM，启动用户自定义Spark进程。
3、初始化SparkContext时，注册AM。
4、创建YarnAlocator对象，并向RM获取Container资源。
5、YarnAlocator对象中laucherPool对象启动线程，并通过nmClient启动新的容器，并创建ExectuorBackend。
6、ExecutorBackend向DriverEndpoint注册。
7、DriverEndpoint回复true。
8、ExectuorBackend向DriverEndpoint提交LauchedExector消息。
9、DriverEndpoint将Task任务序列化后并回复LauchTask消息。
三、代码解析
待续
相关内容
热门资讯
人民日报连续评“西贝关店”事件...
针对最近“西贝关店”事件，人民日报罕见连续发表了两篇评论性文章。1月19日下午，“人民日报评论”微信...
Air机身藏Pro性能！荣耀携...
1月19日晚，荣耀Magic8Pro Air及荣耀联名设计系列新品发布会举行。荣耀与泡泡玛特合作推出...
让肖战穿着内衣出镜的那个公司，...
订阅 快刀财经 ▲ 做您的私人商学院这家爱折腾的企业，还能维持多久的快速增长？作者：郑栾来源：快刀财...
把Pro塞进Air里，惊叹小薄...
1月19日，荣耀在珠海举办荣耀Magic8 Pro Air及荣耀联名设计系列新品发布会，荣耀Magi...
湖北父子暴富之谜：集体工厂变私...
在中国民营经济的发展图景中，许多企业的命运往往与创始人及其继承者的个人经历紧密相连。京山轻机这家从湖...