Spark源码精读之SparkSubmit（client）
创始人
2025-05-30 13:00:45
一、SparkSubmit（Client）总流程图
二、流程分析
按照图1流程，整个提交过程可以分为9个步骤。
1、yarnClient提交AM的启动命令给RM。
2、RM找到空闲NM，启动用户自定义Spark进程。
3、初始化SparkContext时，注册AM。
4、创建YarnAlocator对象，并向RM获取Container资源。
5、YarnAlocator对象中laucherPool对象启动线程，并通过nmClient启动新的容器，并创建ExectuorBackend。
6、ExecutorBackend向DriverEndpoint注册。
7、DriverEndpoint回复true。
8、ExectuorBackend向DriverEndpoint提交LauchedExector消息。
9、DriverEndpoint将Task任务序列化后并回复LauchTask消息。
三、代码解析
待续
相关内容
热门资讯
估值破 537 亿！科创板年内...
国产GPU第一股发行价出炉。11月20日晚间，摩尔线程（688795.SH）发布了《首次公开发行股票...
品牌竞速“小时达”：即时零售热...
中国商报（记者 蒋永霞）一场以“小时达”为标志的即时零售浪潮，正席卷运动服饰乃至整个消费品行业。近日...
小米汽车“挖孔机盖”案再开庭，...
11月20日，小米SU7 Ultra“挖孔机盖”虚假宣传案进行了开庭质证。红星资本局获悉，小米方面此...
对话明略科技吴明辉：未来通用模...
本文来源：时代周报 作者：管越“未来通用模型可能会变成‘收电费’的公共基础设施，而整个AI模型领域将...
阿里千问公测背后：一场3800...
文|海山来源|博望财经AI赛道前有DeepSeek横空出世，后有Manus突然爆火，再到备受瞩目的阿...