中，林蔚与最高当局之间的关系没有黄埔军校教官出身的钱大钧那么近。而实际上，林蔚又是跟随最高当局多年的幕僚，只是由于为人低调，才会有些不太显眼。这也正是最高当局最终会选中林蔚接替钱大钧的主要原因。
林蔚是在1928年走入了最高当局的视线。当时最高当局为亲自掌握一部分军队，在国民革命军总司令部下又成立一个警备司令部。警备司令部长官和各部队长人员的组成，最高当局按照“黄、浙、陆、一”的标准，任命陈诚为警备司令。由于林蔚既是陆大毕业，又是浙江人，所以受到最高当局和陈诚的青睐，被任命为警备第一师参谋长。不久，又调任总司令部参谋处副处长。
此后，林蔚官路一路亨通。先后出任任陆海空军总司令部参谋厅厅长、参谋第二厅厅长等要职。期间，林蔚赴河南负责编遣战败投降的西北军。他按照“高官少兵”的办法编遣部队，深得最高当局的赞许。从此后，林蔚实际上成为最高当局的高级待从幕僚。
不仅个人能力毫不逊色，和咄咄逼人的钱大均相比，林蔚还相当会做人。1935年国民政府军事委员会为统一全国陆海空军人事，在军事委员会内设置铨叙厅，最高当局委林蔚任第一任厅长。作为最高当局的心腹，林蔚先