玄宗东巡泰山封禅，封禅之后有进阶行赏之事，张九龄因此提醒张说选择随行人员要注意选那些清流高品，以免引起非议。
然而张说选定从行登山的官员，许多是官阶较低且己之所亲者，果然招致一片怨言。
张说对玄宗所赏识的御史中丞宇文融奏事多压制不理，张九龄提醒他“不可不备”，张说没放在心上。
开元十年多次升迁担任司勋员外郎，当时，张说担任中书令，他与张九龄同姓，按年龄排序结为宗族兄弟，张说特别亲近、看重他，张九龄很高兴张说了解自己，所以也愿意依傍跟从他。
开元十一年，张九龄被任为中书舍人，开元十三年皇帝东巡，举行祭祀天地的大礼。
张说亲自决定侍从皇帝登山的官员，他多推荐两省录事、主书和自己亲近的官员代理官职登山，于是对他们特别加以晋级，破格授予他们五品官职。
当初，张说命令张九龄草拟诏书时，张九龄对张说说：
“官爵是天下共用的器物，应该把道德名望高的人排在前面，有功劳的旧臣排在后面。
如果颠倒了顺序，指责和批评就会产生，现在登山封禅，广施恩泽，这是千年—遇的大事。
有名望和品德高尚的人，不能蒙受恩泽，官府中办理文书的小吏末流却先被加官晋爵，我只是担心制度出台之后，天下各地的人会感到失望。
现在制订草表的时候，事情还可以更改，只是希望您仔细研究谋划这件事，不要留下悔恨。”
张说说：
“事情已经定下来，荒唐无据的议论，哪里值得担心呢？”
最终张说没有听从，等到制度出台时，朝廷内外的人对张说有很多指责。
当时，御史中丞宇文融刚掌管田户租税的事情，每次向皇帝陈奏，张说多建议皇帝不要听从他，宇文融也因此对张说不满，张九龄劝张说对宇文融要有所防备，张说又不听从他的话。
没过多久，张说果真被宇文融弹劾，罢掉了知政事的官职，张九龄也改为太常少卿，不久调出京师担任冀州代理刺史。
后改授洪州都督，不久又转授桂州都督，充岭南按察使，开元十四年四月，宇文融和李林甫等人弹劾张说，张说被罢相，张九龄也受牵连，张九龄改任太常少卿。
六月，张九龄奉命祭南岳及南海，就便归省，是年秋张九龄回京，仍被指为亲附张说，调任外官，出为冀州刺史。
张九龄以老母不欲从之任所为由，表请罢官，翌年三月，改任洪州都督。
在洪州任上，张九龄写了《在郡怀秋》诗二首，表达了时不能用，忧郁思归的心情，其一为：
秋风入前林，萧瑟鸣高枝，寂寞游子思，寤叹何人知，臣成名不立，志存岁已驰，五十而无闻，古人深所疵。
平生去外饰，直道如不羁，未得操割效，忽复寒暑移，物情自古然，身退毁亦随。
悠悠沧江渚，望望白云涯，路下霜且降，泽中草离披，兰艾若不分，安用馨香为。
开元十七年，张说又被玄宗拜任尚书左丞相、集贤院学士，开元十八年一病不起，终于病逝。
张说多次推荐张九龄做集贤院学士，开元十八年，张九龄转任桂州刺史兼岭南道按察使摄御史中丞。
便道归省，与家人欢聚，开元十九年春，他从桂林乘船顺流巡行按察来到广州。
开元十九年三月，张九龄被召入京，擢秘书少监，兼集贤院学士副知院事。
他奉旨代撰敕文，对御而作，不须草稿，援笔立成，深为玄宗倚重。
在他的文集中，代皇帝起草的敕文多达114篇，两次升任他为中书侍郎。
开元二十年二月转为工部侍郎，兼集贤院学士，八月兼知制诰，张九龄时已55岁，屡乞归养。
玄宗对他加以重用，并不批准，只是把他弟弟张九皋、张九章就近家乡封官，以便照顾老母。
张九皋后官至广州都督兼五府节度经略使，张九章后官至岭南节度使、广州都督，都是统治岭南的封疆大吏。
开元二十一年五月，张九龄升任检校中书侍郎，十二月授中书侍郎同中书门下平章事兼修国史，主理朝政。
张九龄建议于河南屯田，引水种稻，遂兼河南稻田使，当时范阳节度使张守琏因为副将安禄山讨伐奚、契丹失败，捉拿护送他到京城，请求按照朝廷典章执行死刑。
张九龄奏明皇上说：“张守琏的军令一定要执行，安禄山不应该免除死罪。”
皇上特别赦免了他，张九龄上奏说：“
安禄山狼子野心，面有谋反之相，请求皇上根据他的罪行杀掉他，希望断绝后患。”
皇上说：“你不要因为王夷甫了解石勒这个旧例，误害了忠诚善良的人。”
于是唐玄宗放安禄山回到藩地，张九龄为中书令时，天长节百僚上寿，多献珍异，唯九龄进《金镜录》五卷，言前古兴废之道，上赏异之。
张九龄又与中书侍郎严挺之、尚书左丞袁仁敬、右庶子梁升卿、御史中丞卢怡结交友善，挺之等有才干，而交道终始不渝，甚为当时之所称。
开元二十二年五月张九龄迁升中书令集贤院学士知院事修国史，
开元二十三年加封为金紫光禄大夫，累官封他为始兴县伯，食邑四百户。
李林甫自己不学无术，因为张九龄的品行被皇帝赏识，心里非常妒忌他，于是推荐牛仙客担任知政事，张九龄多次说不行，玄宗因此不高兴。
唐玄宗被李林甫的谗言所惑，玄宗遂于开元二十四年迁九龄为尚书右丞相，免去了知政事，后来宰相每次推荐公卿时，皇上一定会问：
“节操、品质、度量能够像张九龄吗？”
旧例，士大夫者要把笏板插在腰带上，然后乘马，张九龄体弱，常派人拿着笏板，朝廷于是设立了笏囊。
笏囊的设立，从张九龄开始，罢相后不久又因他荐举的监察御史周子谅弹劾牛仙客，触怒玄宗，坐“举非其人”，张九龄被贬为荆州长史。