建炎三年(金军)大举入侵,此时“恃和议”的黄、汪二人毫无对策,致使高宗唯有车驾南渡镇江,吕颐浩于此时“叩头愿且留此,为江北声援”,并认为“不然,敌乘势渡江,势愈急矣”,但吓破胆的高宗(因此失去生育能力
建炎二年,对金持强硬态度的李纲、宗泽或罢或逝,黄潜善、汪伯彦专权,“无复经制两河之意”的宋高宗驻跸扬州,日日声色犬马。而皇帝的巡幸东南,给了恰好知扬州的吕颐浩参政中枢的机会,得以“除户部侍郎兼知扬州,