当时，杜甫所在的地方到处是盗寇抢掠，而杜甫家眷寓居于鄜州，生活终年艰难贫穷，小儿子虚弱到被饿死。于是（皇帝）允许杜甫亲自前往鄜州探视。（杜甫）从鄜州回到京城，出任华州司功参军。关中和长安随处闹饥荒，杜甫就弃官离去，客居秦州，以背负木柴、采集橡果为生。

后来（杜甫）流落到剑南，在成都西郭搭建草堂居住。朝廷召杜甫任京兆府功曹参军，他没有到职。适逢严武任剑南东西川节度使，（杜甫）前去投奔他。严武第二次任剑南节度使时，上书推荐（杜甫）为参谋，加检校工部员外郎一职。严武因为与杜甫是世交老友，对待杜甫非常友好，亲自到杜甫家探望。杜甫见严武，有时竟不穿衣服，而性格褊狭浮躁，经常酒醉登上严武床，瞪着眼说：“严挺之竟然有这样的儿子”，严武怀恨在心。有一天，（严武）想要杀杜甫，在门口集合官吏，将要出去的时候，帽子被门帘钩住好几次，左右的人奔走（把这件事）告诉严武的母亲，严武的母亲极力相救（严武）才作罢。