首联扣题，从“悲往事”写起，述说往日虎口逃归时的险象。“胡正繁”有两层含义：一是说当时安史叛军势大，朝廷岌岌可危；二是说西门外敌人多而往来频繁，逃出真是太难，更能表现出诗人对朝廷的无限忠诚。
颔联“至今”暗转，进一步抒写昔日逃归时的危急情态，伸足前意而又暗转下文，追昔而伤今，情致婉曲。章法上有金针暗度之效，浦起龙《读杜心解》卷三之一评云：“题曰‘有悲往事’，而诗之下截并悲今事矣。妙在三、四句说往事，却以‘至今’而言，下便可直接移掾矣。”指的正是这一点。
颈联转写今悲，满腔忠心却遭外贬，本是皇帝刻薄寡恩，是皇帝自己疏远他，可诗人却偏说“移官岂至尊”，决无埋怨皇帝之意，故成为杜甫忠君的美谈。元人赵汸《杜律赵注》卷上评云：“子美乃心王室，出于天性。故身陷贼中而奋不顾死，间道归朝。及为侍从，虽遭谗被黜，而终不能忘君。”但若仔细体会，杜甫在这两句中还是含有怨艾之情的，只不过是说得婉曲罢了。
尾联在自伤自叹中抒写眷恋朝廷不忍遽去的情怀。感情复杂而深婉，真是“一句一转，风神欲绝。实公生平出处之大节。自觉孤臣去国，徘徊四颅，凄怆动人”（吴瞻泰《杜诗提要》卷七）。对全诗之评价，清人黄生较为公允中肯：“前半具文见意。拔贼自归，孤忠可录；坐党横斥，臣不负君，君自负臣矣。后半移官京邑，但咎己之无才；远去至尊，不胜情之瞻恋。立言忠厚，可观可感”（《杜诗说》卷十二）
至德二载甫自京金光门出问道归凤翔乾元初…有悲往事原文
此道昔归顺，西郊胡正繁。至今残破胆，应有未招魂。
近得归京邑，移官岂至尊。无才日衰老，驻马望千门。