李白跟唐玄宗混了一段时间，越来越觉得没前途。加上小人作梗，唐玄宗也开始疏离李白。天宝三载，也就是年，李白辞职。也有说唐玄宗赐了李白不少黄金，让他爱咋玩咋玩。从天宝三载，年号称载不称年，因为唐玄宗看书发现尧舜禹那时候用载，他自我膨胀，觉得自己堪比尧舜，所以改天宝三年为天宝三载，直到安史之乱，天宝十五载载满了讽刺。
李白报国无门，离开长安，人生的追求真的就只剩喝酒了。他先到洛阳，认识了杜甫，结伴到开封，认识了高适。三个都是钱包比脸还白的人，相处没几天便各自分开。高适似乎吸走了李杜二人所有的运气，这之后李杜二人各种倒霉，而高适却平步青云。此时的高适大约40岁，和李白一样飘着。杜甫30来岁，也前途渺茫。那个时候大部分唐朝人都看不到未来，还有一部分人在醉生梦死。
李白和杜甫、高适分手后，出家做了道士。不久，他和杜甫在山东碰巧又见了一次。李白当了道士后除了四处游玩，也会回家陪陪老婆孩子。他当时已经搬到了现在的济宁，老婆也换了，是前宰相宗楚客的孙女。对，又是前宰相的孙女。
公元年，也就是天宝十四载，安禄山叛乱。在这之前，全世界都知道安禄山要叛乱，唐玄宗也知道，但他却把前来告密的押给安禄山以表示自己对安禄山的信任。据说安禄山是个和杨玉环一样的胖子，唐玄宗要他们结为兄妹，安禄山一个头磕下去叫了声妈。在唐玄宗看来，这种缺心眼有啥需要提防的。但，换个角度看，这种没一点点廉耻的人，怎么能放心呢？
安禄山起兵的地方大概在现在的北京以南，济宁以北，太行山以西。李白担心被俘，只能赶紧跑路。这个时候李白已经五十多岁，饱受战争之苦，彻底绝望。李白一家一路向南，颠沛流离，最后跑到江西庐山，算是安定下来。
大概一年左右，李白接受永王李璘的邀请，去其帐下做了幕僚。永王虽然是唐肃宗的兄弟，但因年龄差较大，实则是唐肃宗抚养长大。按正常逻辑，他应该是唐肃宗的铁杆亲信。但是在唐肃宗登基后，他接了太上皇唐玄宗委任的节度使，后来又领兵守着江东不出。不管是不是真反，有反心却很明显。阴暗的心理作祟或者特殊时期的杀一儆百，永王都得死。于是，唐肃宗说永王谋反。高适领兵，不到三个月击败永王军。永王逃跑路上被杀。李白在浔阳被捉，入狱。
高适一直觉得百无一用是书生，立志当兵。实习都是去边塞，但报国无门。认识了几个诗人，觉得写诗是另一条路，所以开始写诗。开始写诗的时候高适已经快三十了，刚开始没几首像样的，直到35岁下《燕歌行》。高适46岁才进士及第，49岁跟哥舒翰做了书记官，52岁协助哥舒翰守潼关。次年潼关失陷，高适随唐玄宗到成都，又去跟了唐肃宗，不久挂帅到淮南讨伐永王磷。一战成名，后来封侯。虽然《燕歌行》中高声呼喊，“相看白刃血纷纷，死节从来岂顾勋？”但朝廷不亏待有功之臣，他是边塞诗人中唯一一个凭军功封侯的。
李唐对于抢皇位的都是赶尽杀绝，李白自己都觉得自己死定了。很多人都为李白求情。唐肃宗连王维这种到安禄山手下当官的都能饶，李白这种报国投错门的当然也就不杀了，但得流放。唐肃宗想着李白给王昌龄写的诗“我寄愁心与明月，随君直到夜郎西。”决定把李白流放到夜郎。李白从浔阳出发，走到一半，逢天下大赦，结束流放，再次顺长江而下，写下“朝辞白帝彩云间，千里江陵一日还。两岸猿声啼不住，轻舟已过万重山。”
也有传说给李白求情最有分量的是郭子仪。郭子仪早年曾因小错差点被斩首，是李白相救。所以李白遭难的时候，郭子仪为报恩而去恳求唐肃宗。这个故事应该是杜甫和严武之间的故事改编出来的。或者，真拿命求情的是高适。
李白回到家不久，过得越来越穷，只能去当涂县投奔族叔李阳冰。不久就离世。
关于李白的去世有三种说法，第一种是醉死，第二种是病死卧榻，第三种捞月溺死。无论哪种死法，李白死的都很抑郁。《临终歌》写道：“大鹏飞兮振八裔，中天摧兮力不济。”结合他其余的诗，其实唐玄宗把他撵出长安这件事对他打击太大。其实如果唐玄宗拜他为相肯定会好些，不是赞同李白真有治国的能力，而是起码可以挤掉李林甫。
杨贵妃和杨国忠的死只是平息了众怒，却不能让众将为唐玄宗肝脑涂地的平定叛乱。安史之乱爆发不久，原太子即位为唐肃宗，总督兵马。唐玄宗被遥尊为太上皇。安禄山死后，唐玄宗回到皇宫，形只影单，凄凄惨惨，在李白去世的同年驾崩。这一年是公元年，去世的还有唐肃宗、玉真公主、高力士。不久，洛阳收复，安史之乱终于要结束了，只是盛唐不在。
关于李白的事情，后人牵强附会的太多，总觉得李白应该活得如仙人一般。其实，李白过的并不如意，一生的颠沛流离，一生的怀才不遇。他想着“大鹏一日同风起，扶摇直上九万里”，他高喊着“我辈岂是蓬蒿人”“仰天大笑出门去”，却“欲渡黄河冰塞川，将登太行雪满山”，落得个“大鹏飞兮振八裔，中天摧兮力不济”。而李白值得敬佩的地方在于，他身在黑暗，心在光明，自我安慰“天生我才必有用”，劝说世人“人生在世不称意，明朝散发弄扁舟”，“长风破浪会有时，直挂云帆济沧海”，所以才能“馀风激兮万世，游扶桑兮挂左袂”。