登上太上皇之位之后，没有大量宫女照顾，自己的好朋友被李世民遣送回家，甚至还需要离开自己长时间居住的宫殿。这就意味着在进入到晚年之后，生活并不是很幸福，起码不可能享受舒适自在，不可能安享晚年。
登上太上皇之位的李渊
李渊在变成太上皇之后，身边就没有宫女照顾，第二年遭遇旱灾，很长的一段时间都没有下雨，有人说这就是大自然的现象，但在古代的时候就认为这或许就是老天爷的警示。比如如果皇上过度的淫奢，就可能会有天降惩罚。因此有人选择上述认为在太上皇身边的宫女特别的多，这完全是劳命伤财，李渊有一些不满，自己一直以来都有这么多的宫女，从来也没有听说过天降惩罚，李世民就认可了外界的说法，直接就把李渊身边的宫女全部的遣散，让李渊一时之间孤独万分。
好友被免
身边没有宫女的照顾，已经非常的寂寞，但好歹身边还会有好友。裴寂和李渊两人一直以来出生入死，携手共进，这绝对是一个有功之臣。可没有过多久之后，李世民就找了一个说法，让他回到老家，这对于李渊来说简直就是一种无形的打击。
宫殿被迁
在失去宫女，在失去好友之后，早就已经没有兴致郁郁寡欢。但起码能够住在自己非常熟悉的太极殿，因此生活也算是比较舒心。可是好景不长，李世民在成为皇帝之后也不可能会一直住在偏店，这于情于理也说不过去。李渊在知道之后，因此就决定选择离开，然后自己去养老，虽然说这是自己提出的请求，但李渊的心中必然就会有着万般的不情愿，这可能也是大家能够理解的。
