家乡。他幻想过欧洲会对他进行赦免，他可以再次回到他的故乡。随着时间的流逝，他渐渐地开始意识到这是一件不可能的事。
但是拿好仑他不甘现状，于是他开始制定计划，想要逃出这个岛。然而这个计划出现了意外。拿好仑是想用一个替身来替代他，从而实现他的潜逃计划。不幸的是替身在乘船来到岛上的时候，被海浪袭击，葬身在大海里。
拿好仑在得知永远被放逐在海岛上的消息后，沉默了很长时间。他放弃了坚持很久的锻炼，使得他的身体状况很快变差了。
最信任的代理人西里伯阿尼的突然死亡让拿好仑伤心不已，好友古尔高和巴尔坎一家的离去都加剧了他的伤心。
同时，圣赫勒拿岛的新总督又非常苛刻地对待拿好仑。他几乎无法从极坏的心境中自拔。他选择整天呆在屋子里，每天向侍从口述自己所经历和指挥的数十场战役情况。
根据他的口述，他的三个随从分别写了书，是《回忆录》、《札记》和《圣赫勒拿岛回忆录》。