远远望去，彭玉麟故居立于沿江马路边，青砖瓦房木架构，还是原先古典江南建筑的韵味。

最早的退省庵有三栋，现在仅存前栋，所以看起来与别的明清民居不一样，没有好几进的进深，只是单进一长排。一长排房屋中，门厅居中，门前设廊，两侧为南北厢房。虽然只剩前栋一进，且装饰也朴素简单，但整个建筑用材粗大，还是能看出房屋主人曾经的显赫地位。

进入退省庵，正面的墙上持着一幅彭玉麟穿着官服的画像。画像旁挂一幅对联：绝少五千柱腹撑肠书卷，只余一副忠君爱国心肝。这是他生前自拟的门联，概括了自已的本质，本为一介书生，柱腹撑肠的是众多的书籍，身经百战无畏生死，是因为心存爱国。北墙与右墙是分别是彭玉麟简介与年表。

修复一新的清代民居(东岳观、欧阳故宅、彭玉麟故居退省庵)成为湘江东岸风光带古文化的一个亮点。