家中藏书充栋，人送他外号“书城”。其父李承休就十分仰慕南朝沈约、任昉等藏书家，遇到图书必购藏于家。他除了继承遗书外，又有收藏并系统地整理了藏书，经部书用红色牙签，史部用绿色牙签，子部用青色牙签，集部用白色牙签。所有藏书均加盖了“邺候图书刻章”藏书印章。著名文学家韩愈，曾仰慕他藏书之富，曾作《送诸葛觉往随州读书》诗，赠诗云：“邺候家多书，插架三万轴。一一皆牙签，新若手未触。”子李繁，在德宗时，携其藏书3万卷，迁居随州（今属湖北随州），并继续购藏图书。李繁撰有《邺候家传》。后李繁因犯事被赐死，李氏三代藏书散佚。