Theo Phạm Lê Hoàn-Lê Tấn, Việt Nam: Cảnh đẹp và di tích (Nhà xuất bản TP. HCM, 1989, tr. 60), và thông tin trên website của quận Hoàn Kiếm[1][liên kết hỏng]. Tuy nhiên, theo bài "Nguyễn Văn Siêu và Tháp Bút, Đài Nghiên" trên báo Hà Nội mới (bản điện tử):thì khoảng 1862-1863, Nguyễn Văn Siêu hô hào bà con Hà Nội góp công của, tu sửa lại đền Ngọ Sơn. Việc tu sửa kéo dài ba bốn năm, đến năm 1865-1866 mới xong. Lần này ngoài việc làm lại ba nếp đền chính, ông Siêu còn cho xây thêm Tháp Bút, Đài Nghiên.
