Không ai chứng minh được nguồn tin nhưng tin đồn về "con ma nhà họ Hứa" đã làm cho một công trình mang đậm nét kiến trúc phương tây cổ điển trở nên hoang phế, điêu tàn.