Cuối thế kỷ XIX, Sài Gòn nổi lên tứ đại phú hào, trong đó Huyện Sỹ Lê Phát Đạt là người đứng đầu. Dân gian còn truyền nhau câu "Nhất Sỹ, Nhì Phương, Tam Xường, Tứ Hoả".
Trong những công trình thời thuộc địa nổi bật nhất, được coi là biểu tượng của kiến trúc của Sài Gòn - TP HCM, ba công trình sau đây được xây dựng bởi những người giàu có nhất "Hòn ngọc Viễn Đông" một thuở.
Ông Huyện Sỹ được cho là giàu hơn cả vua Bảo Đại. Tương truyền, gia đình ông cho cháu ngoại Nam Phương hoàng hậu của hồi môn 20.000 lượng vàng khi về làm vợ vua Bảo Đại.
Trong “Tứ đại phú hộ” nổi tiếng Sài Gòn một thời, thì người giàu có nhất là Lê Phát Đạt (thường được gọi là Huyện Sỹ), không chỉ giàu có nhất Nam kỳ, mà ông được xem là hào phú giàu có bậc nhất Đông Dương.
Ông là đại gia giàu nhất trong Tứ đại hào phú đất Nam Bộ xưa, cũng chính là ông ngoại Hoàng hậu Nam Phương. Tương truyền, ruộng đất của ông cò bay mỏi cánh, bất động sản ở trung tâm Sài Gòn nhiều không kể xiết, thậm chí giàu hơn cả vua Bảo Đại.