Cuối thế kỷ XIX, Sài Gòn nổi lên tứ đại phú hào, trong đó Huyện Sỹ Lê Phát Đạt là người đứng đầu. Dân gian còn truyền nhau câu "Nhất Sỹ, Nhì Phương, Tam Xường, Tứ Hoả".
Ông Huyện Sỹ được cho là giàu hơn cả vua Bảo Đại. Tương truyền, gia đình ông cho cháu ngoại Nam Phương hoàng hậu của hồi môn 20.000 lượng vàng khi về làm vợ vua Bảo Đại.