Đình Phú Xương được xây dựng khoảng đầu thế kỷ XIX. Theo các cụ hào lão kể lại: đình Phú Xương xưa thuộc thôn Phú Toàn (sau đổi thành Phú Nhơn, huyện Vĩnh Xương, tỉnh Khánh Hòa). Đầu tiên đình do năm dòng tộc (Trần, Lê, Nguyễn, Huỳnh, Lâm) trong làng xây dựng tại gò Bà Đỡ (nay là thôn Xuân Ngọc, xã Vĩnh Ngọc) và lấy tên làng Phú Toàn làm tên đình.