Theo lịch sử, Hoàng Nguyên được mọi người biết đến với một cái tên gắn liền với Giáo xứ, đó là Tiểu Chủng viện Hoàng Nguyên. Tiểu Chủng viện ban đầu chỉ là nhà tranh vách đất như phần lớn những nhà dân thời đó. Năm 1904, Tiểu Chủng viện bị phóng hỏa….