Thánh Tuân tên đầy đủ là Giuse Nguyễn Duy Tuân, sinh năm 1811 tại họ Trần Xá, xứ Cao Xá, tỉnh Hưng Yên, trong một gia đình nông dân nghèo nhưng đạo đức. Vì yêu mến đời tu, từ nhỏ cậu Tuân xin vào chủng viện và thụ phong linh mục năm 1857. Sau đó cha Tuân xin gia nhập và tuyên khấn trong dòng Đaminh năm 1858 với tên gọi mới là Hoan.
Trong hoàn cảnh bách hại tàn khốc dưới triều vua Tự Đức, cha Tuân được chỉ định làm mục vụ tại xứ Ngọc Đồng.
Mùa xuân năm 1861, một cụ bà yếu liệt nhờ người con trai đi rước cha Tuân đến xức dầu. Ngờ đâu, người con ngỗ nghịch này tham tiền, đã lên quan huyện tố giác nơi ẩn trốn của cha Tuân.
Nhiều lần quan hết chiêu dụ cha chối đạo, đến đay nghiến, đánh đập, hành hạ tàn bạo buộc cha Tuân bước qua Thánh giá.
Cuối cùng, không thể lay chuyển đức tin của Cha Giuse Tuân, quan đệ án trảm quyết, được vua Tự Đức y án. Ngày 30.4.1861, cha Giuse Tuân anh dũng ra pháp trường đổ máu vì đức tin.
Kể từ khi di cư 1954, giáo xứ chỉ là một giáo khu khu Á thánh Giuse Tuân. Thời cha Vicente Nguyễn Văn Dụ làm Chánh xứ Cao Xá, Đền thánh Giuse Tuân được xây dựng Năm 1960. Thời cha Phêrô Trần Văn Huấn làm chánh xứ, ngày 29.8.1995 Đền được tôn tạo thành thánh đường thánh Giuse Tuân, Đức Cha Alexis Phạm Văn Lộc làm phép ngày 24.6.1996.
Càng ngày giáo khu Giuse Tuân càng phát triển. Vì thế, ngày 16.2.2004, Đức cha Phêrô Trần Đình Tứ, Giám mục Phú Cường chủ sự thánh lễ công bố thành lập giáo xứ, gồm 5 giáo họ, khoảng 519 gia đình và 2.186 giáo dân, do cha Micae Nguyễn Văn Giang làm Chánh xứ tiên khởi.
Năm 2008, cha Gioan Baotixita Trần Đình Phùng làm chánh xứ cho nới rộng nhà thờ và được Đức cha Giuse Nguyễn Tấn Tước cung hiến ngày 27.12.2012.
Năm 2013, cha Giuse Nguyễn Hồng Ánh làm chánh xứ, nhanh chóng thăm các gia đình, nắm bắt tình hình sống đạo của bà con.
Tuy nhiên, trong tinh thần yêu mến Chúa theo gương thánh Tử đạo bổn mạng của mình, chúng con không quan trọng hóa các công trình vật chất, nhưng luôn khuyến khích nhau tăng cường đức tin, đức cậy, đức mến.
Kính thưa Đức Cha, hôm nay chúng con tổ chức tạ ơn 20 năm thành lập và mừng lễ thánh Giuse Tuân bổn mạng giáo xứ, người mà chúng con nhớ ơn thật nhiều chính là Đức cha. Chúng con cảm tạ Đức Cha, đã tin tưởng thành lập và trao giáo xứ cho chúng con, để chính chúng con phải có trách nhiệm xây dựng và làm cho chính giáo xứ của mình ngày một thăng tiến và vững mạnh.
Đức Cha đã khai sinh giáo xứ chúng con cách đây 20 năm. 20 năm qua và còn mãi về sau, giáo xứ chúng con nguyện sẽ luôn ghi nhớ công lao của Đức Cha. Chúng con hứa sẽ làm mọi việc có thể để nỗ lực lưu truyền cho mọi thế hệ mai sau về ơn nghĩa của Đức Cha, của biết bao nhiêu ân nhân trong ngoài giáo xứ, và của lớp lớp tiền nhân đã dày công xây dựng, gìn giữ, vun bồi về mọi phương diện để chúng con vững vàn trong đức tin và an tâm diễn tả lòng mến đối với Thiên Chúa và đối với Hội Thánh của Chúa.
Trong dịp đặc biệt này, chúng con không quên tạ ơn Chúa với Đức Cha trong năm mừng thọ 87 tuổi. Chúng con vui mừng hiệp cùng Đức Cha tạ ơn Chúa nhân tuổi linh mục tròn 59 mới hôm qua 29.4. Chúng con cảm nhận Đức Cha được Chúa yêu thật nhiều, bởi tuổi linh mục của Đức Cha còn lớn hơn tuổi đời của nhiều người. Chúng con hy vọng, ngày này năm sau, sẽ cùng Đức Cha long trọng mừng Ngọc Khánh linh mục. Đặc biệt, hôm nay chúng con hân hoan tạ ơn Chúa với Đức Cha trong năm hồng ân Ngân Khánh Giám mục, điều mà không phải vị Giám mục nào cũng có được.
Xin Chúa, nhờ lời chuyển cầu của thánh Phêrô, luôn đồng hành với Đức Cha. Chúng con tin, từ khi Đức Cha được phép gác lại mọi nhiệm vụ, khi mà Đức Cha có nhiều thời gian để cầu nguyện, để quan sát, chắc chắn Đức Cha dư sức nhận ra, chúng con luôn nhìn nhận Đức Cha là "cây cao bóng cả" của giáo phận và của mỗi chúng con.
Đức Cha chính là chỗ dựa tinh thần khi chúng con nhìn thấy bóng dáng của Đức Cha, khi chúng con biết vẫn có Đức Cha hiện diện. Dẫu có lần nào chúng con làm phiền vì phá sự thinh lặng của Đức Cha, xin Đức Cha tiếp tục thương ân cần đón nhận. Đức Cha là Đấng Hiền Phụ, là Bậc uy tín của chúng con. Chúng con tin, Chúa tiếp tục giữ Đức Cha trong sự khỏe mạnh, tháo vát, minh mẫn để Đức Cha tiếp tục trở nên sự cần thiết quý giá cho chúng con, để Đức Cha càng trở nên người Cha thâm niên trong ơn gọi của đời chúng con. Chúng con dám xin Chúa để Đức Cha ở lại trần gian lâu dài, để chúng con còn một người Cha. Chúng con xin đội ơn Chúa và cám ơn Đức Cha.