Đền Hoành Sơn còn có tên gọi khác là đền Vĩnh Thịnh. Ngôi đền được dựng trên một khu đất cao ráo, cách đình Vĩnh Thịnh khoảng 100m về phía đông, kiến trúc chính quay hướng Tây Nam. Đền Hoành Sơn thờ Liễu Hạnh công chúa - một trong  “Tứ bất tử” trong thần điện người Việt.

Ngôi Đền đã được Bộ Văn hóa - Thông tin - Thể thao và Du lịch (nay là Bộ Văn hóa, Thể thao và Du lịch) xếp hạng là di tích kiến trúc nghệ thuật cấp quốc gia năm 1991.

Theo bản thần phả do Đông các Đại học sĩ Nguyễn Bính phụng soạn, lưu tại đền thì thánh Liễu vốn là công chúa Nguyệt Tiên, con gái Ngọc Hoàng thượng đế do sơ ý làm rơi vỡ chén ngọc nên bị giáng xuống trần đầu thai vào nhà hai vợ chồng ông Lê Thưởng và bàTrần Thị Hiên sống ở làng rêu phường An Thái, huyện Tiên Bản, phủ Nghĩa Hưng (sau đổi là huyện Vụ Bản, tỉnh Hà Nam Ninh), được đặt tên là Băng (Băng nương). Được 3 năm thì đột nhiên ông bào từ trần (vào ngày 10/7). Băng Nương được người cậu là Trần Công Bình đưa về nuôi, chăm sóc như con đẻ. Đến năm 13 tuổi, Băng nương đã nổi tiếng xinh đẹp, đảm đang nữ công, thông minh hơn người, nên được người cậu đưa sang học bên nhà ông thầy họ Đặng.

Chỉ một thời gian ngắn, nàng đã tinh thông giáo lý đạo Phật, đạo Lão, tài giỏi cung kiếm, võ nghệ, thơ văn, lại có nhiều phép lạ. Năm 16 tuổi, Băng nương kết duyên cùng một công tử họ Mai cùng làng và sống rất hạnh phúc. Được một thời gian, người cậu được bổ nhiệm làm Phủ doãn phủ Phụng Thiên (kinh thành Thăng Long). Một lần ra kinh thành thăm cha mẹ nuôi, gặp lúc trời tối nàng  bèn ghé nghỉ lại tại huyện lỵ. Khi ấy có một số chức dịch ở khu Vĩnh Bảo, tổng Vĩnh Đăng đang có việc đến hầu huyện nha. Nhìn thấy nàng Băng xinh đẹp như hoa thì ghé tai nhau cười nói “Giá mà được trang tuyệt sắc này làm vợ thì vui” và buông lời giễu cợt. Sau đó người nào người nấy lên cơn sốt nóng, sốt lạnh, nói lảm nhảm suốt ngày thuốc thang, cúng bái đều không khỏi. Một đêm tất cả các họ trong làng đều mọng thấy một viên quan cưỡi ngựa hồng, mày râu trắng xóa, áo mũ chỉnh tề, có mấy chục người theo hầu ung dung đi vào quán sở của thôn gọi dân đến bảo: “Ta vâng lệnh thượng đế đến giữ chức Long Thần Chủ Tế trông nom chùa chiền trong khu. Nay báo cho dân rõ, nàng Băng vốn là con gái Ngọc Hoàng, bị biến xuống trần, trông ngoài như người thường, nhưng chính là một vị thần linh thiêng, không thể một lúc đưa ra giễu cợt, vừa qua ở huyện sở dân chúng đã buông lời khiếm lễ nên bị trời phạt, gây thành bệnh tật. Nay muốn được yên ổn, cần gặp nàng Băng tạ lễ mới xong”. Mọi người tỉnh dậy nói chuyện với nhau , thấy mộng triệu đều thống nhất, lấy làm kỳ lạ. Hôm sau vội vàng đến phủ Phụng Thiên gặp nàng Băng thưa chuyện và xin làm thần tử. Vừa lúc gặp nàng Băng cùng thị nữ đi chơi Hồ Tây về. Nàng Băng thấy vậy cũng đồng ý và tặng lại dân một tấm khăn hồng.

 Từ đó mỗi lần nàng Băng đi thăm cha mẹ nuôi ở phủ Phụng Thiên đều ghé thăm và nghỉ lại khu Vĩnh Bảo, huyện Long Đàm (nay là thôn Vĩnh Thịnh, huyện Thanh Trì) và được huyện lệnh cũng như dân sở tại đón tiếp chu đáo. Trong lễ Yến hạ (ngày 12/5) trong khi yến tiệc nàng Băng đã đọc mấy câu thơ:

Trời cho ta giáng xuống trần

Thanh danh không phụ lòng dân mong chờ

Nghĩa còn Vĩnh Bảo ngàn xưa

Ức năm hẳn chẳng lu mờ khói hương.

Một lần trên đường thăm cha trở về qua khu Vĩnh Bảo, đang lúc bái hạ thì trời đất tối sầm, một đám mây ngũ sắc, có tiếng đàn sáo vang lừng, tiếp đó một đám mây hồng từ trên trời là xuống  và nàng Băng đột nhiên hóa (nhằm ngày mùng 3 tháng 3), để lại một dải khăn hồng và một đóa thoa vàng. Nơi hóa của nàng có thế “Phượng Hoàng phụ bảng” tức là Chim Phượng hoàng đội bảng. Sự việc được báo đến vua, nhà vua cho lập lăng và ban cho khu Vĩnh Bảo 300 quan tiền để lập miếu, đền thờ, phong sắc là “Liễu Hạnh tiên Băng công chúa”, miễn cho dân khu Vĩnh Bảo mọi tô thuế, lao dịch để chuyên việc thờ phụng. Trải qua nhiều triều đại, nàng đã được phong là Liễu Hạnh công chúa Thượng đẳng thần.

Tổng thể kiến trúc đền Hoành Sơn gồm nhiều hạng mục được bố cục hài hòa tạo một không gian khép kín.

Mở đầu kiến trúc là Nghi môn mới được xây dựng năm 2012, là sự kết hợp giữa kiểu lầu các và trụ biểu. Nghi môn gồm hai tầng, tầng dưới là các trụ gạch vuông, mở ba lối ra vào kiểu vòm cuốn; tầng trên là những trụ bê tông tròn giả gỗ đỡ các bộ mái kiểu dáng truyền thống.

Sau Nghi môn là một hồ nước vuông, chính giữa có một cầu gạch bắc sang sân đền; hai đầu cầu phía bên kia là hai lầu cô, lầu cậu. Đăng đối hai bên sân đền là hai dãy Tả mạc, Hữu mạc kiến trúc giống nhau, đều làm theo kiểu tường hồi bít đốc, kèo cầu quá giang, bào trơn đóng bén. Nằm phía cuối sân, thẳng trên trục thần đạo là đền thờ chính với kiến trúc chữ Đinh gồm Tiền tế, ống muốn và Hậu cung.

Tiền tế, gồm năm gian xây kiểu tường hồi bít đốc, mái lợp ngói ri truyền thống. Gian hồi bên phải là động Sơn Trang. Hệ khung kiến trúc Tiền tế kiểu bốn hàng chân. Các bộ vì nóc đều kết cấu kiểu giá chiêng - chồng rường cụt. Các vì nách ba gian giữa kết cấu kiểu ván mê kê trên cật xà nách, đỡ hoành mái; hai mặt ván mê chạm khắc sinh động nhiều đề tài mang phong cách nghệ thuật thế kỷ XIX.

Tất cả các con rường, trụ trốn, câu đầu, xà nách và ván mê đều được chạm với nhiều đề tài vân mây, lá lật, rồng, phượng, con người, rất phong phú về kiểu dáng và mang đặc trưng phong cách nghệ thuật thời Nguyễn thế kỷ XIX. Cả bốn đầu dư gian giữa đều chạm thành đầu rồng miệng há to, ngậm viên ngọc tròn. Rồng còn được chạm trên các thân bẩy hiên trước, trên các cốn vì nách gian giữa Tiền tế và Hậu cung... Có bức cốn lại chạm đủ bộ tứ linh (long, ly, quy, phượng).

Có bức cốn lại chạm hoạt cảnh người, ngựa với nhiều tư thế khác nhau: có người đứng hầu, có người đang đấu kiếm, có người đang ngồi thiền... gần đó là đôi ngựa đứng dưới chân cột cờ. Ở bức cốn khác lại có hoạt cảnh đoàn rước với một người dắt ngựa, một người vác cờ, hai người bê tráp đứng hầu và một tăng sĩ với khuôn mặt phúc hậu... Có bức cốn lại mô tả cảnh thần tiên đang uống rượu, đánh cờ trên đỉnh núi. Có bức lại mô tả cảnh nàng tiên đi mây, về gió trong tiếng nhạc réo rắt; dưới hạ giới là cuộc sống thường nhật với cảnh nam thanh, nữ tú, cảnh người chơi đàn, người đánh cờ, cảnh người đi cày và cảnh nếp nhà bình dị... Tất cả những mảng chạm tả cảnh con người xen lẫn với cây cỏ, vân mây đều rất lãng mạn, thể hiện sự tài khéo của những nghệ nhân điêu khắc gỗ xưa. Một điểm nữa, tất cả các cấu kiện gỗ ở Tiền tế đều được sơn son, các mảng chạm khắc đều được thếp vàng rực rỡ nhưng với chất liệu và màu sắc truyền thống khiến không gian thờ tự trở nên lộng lẫy và vẫn không xa lạ.

Ống muống gồm ba gian nối tiền tế với Hậu cung, gian hồi bên trái là ban thờ Đức thánh Trần, phía trên có bức hoành phi: Trần triều hiển thánh ( Bậc hiển thánh triều Trần); Phối thiên kỳ trạch (Ân trạch sánh với trời).

Hậu cung đền với kiến trúc kín đáo, gồm ba gian, gian giữa thờ Mẫu Liễu Hạnh, hai gian bên thờ hai nàng hầu là Cô Quỳnh và Cô Quế. Trần hậu cung bằng gỗ với kiến trúc Ô xa, tàng lọng đây là loại hình kiến trúc tinh sảo.

Căn cứ vào thần tích thì ngôi đền này được khởi dựng từ thời Lý (thế kỷ XI). Tuy nhiên, dấu vết kiến trúc cũng như những đồ thờ tự của lần khởi dựng đến nay đã không còn. Kiến trúc hiện còn của đền còn giữ được nhiều mảng chạm từ thế kỷ XIX, công trình này cũng đã được đại tu năm Duy Tân thứ 5 (1911) và sự kiện đó được ghi trên thượng lương gian giữa. Đền Hoành Sơn còn giữ được khá nhiều di vật của một ngôi đền thờ Thánh Mẫu, đó là hệ thống câu đối, hoành phi ca ngợi Thánh Mẫu và Đức thánh Trần, đó là các bộ cửa võng, hương án, ngai thờ, khám thờ, hạc thờ gỗ hay bát hương sứ, chuông đồng... Đặc biệt, trong Hậu cung đền còn có tượng thờ Thánh Mẫu Liễu Hạnh thếp vàng, tạo tác khá đẹp, đặt trang trọng trong khám thờ, mang phong cách nghệ thuật nửa đầu thế kỷ XX.

Đền Hoành Sơn là một ngôi đền thờ Thánh Mẫu còn bảo lưu được những giá trị về kiến trúc, nghệ thuật cũng như nhiều di vật quý; hiện nay vẫn đang là nơi sinh hoạt văn hóa tâm linh quan trọng của đông đảo nhân dân trong vùng. Đặc biệt là cuốn thần phả bằng giấy dó do Đông các Đại học sĩ Nguyễn Bính phụng soạn năm Hồng Phúc nguyên niên (1572).