C'est en 1850 que Félix Seurrat de la Boulaye, maire de La Ferté-Saint-Aubin fit construire sur sa propriété, non loin du chemin d'Yvoy et de la route des Trays, sur une petite éminence dominant la plaine alentour, cette chapelle pour y abriter une statue trouvée dans les combles de l'église Saint-Michel et cachée là, peut-être, pour échapper à la folie destructrice de la Révolution de 1789. Cette statue -inscrite à l'inventaire des bâtiments de France- est une Vierge à l'Enfant, en bois polychrome, datée du XVIIe siècle. Elle représente la Vierge soutenant l'Enfant de son bras gauche tandis que le droit brandit le sceptre royal, attitude très en vogue au XVIIe.

C'est son nouvel abri qui lui vaut son vocable de Notre-Dame des Trays . L'oratoire est le but de pèlerinages réguliers organisés par la paroisse de La Ferté-Saint-Aubin. Notre-Dame des Trays est invoquée pour résoudre les problèmes familiaux et ceux de la vie courante, comme en témoignent les nombreux ex-votos entourant la statue.