En 1617, des rues nouvelles furent créées dans ce quartier, parmi lesquelles la longue rue Neuve. En même temps, on reconstruisit de 1618 à 1620, la petite chapelle. La population devenant de jour en jour plus dense, on érigea en église paroissiale, en 1646, la nouvelle chapelle du Finistère. En 1654, il fallut songer à l'agrandir.  Cinquante ans plus tard, on décida la construction d'une église monumentale, digne de l'importance acquise par le quartier de la rue Neuve.  En 1713, les membres du Conseil d'Etat posèrent solennellement la première pierre de la nouvelle construction.  Pour couvrir les frais on organisa une loterie, mais un des commis préposés à la perception de l'argent ayant emporté une partie des fonds, il faillit momentanément renoncer aux travaux. lis furent repris et achevés vers 1730.
Fermée pendant la Révolution, l'église fut rendue au culte et restaurée en 1804.
En 1828, on construisit la parie supérieure de la façade ainsi que la lanterne octogone qui sert de clocher.
En 1843, on orna d'une statue de la Vierge soutenue par des anges le grand panneau oblong de cette partie supérieure.
Sous l'ancien Régime, l'église était desservie par les Oratoriens, de l'Ordre de Saint Philippe de Néri. 

Le chœur se termine en abside hémisphérique ornée de 4 pilastres à chapiteau composite. Il est éclairé par 4 fenêtres.  L'architrave est décorée d'une frise en stuc, les trumeaux de longues chutes de raisins et d'épis. D'autres ornements encombrent les panneaux de l'abside.

Le maître-autel, en marbre blanc, n'est pas sans mérite. Il fut exécuté par A.-J. Leclercq en 1853.  Au-dessus, une statue de la Vierge soutenue par deux anges.

Les boiseries des stalles, en style Louis XIV, sont ornées de médaillons représentant les douze Apôtres. On les attribue à J.-B. Van der Haeghen (début du XVIll^e).

La chapelle latérale droite a le même décor en stuc que le chœur.  L'autel a été également exécuté par A.-J. Leclercq.  On y voit une Fuite en Egypte par J. Van Severdonck (vers 1859). Le banc de communion, en style Louis XIV, est intéressant.  Il est orné de deux médaillons représentant d'un côté une sainte martyre, probablement Sainte Apolline devant son juge, de l'autre la même sainte marchant au bûcher.  Il est ancien et provient de l'ancienne église des Augustins où cette sainte était particulièrement honorée.  Adossée au pilier, une statue de Sainte Barbe, par Joseph Geefs.

La chapelle latérale gauche est ornée d'un tableau, Saint Philippe de Néri devant la Vierge, par Gaspard De Crayer.
Le banc de communion, en style Louis XIV, est identique à celui de la chapelle située à droite.  Il provient d'ailleurs aussi de l'église des Augustins.

Les boiseries et les confessionnaux qui garnissent les murs des collatéraux, en style Louis XIV, présentent un certain intérêt.
La chaire de vérité produit un grand effet décoratif, mais la sculpture n'en est pas fouillée.  Elle fut exécutée par Duray, père. On y voit des personnages debout, à l'avant-plan Moise et Aaron.

Au jubé, deux statues, David et Sainte Cécile. Balustrade ornée d'angelots.

Les quatre grands tableaux de confrérie, en bois de chêne sculpté, qui ornent les dernières colonnes, méritent d'être remarqués.

Les tableaux du Chemin de la Croix ont été peints, de 1850 à 1852 par différents peintres; J. Van Severdonck, E. Bouillot, Ch.  De Groux, L. Bonet, H. Houzé, Albert Roberti, E. Leclercq, L. Tiberghien et Ch.  Wauters.  Les verrières sont de la même époque.
A côté de la nef latérale droite se trouve une chapelle particulière
où l'on vénère Notre-Dame du Bon Succès.  La statue de la Vierge fut apportée d'Aberdeen (Ecosse) à l'église des Augustins en 1625.

De là elle fut transférée au Finistère en 1814, lorsque l'église des Augustins fut convertie en temple protestant.
Dans le fond un tableau, Le Christ honni et aux murs une Fuite en Egypte et Saint Joseph averti par un ange que Marie deviendra mère (XVIIIe siècle), tableaux attribués au peintre de la Cour, Van Diest.