A XII. században épült impozáns épületet a XV.században paplakkal és melléképületekkel bővítették és bekerítették.
A fehérvári őrkanonokság kegyúri temploma.
1334-ben kelt összeírásában Boldogasszony-Dörgicse alakban szerepel a falu temploma.
A XVI. század második felétől Dörgicse a hódoltság területére esett és többször vált lakatlanná.
A XVII. században leégett.
Híres luteránus papja a gályarab Zsedényi István, akit 1674.ben hurcoltak el, de 1677-ben sikerült hazakerülnie Dörgicsére.
Az 1778. évi egyházlátogatás jegyzőkönyve szerint még működött a templom.
1804-ben I. Ferenc a települést a piarista rendnek adományozta.
1816-ban a templom már romos.
Rómer Flóris bencés apát, faluról falura járva a Bakonyt (1859), könyvet írt annak régészeti és természeti kincseiről, melyben az alsódörgicsei templomról a következőket írta: "E díszes és nagyszerű egyházból épen csak annyi áll, hogy időszakát, amelyben épült, faragványaiból mintegy hozzávetőleg meghatározhatjuk. A hajó hossza lehetett 7 öl [12,6 méter], széle 6 öl [10,8 méter], magasságát mintegy tíz ölre [18 méter] becsültem. A torony nyugoton állt, és két - alul 2 ölnyire [3,6 méterre] elényúló - támmal erősített; az egyenesen elvágott szentélynek két szöglete is harántos támfalakkal bírt. A nyugoti fal fölül három kettős ablakot tüntet elő, mint ezeket a jáki, lébenyi, zsámbéki és más ezen korú templomokon is láthatjuk, a harmadik már le van tördelve. Nem mindennapi látvány azon több négyszögölnyi területű roppant faldarab, mely a torony oldala mellett fekszik, s mely egészen ép ablakot foglal magába. Itt-ott faragott kődarabok hevernek, s én nem kételkedem, miszerént, ha az urasági majorban körülnézhettünk volna, akadhattunk volna bizonyosan némi érdekes faragványokra."
Az épületmaradványokat 1938-ban statikailag megerősítették, s részben újjáépítették.
1967-68-ban került sor a szakszerű régészeti feltárására.
A renoválás és parkosítás után a romterület a Balaton-felvidék egyik legszebb kulturális emlékhelyévé vált.