A Vértes belsejében (a bencések szokása szerint: a főbb utaktól és a lakott területektől távol) egy magaslaton fekszik, a hajdan nagyméretű bencés kolostor és templom romja, melyet Szt. Kereszt tiszteletére szenteltek fel.
A keleti tájolású, háromhajós templom egyedi vonása, hogy a főszentély háromkarélyos elrendezésű, nyugati homlokzata két tornyos, a korai gótika hatását tükröző templom volt, amelyet nyolcszögű pillérek, bimbós, leveles oszlopfők, csúcsíves záródások jellemeztek.
A kolostort vörösmárvány díszítései miatt "Vörös kolostornak" is nevezték. Hossza 32,5 m szélessége 16 m, a kereszthajóknál 19,6m.
A vértesszentkereszti kolostorrom román kori építészetünk egyik korai emléke.
1146-ban keltezett első írásos feljegyzése a Csák nemzetségből származó Ugrint nevezi meg a monostor alapító és adományozó kegyurának.
A kezdetben szerény épülettegyüttest (az első kolostor templomát, mely még egyenes záródású szentéllyel épült), a fontos egyházi méltóságokat betöltő II. Ugrin (előbb püspök, majd esztergomi érsek) az 1210-es években jelentősen kiépítette, ekkor nyerte el ma is látható (latinkereszthez hasonló) alakját.
A vértesszentkereszti apátok tekintélyes és befolyásos emberek voltak: 1226-ban és 1239-ben szerepelnek egyházjogi perekben.
Később, a XIV. századtól az apátság befolyása csökkenni kezdett -a rend számos kolostorához hasonlóan, a Csák nemzetségtől visszakerült királyi birtokba. IV. László király 1276-ban oklevelet keltezett innen, Zsigmond pedig 1393-ban nyilatkozatában támogatja a bencéseket. A XV. század második felében az épületek már rossz állapotban voltak és a szerzetesek nem tudták megújítani kolostorukat, ezért a bencések elhagyják az apátságot.
Mátyás király 1478-ban IV. Sixtus pápától kéri, hogy a hanyatlásnak indult kolostort az obszerváns domonkosoknak adhassa, akik a birtokukba került kolostorban csak 1505-ben alakították meg konventjüket. Ekkor újabb építkezésekre került sor, elsősorban a kolostor részben, ahol kerengőt alakítottak ki, és reneszánsz részletekkel díszítették. A kolostor kerengőjének sarkánál kis kápolna állt, amely eredetileg a közeli település plébániatemploma lehetett. Ezt a kis templomot a domonkosok belefoglalták a kolostorukba. A domonkosok XVI. század első feléig tartó építkezését, átalakítási munkáit nem a szépségre való törekvés, hanem a szerénység és a célszerűség jellemezte. 1541-ig működött ebben a formában.
A kolostorban az életet a török pusztítás szüntette meg.
A török idők alatt a templom és a kolostor elpusztult. A törökök valószínűleg erődnek használták az épületegyüttest, felújításával nem foglalkoztak, kivonulásuk idején már bizonyosan rom volt.
A XVIII. században (1727-ben) az Esterházyak tulajdonába kerül. A növényi ornamentikával díszített, faragott oszlopfőket, állatalakos töredékeket, csúcsíves ablak- és kapukeret-köveket, a pannonhalmi főapát tiltakozása ellenére az Eszterházyak kastélyukba szállíttatták és a kor divatja szerint romantikus műromokat építtettek belőlük Csákváron és Tatán. Ezek ma is láthatók, számos faragott követ a tatai múzeumban őriznek.
Mára már csak néhány 8-10 m magas falmaradvány, kapuboltozat töredék maradt meg.
Rekonstrukciója évek óta tart, jelentős régészeti ásatás tárta fel a kolostor korábbi maradványait. A műemléki helyreállítás eredményeként szabadon látogatható a Vértes erdejében álló látványos templomrom.