Rekoleční dům vznikl současně s kostelíkem a klášterem rovněž podle projektu Kryštofa Dietzenhofera. Dokončen byl v roce 1694.
Dům sdílel osudy ostatních staveb v areálu. Teprve v roce 1990 se stalo majitelem budovy město Mníšek pod Brdy, které v roce 1994 objekt zastřešilo a provedlo rozsáhlou rekonstrukci, zakončenou v roce 1996. Do apsidy byla vrácena Brokoffova Pieta.
Dnes je uživatelem objektu pražské arcibiskupství.