Het Rood-Klooster dankt haar naam aan de muren die bedekt waren met een rode pleisterlaag. Het is gesticht in 1367-1369 door kluizenaars en groeide uit tot een priorij van reguliere kanunniken van Sint-Augustinus. Door de eeuwen heen vergaarde het grote rijkdom.
De beroemde kunstschilder Hugo van der Goes leefde en werkte er tijdens de laatste jaren van zijn leven. Hij overleed er krankzinnig geworden in 1482. Delen van het klooster werden verwoest tijdens oorlogen en het complex raakte in verval. In 1965 werd het een beschermd monument.
Tegenwoordig biedt het onder meer onderdak aan een Kunstencentrum. Het Klooster vormt met zijn tuinen, vijvers, moerassen en bossen één van de vijf natuurreservaten dat het Zoniënwoud rijk is.