De oudste vermelding van een kasteel Endegeest dateert van 1307. Van 1641 tot 1643 verbleef de Franse filosoof René Descartes op het kasteel. Een borstbeeld van Descartes (gemaakt door Erszébet Baerveldt) op het kasteelplein herinnert nog aan deze beroemde bewoner. Het huidige kasteel is echter aanmerkelijk jonger en werd tussen 1647 en 1651 gebouwd in opdracht van Elisabeth van Schouwen van Endegeest en haar echtgenoot Jacob van Berchem. Daarna werd het gedeelte tussen de twee torens volgebouwd.
Voor het kasteel ligt een plein, dat door een poort toegankelijk is. Boven de poort is het familiewapen.