Kasteel Groeneveld ontstond in de traditie van de 17de en 18de eeuwse landgoederen die bestemd waren als zomerhuis voor rijke stedelingen, voornamelijk Amsterdammers. Groeneveld is vermoedelijk gebouwd op de fundamenten van een boerenhofstede. Aanvankelijk bestond het huis alleen uit het middengedeelte van het hoofdgebouw en de twee bijgebouwen: koetshuis en oranjerie. De zijvleugels dateren uit omstreeks 1760.
Tot 1940 was Kasteel Groeneveld particulier bezit. Huis en landgoed veranderden vaak van eigenaar. Sommigen voerden ingrijpende veranderingen aan het huis of aan de tuin door. In de na-oorlogse periode was Kasteel Groeneveld een vrijplaats was voor Amsterdamse schrijvers en kunstenaars. Tijdens de laatste verbouwing (2012) is de oorspronkelijke keuken in het souterrain in ere hersteld. De rijke geschiedenis komt tot leven op de bel-etage door onder andere de originele behangselschilderingen en het prachtig stucwerk van Van Logteren uit de 18e eeuw.