Kasteel Rivieren werd in 1364 gesticht door Catharina Van Rivieren. Zij was de priorin van het klooster Sint Gerlach in Houthem. In het begin werd het kasteel gebruikt als klooster. De met naam bekende eigenaren, in latere perioden waren Gysbert Van der Vyeren, die het kasteel in 1444 in zijn bezit kreeg; Johan Van der Koesselaar, wiens dochter Mynten ene Arnold Van Printhagen huwde; hun enige dochter huwde Gerard Huyn Van Amstenrade; zoon Casper bouwde waarschijnlijk begin achttiende eeuw het huidige kasteel, dat werd voltooid door diens zoon Gerard. In 1663 komen we nog jonker Eynatten Van Rivieren als kasteelbezitter tegen; vervolgens in 1686 Johan Albert von Schrieck. Diens zoon liet het kasteel verbouwen. De familie von Schrieck bewoonde gedurende lange tijd het kasteel, dat tenslotte overging naar de familie De Marchant et d'Ansembourg, de bezitters van het Kasteel te Amstenrade. Thans is het in bezit van de familie d'Asembourg.
Voor het kasteel ligt aan noordzijde een U-vormige kasteelhoeve die bereikbaar is via een brug over de gracht die om het gehele complex gelegen is. Vroeger was er een ophaalbrug tussen de voorburcht en het kasteel later werd dit een vaste verbinding. Tegenwoordig is de voorburcht in gebruik als boerenbedrijf. Het voormalige koetshuis werd een tijdlang gebruikt als opslag voor landbouwmachines. Nu is het niet meer in gebruik en de eigenaar wil het in de toekomst restaureren.