Das Rote Schloss ist das einzige Heroldsberger Schloss, das die Originalfarbe seiner Fensterläden als Namensgeber beibehalten hat. Erbaut wurde es von Martin III. Geuder im Jahre 1489. Albrecht Dürer, ein Freund Martin Geuders, weilte im Jahr 1510 zu Gast im Roten Schloss. Er fertigte von hier aus die bekannte Federzeichnung „Das Kirchdorf“. Das Bild befindet sich heute im Musee Bonnat in Bayonne/Südfrankreich.

Im Inneren birgt das Rote Schloss zahlreiche Ahnenbilder der Geuder und Kunstwerke sowie das bis 1330 zurückreichende Geuderarchiv. Im Schlosshof stehen neben den früheren Gesindehäusern noch die 1539 erbaute Scheune, ein Backofen sowie ein Ziehbrunnen. Der Torbogen – Eingang in den Schlosshof – stammt aus dem Jahr 1711. Schlossgarten und Schlossweiher wurden in der Barockzeit angelegt und sind in ihren Grundzügen bis heute erhalten.

Das Gelbe Schloss wurde als Herrensitz in der zweiten Hälfte des 16. Jahrhunderts auf den Fundamenten eines älteren Sitzes von Hieronymus Geuder erbaut. Von 1752 bis 1789 war Johann Adam Geuder, Nürnberger Losunger, Schlossherr. 1988 wurde das Gelbe Schloss grundlegend renoviert.

Im Turm des Gotteshauses befinden sich Fresken aus der Zeit um 1380. Chor und Altar wurden 1444 geweiht. Das Mittelschiff wurde 1821 aufgestockt und die Kirche erhielt ihre jetzige Gestalt. Das Innere der Kirche ist reich an Kunstschätzen. Den Mittelpunkt bildet sicherlich der Altar mit seinem Kruzifix. Dabei handelt es sich um ein Frühwerk Tilman Riemenschneiders. Die Kirche ist von einem alten Kirchhof umgeben, der von einer dicken Sandsteinmauer eingefriedet wird. Bei der gesamten Anlage handelte es sich ursprünglich um eine Wehrkirche bzw. Kirchenburg. Die Befestigungsanlagen wurden 1846 abgebrochen.