Schon von weitem sichtbar ist die gelb leuchtende Fassade des Orangerie-Schlosses in der Karlsaue mit den beiden Eckpavillons. Die Orangerie wurde Anfang des 18. Jahrhunderts durch Landgraf Carl erbaut. Im Mittelbau überwinterten zahlreiche Orangen- und Lorbeerbäume. Die beiden Eckpavillons – Küchenpavillon und Marmorbad – sowie den zentralen Apollosaal nutzte Landgraf Carl mit seiner Frau als Sommerresidenz und für Feste. In den 1760er Jahren beobachtete sein Enkel Landgraf Friedrich mit Fernrohren auf den Dächern der Orangerie den Lauf des Mondes und der Planeten. Heute kann man hier Hessens größtes Planetarium entdecken.

Ursprünglich war in der Orangerie eine Dauerausstellung der Sammlung des Astronomisch-Physikalischen Kabinetts untergebracht. Aufgrund einer notwendigen Grundinstandsetzung des Gebäudes ist der Museumsbereich zurzeit geschlossen und die Ausstellung in kleinen Sonderpräsentationen im Hessischen Landesmuseum zu sehen.