Nachdem der Präfektur des Haut-Rhins die Räumlichkeiten im Kloster der Pairis (heute Rathaus), in dem es sich seit seiner Gründung 1800 befand, zu klein wurden, begannen 1862 die Arbeiten an einem neuen Gebäude. Dieses Gebäude, das in derselben Bauart wie die Präfektur der Haute-Marne gebaut ist, wurde 1866 eröffnet. Im Stil Ludwig des XIII besteht das Gebäude aus einem zentralen Gebäude, das von zwei Seitenflügeln eingerahmt wird.
Bevor sich die Präfektur des Haut-Rhins 1918 wieder dort niederließ, befand sich während der Annexion der Region durch Deutschland hier die deutsche Verwaltung. Nachdem das Gebäude der Präfektur 1938 durch einen Brand zerstört und 1940 bombardiert wurde, musste es während der Kämpfe für die Befreiung Colmars erneut Schäden hinnehmen. Die Präfektur befindet sich gegenüber dem Champ de Mars, dessen Aufbau an das Kreuz der Ehrenlegion erinnert.