Die Zeugnisse für die Existenz eines städtischen Archivs vor dem Jahre 1800 sind spärlich. Die vom Rat als wertvoll eingeschätzten Dokumente (Urkunden, Rechnungen, Ratsprotokolle) sind offenbar am jeweiligen Sitz des Rathauses verwahrt worden. Einzelheiten sind leider nicht bekannt. Eine erste systematische Erfassung der städtischen Überlieferung erfolgte Anfang des 19. Jahrhunderts in zwei umfangreichen Repertorien (Findbücher), welche das gesamte Schriftgut in 88 sachthematische, alphabetisch gereihte Rubriken von "Abgaben" bis "Zünfte" einteilte. Einen großen Zuwachs erhielt das Archiv durch die im ersten Drittel des 19. Jahrhunderts erfolgte Übernahme der Unterlagen der unterstädtischen Gemeinden (Altenhof, Hinterburg, Lengsfeldergasse), der Spitäler, der Armenverwaltung und des Landkrankenhauses (einschließlich der darin befindlichen Unterlagen des Hünfelder Stiftes Heilig Kreuz).

Im Jahre 1901 erhielt das Archiv mit Dr. Josef Kartels (1869-1931) seinen ersten hauptamtlichen Betreuer. Kartels unterteilte das Schriftgut mit Ausnahme der Urkunden in 24 Sachgruppen und schuf damit die noch heute gültige Einteilung der Altbestände vor 1945 (vgl. Bestände). Das Wirken des neuen Archivars dauerte leider nur bis zum Jahre 1904, da nach der Neuordnung der Akten die Stadtverordneten keine Notwendigkeit für eine Verlängerung des Vertrages sahen. Besonders verdient hat sich Kartels neben seiner archivarischen Tätigkeit durch die Herausgabe der Fuldaer Rats- und Bürgerlisten gemacht, die zu einem unentbehrlichen Hilfsmittel für die Forschung geworden sind.

In der Folge wurde das Stadtarchiv nur noch nebenamtlich verwaltet, so u.a. durch den Direktor der Landesbibliothek Dr. Joseph Theele (1889-1944), der seit 1939 in erster Linie mit der Sicherung der Archivalien beschäftigt war.

Den Zweiten Weltkrieg überstand das städtische Archiv unversehrt in einem Keller des Stadtschlosses. Nach dem Krieg währte die nebenamtliche Leitung des Archivs mit der Bestellung des pensionierten Münsteraner Universitätsdirektors Dr. Christoph Weber (1883-1958, Stadtarchivar 1952-1958) sowie des Musikwissenschaftlers und Historikers Dr. Robert Pessenlehner (1899-1985, Stadtarchivar 1958-1976) bis in die siebziger Jahre. Mit Pessenlehners Nachfolgerin Dr. Rita Wehner (Stadtarchivarin 1976-1998) wurde nach mehr als siebzig Jahren erstmals wieder eine hauptamtliche Kraft mit der Leitung des Archivs betraut. Der im Jahre 1979 erfolgte Umzug des Stadtarchivs aus den beengten Räumen im Stadtschloss in das neue Domizil im Palais Buttlar am Bonifatiusplatz war aus archivgeschichtlicher Sicht von herausragender Bedeutung. Seit mehr als 25 Jahren verfügt das Stadtarchiv über adäquate Räumlichkeiten in einem historischen Ambiente.