1422 wurde erstmalig eine Lateinschule in Crailsheim als Pfarr- und Stadtschule erwähnt, aus der das heutige Albert-Schweitzer-Gymnasium entstand.

Zum Abschluss seiner "Geschichte des höheren Schulwesens in Crailsheim von 1422 bis 1956", überschrieben mit "Von der Lateinschule bis zum Gymnasium" schreibt Hans-Joachim König über die Anfänge des "Albert-Schweitzer-Gymnasiums"  (veröffentlicht in der Festschrift von 1983):

"... Am 8. Dezember 1953 begannen die ersten Arbeiten. Am 5. April 1954 erfolgte der erste Spatenstich und am 22. November desselben Jahres wurde Richtfest gefeiert. Anfang 1956 zog die Schule in ihr neues Domizil ein und Ende März fand die feierliche Einweihung des fünften Schulgebäudes der Crailsheimer höheren Schule statt, das auf Vorschlag von Dr. Ascher unter Zustimmung des Namensträgers und mit Beschluß des Stadtrates den Namen von Albert Schweitzer erhielt. Während des Schuljahres 1953/54 wurde die bisherige Oberschule in Gymnasium umbenannt, so daß es seit der Einweihung im Jahre 1956 in Crailsheim ein Albert-Schweitzer-Gymnasium gibt. ..."

• 1956 wurde nach 21-monatiger Bauzeit das Hauptgebäude und der Spezialklassentrakt fertiggestellt.
• Im Schuljahr 1968/69 besuchen 785 Schülerinnen und Schüler in 23 Klassen. Weitere Räume sind erforderlich.
• 1973 folgte der erste Erweiterungsbau am Schwanensee: das Schwanensee-Gebäude (heute: Experimentierlabor). Neben einem Sprachlabor waren dort die Biologie und Chemie untergebracht.
• Im Jahr 1983, wurde der zweite Erweiterungsbau "Neuestbau" (heute: Kreativwerkstatt) nach zweijähriger Bauzeit fertiggestellt. Kunsträume, ein Biologiesaal, ein Musiksaal, Werkräume, eine Cafeteria und Pausenhalle sowie eine Dachterasse zur astronomischen Nutzung.

2019 bis 2022 wurde das ASG umfassend umgebaut und saniert. Die Gebäude wurden äußerlich durch das Berliner Tape Art Kollektiv gestaltet und in Lernquartier, Kreativwerkstatt und Experimentierlabor umbenannt. Der ehemalige Hexenbuckelbau steht nun als Schülerzentrum insbesondere allen Schülerinnen und Schülern zur Verfügung. Auch im Inneren hat sich einiges getan: in den Unterrichtsräumen mit neuester Technik weichen die ehemaligen Kreidetafeln modernen interaktiven Displays. Zwei PC-Räume wurden neu eingerichtet und mit mobilen Endgeräten kann digitalgestütztes Lernen auch in den Klassenzimmern stattfinden. Die Fachräume der Naturwissenschaften, Musik und Kunst wurden neu ausgestattet und thematisch den Gebäuden zugeordnet.