Der heute als Goldmann-Keller bekannte Felsenkeller liegt zwischen dem Helbig- und dem Birkner-Keller und war lange Zeit kaum wahrnehmbar, da dort kein Bierausschank stattfand.
Seit dem Jahr 1706 gehörte der Keller zum Gemeindebrauhaus der Altstadt Erlangen, in dem ab 1710 auch Bürger gegen Zahlung von Kesselgeld ihr eigenes Bier brauen konnten. Um 1813 erwarb Johann Martin Lebender das Brauhaus und ließ im Zuge dessen den Kellerstollen anlegen, der 1823 mit dem Bau des Kellerhäuschens abgeschlossen wurde.
1852 ging das Grundstück in den Besitz von Heinrich Henninger über, der ebenfalls Eigentümer des späteren Helbig-Kellers war. Von 1855 bis 1884 befand sich der Keller im Besitz der Familie Helbig. Danach endete die Nutzung als Lager- und Ausschankkeller.
Ab 1933 wurde Karl Kirchner, ein Erlanger Büttner, als Eigentümer geführt – der Keller trug fortan seinen Namen. Um 1944 diente der Keller als Lagerraum im Rahmen der Rüstungsproduktion. 1952 errichtete die Siemens-Wohnungsbaugesellschaft auf dem hinteren Grundstück ein Vierfamilienwohnhaus, das heute in Eigentumswohnungen aufgeteilt ist.
Seit 2008 wird der Keller von Thomas Goldmann, dem heutigen Namensgeber, bewirtschaftet.