Der seit 1209 in der Gegend ansässige Franziskaner Orden begann Mitte des 13. Jahrhunderts mit dem Bau einer Saalkirche an der Berliner Stadtmauer. Bis zum Beginn des 14. Jahrhundert erfolgten immer wieder Veränderungen und Anbauten, bis schließlich eine dreischiffige Basilika mit hochgotischer Ausgestaltung das Zentrum eines großen Klosterkomplexes bildete.
Im Zuge der Reformation erfolgte die Säkularisierung des Klosters und nach dem Tod der letzten noch verbliebenen Mönche wurde das Gebäude für unterschiedliche wirtschaftliche Zwecke genutzt.
1574 erfolgt auf Betreiben des Kurfürsten Johann Georg die Gründung eines 'Gymnasium zum Grauen Kloster' im ehemaligen Kloster. Die Namensgebung geht zurück auf die grauen Mönchskutten der Franziskaner.
Die Schule besuchten unter anderem Karl Friedrich Schinkel, Fürst Otto von Bismarck und Turnvater Friedrich Ludwig Jahn.
Im April 1945 zerstörte ein Bombenangriff den Gebäudekomplex und in den 1950er Jahren wurde der Platz in eine Grünanlage umgewandelt, in dessen Mitte die Ruinen der Kirche erhalten blieben. In der Ruine finden gelegentlich Veranstaltungen und Kunstausstellungen statt.