Am 9. September 1880 wurde der Friedhof eingeweiht, nachdem der jüdische Friedhof in der Schönhauser Allee zu klein geworden war. Charakteristisch sind die monumentalen Grabstätten aus der Kaiserzeit, die sich auf fast allen Berliner Friedhöfen aus dieser Zeit finden. Das zum Wohlstand gekommene Bürgertum drücke hier sein Selbstverständnis aus.

Für die jüdischen Gefallenen des Ersten Weltkriegs gibt es ein großes Ehrenfeld mit 12.000 Gräbern. Der Gedenk-Altar wurde von Alexander Beer gestaltet und das 1927 eingeweihte Denkmal vom Reichsbund jüdischer Frontsoldaten in Auftrag gegeben.

Während der Zeit des Nationalsozialismus gab es eine große Anzahl von Selbstmorden, was zum starken Anstieg der Bestattungen bis 1942 führte. Das Gelände wurde zudem von einigen jüdischen Menschen genutzt, um sich vor der Verfolgung und Deportation zu retten. Außerdem wurden zahlreiche Thora-Rollen und Synagogenschmuck auf dem Friedhof versteckt. In Erinnerung an die Opfer der Shoa befindet sich im Eingangsbereich eine Gedenkstätte an der einige Urnen mit Asche von Ermordeten aus verschiedenen Konzentrationslagern beigesetzt sind.

Zahlreiche Persönlichkeiten sind auf dem Friedhof Weißensee begraben. Dazu gehören u.a. der Gelehrte Hermann Cohen, der Komponist Louis Lewandowski, der Maler Lesser Ury, die Gründerin der Volksküchenbewegung Lina Morgenstern, der KaDeWe-Gründer Adolf Jandorf, der Verleger Samuel Fischer, der Gastronom Berthold Kempinski und der Schriftsteller Stefan Heym.
Herbert Baum, einer der bekanntesten jüdischen Widerstandskämpfer gegen den Nationalsozialismus, wurde hier zusammen mit einigen Mitgliedern seiner Gruppe beigesetzt.

In den letzten Jahren wurde der Friedhof mehrmals geschändet, indem Grabmäler teilweise irreparabel beschädigt wurden.

Der Eingang zum Friedhof befindet sich an der Herbert-Baum-Straße 45 (M4, M12, M13 bis Antonplatz).
Männer benötigen beim Besuch eines jüdischen Friedhofs eine Kopfbedeckung. Diese ist bei Bedarf am Friedhofseingang erhältlich.