Während der Türkenkriege im 17. und 18. Jahrhundert wurden die ersten Muslime als Kriegsgefangene nach Deutschland gebracht. So kamen 1739 auch 22 türkische Soldaten an den Hof des preußischen Königs Friedrich Wilhelm I. Damit diese ihrer Religion nachgehen konnten, wurde ihnen unweit der Garnisonskirche in Potsdam ein Betsaal zu Verfügung gestellt .

König Friedrich I. erklärt im Zuge der Toleranzpolitik schließlich 1740: „Alle Religionen sind gleich und gut, wenn nur die Leute, die sich zu ihnen bekennen, ehrliche Leute sind. Und wenn die Türken (...) kamen und wollten hier im Lande wohnen, dann würden wir ihnen Moscheen (...) bauen“. Auf dieses Königswort der Hohenzollern berief sich in der Folgezeit die islamische Gemeinde in Preußen.
Seit dieser Zeit dienten immer wieder muslimische Soldaten freiwillig im preußischen Heer. Dazu kam eine intensive deutsch-osmanische Kontaktaufnahme, mit dem Austausch von Wissenschaftlern und Händlern. 1763 wurde in Berlin die Gesandtschaft des Osmanischen Reiches eingerichtet und einige Zeit später ein muslimischer Friedhof für die verstorbenen Diplomaten zur Verfügung gestellt. Dieser zog 1866 auf das Gebiet am Columbiadamm um, wo er noch heute als einziger muslimischer Friedhof in Deutschland existiert. Eigentümer des Geländes war das Osmanische Reich.
Mit der Orientreise Wilhelm II. 1898 verstärkten sich die Beziehung zwischen den Deutschen Reich und dem Osmanischen Reich. Mit Ausbruch des I. Weltkriegs kamen ca. 1500 muslimische Kriegsgefangene aus den alliierten Streitkräften nach Deutschland und wurden in der Nähe von Wünsdorf im sogenannten Halbmondlager interniert. 1915 wurde dort die erste Moschee auf deutschem Boden eingeweiht. Nach dem Weltkrieg entstand ein erstes bescheidenes muslimisches Gemeindeleben durch Exulanten und Studenten. Die ‚Deutsch-Moslemische Gesellschaft‘ gründete für die ca. 2000 Muslime in Berlin 1928 die Moschee in Wilmersdorf, die allen religiösen Richtungen offen stand und besonders durch die indisch-pakistanische Ahmadiyya geprägt war.

Der Nationalsozialimus war für die muslimischen Gemeinden eine wechselhafte Zeit. Besonders die deutschstämmigen Muslime lehnten den Nationalsozialismus ab, andere Gruppen wurden verfolgt (z.B. die sog. Weißen Zigeuner aus Bosnien). Einige Gruppen aus den Kolonien traten dagegen sogar in den Kriegsdienst ein, in der Hoffnung mit Hilfe der Nationalsozialisten ihre Heimatländer zurückzuerobern. Verstärkt wurde dies durch die engen Beziehungen des 3. Reichs mit dem Mufti von Jerusalem.

Mit Ende des Zweiten Weltkriegs gab es so gut wie keine Gemeindeaktivitäten mehr. Eine Wende trat erst dann ein, als in den 1960er Jahren viele Gastarbeiter mit muslimischen Glauben nach Deutschland angeworben wurden. Zunächst war ihre Religionsausübung stark eingeschränkt; als sich aber abzeichnete, dass viele Zuwanderer bleiben würden, gründeten sich islamische Vereine und Organisationen. An den Bau von neuen Moscheen war kaum zu denken, denn schon die Einrichtung von Gebetsräumen stellte sich als außerordentlich schwierig dar. Deshalb entwickelten sich in Gewerbegebieten oft sog. Hinterhofmoscheen, die im äußeren Erscheinungsbild nicht auffallen und nur durch entsprechende Beschilderung erkennbar sind. Moscheen sind kein geweihter Raum, wie es etwa die katholische Kirche kennt, sondern ein Gebetsraum, der überall eingerichtet werden kann. Der Raum sollte sauber sein und eine Wand haben, welche die Richtung nach Mekka anzeigt. Diese kann auch nachträglich eingezogen werden und so ist die Einrichtung eines Gebetsraums relativ leicht möglich.

Anders als viele christlichen oder jüdische Religionsgemeinschaften, sind die muslimischen Gruppen in Deutschland nicht als ‚Körperschaft öffentlichen Rechts‘ anerkannt. Aus diesem Grund haben die muslimischen Gemeinden privatrechtliche gemeinnützige Vereine gegründet, um sich zu organisieren und ein Gemeindeleben zu gewährleisten. Dazu gehören auch die Moscheevereine, die zwar nach unterschiedlichen Ausrichtungen organisiert sein können, denen aber grundsätzlich die Idee der weltweiten muslimischen Gemeinschaft (umma) zugrundeliegt.
Seit den 1980er Jahren sind die Bestrebungen hinsichtlich repräsentativer Moschee-Neubauten verstärkt worden. Dies trägt der Tatsache Rechnung, dass der Islam die zweitgrößte Religionsgemeinschaft in Deutschland ist. Allerdings führten diese Planungen auch häufig zu Diskussionen innerhalb der Gesellschaft, die oftmals durch zahlreiche Vorurteile gekennzeichnet sind. Der seit 1997 stattfindende „Tag der offenen Moschee“ soll einen offenen Austausch und ein gegenseitiges Verständnis fördern.

Noch gibt es keinen einheitlichen Stil bei den deutschen Moscheen. Man bemüht sich um die klassischen Elemente wie Minarett und Kuppel und viele Elemente lehnen sich an die Tradition der Gemeinde an. Deutsche Firmen und Architekten haben in diesem Bereich so gut wie keine Kenntnisse, weshalb die Vereine in der Regel auf ausländische Firmen zurückgreifen müssen. Beispiele für einen Moschee-Neubau in Berlin sind die Şehitlik-Moschee am Columbiadamm auf dem Gebiet des muslimischen Friedhofs und die Umar-Ibn-Al-Khattab-Moschee in Kreuzberg.