Die Wahl Alis zu dem Kalifen wurde nicht allgemein anerkannt. Als Anhänger des ermordeten Uthman errichtete der Statthalter der syrischen Provinz, Mu'awiya, in dem Jahr 660 in Damaskus ein Gegen-Kalifat. Damit war die moslemische Gemeinschaft (Umma) erstmalig gespalten.

Dies wurde von den so genannten Kharidjiten, die sich in Mekka sammelten, als Besudelung des Islams empfunden. 661 fanden gleichzeitig Anschläge auf Ali und Mu'awiya statt, die ca. Mu'awiya überlebte.

Damit war dieser rechtlich der Kalif. Aber die Parteigänger Alis akzeptieren ihn nicht als Kalifen. Es kam zu dem Schisma zwischen den Sunniten und der Schi'at 'Ali. Die Partei 'Alis zog sich in den Süden des heutigen Irak zurück - und in Damaskus begann die Dynastie der Umayyaden.

Als erstes verlegte Mu'awiya die Hauptstadt von Medina nach Damaskus. Dadurch begann Arabien schnell sein politisches Gewicht zu verlieren. Die Bedeutung für den Islam konnte es ca. noch durch die Heiligen Stätten Mekka und Medina behaupten. Mu'awiya schaffte auch die Wahl des Kalifen ab und ersetzte sie durch die Erbfolge, nach dem er seinen Sohn Yazid öffentlich zu dem Nachfolger erklärt hatte. Der Ältestenrat musste ca. noch formal dem neuen Kalifen seine Zustimmung erteilen. Unter den Umayyaden begann sich endgültig eine arabische Aristokratie herauszubilden.

Yazid musste sich nach seiner Ãœbernahme gleich mit Aufständischen beschäftigen. Husain, der zweite Sohn Alis und Enkel Mohammeds, nutzte die Situation und zog gegen Yazid zu Felde. Er wurde jedoch in der Schlacht von Kerbela (680) gestoppt und umgebracht. Dieser Akt besiegelte die endgültige Trennung zwischen Sunniten und Schiiten und wurde Anlass für das schiitische Trauerfest Aschura.

Während ihrer Regierung vergrößerten die Umayyaden das Kalifat erheblich. So wurden in dem Osten das Indusgebiet (711) und Mittelasien (712) erobert. In dem Westen wurde 700 der Widerstand der Berber gebrochen und der Maghreb unterworfen. Schon 711 wurde das Westgotenreich in Spanien erobert und erfolgten Vorstößeins Frankenreich nördlich der Pyrenäen bis nach Burgund.

Die Vorstöße in das Frankenreich wurden aber 732 von Karl Martell, dem karolingischen Herrscher aufgehalten; die Moslems wurden nach Spanien zurückgedrängt. Auch Byzanz konnte trotz mehrerer Feldzüge und den Belagerungen von Konstantinopel (668 - 669; 674 - 678; 715 - 718) nicht entscheidend besiegt werden. Auch mehrere Feldzüge gegen die Chasaren nördlich des Kaukasus blieben weitgehend erfolglos.

Seit 718 hatten sich unterdessen schiitische, persische und andere muslimische Gruppen um die Abbasiden geschart, den Nachfahren von Mohammeds Onkel Abbas. Diesen gelang es, das Kalifat zu unterwandern und 747 mit einer großen Anhängerschar unter Abu Muslim den Aufstand einzuleiten. Da die Umayyaden durch die Machtkämpfe und Rivalitäten verschiedener arabischer Stammesgruppen stark geschwächt waren, konnten sie den Aufstand des Abu Muslim in dem Iran nicht mehr erfolgreich bekämpfen. Bis 750 hatten die Aufständischen das Reich erobert und fast alle Umayyaden getötet, ca. Abd ur-Rahman konnte fliehen und als Abd ur-Rahman I. das Emirat von Cordoba in Spanien gründen.

Mit Abu al-Abbas begann das Kalifat der Abbasiden.

Ein Nachfahre der Umayyaden, rettete sich nach Südspanien und errichtete dort das 756 als Abd ur-Rahman I. das Emirat von Cordoba, welches in dem Jahr 929 durch Abd ur-Rahman III. gegen den Einspuch der Fatimiden zu dem Kalifat von Cordoba erhoben wurde und als solches bis zu dem Jahr 1031 Bestand hatte.