بدأ في بنائه عقبة بن نافع سنة 50 هـ، وأصبح من أبرز معالم مدينة القيروان التي صارت من أهم حواضر المغرب، وكانت القيروان قد تم تخطيطها وإنشاؤها على يد عقبة بن نافع أيضا، ثم هدمت وأعيد بناء مسجدها نحو سنة 76 هـ 695) م) ثم زيد فيه بأمر الخليفة هشام بن عبد الملك سنة 105هـ.

ونظرأً لتصدع معظم المباني التي أنشئت من قبل عقبة بن نافع، فقد هدمها حسان بن النعمان بعد 20 عاما وأعاد بناءها، ثم جاء بشر بن صفوان عامل هشام بن عبد الملك على القيروان، الذي أرسل إليه أمر توسيع البناء في القيروان وفق خطة وضعها هشام نفسه، ومازالت آثارها باقية حتى الآن. ورغم التعديلات التي أجريت لاحقًا على المبنى، إلا أن الشكل بقي كما هو الآن، وجاء تخطيط المسجد على شكل مستطيل غير متساوي الأضلاع فوق منحدر أتاح لجدرانه الخارجية أن تبدو في تنسيق طبيعي موائم لانحدار الموقع باختلاف مستوياتها، كما خفف اختلاف أشكال الدعائم المتنوعة الأحجام من قوة خطوط المئذنة الضخمة المربعة ذات الطوابق الثلاثة التي يتسم أدناها المربع المسقط بالبساطة المقرونة بالقوة، وتقل كلما ارتفع، في حين يصغر ارتفاع الطابقين العلويين بالنسبة للطابق الأدنى، كما يصغر حجم الطابق العلوي عن الطابق الثاني.

وتعتبر مئذنة مسجد القيروان من أضخم المآذن الأثرية الإسلامية وتم اشتقاقها من المئذنة الشامية المربعة، ويبلغ ارتفاعها 60.10 متر.

أما ما يتعلق بقباب جامع القيروان، فتغطي مدخل الحرم والمحراب قبتان، الأولى هي القبة التي أقامها زيادة الله فوق المحراب، وتتكون من قاعدة مربعة تعلوها قبة نصف كروية وتقوم القاعدة على أربعة عقود فوق رواق المحراب، وهذه القبة محززة بـ 24 حزا، تقوم على رقبة ذات ثماني فتحات مغطاة بنوافذ مشبكة، وتحت الرقبة مثمن مؤلف من عقود مستديرة مرفوعة على ثمانية أعمدة صغيرة، والقبة الثانية تقع في مدخل الحرم، وكانت تتألف من عناصر قبة المحراب نفسها، ولقد أدخلت عليها تعديلات لم تغير من شكلها الأصلي، وهي مطابقة للقبة الأولى (قبة المحراب) من ناحية المقاييس والارتفاعات.

ورغم البساطة البعيدة عن الترف، في زخرفة جامع القيروان، إلا أن روعتها وجمالها تنعكس في تداخل هذه الزخرفة مع الصياغة المعمارية، وبالأخص في محراب الجامع 352.