أما الحجاز فكان ولائه ولاء دائماً من بني أمية وكانت ولاية المدينة بين مروان بن الحكم وسعيد بن العاص يتداولانها وكان معاوية إذا أراد أن يولي رجلاً من بني حرب ولاه الطائف فإن رأى منه خيراً وما يعجبه ولاه مكة معها فإن أحسن الولاية وقام بما ولي قياماً حسناً جمع له معهما المدينة، فكان إذا ولي الطائف رجلاً قيل هو في أبي جاد، فإذا ولاه مكة قيل هو في القرآن، فإذا ولاه المدينة قيل هو قد حذق، وكان ولاة المدينة في الغالب هم الذين يقيمون للناس الحج فإن معاوية لم يحج بنفسه إلا مرتين سنة 44 وسنة 50 وفيما عداهما كان يقيمه هؤلاء الولاة وكلهم من بني أمية