L'Alcazaba est, avec les Tours Vermeilles (Torres Bermejas), la partie la plus ancienne de l'Alhambra. On croit que, avant sa construction et l'arrivée des musulmans à Grenade, il existait plusieurs bâtiments dans la même zone. La première référence que l'on a de l'existence de l'Alcazaba de Grenade date du IXe siècle. Il est considéré que l'Alcazaba fut alors construite par Sawwar ben Hamdun pendant la lutte entre les arabes et les muladies (les chrétiens convertis à l'Islam). 

Le complexe actuel fut terminé par Muhammad I, qui fortifia le château qui existait déjà et leva des défenses et trois nouvelles tours: La Tour Fendue (Torre Quebrada), le Donjon (Torre del Homenaje) et la Tour du Guet (Torre de la Vela). Il transforma ainsi l'Alcazaba en une véritable forteresse dans laquelle le monarque établit sa résidence royale, ce qui continua ainsi jusqu'à ce que son fils Muhammad II finit les palais. A partir de ce moment-là la forteresse fut utilisée pour des fins uniquement militaires. 

Plus tard, avec l'arrivée des Chrétiens, des importantes réparations furent effectuées dans l'Alcazaba. Pendant des longues périodes de temps et à des époques différentes, l'Alcazaba a été la prison d'Etat, même pendant l'occupation française. 

Comme est le cas de l'Alhambra, l'Alcazaba fut aussi abandonnée et totalement négligée pendant très long temps, mais dans le cas de l'Alcazaba il ne fut jusqu'à la fin du XIXe siècle et le début du XXe que les travaux de restauration, exploration et assainissement commencèrent.