Tijdens de islamitische periode La Iruela was bevolkt door vele boerderijen die in de regio woonden, net zoals in Cazorla. Rond de elfde eeuw was dit dorpje omgeven door een muur, terwijl de heuveltop diende als schuilplaats voor de bevolking.

In 1231 veroverde de aartsbisschop van Toledo, Rodrigo Ximenez de Rada het dorp. Hierdoor maakte het deel uit van de heren van Cazorla, die waren met verbonden met het aartsbisdom van Toledo. Vanaf toen was dit dorp het middelpunt van zeer veel gevechten. Het dorp bleef onder het gezag van de aartsbisschop van Toledo tot 1811.

Sinds enkele honderden jaren is het machtige kasteel een ruïne en nog steeds de moeite waard om te bezoeken in deze regio waar men machtig mooie wandel gebieden heeft.