Maar het enige tastbaar is een schriftelijk bewijs uit 883 waar men schrijft dat de beroemde Omar Ben Hafsun hier het kasteel veroverde en versterkte en het een van zijn meest belangrijkste plekken maakte binnen zijn rijk . Toen na de verovering van Bobastro , Tolox in handen viel van Abderramán vernietigde deze het kasteel en bouwde op die plek een gebedshuis.  In 1487 werd het gebied veroverd door de Christelijke koningen . Gedurende de begintijd mochten de "moren" blijven , maar wel in een deel van het dorp tesamen. Dit duurde tot in 1568 de emoties zo hoog opliepen dat de christenen vluchten en de Moren hun huizen in brand zetten. 

Momenteel is Tolox een best wel druk dorp. Dit komt natuurlijk doordat het perfect gelegen is in de buurt van natuurpark Sierra de las Nieves en van hieruit zijn er dan ook de nodige tochten , te voet, fiets, auto en zo verder.