Es la casa fuerte más conocida de la Muralla de Segovia. Probablemente en la época romana ya había una edificación en el mismo lugar, pues se han encontrado sillares de granito similares a los del Acueducto.
La primera vez que el Alcázar aparece en un documento escrito es en el siglo XII, aparece como fortaleza y castillo de Segovia, lo que demuestra que se trataba de un edificio militar, concebido para la defensa de la ciudad.
En el siglo XV pasa a ser un edificio institucional, custodia el tesoro y la armería real, y el archivo del reino. Es en este momento también cuando se llevan a cabo obras de ampliación y decoración del edificio: Juan II manda levantar la torre que lleva su nombre, y su hijo Enrique IV añade ornamentación en el exterior del edificio. De esta manera pasa de ser un edificio estrictamente militar, a ser una de las residencias preferidas de los reyes.
Los Austrias a penas utilizaron el edificio, que más adelante pasó a ser prisión de estado.
En 1762 Carlos III fundó en Segovia el Real Colegio de Artillería, que permaneció en el Alcázar hasta el 6 de marzo de 1862, fecha en la que un incendio convirtió en ruina el edificio, y así se mantuvo hasta 1882, año en que comenzaron las obras de reconstrucción del mismo. A partir de este momento, y hasta la actualidad, el Alcázar acoge el Archivo General Militar.