La puerta se compone de dos torres, una de planta cuadrada y otra poligonal, unidas por un arco de medio punto. La torre cuadrada es de sillería caliza, rematada con ladrillo y arcos de medio punto. La torre poligonal tiene en su base sillares de granito y en el cuerpo superior se abren saeteras (aperturas verticales en la pared desde donde se defendía el acceso a la ciudad lanzando flechas y otros objetos)
Destaca la riqueza de estilos arquitectónicos. Una torre claramente de estilo mudéjar con los ladrillos destacando en su construcción y decoración que viene precedida de varios cubos cuadrados y circulares con los arcos ciegos característicos y paños de tapial. Mientras que la otra torre es de estilo gótico y presenta una construcción de elementos más resistentes (pilares de piedra).
En la parte interior de esta puerta se encuentra el cuerpo de guardia, desde donde, a través de un rastrillo, se cerraba la puerta evitando el acceso al interior del casco histórico de la ciudad. Actualmente este espacio es visitable como Centro de Interpretación de la Muralla: a través de paneles explicativos y dibujos es posible conocer la historia de la Muralla de Segovia y sus puertas de acceso. Se accede desde unas escaleras ubicadas en la parte interior de la Muralla (por la calle de Martínez Campos), y para ello es necesario solicitar previamente un código en el Punto de Información Turística ubicado en la plaza del Socorro. También es visitable el adarve de este espacio, mirador natural del Cementerio Judío, la Catedral de Segovia, las huertas del valle del Clamores, las tenerías, la parte trasera del antiguo matadero (actual Museo de Segovia) …etc.
La parte extramuros de la Puerta de San Andrés tiene un escudo Real. En la parte intramuros podemos ver el camarín de la Virgen del Socorro, y en la parte interior una placa nos recuerda la obra de la “Historia del Buscón” de Francisco de Quevedo, que tiene como escenario la ciudad de Segovia.
La Puerta de San Andrés es mencionada en un documento de 1120. A lo largo de su historia ha sufrido muchas modificaciones y reformas. Una de las más importantes sería la llevada a cabo por Juan Guas en el siglo XV, pues le otorga un carácter mucho más ornamental a la construcción: decora los merlones en punta de diamante y con remates de bolas en su parte superior. De esta época es el escudo Real que podemos encontrar sobre el arco, y que está en muy mal estado de conservación.
En el siglo XIX una de sus dos torres estuvo en estado de ruina, como podemos ver en la foto de 1879. A lo largo del siglo XX sufrió varias restauraciones. La más reciente, y la que le da su aspecto actual es de 2010.