La villa de Granadilla destaca especialmente por su inequívoco aspecto medieval y de marcado carácter defensivo, tanto por su emplazamiento como por su diseño urbano, con una muralla perimetral completa, y un desarrollo casi únicamente intramuros, algo poco frecuente por el desborde urbano del crecimiento de las poblaciones que aquí no sucedió, lo que le confiere un gran valor cultural y artístico.
La villa se organiza por tanto interiormente a la muralla, asentándose sobre un eje principal de conexión entre las dos puertas opuestas, y tomando con centro la Plaza Mayor, a partir de la cual salen varias calles que desarrollan la villa radialmente, y que desembocan en un anillo de huertos intramuros denominados longueras, adyacentes a la muralla por su interior. La pavimentación de las calles principales es actualmente de cantos rodados, permaneciendo el resto en tierra.
Aparte de la propia trama urbana, los elementos del patrimonio arquitectónico de mayor valor de la villa son sin duda la muralla y el castillo, aunque también son destacables algunas casas señoriales y la iglesia, y las propias longueras ya mencionadas, por el hecho de haberse conservado hasta la actualidad.
La muralla es un construcción árabe originaria del siglo XI ó XII, aunque con añadidos y reparaciones posteriores, hasta la restauración de primeros de los años 80 del pasado siglo XX. Se trata de una construcción en argamasa y pizarra, asentada en un zócalo del mismo material y construida en varias tongadas. La altura media de la muralla está en torno a los 7 m, aunque varía según el terreno, y el espesor es de unos 3 m, con un ligero talud. Por el interior parece más baja porque ha sido objeto de relleno, especialmente en la zona de los huertos. La muralla contó históricamente con cuatro puertas, de las que permanecen la principal y la opuesta, ambas con arcos de medio punto de sillares de granito.
El castillo es una construcción del siglo XV, que se supone mandó edificar el primer duque de Alba al poco de hacerse con el señorío de la villa, seguramente en sustitución de la antigua alcazaba. Se encuentra adyacente a la muralla en su mayor parte por el exterior, pero con la entrada por el interior, protegida por una barbacana. Por su tipología se trata de una construcción entre castillo-palacio y torre de señorío.
Desde el punto de vista compositivo, el castillo es una construcción prismática de planta cuadrada, con un cuerpo semicilíndrico adosado a cada una de las cuatro caras. Consta de planta sótano, baja y primera, cada una de las cuales se articula con un espacio cuadrado central cerrado con bóveda de cañón de sillería de granito, que da a las cuatro cámaras laterales cilíndricas. El recorrido entre plantas se realiza a través de dos tramos de escalera de caracol. La planta superior es la de barbacanas, que se sobresalen del plano exterior de las plantas inferiores y cuanta con almenas en todo el perímetro. Por encima se encuentra el torreón o caballero, como continuación del cuerpo central prismático del castillo, y que permite subir a un nivel superior sobre el que la restauración de 1980 puso una cubierta metálica a cuatro aguas.
La Iglesia es una construcción típica del siglo XVI de una sola nave, hecha de sillares y mampostería, con bóvedas góticas de crucería y ábside de tres lados. Las casas señoriales destacan también por el uso de sillares, presencia de blasones, existiendo algunas con porche de columnas.
Granadilla fue declarado Conjunto Histórico-Artístico mediante Real Decreto 2428/1980, de 26 de septiembre, que estableció también su tutela y defensa por parte (entonces) de la Dirección General de Patrimonio Artístico, Archivos y Museos del Ministerio de Cultura. La delimitación establece una Zona Histórico-Artística que comprende todo el conjunto intramuros, incluyendo el castillo y la muralla, y una Zona de Respeto de 80 m alrededor del perímetro de la zona anterior.