Sin descartar la posibilidad de algún asentamiento anterior, al parecer fueron los musulmanes (concretamente los almohades), quienes fundaron Granadilla en el siglo XI, eligiendo el lugar por su estratégica ubicación, tanto por razones defensivas como por el amplio territorio que se domina y ser paso obligado de la histórica Ruta de la Plata. Construyeron allí una alcazaba y la dieron el nombre de Granada.
En 1160 el rey Fernando II de León conquistó la aldea, procediendo a su repoblación, y otorgándola el título de Villa en 1170. En 1191 pasó a depender de la Orden de Santiago, volviendo posteriormente a la Corona, alternándose en siglos posteriores su dependencia directa de la Corona con su otorgamiento como señorío a miembros de la alta nobleza castellana, hasta que en 1446 el rey Juan II de Castilla otorgó el señorío de la villa a los Álvarez de Toledo, duques de Alba, a quienes perteneció por donación real hasta el año 1830, cuando el proceso desamortizador les llevó a deshacerse de estas posesiones.
La importancia estratégica de la villa fue decayendo con el avance de la frontera de Castilla hasta el sur, pero siempre mantuvo su condición de principal núcleo de población de la comarca a la que daba nombre hasta bien entrado el siglo XX, y casi hasta su abandono. Algunas fuentes dicen que fue tras la conquista de Granada por los Reyes Católicos cuando pasó a denominarse Granadilla, aunque no hay referencias a tal nombre hasta más tarde.
La construcción del embalse de Gabriel y Galán conllevó la expropiación de casi todo el término municipal, incluido el casco urbano, lo que obligó al desalojo de la población, que se materializó finalmente en el año 1964, con la salida de sus últimos habitantes. Fue un proceso traumático no exento de polémica que aún perdura en el ánimo de quienes lo vivieron y sus descendientes.
Tras ello, en 1965 se produjo la disolución del municipio, repartiéndose el término entre los municipios entonces vecinos de Zarza de Granadilla (donde está el pueblo) y Mohedas de Granadilla, incorporando cada uno los terrenos de Granadilla de su lado del río Alagón.
La inundación del pueblo nunca estuvo prevista, pues se encuentra por encima de la cota de máximo embalse, y queda hoy como vestigio de lo que fue, manteniendo su aspecto netamente medieval, y constituyendo un lugar de indudable interés turístico y cultural, reconocido con su declaración como conjunto Histórico-Artístico en 1980.
Coincidiendo con esa declaración, se pusieron en marcha varias actuaciones de restauración que se desarrollaron básicamente entre 1979 y 1983, centrándose especialmente en el castillo y la muralla, incluyéndose también la restauración de algunas construcciones y la consolidación de muros en ruinas.
En 1984, mediante un convenio entre varios ministerios, se puso en marcha el Programa de Recuperación y Utilización Educativa de Pueblos Abandonados (PRUEPA), siendo Granadilla uno de las pueblos elegidos para su desarrollo, lo que motivó la rehabilitación de varias construcciones para diversos usos (alojamiento, talleres, etc.)
Dicho programa se ha mantenido desde entonces hasta la actualidad, habiendo sido en todos estos años el principal uso del pueblo, junto con el turístico, limitado básicamente a la visita libre dentro de su horario de apertura al público.
Tras su expropiación el pueblo quedó adscrito a la Confederación Hidrográfica del Tajo (CHT), hasta que en el septiembre de 2007, mediante acuerdo de mutación demanial, pasó a depender del Organismo Autónomo Parques Nacionales (OAPN)