La torre de vigilancia, levantada en el siglo X o en el siglo XI, pasó sucesivamente a manos de la monarquía aragonesa y de la navarra, hasta que llegó en 1236 a la familia de los Sada, antecesores de Fancisco de Javier (1506-1552). En torno a la torre de San Miguel fueron alojándose las habitaciones de la vivienda y los diferentes servicios del fortín. Por orden del cardenal Cisneros, que castigaba así la militancia agramontesa de los Jaso, fueron arrasados en 1516 los muros exteriores, desmochadas las torres, cegados los fosos, arrancado el portalón e inutilizados matacanes y saeteras. Tres años antes, el palacio de los Olloqui, hoy vacío y maltrecho, donde vivían la tía Margarita de Jaso y sus hijos, aguerridos agramonteses, fue confiscado por el duque de Alba y entregado a un señor castellano. Tras desafortunadas restauraciones y añadiduras, en los últimos decenioa, se ha devuelto al viejo castillo gran parte de su antiguo estado y estilo, gracias, entre  otros, al  buen P. Recondo.  Todo en él y en sus aledaños es recuerdo vibrante de la célebre familia navarra Jaso y Azpilcueta, y sobre todo del santo jesuita, patrono de las Misiones y de Navarra, que de aqui saiió para no volver, camino de la universidad de París, un día de septiembre de 1525. La vieja fortaleza, por la que se ha distribuido un pequeño museo de pintura y escultura religiosa, guarda en la torre del Cristo, dentro de una estrecha capilla con pinturas murales sobre la danza de la muerte, el Crucifijo tardogótico, venerado por la familia del santo y por las generaciones posteriores. Las peregrinaciones a Javier, que comenzaron en 1886, se organizaron oficialmente desde 1940, con el castizo nombre de Javieradas. Muchos miles de personas, la inmensa mayoría a pie, participan a primeros de marzo en las dos marchas (cuatro días de hecho) más multitudinarias y plurales de todo el año en Navarra. Reto de iniciación y de brío juvenil, de esfuerzo de madurez, de alegre y activa religiosidad penitencial y misionera.- De las Indias tenemos nuevas -escribía Ignacio de Loyola desde Roma, veintiséis meses después de la muerte del jesuita navarro- y hemos savido de cierto del tránsito del P. Maestro Francisco a la eterna gloria.