La angosta subida empedrada que da acceso al alto de la peña comprueba la dificultad de tomar aquella posición. Esta ubicación dotó al Castillo de Arén de un privilegiado estado y fue centro de numerosas etapas de Ribagorza desde su origen en el siglo IX. Realmente, en este lugar se alzaron dos construcciones, distando entre ambas doscientos años, adaptándose la segunda a un espacio mayor.
Un muro con sucesivas torres protegía el flanco sur y oeste, mientras que el precipicio hacía este trabajo en los otros costados. Explorar la cima de la cresta que observa Arén desde la altura permite divisar distintas siluetas de los cimientos de grandes muros en sillarejo que conformaban estancias, una gran torre cuadrada y una segunda línea amurallada. En el conjunto de atisban varios aljibes y cisternas.
En pie únicamente queda el pórtico de la iglesia castrense, de origen románico y de la que ahora es fácil identificar la planta y los ábsides semicirculares de su fondo. La portada sería el acceso al templo, que estuvo decorada con pantocrátor y figuras de los apóstoles, conservándose una imagen de San Pedro que puede fecharse en el siglo XII. En esta ubicación, en excavaciones realizadas en 2004, se encontró una necrópolis medieval con tumbas antropomórficas.
Los avatares ocurridos en este lugar dan testimonio de la importancia del lugar citado ya en 823 como Castro Arinio. Fue propiedad de Arnau Mir de Tost, los condes de Pallars y los Erill. En 1322 se incorporó al condado de Ribagorza y tuvo un papel destacado en la guerra civil ribagorzana (siglo XVI), la penetración francesa de 1639 y la Guerra de Sucesión. En este episodio, la plaza defendió a la dinastía borbónica. El ataque austriacista fue defendido por la población, que sufrió la represalia de 91 vecinos fusilamientos tras su conquista. El castillo mantuvo su vigencia durante la Guerra de la Independencia y cayó en el olvido a finales del siglo XIX tras los últimos escarceos en las Guerras Carlistas.
