Los restos del Castillo de Peramea están situados en la villa de Peramea, dentro del antiguo término de Peramea, en la comarca del Pallars Jussà.
Documentado desde el 908 y finalizado el siglo XVII, el Castillo de Peramea perteneció antiguamente a los condes de Pallars, hasta que pasó aVilamur como prenda de los pactos y concordias entre los dos condes pallaresos, en el siglo XIII. Por enlaces matrimoniales, pasó a manos de los Bellera, ya en el siglo XV. A finales del mismo siglo volvió a los condes de Pallars, en 1487 pasó a manos de los duques de Cardona, y en 1632 pasó a manos de los condes de Erill, que en mantuvieron el poder hasta el fin de los señoríos en el siglo XIX.