Segundo a lenda, o castelo da Sertã teria sido fundado por Sertório, capitão romano, em 74 a.C.. As escavações arqueológicas efectuadas no local datam a sua ocupação inicial do período islâmico (séculos X/XI).

No seu recinto, ergue-se a capela de S. João Baptista, primeira Igreja Matriz da vila, datada do século XVII, construída sobre a primitiva igreja medieval.

Reza a lenda que o castelo da Sertã foi atacado por soldados romanos. Neste ataque ficou ferido de morte o capitão do castelo. Celinda, sua esposa, que estava frigindo ovos numa sertã, ao saber do sucedido, insurgiu-se sobre os atacantes, matando alguns e cegando outros com o azeite a ferver, salvando, deste modo, o castelo. Esta lenda estará na origem do concelho.