Изначально на месте величественного замка Пениафорт в долине Пенедес в X в. Было построено оборонительное сооружение Олердола. В это время долина была малонаселенна, а редкие жилища христиан были разбросаны на значительном расстоянии друг от друга.

Каталонцы были вынуждены строит подобные оборонительные сооружения, так как постоянно приходилось обороняться от набегов сарацин. В этот период весь северо-запад Каталонии находился под властью арабского халифата Кордовы, поэтому необходимость в строительстве мощного замка-крепости Пениафорта возникла сама собой.