Localizado a sul do castelo, este paço, palácio, ou solar alia características militares e civis e patenteia influências norte africanas e italianas, tendo sido erguido a mando de D. Afonso, o 4.º Conde de Ourém com vista à instalação oficial da sua residência. O edifício principal, destinado a habitação, exibe um corpo paralelepipédico corrido de um passadiço externo, sustentado por arcos quebrados de tijolo, apoiados em mísulas.
A este corpo central sucedem duas torres, ou torreões, mais a sul. Cada torreão tem três pisos com cobertura de quatro águas e incorpora no interior um arco ogival. Na parede poente da torre sudeste inscreve-se ainda o brasão de armas de D. Afonso.