Замок Чиллингхэм существует уже с 13го века. В 1298 году король Эдвард I останавливался там по дороге на сражение при Фалкирке, где он одержал победу над Вильгельмом Воллисом. Почти спустя полвека после этого, в 1344 году Сэр Томас Грей получил разрешение укрепить замок и соорудить в нем бойницы. К 1348 году замок был перестроен, став квадратным с башнями по всем углам. С тех пор замок почти не менял свой внешний вид, с небольшим только исключением, что куртина стала значительно выше.