В плане замок Харлех прямоугольный, в углах замка расположены круглые башни. Вход защищает мощный барбикан, состоящий из внешних башен (за крепостной стеной), так и из внутренних (внутри стен), см. план замка справа на фото. Сам вход был защищен не менее, чем тремя опускающимися решетками. По обоим сторонам прохода находились комнаты охраны, а на верху барбикана — основные комнаты кастеляна (на втором этаже) и покои высших особ, в том числе и короля (на третьем этаже).

План замка Харлех

Во внутреннем дворе замка были расположены кухня и зал (у западной стены), часовня и колодец на севере, амбар на юге (см. план). Башни замка также предоставляли возможность переночевать.

Одной из особенностей замка является «Путь с моря». Это укрепленный высеченный в скале лестничный марш, уходящий вниз на 200 футов от замка к подножью скалы, где в то время была морская гладь. В наши дни море отступило, и потому оригинальный замысел архитектора несколько сложнее.

Военные силы Эдуарда часто подвергались атакам со стороны уэльсцев на суше, однако обладали при этом полным превосходством на море. Поэтому большинство замков, построенных Эдуардом, имели потайные ходы, которые позволяли получать провизию и припасы с моря. Однако в Харлехе тайные ходы были гораздо более тщательно и искусно продуманы, чем во всех других замках.
«Путь с моря» сыграл огромную роль при осаде замка Мэйдогом ап Ливеллином (Madog ap Llywelyn), также известным как Принц Мэйдок.