O primeiro castelo normando foi construído em Lydford, logo após a conquista normanda; os restos de seus trabalhos podem ser vistos no lado sul da Igreja do St Petrock. Uma nova torre foi construída em 1195, ligeiramente ao norte do castelo original, possivelmente para uso como uma prisão. Sometime no século XIII, que foi completamente reconstruída. A vala foi escavada em torno da torre e do solo empilhados contra o piso térreo para formar um monte. o topo de dois andares foram convertidas em uma pequena torre de menagem, enquanto o piso térreo foi preenchido pol. ao mesmo tempo que foi construído o bailey de terraplenagem para o noroeste. No início do século XVIII o castelo tornou-se decadente, mas que foi reparado, e para o próximo século serviu como uma cadeia e o tribunal, antes de ser abandonado mais uma vez e deixar para cair em ruína.