Farleigh Hungerford Castle começou a vida como uma casa senhorial construída pela família de Montfort. Em 1369-70 foi vendida a Sir Thomas Hungerford, primeiro orador da Câmara dos comuns. Converteu-se a propriedade em um quadrado castelo com torres de canto grande, rodeado por um fosso. Em 1383, ele foi perdoado por ter feito isso sem uma licença real. No início do século XV, seu filho, Sir Walter Hungerford, ampliou o castelo, adicionando o pátio exterior que entre a igreja paroquial, que ele usou como sua capela; acredita-se que ele construiu a Igreja presente nas proximidades para substituí-lo.