Appleby, com vista para a cidade de Appleby-em-Westmorland e o Éden do Rio, foi fundado por Ranulf le Meschin no início do século XII. Em cerca de 1170 foi adicionado um quadrado, mantenha a pedra, conhecida como torre de Caesars, que agora é um dos exemplos melhores conservados do seu género, tendo sido pouco alterada nos anos 800. o castelo estava nas mãos de real, quando o rei escocês, William Leão, invadiram o vale de Eden em 1174. O Condestável do Castelo rendeu-se sem luta, para o qual ele foi multado pesadamente pelo Rei Henry II. Em 1269, o castelo foi herdado por Roger de Clifford, e continuaria na posse da família Clifford para quase 400 anos. Em meados do século XVII, Lady Anne Clifford fez do castelo sua casa e ela foi a responsável pela restauração do castelo e para a construção dos estábulos, o edifício conhecido como 'Lady Anne Bee House', e a esmola casas na cidade e nos terrenos do castelo. Aquando da sua morte, o castelo passou para os Condes de Thanet, que foram responsáveis por converter o bloco de salão em casa mansão clássica que fica no extremo oposto de bailey de menagem normanda. Muito de pedra para este edifício veio por demolir os castelos nas proximidades de Brougham e Brough.