Castelo branco, junto com Skenfrith e Grosmont, é um dos três castelos construídos para proteger uma das principais rotas através da região de fronteira entre a Inglaterra e Gales do Sul. Na tarde 1130 é King Stephen reuniu todos os três castelos sob um único senhorio que controlava os castelos de' três' como uma unidade defensiva. Do na 1180 castelo branco parece ter sido o primeiro dos três castelos a ser reconstruída em pedra. Castelo branco foi originalmente chamado de Castelo de Llantilio, mas ganhou seu novo nome do processamento de gesso branco que cobriam as paredes. No início do século XIII que Hubert de Burgh realizado a senhoria dos três castelos. Ele construiu castelos de pedra modernos de Grosmont e Skenfrith, mas deixou as defesas de pedra existentes no White Castle. Ao contrário dos outros dois castelos castelo branco parece ter sido principalmente um posto militar, ao invés de uma casa para uma família nobre.