As suas origens remontam ao século XV, apesar de haver quem afirme que são mais antigas. A única certeza é de que, por esta altura, o lugar era dos mais povoados entre os lugares que actualmente compõem a freguesia da Cumeada (criada em 1806).
A sua designação deriva da existência de um casal de leprosos (também conhecidos por gafos) na zona que hoje compreende o lugar. Desde então, passou a ser conhecida por Casal dos Gafos, o que de início provocou alguns temores, isto porque, rezam as crónicas, poucos eram os que se aventuravam a ir para aquelas paragens.
No entanto, esse temor não durou muito, isto porque aquando do primeiro censo da população de Portugal, denominado «Cadastro da População do Reino», em 1527, o Casal dos Gafos possuía sete fogos, um número que curiosamente viria a descer para quatro em 1891.
Segundo o livro «A Sertão e o seu Concelho», do Pe. António Lourenço Farinha, o Casal dos Gafos tinha, em 1911, 17 habitantes e quatro fogos. Nos dias que correm, a população deste lugar mantém-se a este nível – contabilizámos 16 moradores.
Os habitantes deste casal vivem essencialmente da agricultura (os mais velhos), ao passo que os outros se distribuem por actividades como a construção civil e a prestação de serviços fora da freguesia.