A aldeia de Castromil enquadra-se num ambiente natural e agrícola, tendo origens medievais ainda visíveis na sua organização espacial, de vias estreitas a serpentear o povoado. Os edifícios em cantaria granítica bem aparelhada possuem características arquitetónicas rurais, destacando-se um solar do século XVIII, com capela, a partir da qual parte uma via sacra, marcada pelos cruzeiros que percorrem a aldeia.

Castromil tem origem na palavra "castro" que nos remete para a existência de um povoado castrejo. Foi, de resto, um lugar profundamente romanizado, cujas evidências estão presentes nos trabalhos mineiros de exploração de ouro, também conhecidos por "Covas de Castromil", resultantes das explorações a céu aberto, embora também visíveis em trabalhos subterrâneos.

Como consequência destas evidências, reza a lenda que estas covas eram habitadas por mouros não queridos pelo povo de Castromil, pelo que, certa noite, reuniram um grande rebanho de ovelhas e cabritos, colocaram-lhes guizos e velas nos chifres e saíram pelos caminhos da aldeia, provocando ruidosos sons que, juntamente com o efeito das luzes das velas, assustaram os mouros que, rapidamente, se puseram em fuga para não mais voltarem, deixando para trás todos os bens.