Desde tempos medievais viveu na Lagariça a família dos "Pintos", que eram fidalgos e senhores de Riba de Bestança, na Torre da Chã, e do paço de Covelas, no antigo concelho de Ferreiros. Gonçalo Martins Cochofel foi, provavelmente, o primeiro senhor da Lagariça e casou, nos princípios do século XVI, com D. Briolanja Pinto, da geração dos Pintos de Covelas. Durante a Idade Média, a Torre deve ter servido como atalaia de vigia de toda a região envolvente. Em 1610 seria pertença dos Pintos Cochoféis, os quais procederam a obras de adaptação da Torre para casa de residência da família. O nome Casa da Torre vem da existência da antiquíssima torre casteleja que está anexa ao solar. O solar com a torre foi declarado Imóvel de Interesse Público, por decreto de 29 de setembro de 1977. Esta casa passa por ser a "Ilustre Casa de Ramires" descrita no romance de Eça de Queiroz.