Cerca de 1474, João Vaz Corte-Real, Capitão do Donatário, mandou construir aqui as suas casas, estrategicamente colocadas na base do morro da Memória, onde edificara um castelo, e no topo da Rua Direita, em ligação rápida com o Porto. O edifício ainda conserva estruturas dessa época.