A Casa Martim Afonso teria sido erguida em 1895 pelo Barão de Piracicaba e, por este motivo, antes de possuir o nome do fundador da vila, era denominada Casa do Barão. No local, existem dois espaços de exposição: a Casa do Barão propriamente dita e a Casa de madeira.
A Casa do Barão, após diversos anos de usos variados, estava abandonada no fim dos anos 1990, quando foi adquirida pela Prefeitura e transformada em espaço cultural, sendo inaugurada em 2000 para as comemorações dos 500 anos de descobrimento do Brasil. Atualmente a casa abriga, no piso superior, exposições temporárias da Casa Martim Afonso e, no piso inferior, o Centro de Documentação e Memória de São Vicente (CEDOM – SV).
Já a Casa de Madeira fica localizada nos fundos da Casa Martim Afonso e é o local que abriga o Sítio Arqueológico Bacharel, que tem como principal atração uma parede que foi datada do início do século XVI, sendo um marco na história de São Vicente. Possivelmente erguida antes mesmo da chegada da armada de Martim Afonso de Sousa, entre 1510 e 1520 pelo chamado Bacharel de Cananeia – por isso a denominação do sítio –, acredita-se que o lugar era uma fortaleza de pedra na qual Martim Afonso chegou a residir por um ano (1532/1533), mas desapareceu com o passar dos anos, hoje restando apenas a referida parede, além dos achados arqueológicos. A partir de 2009, a Prefeitura de São Vicente, através da Secretaria da Cultura, iniciou as escavações arqueológicas no local, que se mostrou um rico sítio arqueológico, reunindo desde vestígios pré-históricos até contemporâneos: de povos sambaquieiros, ossos humanos e animais, ferramentas rudimentares, cerâmica indígena tupi, cerâmica de contato indígena com influência da cultura europeia e africana, entre outros fragmentos de cerca de 800 anos e louças que podem ser datadas desde o século XVI até o XIX.
Com estas escavações, a prefeitura da cidade tem a esperança de obter a comprovação física de que São Vicente realmente teria sido a primeira vila do Brasil.
