O Forte ou Castelo de São Sebastião salienta-se no complexo de fortificações da Baía de Porto Pim. Foi construído no sec.XVII em tufo vulcânico, material mais acessível e fácil de manusear, extraído do Monte da Guia.
O Castelo sobressaía no conjunto defensivo da ilha tendo desempenhado importante papel no controlo da entrada na Baía de Porto Pim e tráfego a Sul da Ilha.
Foi das poucas edificações militares a ser reabilitada, por volta de 1817, tendo servido, aproximadamente, até ao fim da II Grande Guerra, como prisão.