A fortaleza, máis coñecida como o Castelo do Castro, foi un complexo recinto defensivo construído no século XVII sobre as ruínas do antigo castelo medieval do Penço dentro do proceso de amurallamento da cidade.
Vigo careceu de relevancia militar ata o século XVII, converténdose en Praza Militar con motivo da Guerra de Restauración Portuguesa. En 1580 o reino de Portugal foi integrado na Coroa de Castela tras reclamar Felipe II os seus dereitos ao trono portugués. En 1640, con Felipe IV, España ten abertos varias frontes bélicas en Francia e Cataluña, o que aproveitou Portugal para proclamar a súa independencia en Lisboa o 1 de decembro de 1640, conflicto que durou 28 anos.
O peso dos enfrontamentos e consecuencias centraronse principalmente na fronteira, sendo o sur da provincia e Vigo unha das afectadas, economicamente ao sufrir levas e o aloxamento e abastecemento do exército en campaña; e na súa morfoloxía urbana ao construírse por primeira vez un recinto amurallado abaluartado con dúas fortalezas de planta estrelada: San Sebastián e o Castelo de Santa María do Castro.
Ante o temor dun ataque por mar polas alianzas establecidas de Portugal con Francia e Inglaterra, a fortificación da cidade acométese con gran rapidez entre 1656 e 1665, pero cun resultado deficiente na calidade do recinto pola falta de medios económicos e enxeñeiros competentes.
As fortalezas de Santa María e San Sebastián son dúas estructuras militares que seguen os cánones da súa época. De planta estrelada debían estar comunicadas por un paso protexido por dúas cortinas de muralla paralelas con dous medios baluartes defensivos, proxecto que nunca chegou a realizarse. Ámbalas dúas foron declaradas BIC en 1949.
O Castelo de Santa María do Castro, situado a 147 metros sobre o nivel do mar, dominando toda a vila, construíuse sobre o antigo castelo medieval do Penço da Mitra Compostelana, derrubado entre 1480 e 1482 por decreto dos Reis Católicos. De planta poligonal estrelada, conformouse con tres recintos superpostos e un camiño cuberto que conducía ao reduto de San Felipe, unha construción pentagonal situada sobre un monticulo que hoxe ocupa un parque infantil e que tiña como obxectivo o control da cidade pola ladeira do Couto.
En 1719 un ataque inglés deixou en evidencia a deficiente calidade dos muros defensivos da muralla viguesa, tendo que refuxiarse a poboación no castelo que resistou sete días de duros bombardeos ata que os inglese desembarcaron pezas de artillería e abrir brechas nos seus muros. Reparado en 1724, construíuse no seu interior un cuartel de infantería para 250 homes con dous edificios: un principal para a tropa con cociña e calabozo; un secundario con dúas construcións destinadas a oficial de garda e cuartos de arresto e os restos da antiga capela destinada a corpo de garda e almacén de artillería.
O éxercito seguiu utiilzando o castelo para acuartelamento de tropas ata a súa entrega ao Concello o 28 de marzo de 1964, do que só se conserva o primeiro recinto defensivo e parte do segundo, tras perderse o terceiro e o reduto de San Felipe.
