Segundo o historiador Juan Miguel González Fernández no seu libro “Inventario Histórico das Ermidas de Vigo e o do Val do Fragoso (séculos XVI-XIX)”, a desaparecida capela de Nosa Señora de O Castro, foi chamada en principio pola súa advocación, Nosa Señora da Asunción.
É moi probable que a ermida fose levantada sobre os alicerces do desaparecido castelo de Penço (construído a finais do século XIII e demolido a finais do XV), utilizando incluso pedras da antiga estrutura militar. En 1597 a ermida aparece perfilada no apeo de 1597 da demarcación que rodeaba o monte do Castro.
Ao construírse o actual castelo na segunda metade do século XVII a capela conservouse no interior quedando situada, máis ou menos, no centro da fortaleza. No plano do enxeñeiro Doffus Vélez Dávila de 1705 (Arquivo Histórico Nacional), apréciase unha construción rectangular coa ábsida orientada ao oeste, unha rareza que non segue os cánones da igrexa católica de orientar a ábsida ao leste. Esta incongruencia parece que resolveuse en planos posteriores do século XVIII e XIX onde aparece correctamente situada a oriente.
De planta rectangular de 20×8 m aprox., tiña unha ábsida de 4,50 m, con muros dun espesor entre 60 e 100 cm cun arco de medio punto (cegado) e outro lixeiramente apuntado con 5,10 m de luz. A boveda da ábsida, de pedra en canón apoíada en cornisas saíntes sobre ménsulas con debuxos.
Segundo o cronista de Vigo, José Espinosa Rodríguez, a ermida debeu estar baixo a advocación de Nosa Señora da Anunciación e que pola súa ubicación pasou a denominarse Nosa Señora do Castro polos fieis. Cada 25 de marzo se celebraba culto e romería, estando moi concurrida ata 1767, ano no que morreu a ermitaña Jacinta (unha muller devota de nome Jacinta Lorenzo Pereira natural de San Martín de Coia encargada do “aseo, aliño e adorno e en promover el culto Divino con esmero…”) e comezou a súa decadencia e abandono.
A finais do XVIII a imaxe da Virxe xunto con outros obxetos de culto foron depositados na igrexa de Santo Tomé de Freixeiro, onde todavía se atopan. Arruinada polas bombas inglesas en 1719, convertida en establo polos franceses en 1809, foi restaurada varias veces para gardar pertrechos militares, ata que na década de 1960 foi finalmente derrubada e substituída polo actual estanque e parterres de céspede, plantas e flores.
