Este Monasterio no cuenta con documentación que permita conocer con exactitud su historia por haber sido quemado en dos ocasiones su archivo.
Sobre la construcción de este edificio, como consta en la fachada, solo se sabe con certeza que fue reedificado en 1851, gracias a la caridad del licenciado en teología don José García Díaz.
Parece que con anterioridad al actual monasterio, hubo una casa de la orden hospitalaria de Santis Spíritus de Saxia, unida al hospital a principios del siglo XVI. Asimismo fue también priorato lateranense, proveyéndose en Roma en 1525. La tradición conventual, por su parte, afirma que allí existió una ermita y hospital bajo la advocación de San Blas.
Con la invasión de las tropas anglo-holandesas en 1702 y la Guerra de Sucesión, los archivos fueron destruidos.
Más tarde con la presencia francesa el edificio fue utilizado como cuadra por la caballería, sufriendo un importante expolio.
Hoy el inmueble pertenece a las RR. Madres Canónigas de la Regla de Nuestro Padre San Agustín.
El convento del Espíritu Santo de El Puerto es uno de los que más dulces elabora y vende en la provincia de Cádiz y cuenta con una variedad muy extensa.
