La Biblioteca Museu va ser fundada a Vilanova i la Geltrú l'any 1884 per Víctor Balaguer, polític i escriptor de la Renaixença, com a mostra d'agraïment i de fidelitat mútua durant bona part de la seva carrera política.
Inicialment, la majoria dels fons i col·leccions foren cedits per Víctor Balaguer, però ja de bon començament es van anar enriquint a partir de diferents donacions. Des de els seus inicis, el museu disposa d'un important dipòsit del Museo del Prado. Actualment, aquesta institució està regida per un organisme autònom municipal dependent de l'Ajuntament de Vilanova i la Geltrú. Des de l'any 2000 el Museu és secció del Museu Nacional d'Art de Catalunya i la Biblioteca de la Biblioteca de Catalunya.