Jacques Goudstikker murió en mayo de 1940, en el barco en que escapaba de los nazis desde Amsterdam, donde dejaba su colección de arte. Göring amenazó con confiscarla y la compró a un precio ridículo. La galería quedó en manos de dos empleados que respondían al banquero alemán Alois Miedl, que se quedó con el nombre comercial, el resto de las obras, un castillo, el edificio de la calle Herengracht y otras propiedades. Al terminar la guerra, los aliados recuperaron parte de las obras en Alemania y las entregaron al gobierno holandés para que se las dieran a sus dueños, pero el gobierno las retuvo como parte de la colección nacional. El resto de las obras de la colección se encuentra en distintos museos del mundo. Toussaint consiguió que devolvieran varias de esas obras y está en camino de recobrar más. El Museo de Israel devolvió en forma voluntaria un dibujo de Degas, perteneciente a la colección. Cuando Toussaint tuvo en sus manos las primeras, alquiló como oficina un departamento en la misma Herengracht y de ahí llamó a los herederos de Goudstikker y les dijo que en ese momento los cuadros estaban colgados de la pared de una casa en donde antes estuvo la galería.