In de achttiende eeuw bevond het doek zich in het Palais Royal in Parijs waar de kunstverzameling van de hertog van Orléans (1640-1723) broer van Lodewijk XIV bewaard werd. Het schilderij wordt afgebeeld in de catalogus (1727) van deze verzameling en omschreven als een portret van een burgemeester door Rembrandt. Het schilderij bleef in het bezit van de familie tot in 1792 toen Louis Philippe Joseph d' Orléans (1723-1792) de hele kunstcollectie verkocht om zijn politieke ambities te financieren en om zijn schulden af te lossen. Via diverse Engelse collecties kwam het schilderij in handen van de kunsthandel Bourgeois die het werk in 1886 voor 200.000 francs aan het museum verkocht. Eleazar Swalmius (Rhoon 1582 - Amsterdam 1652) zoon van de uit Vlaanderen afkomstige Henricus van der Swalme was predikant (contra-remonstranten) in Amsterdam toen Rembrandt in 1637 zijn portret schilderde. Swalmius was vanaf 1605 actief als predikant in Poortugaal en Hoogvliet bij Rotterdam en tussen 1612 en 1622 in Schiedam. In 1622 vestigde hij zich in Amsterdam waar hij in 1652 in de Oude Kerk werd begraven. De familie Van der Swalme moet Rembrandt goed gekend hebben. Carel een broer van Eleazer en dijkgraaf van Oranjepolder was bijvoorbeeld getuige bij het opstellen van het testament van Rembrandt van Rijn en Saskia van Uylenburgh.
Vlaamse kunst- en erfgoedcollecties, tot in het kleinste detail