Коллекционер Иван Иванович Поплавский - врач и одновременно любитель живописи, член "Императорского общества поощрения художников", друг известного географа Петра Петровича Семенова-Тян-Шанского, был потомком польских дворян, сосланных в Сибирь за участие в освободительных восстаниях. С 1884 года он выезжал за границу, где посещал крупнейшие галереи для пополнения своей коллекции. По данным польского Института музейного дела и национальных коллекций, Поплавский собрал более трехсот полотен, в том числе кисти Рубенса, Рембрандта, ван Дейка и других европейских художников XIII-XVIII веков. Эту коллекцию, предположительно, с разрешения наркома просвещения Анатолия Луначарского он в 1924 году вывез в Варшаву с целью ознакомления польской общественности с коллекционированием в советской России. На родину Поплавский уже не вернулся. В 1935 году он погиб при невыясненных обстоятельствах, а картины из его коллекции, по заверениям польской стороны, были куплены городским управлением Варшавы и переданы в Национальный музей. Насколько это соответствует действительности, сегодня установить очень сложно. Но 95 картин, вывезенных в Польшу Поплавским, составили основу создававшегося в те годы музея.
Однако эти полотна недолго радовали варшавских любителей живописи. Во время Второй мировой войны нацистские оккупанты вывезли большую часть экспонатов музея, собрание Поплавского разлетелось по миру. "Портрет дамы" оказался в США, и на аукционе в Нью-Йорке его по случаю купили американские коллекционеры. В последние годы полотно висело в столовой у оперного певца и актера из Калифорнии Крейга Гилмора. Он не знал ни настоящего названия картины, ни имени ее автора, ни ее истинной ценности. Но, как позже выяснилось, с самого начала подозревал, что она "слишком хороша, чтобы не висеть в музее". Как он узнал правду, он описал в издании Los Angeles Times:
"Двое агентов из подразделения иммиграционной и таможенной полиции США появились перед моей дверью в сентябре, в поисках польской дамы - не женщины, но картины: "Портрета Дамы" Мельхиора Гелдорпа. Они проинформировали меня, что она была похищена нацистами из Национальной галереи в Варшаве. Я не был уверен, что эти джентльмены - именно те, за кого они себя выдают. Я не пригласил их войти. Но я совершенно точно знал, что они ищут: мы с моим партнером Дэвидом купили этот портрет, но якобы другого художника, десять лет назад в крупном аукционном доме в Нью-Йорке. Когда эти люди уехали, я остался стоять ошеломленный, держа в руках буклет с информацией о предполагаемом происхождении нашей картины. Я начал поиски в интернете, и они, в конце концов, привели меня на сайт польской организации, занимающейся розыском похищенных произведений искусства. Спустя несколько секунд я смотрел на старую черно-белую фотографию нашей любимой дамы, красивого портрета, написанного на дубовой доске в 1628 году. У меня в глазах стояли слезы - я осознавал, что, если это правда, мы, без сомнения, должны выполнить свой долг и доставить ее домой в целости и сохранности".
Певец решил не только передать картину Польше, но и с разрешения польских музейщиков купил для нее раму XIX века для того, "чтобы у нее осталась память об этом путешествии в Америку".