就在潘素大放异彩的时候，一场灾难在等着她。潘素13岁时，母亲病逝，父亲娶了继母。两年后，潘素被王氏以擅长弹琵琶为理由，将她卖到青楼挣钱。“潘素初来上海人出落得秀气，谈吐不俗，挥笔成画，于是在五方杂处、无奇不有的上海滩，曾大红大紫过。”(张伯驹好友孙耀东)张伯驹晚年曾写过一首《瑞鹧鸪》，“姑苏开遍碧桃时，解后(避逅)河阳女画师，红豆江南留梦影，白滔风末唱秋词。除非宿草难为友，那更名花愿作姬，只笑三郎年已老，华清池水恨流脂。”这首诗就是描述自己当年追求潘素的情景。
1937年两人婚后，潘素在张伯驹的栽培下，成为了著名的青绿山水画家。潘素跟过当时很多大师画，比如朱德甫、汪孟舒、陶心如、祁井西等。更关键的是，张伯驹家中各种古代画作应有尽有，这使得潘素能天临摹，绘画水平突飞猛进。张大千在看过潘素的画作后，称赞道“神韵高古，直逼唐人，谓为杨升可也，非五代以后所能望其项背。”1958年，潘素的山水画《临吴历雪山图》曾被作为礼物送给英国首相;临摹隋代展子虔的《游春图》，在中国文化代表团访问东京时，将其赠予了日本天皇。
跟张伯驹结婚20年后，潘素终于扬名天下，这次不是她曾经的美貌，而是那高超的绘画水平。潘素是幸运的，张伯驹也是幸运的，如果没有遇上张伯驹，就没有她的幸福生活和出色的书画成就;如果没有潘素的出现，张伯驹的家庭生活就不会那么和谐多彩。
