革命政府の転覆後の1802年、ルブランはフランスへ戻り、ヨーロッパ上流階級からの引く手あまたの中、イギリスを訪れ、バイロンを含む数名のイギリス貴族の肖像画を描いたました!!
ナポレオン・ボナパルトの妹の肖像画も手がけましたが、ナポレオンとの折り合いが悪くなり、1807年に出国、スイスに行き、ジュネーヴ芸術促進協会(Société pour l'Avancement des Beaux-Arts de Genève、現在のジュネーブ芸術協会)の名誉会員になった。フランスが王政復古するとルイ18世に手厚く迎えられ、やっとフランスで落ち着いた生活を送ったそうです。