要让自己的兄弟们娶到欧洲那些最古老的贵族世家的女儿，以便达成这个目标。所以当他听说了弟弟和帕特森女士的婚姻之后顿时就大发雷霆，并且宣称他不承认这段婚姻。
拿破仑皇帝先是想要让教皇宣布婚姻无效，但是教皇认为这桩婚姻手续完备，无法废弃，所以没有答应，于是皇帝干脆自己下圣旨直接不承认这段婚事。
因为当时英法是交战状态，所以热罗姆夫妇是坐船来到了中立国葡萄牙。可是一来到欧洲大陆上的时候，他们就听到了这个噩耗，顿感震惊和失望。
他们商量了一会儿之后，热罗姆决定自己先回法国，去劝说哥哥回心转意，于是就将妻子留在了那里，伊丽莎白-帕特森最后不得不前往英国生下了孩子，可是她的丈夫却再也没有回头。
到了法国之后，拿破仑对自己行事荒唐的幼弟一顿劈头盖脸的怒骂，然后强势地命令他必须抛弃掉没有贵族身份的伊丽莎白-帕特森，哪怕热罗姆百般辩解并且告诉哥哥她已经怀了孕，也没有改变哥哥的主意。
当然，拿破仑也并不是一味的强压，他也使用了利诱的手段——他告诉自己的弟弟，他将会在未来为他找到一个王族的公主做妻子，并且为他找一个王国置于他的统治之下。