洛伊斯被三好家赶出了京都，之后在堺町的南蛮区避难了整整四年，不过这段时间之中，他仍然在艰苦的环境下，继续着自己宣扬上帝是如何伟大、仁慈这样的工作。
天正四年（公元1576年），他移居丰后在大友义镇的手下生活了四年，大友义镇乃是天主教信徒，所以给他传教提供了极大的便利，由于耶稣会巡查员亚历山大·步瓦利尼亚诺来到岛国，所以佛洛伊斯作为翻译再次前往京都。
在本能寺事变之后天下局势发展已露端倪，天正十四年（公元1586年），佛洛伊斯随同副教区长伽斯帕尔·柯厄略巡视各地，并前往大阪谒见丰臣秀吉，还受到了猴子的款待，也取得了丰臣秀吉对天主教在日本传播的支持。
翌年，丰臣秀吉讨伐九州后，看到天主教在九州大名和民众中的强烈影响时感到不安，深恐产生一向宗那样的号召力，接着就颁布了著名的“传教士追放令”，之后佛洛伊斯主要住在加津佐、长崎等地。
庆长元年（公元1596年）八月，西班牙商船圣·菲利浦号遭风暴袭击漂流至土佐浦户，其中一船员向前来例行检查的京都所司代前田玄以口出狂言，说西班牙先用教士驯化民众，而后将要对岛国进行全面的征服，我们的猴子闻知此言后