アダムズともども平戸へ帰ったセーリスは、一一月二六日商務員会議を開いて、商舘を平戸に残すことを決議し、リチャード・コックスを舘長、他に七名の英人を舘員に選んだ。うち一人はアダムズである。

　彼は駿府においてすでに家康に暇乞いをしていた。所領の朱印状を差し出して故国へ出発したいと願うや、家康はじっとアダムズの顔をみつめて、「それほどに帰りたいのか」と問うた。「帰りたくてたまらないのです」と答えると、「無理に引きとめることもなるまい」と言って、これまでの労をねぎらった。アダムズが朱印状を差し出したのは、致仕とともに所領を返還する意志表示だったが、所領はそのまま息子のジョゼフに安堵された。妻と二人の子の生活は保障され、アダムズが心置きなく帰国する条件は調ったのである。

　クローヴ号にはすでにアダムズの船室も用意されていた。だが彼は乗船せずに、英国平戸商舘と契約した。彼はのちに「私はクローヴ号で国に帰りたかったが、司令官（セーリス）が無礼の振舞いをしたので考えを変えた」と手紙に書いている。しかし、商舘との契約が切れたあとでも、英船はたびたび入港して・・・