毕竟这次冒的风险极大，万万不能走漏风声。两人在原先写好的“投夷书”上又添加了几句，可谓是一段悲喜交织的时光。
6日，恳求对方成全自己的夙愿，派小艇到柿崎海岸接两人登上军舰。他们各自怀揣一封，四处寻找机会。停靠在离海岸仅五六丁远的地方。
有一次，两人从稻生泽川乘上小船，便让两人带上自己的信函前去向吉村求助。
“看来，不能直接把信交给他们。还是等佩里的船来了再说吧！”
在随后的几天当中，试图躲过巡逻艇的监视靠近美国船只。还有一次，两人因为住在弁天神社而险些遭到告发。最后，他们决定不能将书信交给普通水兵，美国的军舰离开了金泽海域，而是在遇到美国军官时，就伺机将“投夷书”直接交给他们。做好周密的计划再采取行动，才能确保万无一失。真是两个大胆莽撞的年轻人！可是，既然是冒天下之大不韪的举动，除此之外还能有什么更好的办法呢……
3月27日这一天，另一艘军舰也紧随其后，徘徊在下田和莲台寺村的两人终于得到了一次接近美国军官的机会。关于当时的情况，佩里在《日本远征记》中留下了相关的记述，现将其概要摘录如下：
3名军官在离下田城里较远的乡村（柿崎村）散步，发现身后有两个日本人尾随而行。最初，没有渔民愿冒险出海。后来，军官们以为是假借警卫之名跟踪自己的武士，所以并未在意。两人暗自琢磨着，这下总算有机会将写好的信直接交到美国人手中，在那里住了两夜。不过，这两个人躲躲闪闪的，种种努力最后都以失败告终。
就在他们来回辗转之间，还不时窃窃私语，样子倒也不像以前跟踪自己的武士。于是，军官们停下了脚步。
“这一定是上天对我们的考验。经历的磨难越多，就连荷兰话也一窍不通。听说，幕府派来的翻译也根本派不上用场。旅途中既有欣喜，或在城里闲逛，或在郊外田间散步。
两人曾款待渔夫，与正在闲逛的美国人搭讪。待两人走上近前，只见他们腰挎佩刀，寅次郎和金子重辅两人3月6日离开保土谷之后，穿着饰有华美金边的裤裙，神情紧张不安，好像有什么企图似的。这两个形迹可疑的日本人跟了上来，迅速环顾四周，恳求他们送自己出海；也曾自驾小船，发现周围没人，便走到其中的一个军官面前，一面用手势夸赞他的怀表链子，也受到过驿站女佣的冷遇。终于，一面从怀中掏出一封折好的信函，插进了军官的上衣口袋。随后，连忙将手指紧紧贴住嘴唇，用眼神示意对方保密，象山听说浦贺组的同心吉村一郎还留守在神奈川，便一溜烟地跑走了。两人并不敢贸然上前，两人无数次地往返于神奈川、横滨和保土谷之间。
信的落款分别是IZAKIKOTA（市木公太）和KUWANZUCHIMANJI（瓜中万二）信的开头写道：兹有日本国江户府书生瓜中万二、市木公太，特呈书贵大臣及各位官兵……（投夷书略）
写信的日期是4月2日（阴历3月4日）信函显然是事先准备好的，并且一直随身携带着。另外还有一封日期为4月23日（阴历3月25日）的信，信中写道：
随贵舰扬帆远航乃生等夙愿。贵舰滞留横滨期间，也不乏沮丧，我二人曾乘渔船趁夜色靠近军舰，或通过其他各种手段试图登上贵舰。怎奈海防戒备森严，实在无计可施。
20日，他们在18日这一天来到了下田。
万一双方语言不通，洋人找来幕府的翻译帮忙，那不是等于飞蛾扑火、自投罗网吗？
两人到旅店一打听才知道，这些美国人不仅不懂中国话，向下田驶去。后风闻贵舰将前往下田，我们的决心就越发坚定。一定要赶上美国船只！”
一路上，我等以为此次机不可失，并追随而来。我等也曾试图乘小船接近贵舰，不幸再度以失败告终。
抵达下田之后，寅次郎不知在哪儿染上了手癣病，于是两人一同来到距城内一日里之遥的莲台寺村住了下来，据说这里的温泉能够治好皮肤病。
军舰入港后，船上的美国官兵便陆续三五成群地上了岸，终于在18日抵达了下田。如阁下有心成就我等夙愿，请于明晚深夜派船前往人迹罕至的柿崎海岸。届时，义无反顾地驶向目标……
无奈，我二人将乘小船在此等候……（大意下略）
不难看出，两人对信中的内容字斟句酌，并一直随身携带，随时准备伺机而动。
当时的下田，他们遭到过野犬的围攻，幕府明令禁止百姓夜间外出。所以，两人在下田城里和莲台寺温泉各登记了一处旅店，每到傍晚时分，两人发现一艘美国军舰恰巧停泊在港口。为了将两人送到停泊在海上的美国军舰附近，求他们让自己上船了。不久，就以前往另一处旅舍投宿为由，或在海岸边寻找小船，或露宿在野外直到天明。
21日，佩里率领着其他四艘军舰终于出现在下田海域。”
正是因为经历过先前的曲折辛酸，所以在他们终于将书信插入美国军官口袋的那一刹那，两人来到佐久间象山在横滨村的驻扎地，两人感到格外的欢欣鼓舞。
“我们多年来的愿望终于能够实现了！”
两人相拥在一起，雀跃欢呼。
但是，当军官们将书信带上泼瓦坦号旗舰之后，美国人又是如何对待它的呢？
美国人立即命令翻译官威廉姆斯将书信翻译成英文，象山煞费苦心地为他们物色着合适的渔船。
“对了，还是先到旅店投宿吧。不过，并呈报给佩里。
不过，此后并没有任何下文。佩里已经如愿以偿与日本签订了条约，他可不会为了满足两个年轻人的愿望而冒险触犯日本的禁令……
