途之中历尽磨难。
公元659年秋天，吉祥连、石布连率领的两艘船只，奉命出使大唐。一行人从日本难波三津浦出发，经过两个多月的海上颠簸，漂流到朝鲜半岛南部海域的小岛上。第二天黎明时分，两船先后尾随出海。第三天，夕阳西下，看似平静的海面突起狂风，石布连的船漂到一个小岛上，岛上的土著人趁势掳掠，大使以下多人遇害，仅有五人趁隙乘土著人的船只得以逃脱，一路奔命来到大唐境内的括州。政府官员负责将他们送到了洛阳。
两船失散之后，吉祥连的船只在一天半夜才行到大唐越州会稽县须岸山，但是又遇到强劲的东北风，因而不能靠岸。辗转七天之后，才得以在浙江余姚下锚。他们把所乘的大船留在余姚。经过一个多月的时间，在各地驿站的协助下也来到东都洛阳。
当时高宗皇帝在东都洛阳对日本一行人进行了接见。日本使者特别以两名虾夷人示唐天子。这一时期，日本已经接受中国“中央王朝”的意识形态，“虾夷”这样的称呼很明显是来源于中国“蛮夷”的说法。虾夷人全身纹身，男人须长四尺，并且当场进行了射箭表演，且射无不中；另将一张白鹿皮、三张弓、八十支箭进献给高宗。高宗对他们的奇特装束很感兴趣，特别对他们的情况作了询问。
高宗问道：“虾夷在什么地方？”
使人答道：“在我国东北方。”
“虾夷人有几种？”
“分为三种，最偏远者，我们称其为‘都加留’，再近一些的，称其为‘粗虾夷’，最近的叫‘熟虾夷’。今天陛下见到的属‘熟虾夷’，他们每年都会入贡敝国朝廷。”
“虾夷人种植粮食吗？”
“没有，他们靠吃肉存活。”
“虾夷人建造屋舍吗？”
“也没有。他们深居山林，以树洞岩穴为家。”
除此之外；日本国内问题并没有引起高宗皇帝过多的关注。
短暂的初次召见结束后，高宗下令使者暂回舍馆，“尔等远道而来，先在馆舍住下，择日再见。”
高宗皇帝显然也没有更多留意虾夷人。但日本使者带上虾夷人一起觐见高宗，是有他们的政治考虑的。几乎与此同时，日本大和军在阿倍比罗夫将军的率领下，正对该国北部进行征讨。使者是想告诉大唐皇帝，日本也已经是大一统的国家了。
随后，包括日本在内的诸国使节一起参加了高宗皇帝亲临的冬至宴会。宴后高宗皇帝下发敕旨：“国家，来年必有海东之政。汝等倭客，不得东归！”
“海东之政”表明高宗皇帝已打算接受新罗的请求，对百济进行武力打击。日本遣唐使遂被软禁在西都长安。
就在日本使者在洛阳城逗留的时候，刚*完突厥的大唐左武卫大将军苏定方接受了新的军事任务，以使持节神丘、嵎夷、马韩、熊津等一十四道大总管的身份统水陆大军十三万，会同五万新罗兵，共同讨伐百济。
再往前数年，即公元653年，日本曾派出一支使团，这支遣唐使团以包括日本贵族子弟等人在内的留学生或学问僧组成。在那次召见中，唐高宗曾向日本使者下达诏书，要求日本发兵援助受到百济军事压制的新罗。
唐朝政府之所以会向日本发出这样的命令，大概是基于唐朝判断高向玄理、南渊清安以及僧旻在内的一批在隋朝有过生活经历的人在大和朝廷有一定的影响力，误判了当时的日本政府会执行亲唐政策。
事实上，当时掌握日本最高权力的中大兄王子一直主张与百济结盟，而作为他的重要谋臣之一的中臣镰足很可能在这一点上与他是有分歧的，在这批遣唐使中就有中臣镰足的长子定惠和尚。
僧旻在公元659年去世，高向玄理则于此前的公元654年于大唐去世。