接着，建造的洋船完工了，普恰欽自率一百餘人乘船走了。剩下的百餘人，包租了隨後進港的美國船，全部返回俄國。
這一切都是歷史，睦仁根本未曾與聞。
千島列島那方面，在捉擇島和烏魯普島之間，雙方劃定了國界線；而庫頁島方面則未設國界。互相承認慣例，兩國國民自由雜居。
日俄友好條約締結五年之後，俄國的西伯利亞總督牟拉維約夫將軍，突然率領軍艦四艘，駛入品川灣，要求確定兩國的邊界。提出的基本條件是：一、以島嶼之間的海域，作為兩國國界。此處特指宗谷海峽。
二、在庫頁島南部的阿尼瓦港，一直經營漁業的日本人，將來也可以居住在該地；但必須請求俄國國旗的保護。
三、日本人可以在俄屬西伯利亞，即跨越東洋海的地方，重新修繕房屋自由居住。
四、遷往庫頁島其他俄屬地域的日本人，有信仰本國宗教、按照自己的習俗修建寺院的自由。但是，一切必須遵守俄國的法律。
以上條文，明顯含有威脅意思。牟拉維約夫從前和中國清朝政府的劃界談判中，屢次用這一招撈到好處。這一回不靈了，遭到日本的拒絶。
牟拉維約夫也無可奈何，不了了之，帶著艦隊溜之乎也。
當然，俄國不肯就此罷休，轉而對庫頁島採取蠶食政策。又是經營煤礦，又是駐紮軍隊，又是流放罪犯，驅使其從事開發工作。這對於一直認為樺太是自己領土的日本來說，是難於接受的。無奈已經在條約中承認，兩國國民都可以進入雜居，沒有理由要求對方撤走。
於是決定派遣使節赴俄國交涉。
2談判無結果文久元年
1861年，皇子睦仁才九歲多。十二月，閣老安藤對馬長官，派遣了一個三十多人組成的使團赴歐洲。使命是訪問英、法、荷、德諸國，談判延期開放港口。隨後就庫頁島國界問題，與俄方商談。
俄國首席代表是伊格納切夫將軍，他堅持庫頁島是俄國領土。日本的副使松平石見守，拿出從歐洲各國蒐集來的地圖，讓伊格納切夫觀看。
每一張地圖無一例外都是以北緯
50度為界，庫頁島南北兩部分染成不同的顏色。
伊格納切夫視而不見，愣說那是外國市場上出賣的商品，無法律效力，不足為憑。這時松平又取出另外一張地圖，地名系用俄文標記，也是以
50度為分界。
伊格納切夫依然不認賬，說他那兒有政府製作的標準地圖，約定明天帶來。
第二天談判時，果然帶來了一張嶄新的地圖。他指着一個地方給日本人看：「請看。庫頁島就是這樣，屬於俄國領土無疑。」
在這張新地圖上，庫頁島整個被染成和俄國本土一樣的顏色。
松平不驚不詫，說出一番話來：「果然不錯，從藝術角度看，這是一幅蠻漂亮的地圖。單看這張圖，似乎也可以說庫頁島是貴國的領土。我聽說貴國的天文台名氣很大，在世界上堪稱一流。經常有各國人士到那兒去參觀，這可是真的嗎？”「不錯。
我國以它而自豪。」「既然如此，閣下是否能和我們一起，到天文台去開開眼界呢？」「這事不難。不過，您為什麼一定要去天文台呢？」松平這才道出原委：「在巡遊歐洲時，每到一國我都購買該國出版的地圖。到了貴國也照樣蒐購，它們都是以北緯
50度為日、俄國界。
我又專門去了貴國的天文台，仔細觀看了權威的地球儀。一共三個，個個地球儀也都是在北緯
50度畫的國界線。如果說閣下今天所帶來的地圖是正確的；天文台的地球儀就是錯的了。天文台若是正確的，您這張地圖肯定就是錯的了。
到底哪個是正確的喲？」伊格納切夫無話可說，只好自找台階。說道：“我一定把閣下的這些意見上奏沙皇。」
從這時起，才開始認真的談判。俄國方面做了一些讓步，提出以北緯
48度為兩國的分界線。實際上，
50度上山巒重重，地形複雜，測量起來非常困難。而
48度沿線一帶，有自然流過的河川，就勢構成國界。
松平以為可行，但同行的代表們覺得還沒達到預期目的。認為這是向俄國退讓，堅持不讚成。這一來談判未能達成協議，好在雙方都表示，在合適的時間再會晤商談。於是日本使團無功而返國了。
就在使團赴歐洲期間，日本國內政局發生了巨大變化。執政當局誰也沒心思去關注遙遠的庫頁島了。
使團去找松平春岳彙報訪歐情況，這位新就任的政治總裁，一點兒也摸不着頭腦。竟問他們：「你們到國外幹什麼去了？」那口氣，好像他們虛耗國庫，公費旅遊一趟似的。聽完彙報，總裁對這個問題不感興趣。那年頭國內政局一片混亂，全國熱衷于討論大政奉還，或是仍舊由幕府主政。
俄國方面倒是遵守約定，第二年派遣西伯利亞總督卡扎凱維奇為談判委員，通過俄國駐函館領事，嚮日本幕府提出重開談判的要求。幕府自身朝不保夕，一味拖延。
卡扎凱維奇等得起火，說道：「因為你方有此願望，我才專程來日本。現在你們又漠不關心，覺得有無國界無所謂……」說罷憤然離去。
日、俄邊界問題被擱置起來。
庫頁島從平安朝的末期
約在1190年左右開始，日本人就在那裡活動。行政上由松前藩行使管轄權。開發經營都是小規模，而且散漫無組織。這段時期，俄國加快了控制庫頁島的步伐，以國家的規模進行開發。
日本的散兵游勇當然斗不過人家，終於被壓垮了。所謂自由雜居，不過是日本方面放任不管、得過且過的姑息政策。其實呢，是政府對抵抗俄方擴張的必要性，沒有足夠的認識；同時也沒有足夠的實力。
