王世襄不明白政府當初為什么會答應如此苛刻的條款。但在當時的大背景下，中國雖然取得了抗日戰(zhàn)爭的勝利，但在美帝國主義強權的主導下，并沒有能夠享受到勝利的果實。當政府在忙于博弈政治資本時，又有誰會把文物追討放在心上呢？

沒有話語權，王世襄只能一方面通知國內，寄來更加詳細的材料，另一方面則硬著頭皮拿手頭所有的材料去向日本政府提請清收。而這樣的要求則在日本政府以資料不全為由之下，顯得那樣蒼白無力。

幾次三番的碰壁，讓王世襄心灰意冷，他不由地想起自己在故宮的工作和臨行前與馬衡的對話來。出國前，故宮博物院的基礎整理工作才剛剛開始，他本以為來到日本，能夠做一些更加有實效性的事情，但從事情的進展來看，他發(fā)現(xiàn)自己在這里，只不過是一個點綴。并沒有人真正關心流失的文物，而在可預見的未來，也不可能出現(xiàn)什么轉機。

王世襄起了回國的念頭。于是他寫信給馬衡和杭立武，詳細敘述了在日本的情況，表達了自己想回故宮博物院工作的心思。

接下來就是等待，王世襄不通日語，每日下了班并無處可去，而工作又進展得不順利，這讓他在日本感覺度日如年。在數(shù)著日子挨過幾天后，王世襄收到了郭志嵩的回信，說杭立武認為派一個人去日本并不容易，“既來之，則安之，工作一時不順手，可徐圖之。除非有特殊任務，不要急于回國。幾時回來，須得到代表團的許可?！?/p>

對于這封回信，王世襄異常失望，他真正體會到什么叫做報國無門。原本寄希望于清損會，但現(xiàn)在他知道，想回國就只能通過代表團批準。經(jīng)過不少周折，王世襄終于將在上野公園的善本運送回國。

1947 年3 月初，王世襄回到北平，重返故宮博物院古物館任科長。當時的故宮博物院，雖然已經(jīng)建院二十余年時間，但由于中間經(jīng)歷了抗日戰(zhàn)爭，使得博物院百廢待興。除了已陳列開放或辦公使用的地方外，不少宮殿房屋長期封鎖，依然處在當年清室善后委員會點查時的狀態(tài)。文物與非文物界限不清，歸類不明，在儲存保管上混亂不堪。根據(jù)博物院的現(xiàn)實狀況，王世襄與馬衡進行了詳細的溝通，歸納出了保管工作的要點--“弄清家底，加強保管”。

就這樣，王世襄開始了在故宮博物院的基本建設工作。他首先將文物都集中到古物館，開辟庫房，修繕房屋，添置儲藏設備，進行集中保管，然后將文物進行分類編目整理。在這期間，王世襄一邊為故宮文物保管工作打基礎，一邊繼續(xù)進行文物的追討工作。這段時間，王世襄既要進行古物整理，又要負責房屋修繕以及文物修復，頭緒紛雜，十分繁忙。那最初進故宮博物院來完善自己《中國畫論研究》一書的想法，也早已擱置，他甚至沒有時間寫任何關的學術文章。就這樣，時間在繁瑣的小事中又過了半年。

1947 年的夏天，美國洛克菲勒基金會派兩個人到北京進行所謂的文化訪問，參觀各類學校、圖書館、博物館，聲稱可以進行項目資助。故宮博物院此時正是百廢待興之時，能有資金支持，當然是求之不得的好事，于是馬衡親自接待了該基金會的一行人，并向他們提出了資助印刷設備的請求。

秋冬之際，洛氏基金會回復了故宮博物院的請求，他們并沒有像當初承諾的那樣提供資金資助，而理由是當時中國正在進行的內戰(zhàn)?；蛟S是為了禮尚往來，他們提出可以給故宮博物院一個到美國參觀學習的名額。雖然有些失望，但馬衡等人還是覺得這個學習名額聊勝于無，借此機會，也能夠見識國外先進的博物館，為故宮今后的發(fā)展儲備人才。經(jīng)過討論，最終決定派王世襄去學習。