這是一個讓所有軍統(tǒng)特務(wù)和革命人士都談之色變的地方，人們只要關(guān)在這里兩三年，往往被折磨得連走半里路都不能堅持。楊虎城在這里，幾乎每夜都能聽到執(zhí)行槍決的子彈聲，以及人們的哀號和孩子的啼哭聲。他每日都恐懼自己會被殺害，恐懼死后自己的兒子沒有人照顧。在這樣擔驚受怕的情緒下，他過了整整一年。

1939年夏天，戴笠到了息烽親自視察。他發(fā)現(xiàn)離息烽縣城10多里的高山頂上有一個玄天洞，是一個天然的大石洞，有10丈多高。里面有一所道士廟，只有一個大洞口可供出入，警戒極為方便。他便叫人在附近修建供特務(wù)隊和憲兵等居住的房屋以后，將楊移送過去。

蔣介石還是不放心，再三叮囑戴笠不可大意。為此，戴笠于1940年又親往息烽布置，除了在楊住宅四周派有便衣特務(wù)嚴密看守外，外層憲兵也分兩層布崗。憲兵連連部設(shè)在后山高地，可以控制后山和楊的住宅。軍統(tǒng)特務(wù)隊則設(shè)在前面上山的路口。崗哨距離近，白天彼此看得很清楚，晚上更縮小范圍，并采用傳更辦法：就是用大竹子劃兩道口，像過去城市打更用的竹梆一樣，以木棒敲打就發(fā)出很大的聲音。每到夜間，隔一定時間，由第一個崗哨先敲幾下。梆聲剛落，第二個便得接著敲打。像這樣輪流著一個個敲下去。只要一處不響，帶班的馬上去檢查。從天黑到第二天黎明，梆梆之聲響徹高山深谷。

雖然有了這些嚴密布置，但戴笠還怕不妥，便連息烽縣長的職位也抓了過來，先后介紹軍統(tǒng)特務(wù)鄧匡元、徐羽儀、陳國楨去當縣長。這樣一來，所有地方組織一起掌握在軍統(tǒng)特務(wù)手中，共同配合看守楊虎城。

除了看守十分嚴密之外，楊虎城的生活也是非常艱苦。山洞內(nèi)終年不見陽光，潮濕異常。楊虎城全家在西北地勢干燥的地方過慣了，住在這個地方很不適宜，加上心情不快，便常常生病。楊虎城自掏腰包在洞外修建了房屋居住，可是特務(wù)隊長乘機揩油，偷工減料，房子質(zhì)量十分簡陋，楊虎城也是無可奈何。

約在1941年間，楊夫人又生了一個女孩。這給他精神上帶來不少安慰，但這是暫時的安慰，很快就變成了憂傷。因為軍統(tǒng)認為他夫人謝葆真是共產(chǎn)黨員，常常有意刺激她。再加上生活上缺衣少食，她漸漸有些精神失常。