王陽明的品德感化了龍場的百姓，他們逐漸和王陽明親近起來。王陽明也積極學(xué)習(xí)當(dāng)?shù)卣Z言，努力和他們交流。當(dāng)時王陽明住在石窟中，潮氣較重，對健康不利。當(dāng)?shù)匕傩站吞嶙h給他建間小木屋，王陽明自然非常高興。在大家伙兒的幫助下，小木屋不到一個月就竣工了。

為此，王陽明特意作了兩首詩，題為《龍岡新構(gòu)》（《王文成公全書》卷十九），據(jù)此可以想見小木屋的一些基本情況。

謫居聊假息，荒穢亦須治。

鑿薙林條，小構(gòu)自成趣。

開窗入遠峰，架扉出深樹。

墟寨俯逶迤，竹木互蒙翳。

畦蔬稍溉鋤，花藥頗雜蒔。

宴適豈專予，來者得同憩。

輪奐非致美，毋令易傾敝。

營茅乘田隙，洽旬始茍完。

初心待風(fēng)雨，落成還美觀。

鋤荒既開徑，拓樊亦理園。

低檐避松偃，疏土行竹根。

勿剪墻下棘，束列因可藩。

莫擷林間蘿，蒙籠覆云軒。

素缺農(nóng)圃學(xué)，因茲得深論。

毋為輕鄙事，吾道固斯存。

據(jù)此可以得知，依靠眾人鑿巖取石、斬枝取木，才最終建成。小木屋的造型和周圍的景致也非常協(xié)調(diào)。

此外，屋子周圍還遍植花草。打開窗子，遠處的群峰一覽無余；俯瞰下去，山麓中的山寨錯落有致。盡管木屋沒有高樓大廈那么美觀，甚至顯得有些寒酸，但來客可以在里面輕松自在地休息。屋子是眾人在農(nóng)活間隙幫助建造的，所以蓋了十天才露出雛形。為了避開一棵臥松，故而建得比較矮。在疏松的土里埋下幾根竹子，同時保留墻下的荊棘，并把它們修剪成列，做成籬笆。藤蔓爬到屋子上，自由自在地生長。另外開辟了一條小路，做了一個小農(nóng)圃。

王陽明在《龍岡新構(gòu)》的序中提到當(dāng)時有弟子建議將小木屋取名為“龍岡書院”，但他覺得不妥，于是命名為“何陋軒”，并且還作了一首《何陋軒記》（《王文成公全書》卷二十三），敘述了定此名的緣由。

昔孔子欲居九夷，人以為陋。孔子曰：“君子居之，何陋之有？”

守仁以罪謫龍場。龍場，古夷蔡之外，于今為要綏，而習(xí)類尚因其故。人皆以予自上國往，將陋其地，弗能居也。而予處之旬月，安而樂之，求其所謂甚陋者而莫得。獨其結(jié)題鳥言，山棲羝服，無軒裳宮室之觀、文儀揖讓之縟，然此猶淳麗質(zhì)素之遺焉。蓋古之時，法制未備，則有然矣，不得以為陋也。夫愛憎面背，亂白黝丹，浚奸窮黠，外良而中螫，諸夏蓋不免焉。若是而彬郁其容，宋甫魯掖，折旋矩矱，將無為陋乎？夷之人乃不能此。其好言惡詈，直情率遂，則有矣。世徒以其言辭物采之眇而陋之，吾不謂然也。

始予至，無室以止，居于叢棘之間，則郁也。遷于東峰，就石穴而居之，又陰以濕。龍場之民老稚，日來視，予喜不予陋，益予比。予嘗圃于叢棘之右，民謂予之樂之也，相與伐木閣之材，就其地為軒以居予。予因而翳之以檜竹，蒔之以卉藥，列堂階，辦室奧，琴編圖史，講誦游適之道略俱。學(xué)士之來游者，亦稍稍而集于是。人之及吾軒者，若觀于通都焉，而予亦忘予之居夷也。因名之曰 “何陋”，以信孔子之言。

嗟夫！諸夏之盛，其典章禮樂，歷圣修而傳之，夷不能有也，則謂之陋固宜。于后蔑道德而專法令，搜抉鉤縶之術(shù)窮，而狡匿譎詐，無所不至，渾樸盡矣！夷之民方若未琢之璞，未繩之木，雖粗糲頑梗，而椎斧尚有施也，安可以陋之？斯孔子所謂欲居也歟？雖然，典章文物，則亦胡可以無講！今夷之俗，崇巫而事鬼，瀆禮而任情，不中不節(jié)，卒未免于陋之名，則亦不講于是耳。然此無損于其質(zhì)也。誠有君子而居焉，其化之也蓋易。而予非其人也，記之以俟來者。