他在以通用語來說以“牢獄”（bagnio）著稱的幾個監(jiān)獄之一度過了五年，這種通用語是俘虜圈（由來自生活每一階層的男人和女人所組成的一群不斷變化的人）所操的語言。阿爾及爾的社會結(jié)構(gòu)是由土耳其人和柏柏爾人（Berbers）所掌控的，他們控制著管理和軍事，受到海盜船的支助和慫恿。等級制的底層是關(guān)押在該城的25 000名基督教奴隸，介于二者之間的是摩爾人（大部分是工匠）和改宗的基督徒。除此之外，還有一個相當大的猶太人社群。換言之，數(shù)百年來構(gòu)成西班牙南部特征的文化和宗教的三足鼎立，同樣在阿爾及爾流行。

安東尼奧·德·索薩（Antonio de Sosa）詳細描繪了從港口到奴隸市場的步行，他是塞萬提斯的一位難友，一部曾經(jīng)最著名的阿爾及爾歷史的作者。其中包括與同時在監(jiān)獄中的塞萬提斯和其他幾個人之間的談話錄，標題為《與受難者對話》。他在此對塞萬提斯生平的敘述，為傳記作者提供了引人入勝的材料。當然，德·索薩的研究是讀來令人傷心的。奴隸被戴上腳鐐手銬，競賣給出價最高的投標人。沉重的腳鐐提醒著他們的身份地位，并確保逃跑只不過是一種渺茫的可能性。的確，任何逃跑的企圖都被認為是一種破壞行為，并被施以最嚴厲的懲罰。

1571年的一幅地圖描繪了七座監(jiān)獄，其中四座在主廣場和市場之后連成一線，正好處在城墻之內(nèi)，城市三面由護城壕溝所環(huán)繞。然而，塞萬提斯兄弟應(yīng)當沒有免遭那些對著他們歌唱的兒童們的嘲笑奚落：堂·約翰救不了他們，他們將在大墻后死翹翹。從塞萬提斯有關(guān)阿爾及爾牢房的劇本中所摘錄的句子說明了這一點：“偷偷摸摸的基督徒/沒有贖金，逃跑無門/堂·約翰來不了這/這兒的死狗，在這里死翹翹！”確實，堂·約翰—公開承認塞萬提斯的勇猛并且最讓土耳其人膽寒的一個人，永遠也不可能進入阿爾及爾。當然，盡管有孩童的辱罵，塞萬提斯證明是一個不尋常的俘虜。資料顯示，有贖金的囚犯比沒有贖金的囚犯享受到更大的自由—按自由走動和不戴腳鐐鏈子來說。這一差別不應(yīng)當忽視。因為塞萬提斯在他被俘的所有時間里，都沒有戴腳鐐手銬。有多次他可以自由走動，不僅在監(jiān)獄院子里面，而且在城中監(jiān)獄院子的外頭。這種相對自由可以解釋他如何可以在王家監(jiān)獄（the royal prison）時能夠做自己的事，而且是反復(fù)地做。如果在他蹲監(jiān)牢的全過程中有一件事激勵著他，那么就是自由的思想。它衍變成一種強烈的愿望，這種愿望將驅(qū)使他從一個逃跑的計劃走向另一個逃跑的計劃，在一個甚至比其被俘更出人意料的結(jié)果中達到頂點。

在塞萬提斯作為一個待贖救奴隸關(guān)押的監(jiān)獄里，生活不像無人贖救和無人競價的奴隸所住的所謂“倉庫”或公共監(jiān)獄那么嚴酷。除了塞萬提斯在《俘虜?shù)墓适隆泛偷隆に魉_在其阿爾及爾《地志》中所做的兩類囚犯的區(qū)分之外，有關(guān)他們的信息寥寥無幾。當然，兩類囚犯都面臨痛苦和剝奪。按照貪婪俘虜者的邏輯，如果剝奪有人贖的奴隸物質(zhì)上的舒適，他們就會尋求最快的籌錢方式，以換得他們的自由。然而，正是無人贖救的囚犯，構(gòu)成了歷史學家和這一時期的使節(jié)所提到的大多數(shù)不幸的人。16世紀在阿爾及爾的奴隸市場出賣的大量奴隸，表明了普通的綁架和囚禁如何是相對的。換言之，塞萬提斯兄弟的困境在任何意義上都不是例外的。將塞萬提斯的處境和他的弟弟羅德里戈及無數(shù)其他人區(qū)分開來的，來自兩種主要因素：第一，他帶著奧地利堂·約翰的信記；第二，他如此固執(zhí)地蔑視土耳其當局。前者決定了他的贖金，后者限定了他在監(jiān)獄中的態(tài)度和行為。