Азкабан съществува от петнайсети век и в началото не е затвор. Островът в Северно море, на който е построена първата крепост, не се появява на никоя карта, нито мъгълска, нито магьосническа и затова се смята, че е изграден или уголемен чрез магия.

Крепостта първоначално е дом на малко известен магьосник, наричащ себе си Екриздис. Екриздис, чиято националност не е известна и който очевидно бил много могъщ и практикувал най-лошите видове черна магия, е смятан за луд. Сам насред океана, той примамвал, изтезавал и убивал мъгълски моряци, най-вероятно за удоволствие и чак когато умира и силата на направените от него прикриващите заклинания избледнява, Министерството на магията разбира за съществуването на острова и на крепостта. Онези, които влизат, за да огледат, впоследствие отказват да говорят за това какво са намерили вътре, а казват само, че най-малко плашещото нещо, което открили, било, че мястото гъмжи от диментори.

Много от властимащите по онова време смятат, че Азкабан е злокобно място, което е по-добре да бъде унищожено. Други се страхуват какво ще стане с дименторите ако ги лишат от техния дом. Създанията били силни и невъзможни за убиване; мнозина се страхували от ужасно отмъщение ако им отнемат мястото, където изглежда могат да съществуват. Самите стени на затвора сякаш са пропити с мистерия и болка и дименторите явно са свързани с него. Експертите, които изучават сгради, построени със или близо до черна магия заявяват, че наистина е възможно Азкабан да изсипе отмъщението си върху всеки, който се опита да го разруши. Затова крепостта е изоставена за години наред и остава дом на постоянно увеличаващ се брой диментори. 

С въвеждането на Международния указ за секретност, от Министерството на магията решават, че малките магьоснически затвори, разпръснати из страната в градове и села, представляват риск за сигурността, тъй като опитите на затворените вещици и магьосници да избягат, често водят до нежелан шум, миризми и светлинни шоута. Министерството решава, че трябва да има един затвор, който да бъде изграден някъде на Хебридския остров и по времето когато Демокъл Роул става министър на магията, започват да се създават чертежи за построяването му.

Роул е авторитарен министър, който се издига във властта с помощта на анти-мъгълска програма, основана на гнева на магьосническата общост към мъгълите, заради които магьосниците са принудени да се крият. Садист по природа, Роул отхвърля плановете за новия затвор и настоява за затвор да се използва Азкабан. Той твърди, че присъствието на дименторите там е предимство: те могат да бъдат пазачи, което би спестило на Министерството време, проблеми и разходи.

Въпреки протестите на много магьосници, между които и експерти по диментори и по сгради с мрачна история като Азкабан, Роул довежда докрай своите планове и скоро малък брой постоянни затворници са настанени там. Никой от тях не излиза повече. Дори и да не са били луди и опасни преди да попаднат в Азкабан, със сигурност стават такива след това.

След Роул министър става Персей Паркинсон, който също е привърженик на идеята за Азкабан. Когато Елдрич Дигъри поема Министерството на магията, затворът вече функционира от петнайсет години. Не е имало случаи на избягали затворници, нито проблеми със сигурността. Новият затвор изглежда работи добре. Чак когато Дигъри отива на посещение, той разбира какви са условията там. Повечето от затворниците са луди и е обособено гробище за онези, които умират от отчаяние.

Връщайки се в Лондон, Дигъри събира комитет, който да потърси алтернативи на Азкабан или поне да вземе решение да се освободят дименторите. Експертите обясняват, че единствената причина, поради която дименторите са (през по-голямата част от времето) затворени на острова, е, че получават непрекъснато нови и нови души, от които да се хранят. Ако бъдат лишени от затворници, те най-вероятно ще изоставят затвора и ще се разпръснат из страната. Въпреки това предупреждение, Дигъри е толкова ужасен от видяното в Азкабан, че настоява комитетът да намери алтернатива. Преди да се стигне до решение, обаче, Дигъри се разболява от змейска шарка и умира. Оттогава, до идването на Кингсли Шакълболт, никой министър не обмисля сериозно идеята да бъде затворен Азкабан. Те си затварят очите за нечовешките условия в крепостта, позволяват тя да бъде разширена магически и избягват да я посещават, заради ужасните ефекти от влизането в сграда, населена с хиляди диментори. Повечето се оправдават посочвайки перфектните резултати на затвора в това да опазва затворниците си по килиите.

Почти три века минават преди тези резултати да бъдат поставени под съмнение. Млад мъж успява да се измъкне когато майка му идва на посещение и заема неговото място, нещо, което слепите и безчувствени диментори не могат да предвидят, нито да предотвратят. Това бягство е последвано от друго, още по-добре замислено и впечатляващо, това на Сириус Блек, който сам успява да избегне дименторите.

Слабостите на затвора си проличават през следващите няколко години, когато следват две масови бягства на смъртожадни. По това време дименторите се присъединяват към Лорд Волдемор, който им обещава нови възможности и свобода да използват силите си, нещо, което не са имали дотогава. Албус Дъмбълдор е един от хората, които никога не са одобрявали използването на диментори, не само заради нечовешкото отношение към затворниците, но и защото предвижда, че тези тъмни създания някога могат да се обърнат срещу министерството.

По времето на Кингсли Шакълболт, Азкабан е изчистен от дименторите. Той продължава да се използва като затвор, но пазачите са аврори, които често се сменят. Не е имало бягства откакто новата система е въведена.