Ambarawa merupakan kota kolonial di era penjajahan Belanda. Ambarawa berada pada tempat yang strategis karena terletak di tengah pulau Jawa serta menjadi penghubung antara Semarang dan Surakarta. Kota ini memiliki banyak peninggalan masa kolonial karena memang kota ini termasuk dalam satu diantara deretan kota yang dikembangkan Belanda. Pada sekitar tahun 1840, Ambarawa menjadi tempat strategis diantara Surakarta dan Semarang. Pada awal abad 18, VOC membangun benteng – benteng pertahanan dari Semarang – Ungaran – Salatiga – Surakarta. Hal ini dimaksudkan untuk memperlancar hubungan dengan kerajaan Mataram sebagai sekutu Belanda. Selain itu dibangun pula kamp – kamp militer serta benteng di sepanjang jalan tersebut.
Pada tahun 1827 – 1830, tepatnya pada masa kekuasaan Kolonel Hoorn sempat ada barak militer dan penyimpanan logistik militer di Ambarawa, dan selanjutnya pada tahun 1834 dibangunlah sebuah benteng modern yang kemudian di beri nama Benteng Willem I dan pembangunan benteng tersebut berakhir pada tahun 1845. Benteng Willem I ini juga menjadi pelengkap bangunan – bangunan di Ambarwa yang sebelumnya juga telah ada yaitu Kereta Api Ambarawa sebagai sarana transportasi. Benteng Willem I menjadi barak militer KNIL dan sekaligus menjadi pos perantara antara Magelang dan Semarang. Benteng Willem I mempunyai keunikan daripada benteng Belanda pada umumnya. Pada umumnya benteng pertahanan didesain bersifat defensif dengan tujuan mempertahankan wilayah, namun diduga Benteng Pendem ini berbeda karena bangunan ini tidak dilengkapi dengan tameng serta pada dinding – dinding tidak ditemui adanya lobang – lobang untuk menaruh meriam. Diperkirakan bangunan ini digunakan untuk menyimpan logistik militer.
Pembangunan Benteng Willem I sendiri menghabiskan waktu dari tahun 1853 sampai 1927. Tercatat benteng ini terjadi peristiwa – peristiwa sebagai berikut :
- 1865 : Beberapa bagian bangunan benteng runtuh karena adanya gempa
- 1927 : Semula Benteng Willem I adalah penjara anak – anak dan selanjutnya diubah menjadi penjara dewasa dan tahanan politik
- 1942: Ketika Indonesia di jajah Jepang, Benteng Willem I di kuasai Jepang dan dijadikan kamp militer sampai akhir penjajahan Jepang pada 1945
- 1945 : Setelah Jepang kalah, Benteng Pendem menjadi markas besar TKR dari 14 Oktober sampai 23 November 1945
- 1950 : Benteng Pendem dijadikan penjara dewasa dan barak militer
- 1985 : Benteng Pendem digunakan sebagai penjara anak – anak dan barak militer
- 1991 : Benteng Pendem digunakan sebagai penjara kelas IIB dan barak militer
– 2003 : Digunakan sebagai lapas kelas II A dan barak militer
