Арзамас був закладений як Місто-фортеця в 1552 за наказом Івана Грозного. Проте офіційно Місто був заснований лише у 1578 році. Йому було «наказано бути на державній службі», і він відіграв важливу роль в обороні південно-східних кордонів Росії. У XVII столітті через Арзамас йшли шляхи з Москви на південний схід країни.
Також можливо, що «Арзамас" в перекладі означає «рідна земля, місце» від ерзя та ерзянського мас, майстер – земля, країна. Вчені висувають офіційну версію, згідно з якою слово «Арзамаспоходить від «Арсемас» – ерзянського імені, значення якого «дума, думка».
Однак філологи вважають що Арзамас був утворений від мордовського імені Орземас чи Арземас. У мордовських поселеннях назву часто давали від власних імен. Історія міста починається з 1552 року, коли цар Іван Грозний на шляху до Казані звелів заснувати у цьому місці військову фортецю.