Armédepartementet har sin historie tilbake til Krigsdepartementet som ble opprettet i 1789. Krigsdepartementet hadde opprinnelig ansvar for landets samlede forsvar og militærmakt, til Marinedepartementet ble opprettet i 1798. Begge departementene ble innlemmet i Forsvarsdepartementet i 1947 og mistet sin status som selvstendige departementer. Samtidig endret Krigsdepartementet navn til Armédepartementet.