Il gioco si apre con una giovane ragazza che trascina una valigetta da attaché molto ingombrante verso un magazzino con difficoltà. "Bloody" Harry Macdowell ha appena portato a termine un colpo di stato contro Big Daddy, il leader dell'organizzazione Millennion, e sua figlia Mika deve trovare qualcuno in grado di proteggerla e fermare i folli piani di Harry. Gli occupanti di questo magazzino includono un vecchio medico dall'aria gentile, e un uomo con una cicatrice evidente sul volto. Mika arriva, e l'uomo con la cicatrice reclama i contenuti della valigetta: due pistole enormi. Quel uomo si rivela essere Grave, il personaggio titolare del gioco, e ora che è armato può iniziare la sua missione. Gungrave affronta per primo i suoi livelli come una serie di missioni affidate dal Dr. T, prima per raccogliere informazioni sulla configurazione attuale di Millennion da una gang di strada di basso livello, e poi distruggere un laboratorio di ricerca che crea i soldati non morti di Harry. Nel terzo livello, mentre cerca di ottenere informazioni da un informatore, Grave entra in contatto con la leadership dell'organizzazione Millenion — un tempo amici e alleati che ora affronta come nemici. Ognuno di loro ha usato la ricerca supportata da Harry per dotarsi di poteri disumani. Da ora in poi, Grave è perseguitato da ogni membro mentre si fa strada verso la torre di Harry nel cuore della città.