Józef Grzymski, syn Franciszka i Magdaleny, urodził się 19 marca 1901 roku we wsi Białków, gm. Kościelec.
W czasie pierwszej wojny światowej Józef Grzymski wstąpił do Polskiej Organizacji Wojskowej działającej w rejonie Koła. W dniach 10-11 listopada 1918 roku brał udział w rozbrajaniu Niemców w Kole w oddziale Adama Borkiewicza. Krótko po tym wstąpił do 31 Pułku Strzelców Kaniowskich. Razem z tą jednostką brał udział w obronie Lwowa przed Ukraińcami i przeszedł szlak bojowy pułku w okresie wojny polsko- bolszewickiej w 1920 roku. Walczył pod Radzyminem i bronił Warszawy.