Urodził się 21 stycznia 1832 roku w Poczdamie w rodzinie urzędnika pocztowego Jakuba i Agnieszka z domu Klimek. W 1845 rozpoczął naukę w Gimnazjum św. Marii Magdaleny w Poznaniu, a po zdaniu matury w 1854, rozpoczął pracę na poczcie w Poznaniu. Rok później ożenił się z Michaliną Kalawską, jednak wkrótce owdowiał. Małżeństwo było bezdzietne.

Po śmierci żony Augustyn wstąpił do seminarium duchownego w Gnieźnie. Święcenia kapłańskie otrzymał w 1859, a następnie został wikarym w kościele parafialnym w Środzie Wielkopolskiej. Poza pełnieniem obowiązków duszpasterskich działał jako społecznik i organizator Stowarzyszenia Czeladzi Rzemieślniczej. W 1863, gdy wybuchło powstanie styczniowe, wygłaszał patriotyczne kazania, organizował werbunek ochotników i przemycał zaopatrzenie. Po pewnym czasie sam przedostał się do Kongresówki, gdzie został aresztowany i deportowany do Prus. Za udział w walkach został skazany na karę więzienia, którą odbywał w Poznaniu i Berlinie.

Gdy w 1864 zwolniono go, wrócił na parafię, gdzie zajął się organizacją spółdzielczości kredytowo-oszczędnościowej wśród średzkich rzemieślników i rolników. W 1872 wszystkie założone przez niego spółki połączyły się w Związek Spółek Zarobkowych i Gospodarczych, którego został patronem.

W okresie Kulturkampfu należał do grupy duchownych stawiających czynny opór polityce rządu niemieckiego, za co został w 1873 skazany na miesiąc więzienia w Kłodzku. Jeszcze podczas swojego pobytu w Środzie, a od 1886 w Ostrowie Wielkopolskim, gdzie otrzymał probostwo, Augustyn Szmarzewski odbywał liczne podróże integrując ruch spółdzielczy i szkoląc nowych członków. Swoje idee przedstawiał również w artykułach, które publikowano w „Dzienniku Poznańskim” i „Ruchu Społeczno-Ekonomicznym”.

Zmarł 8 maja 1891 w Ostrowie Wielkopolskim, gdzie został pochowany. Jego pogrzeb na Starym Cmentarzu stał się manifestacją patriotyczną.