Kremplovi rokopisi in knjižnica so se po smrti večinoma porazgubili. Rokopisna zbirka Univerzitetne knjižnice Maribor hrani:
»Pesem pri Vigiliah za rajnega Verbnjaka Arneja« (Ms 76),
»Predge za Slovence . . . vkupspisane od Antona Krempl«, Ptuj, 1822–23 (Ms 82),
»Evangelji na vse nedele no svetke, na osvetke ino druge dni, kak tudi na vsaki den v Posti, zred Pasionom vseh štireh Evangelistov«, 1826 (Ms 83),
»Listi ino evangelji na vse nedele, svetke ino osvetke celega leta zred celim Pasionom«, 1841 (Ms 84),
»Historie ali Dogodivšine Štajerske zemle z’ posebnim pogledom na Slovence« (Ms 117),
»Predga pri jezeroletnem spomini cirkvenega žegnanja velike cirkve na Ptuji v’ leti 1844« (Ms 138).
Njegovo literarno delo obsega pesmi, slovensko-nemški katekizem, molitvenik za vernike, pridige, življenje svetnikov, berilo za drugi razred, zgodovinske članke.
Osrednje delo Dogodivšine štajerske zemle (Gradec, 1845) je prvo obsežnejše zgodovinsko delo v slovenskem jeziku, ki pa je zaradi prezgodnje Kremplove smrti ostalo njegova edina zgodovinska študija. Večina Kremplovih tekstov je bila napisanih v bohoričici, Dogodivšine pa so bile v celoti pisane v gajici. Za gajico ga je navdušil Stanko Vraz. Dogodivšine je začel pisati že leta 1838, vendar jih je moral zaradi cenzure pred tiskom še štirikrat predelati in na novo napisati. Knjiga je bila precej brana in je pomagala pri prebujanju narodne zavesti preprostih ljudi.
V znak hvaležnosti so mu štajerski Slovenci postavili spomenik na južni strani Malonedeljske cerkve. Spomenik je bil slovesno odkrit 11. avgusta 1895.
