Menurut catatan Universiitas Stekom Pusat, Haryanto kecil dibesarkan dalam keluarga yang sederhana.
Ayahnya hanya seorang buruh tani serabutan yang terkadang bekerja sambilan memisahkan daging dan tulang ikan di pasar.
Sementara ibunya adalah pedagang kecil.
Sebagai anak laki-laki tertua dalam keluarganya, Haryanto mau tidak mau harus ikut membantu orangtuanya menyambung hidup.
Semasa sekolah dasar ia mencari rumput untuk dijual terlebih dahulu sebelum berangkat sekolah.
Tumbuh remaja, Haryanto mengenyam pendidikan di Sekolah Teknik Negeri atau setara dengan sekolah menengah kejuruan teknik pada masa kini.
Di sinilah Haryanto bermimpi untuk menjadi tentara.
Dia bahkan rela melakukan apapun, termasuk berjualan es lilin keliling untuk menggapai mimpinya itu.
Masih dilansir dari sumber yang sama, selepas lulus dari Sekolah Teknik Negeri pada 1977, Haryanto harus mengurungkan niatnya untuk menjadi seorang tentara.