KH. Zainal Ilmi dilahirkan pada malam Sabtu jam 4.30 WITA Subuh tanggal 7 Rabiul Awwal 1304 H di desa Dalam Pagar Martapura, ayahnya adalah Haji Abdus Shamad bin H. Muhammad Said Wali bin Aminah Binti H. Syahabuddin bin Syekh Muhammad Arsyad Al-Banjari, Ibundanya bernama Hj. Qamariyyah.
Semasa kanak kanak sampai tumbuh menjadi dewasa beliau berlimpahan ilmu dari keluarganya, tidak pernah beliau melakukan pekerjaan yang sia sia, sangat sopan santun, penyayang dan ber akhlaqul karimah, beliau selalu mengisi kesehariannya dengan belajar dan beribadah, memelihara waktu dan mengerjakan yang sunat sunat, diri dari perbuatan syubhat lebih lebih yang dilarang agama apalagi yang haram, guru guru beliau adalah para ulama dan wali dijamannya, dari masa mudanya inilah beliau mempersiapkan diri menjadi seorang ulama terkemuka.