Beliau lahir di Korbah Ba Karman, Wadi ‘Amd, sebuah desa di Hadramaut, pada tahun 1313 H. ayah beliau, Al Habib Muhsin bin Ahmad Al-Hamid terkenal dengan sebutan Al-Bakry Al-Hamid, seorang yang sholeh dan ulama yang sangat dicintai dan dihormati masyarakat manapun beliau berada. Ibundanya adalah seorang wanita Sholehah bernama ‘Aisyah, dari keluarga Al-Abud Ba Umar dari Masyaikh Al-‘Amudi. Beliau mulai mempelajari Al-Qur’an dari seorang guru yang bernama Asy-Syeikh Said Ba Mudhij, di Wadi ‘Amd, yang dikenal sebagai seorang yang sholeh yang tiada henti-hentinya berdzikir kepada Allah. Sedangkan ilmu fiqih dan tasawuf beliau pelajari dari ayah beliau sendiri Al-Habib Muhsin bin Ahmad Al-Hamid.
Setiap tahunnya pada tanggal 10 Syawal , manusia tumpah ruah di sepanjang jalan menuju Masjid Riyadus Shalihin, Tanggul, Jember. Mereka berdatangan dari berbagai penjuru tanah air serta ada pula yang datang dari luar negeri untuk memperingati haul Al Habib Sholeh bin Muhsin Al Hamid, yang lebih akrab dengan sebutan Al Habib Sholeh Tanggul.