Sejak kecil Kyai Syafi'i juga sudah mulai menghafal Al-Qur'an dibimbing oleh KH. Abdul Majid serta keluarganya.
Ketika usianya menginjak 7 tahun, beliau melanjutkan pendidikannya ke Pondok Tebuireng, Jombang yang diasuh langsung oleh KH. Hasyim Asy'ari.
Di Tebuireng beliau menjadi teman mengaji dari KH. Wahid Hasyim yang merupakan anak dari KH. Hasyim Asy'ari.
Setelah mondok di Tebuireng selama kurang lebih 10 tahun, di usia 17 tahun beliau melanjutkan pencarian ilmunya ke Kota Makkah dan menetap disana selama 2 tahun.
Di Makkah Kyai Syafi'i belajar kepada ulama-ulama besar yang ada di kota suci tersebut.
Seperti tak pernah surut ketekunannya dalam mencari ilmu, sepulangnya dari Makkah beliau sempat mondok di Pondok Kaliwungu, Kendal kemudian lanjut ke Pondok Buntet, Cirebon.
Melihat kegigihannya dalam menimba ilmu agama tersebut, tidak heran jika beliau menjadi ulama yang alim dan disegani oleh masyarakat.
Teladan KH Syafi'i Pringlangu
Setelah merampungkan masa di pondoknya, Kyai Syafi'i lalu pulang ke Pekalongan, beliau mengajar ilmu agama di mushola dekat rumah dan di Masjid Jami' Pringlangu.
Kyai Syafi'i juga melanjutkan jejak sang ayah yakni KH Abdul Majid untuk mengajar di mushola-mushola ataupun masjid di sekitar Pekalongan.
Banyak dari santri beliau yang menjadi tokoh ulama besar di Pekalongan, diantaranya dalah KH Akrom Khasani, KH Syu'bi Alwi, dan Kyai Maksudi.
Selain tekun dalam mengajar, gaya mengajar Kyai Syafi'i juga dikenal sangat luwes dan lembut.