Dalam situasi politik yang semakin memanas di seluruh negeri, Soekarno sempat bersitegang dengan DPR hingga akhirnya Presiden membubarkan lembaga perwakilan rakyat hasil pemilu tersebut dan membentuk DPR-GR (Dewan Perwakilan Rakyat Gotong Royong). Partai Islam Masyumi juga diberangus sehingga praktis tinggal NU partai besar Islam yang tinggal.
Zainul Arifin menerima penunjukan sebagai Ketua DPRGR karena yakin untuk mengadang gerakan komunisme di pemerintahan adalah dengan tetap berada di dalam sistem pemerintahan yang sedang berlangsung. Hingga 14 Mei 1962, ketika sedang melakukan shalat Idul Adha berjamaah sederetan dengan Presiden di lapangan terbuka depan Istana Negara. Pada saat itu yang bertindak sebagai Imam adalah KH Idham Chalid (Ketua Umum PBNU). Arifin terkena tembakan di dadanya oleh pemberontak DI/TII yang mencoba membunuh Soekarno.
Penembak berasal dari barisan ketiga yang menodongkan pistol ketika melakukan gerakan bangkit dari ruku' (sembari membaca sami'allahu liman hamidah). Pelaku mengambil senjata ketika ruku' dan langsung meletupkan pistolnya ke arah Presiden Soekarno. Namun beberapa pengawal presiden sempat menepis tangan sang penembak, sehingga arah peluru kemudian melenceng dan justru mengenai Zainul Arifin yang berada di samping Soekarno. Zainul Arifin kemudian tersungkur akibar peluru yang mengarah dari bahu hingga memutuskan dasi di dadanya. Zainul Arifin kemudian di dilarikan ke RSPAD Gatot Soebroto dan dirawat di sana hingga sepuluh bulan kemudian. Sejak insiden ini Presiden Soekarno tidak pernah lagi melaksanakan sholat berjamaah di lapangan terbuka.
Meskipun media massa dalam melaporkan kejadian itu menyatakan Arifin hanya "terluka sangat ringan", namun nyatanya kesehatan Zainul tidak pernah pulih sejak insiden tersebut. Berkali-kali ia keluar masuk rumah sakit dan sepuluh bulan kemudian, tepatnya 2 Maret 1963, akhirnya meninggal dunia setelah mengalami koma selama beberapa hari sebelumnya karena berbagai komplikasi. Keesokan harinya di bawah guyuran hujan lebat, jasadnya dikebumikan di Taman Makam Pahlawan Kalibata di Jakarta.
KH. Zainul Arifin meninggalkan 2 orang isteri dan seorang mantan isteri yang telah diceraikan semasa hidupnya, dan 21 orang anak. Kenyataan ini sekaligus sebagai klarifikasi anak-anak KH Zainul Arifin dari istri pertamanya, agar tidak terdapat salah pengertian dari keturunan-keturunan KH Zainul Arifin dari kedua isteri yang lainnya. (Oleh: Ario Helmy, cucu dari Isteri pertama) --NUonline--