Dalam perjalanannya, pada 1980 mesjid ini mengalami pemugaran dengan menambah teras di sisi kanan dan kiri. Seiring dengan itu, namanya pun diubah menjadi Mesjid Jamik Baiturrahman Tarempa. Tahun 2003, pemugaran dilakukan kembali berupa penambahan lantai mesjid, pembuatan kubah dan tempat pengimaman yang semua kontruksinya terbuat dari semen cor. Pemugaran dilakukan oleh masyarakat tempatan dan pulau-pulau di sekitarnya serta pihak Conoco Philip Matak Base, perusahaan yang selama ini melakukan penambangan minyak dan gas di lepas pantai Palmatak.

Kalau Anda berkunjung dan shalat di mesjid tua ini, Anda bisa sekaligus mengamati dari dekat beberapa struktur atau ornamen bangunan yang oleh pengelola mesjid dibiarkan utuh seperti sedia kala. Beberapa di antaranya adalah menara tempat muazin melakukan panggilan adzan. Menara itu terdiri dari empat tingkat setinggi 25 meter dengan kubah berbentuk kerucut. Lainnya adalah mimbar khatib yang berbentuk oval. Mimbar ini terbuat dari kayu jati ukir halus yang didatangkan dari Jepara, Jawa tengah. Kondisinya masih mengkilap dan terawat baik hingga kini.

Masih berdasar catatan sejarah yang ada, pada masa perang dunia kedua berkecamuk, kawasan mesjid ini pernah dihujani bom oleh Tentara Jepang karena pada waktu itu dijadikan tempat persembunyian warga. Dua buah bom jatuh sangat dekat dengan mesjid. Satu diantaranya mengenai sisi pengimaman. Ajaibnya dua buah bom itu tidak bisa meledak. Empat bom lainnya meluluhlantakkan bangunan rumah di sekitaran mesjid dan menewaskan ratusan orang. (Edi Sutrisno)