GKMI Pengharapan berdiri sebagai kesatuan antara GKMI Rawamangun dan GKMI Anugerah wilayah Kelapa Gading, yang diresmikan pada tanggal 12 Desember 1998. Dua lembar sejarah yang melatarbelakangi berdirinya gereja ini sangat penting untuk disimak, sebagai bukti karya Tuhan Yesus Kristus yang patut kita syukuri.

Pada tahun tujuhpuluhan GKMI Jakarta, yang berkedudukan di Jln. Cempaka Putih Barat, Jakarta Pusat, mengembangkan wilayahnya hingga ke Rawamangun dengan membuka Sekolah Minggu di rumah keluarga Dani Pribadi pada 4 Juni 1978. Ketika itu, Pdt. Daniel Nickel dan Ibu Helen Nickel, istrinya, diutus oleh Mennonite Bretheren Mission/Service (MBM/S) untuk bekerjasama dengan PIPKA di Jakarta dan bertempat tinggal di Rawamangun. Dengan kehadiran mereka, pelayanan lebih berkembang hingga dapat membentuk persekutuan-persekutuan keluarga di kalangan masyarakat sederhana di Rawamangun. Pada Agustus 1978 persekutuan ini menjadi Persekutuan keluarga yang menetap, artinya, mempunyai lokasi peribadahan di Jln. Tawes No. 25 Rawamangun, di mana Keluarga Nickel tinggal.

Setelah Pdt. Daniel Nickel kembali ke Canada, pelayanan MBM/S dilanjutkan oleh Pdt. Dale Warkentin dan pertumbuhan jemaat yang masih muda itu pun semakin pesat, hingga pada tahun 1982 GKMI Jakarta memutuskan untuk meningkatkan peringkatnya menjadi Pos PI GKMI Jakarta di Rawamangun. Setelah Panitia Pembangunan GKMI Jakarta berhasil membeli sebuah gedung di Jln. Gurame No.26, maka Pos PI itu ditetapkan untuk beribadah di sana. Agar pertumbuhan Pos PI ini terarah dengan lebih baik, maka GKMI Jakarta memutuskan untuk mengangkat Pdt. Andreas Parwadi sebagai Hamba Tuhan Konsulen pada 12 Oktober 1984, dengan masa jabatan sampai 1992.

Pada tanggal 03 April 1989 Pos PI Rawamangun, setelah melalui jenjang sebagai GKMI Jakarta wilayah Rawamangun yang ditetapkan pada 1986, diresmikan sebagai GKMI Rawamangun dengan sekretariatnya di alamat tersebut di atas. Adapun pada 18 Januari 1992 Pdt. Andreas Parwadi diteguhkan oleh Pdt. Andreas Setiawan sebagai Gembala Sidang Jemaat GKMI Rawamangun.

Sementara itu pada Juni 1983 GKMI Rawamangun berhasil menghimpun beberapa keluarga Kristen di Kelapa Gading yang bersedia menjadi suatu persekutuan keluarga. Pada 15 Agustus  1985 persekutuan keluarga ini memantapkan diri untuk menyelenggarakan kebaktian pada setiap hari Minggu. Pertumbuhan jemaat ini sangat pesat. Sementara itu di Jakarta terjadi restrukturisasi wilayah-wilayah pelayanan GGKMI, dan persekutuan keluarga di Kelapa Gading ini kemudian menjadi Pos PI GKMI Anugerah dan pada 1986 berkembang menjadi GKMI Anugerah wilayah Kelapa Gading.

GKMI Rawamangun, karena mendapat rahmat Tuhan, bertumbuh dengan baik, sehingga kemudian menetapkan untuk mengangkat Pdt. Andreas Parwadi sebagai Gembala Sidang (1992). Sedangkan GKMI Anugerah wilayah Kelapa Gading diberkati dengan kemampuan untuk membeli gedung sebagai gereja dan mengangkat Pdm Jeanny Mustikasari sebagai Gembala Sidang (1993).

Melihat perkembangan kota Jakarta pada menjelang abad ke 20, GKMI Rawamangun dan GKMI Anugerah wilayah Kelapa Gading melihat celah peluang untuk bekerja sama dalam pelayanan mereka. Setelah melalui berbagai pergumulan doa yang bersungguh-sungguh, maka pada tanggal 12 Desember 1998 kedua gereja ini berikrar bersama di hadapan Allah untuk menjalani hidup di dalam satu keluarga dan melepaskan identitasnya masing-masing, dan memilih nama baru, yakni  GKMI Pengharapan Jakarta.