Nabi Ibrahim AS juga mendapat wahyu dari Allah untuk membangun Ka’bah di Mekah. Nabi Ibrahim AS kemudian memberitahukan Nabi Ismail AS dan mengajaknya untuk membangun Ka’bah.
Allah SWT berfirman dalam Q.S Ali Imran ayat 96 :
اِنَّ اَوَّلَ بَيْتٍ وُّضِعَ لِلنَّاسِ لَلَّذِيْ بِبَكَّةَ مُبٰرَكًا وَّهُدًى لِّلْعٰلَمِيْنَۚ
Artinya :
“Sesungguhnya rumah (ibadah) pertama yang dibangun untuk manusia, ialah (Baitullah) yang di Bakkah (Mekah) yang diberkahi dan menjadi petunjuk bagi seluruh alam.” (Q.S. Ali Imran/3 : 96)
Ka’bah dibangun dengan pondasi yang kokoh dan bangunan yang tinggi menjulang. Namun, ketika pembangunan sudah separuh bangunan, Nabi Ibrahim AS membutuhkan pijakan untuk meletakkan batu di bangunan teratas. Nabi Ibrahim AS meminta bantuan Nabi Ismail AS untuk mengambil batu sebagai pijakan. Batu itu sekarang dikenal dengan Maqam Ibrahim.
Nabi Ibrahim AS dan Nabi Ismail terus bekerja membangun Ka’bah sembari berdoa. Hal ini sesuai firman Allah dalam Q.S. Al-Baqarah ayat 127:
وَاِذْ يَرْفَعُ اِبْرٰهٖمُ الْقَوَاعِدَ مِنَ الْبَيْتِ وَاِسْمٰعِيْلُۗ رَبَّنَا تَقَبَّلْ مِنَّا ۗ اِنَّكَ اَنْتَ السَّمِيْعُ الْعَلِيْمُ
Artinya :
“Dan (ingatlah) ketika Ibrahim meninggikan pondasi Baitullah bersama Ismail, (seraya berdoa), “Ya Tuhan kami, terimalah (amal) dari kami. Sungguh, Engkaulah Yang Maha Mendengar, Maha Mengetahui.” (Q.S. Al-Baqarah/2: 127).
Setelah bangunan Ka’bah hampir selesai dibangun, ternyata masih ada satu dinding yang berlubang. Nabi Ibrahim AS meminta Nabi Ismail AS untuk mencari batu, Nabi Ismail mencari dari bukit ke bukit, namun belum menemukannya, lalu turunlah Malaikat Jibril membawa batu berwarna hitam dan memberikannya kepada Nabi Ismail AS. Batu itu sekarang dikenal dengan Hajar ASwad (Batu Hitam). Setelah bangunan Ka’bah selesai dibangun kemudian Allah memerintahkan Nabi Ibrahim AS untuk menyeru kepada seluruh umat manusia agar beribadah haji ke Baitullah.