نقل است كه عمر بن خطاب بر اين شد كه زيورهاى كعبه را بردارد و جزء بيت المال كند على (ع) گفت: پيغمبر (ص) به دستور خداوند اموال را چهار بخش نمود: اموال بازمانده مسلمانان را به وارثشان، و غنايم را به مستحقين آن، و خمس را در موضع مصرف خود، و صدقات را به مصرف مقرر قرار داد، و حلى و زيور آلات كعبه را كه خود پيغمبر (ص) از آن آگاه بود و جايش را نيز مى‏دانست دست نزد و به جاى خود باقى گذاشت. عمر چون شنيد پذيرفت.
از امام صادق (ع) رسيده كه خداوند ابراهيم را فرمود كه حج كند و فرزندش اسماعيل را نيز به همراه برد و او را به حرم (مكه) اسكان دهد پس هر دو بر شترى سرخ موى سوار شدند و جز جبرئيل (و هاجر) كسى با آنها نبود چون به حرم رسيدند جبرئيل گفت: از شتر فرود آئيد و غسل كنيد. پس غسل كردند و جبرئيل كيفيت احرام به آنها آموخت، محرم شدند و لبيك گويان به باب صفا رسيدند و از شتر به زير آمدند و چون در برابر كعبه قرار گرفتند جبرئيل تكبير گفت و آنها نيز تكبير گفتند تا به موضع حجرالاسود آمدند، جبرئيل استلام نمود آنها نيز چنان كردند، جبرئيل آنها را طواف داد آنگاه آنها را به جائى كه اكنون مقام ابراهيم است برد و گفت نماز طواف گزارند و سپس مناسك حج به آنها تعليم داد و چون اعمال حج را به انجام رساندند خداوند ابراهيم را امر كرد كه باز گردد و اسماعيل را با مادرش در آنجا گذارد.
سال بعد خداوند ابراهيم را فرمان داد كه حج كند و كعبه را از نو بسازد، كعبه در آن روز به صورت ويرانه‏اى بود كه پايه‏هايش مشخص بود و مردم آن را حج مى‏كردند و اسماعيل پيش از ورود مجدّد ابراهيم سنگهائى آماده كرده و در جوف كعبه نهاده بود، و چون ابراهيم به مكه رسيد فرزند را گفت: خداوند فرمان داده كعبه را تجديد بنا كنيم. پس به كندن شالوده پرداختند، زير بناى خانه سنگى سرخ رنگ ديدند، خداوند به ابراهيم وحى نمود كه كعبه را بر اين سنگ بنا نهد و خداوند چهار فرشته مأمور ساخت كه سنگ گرد آورند و ابراهيم و اسماعيل سنگها را به روى هم مى‏نهادند و ملائكه سنگ به دستشان مى‏دادند تا دوازده ذراع تمام شد و دو درب ورود و خروج برايش قرار دادند و آستانه و حلقه آهنين براى درها گذاشتند.
از حضرت رضا (ع) نقل است كه بناى كعبه در روز بيست و پنجم ذيقعده بوده است.
از امام صادق (ع) روايت شده كه اسماعيل (ع) زنى عاقله (از قبيله حمير) داشت به اسماعيل گفت شايسته است دو پرده بر اين دو در (كعبه) بياويزيم. اسماعيل پذيرفت پس دو پرده به طول دوازده ذراع تهيه و به دو در كعبه بياويختند. باز زن پيشنهاد كرد كه خوبست تمامى خانه را به جامه‏اى بپوشانيم كه اين سنگها بدنما است. اسماعيل را اين پيشنهاد خوش آمد و موافقت نمود پس همسر اسماعيل بر اين كار مصمّم گشت و شتابان پشم فراوانى را نزد زنان قبيله خويش فرستاد كه بريسند. و هم از امام صادق (ع) نقل است كه اين همكارى زنان در رشتن كه تاكنون جارى است از آن روز آغاز گرديد.