قال المؤرخ والمفسر ابن كثير في كتابه التاريخي الشهير "البداية والنهاية"، عند كلامه عن حوادث سنة 413هـ: "فيها: جرت كائنة غريبة عظيمة، ومصيبة عامة، وهي أن رجلا من المصريين من أصحاب الحاكم اتفق مع جماعة من الحجاج المصريين على أمر سوء، وذلك أنه لما كان يوم النفر الأول طاف هذا الرجل بالبيت، فلما انتهى إلى الحجر الأسود جاء ليقبله فضربه بدبوس كان معه ثلاث ضربات متواليات، وقال: إلى متى نعبد هذا الحجر؟ ولا محمد ولا علي مما أفعله، فإني أهدم اليوم هذا البيت. وجعل يرتعد فاتقاه أكثر الحاضرين وتأخروا عنه، وذلك لأنه كان رجلا طوالا جسيما أحمر اللون أشقر الشعر، وعلى باب الجامع جماعة من الفرسان، وقوف ليمنعوه ممن يريد منعه من هذا الفعل، وأراده بسوء، فتقدم إليه رجل من أهل اليمن معه خنجر فوجأه بها، وتكاثر الناس عليه فقتلوه وقطعوه قطعا، وحرقوه بالنار، وتتبعوا أصحابه فقتلوا منهم جماعة. ونهبت أهل مكة الركب المصري، وتعدى النهب إلى غيرهم، وجرت خبطة عظيمة، وفتنة كبيرة جدا، ثم سكن الحال بعد أن تتبع أولئك النفر الذين تمالؤوا على الإلحاد في أشرف البلاد غير أنه قد سقط من الحجر ثلاث فلق مثل الأظفار، وبدا ما تحتها أسمر يضرب إلى صفرة، محببا مثل الخشخاش، فأخذ بنو شيبة تلك الفلق فعجنوها بالمسك واللك وحشوا بها تلك الشقوق التي بدت، فاستمسك الحجر واستمر على ما هو عليه الآن، وهو ظاهر لمن تأمله".

وفي عام 1351هـ قام رجل اسمه عبد الستار بن سوف عبد الغفار الأفغاني بسرقة قطعة من الحجر الأسود بعد أن كسرها، كما قص قطعة من أستار الكعبة وسرقها، وقبض عليه، واستردت المسروقات منه، وصدر حكم المحكمة الشرعية بقتله تعزيرا، ثم أقيم حفل حضره الملك عبد العزيز والعلماء والأعيان يوم الأربعاء 28 ربيع الآخر من عام 1351هـ، ووضع الملك بيده القطعة المسروقة في مكانها من الحجر الأسود بعد معالجتها لتلصق من جديد.