فى البداية اصطحبنا يوسف السيد خطاب إلى مقر العائلة بنزلة السمان، مؤكداً أن عائلة خطاب تعود إلى قبائل «أولاد على الحمر»، التى سكنت الصحراء الغربية من مصر، لكن الجد الكبير خطاب، رحل هو وبعض أفراد عائلته إلى محافظة البحيرة، وهناك أسسوا مدينة «الخطاطبة»، وهى المدينة التى استقرت فيها العائلة فترة طويلة، حتى أن كبار العائلة ومؤسسيها تم دفنهم بها، كان منهم بشر خطاب وسليمان خطاب والشافعى خطاب، وخرج من الخطاطبة أولاد سليمان والشافعى، حيث رحلوا إلى منطقة الهرم فى نزلة السيسى، وتحديداً فى هضبة الهرم بعيدا عن فيضان النيل، فاستوطنوا تحت سفح الهرم وفى نزلة السمان، ليؤسسوا فيها عائلة خطاب.
عمل أبناء عائلة خطاب بالتجارة وفلاحة الأراضى فى بداية حياتهم فى نزلة السمان بعد أن امتلكوا الأراضى، فكانت أولى العائلات فى محافظة الجيزة التى امتلكت الكثير من الأراضى فاستقروا فيها، حتى أنه ما تزال الأحواض الزراعية فى خرائط المساحة بأسماء خطاب، مثل حوض على الشافعى خطاب ومحمود حمد خطاب.
منذ 200 سنة رحل بعض أفراد خطاب من نزلة السمان إلى أبو رواش، ليكون الفرع الثانى لهم فى تلك القرية الصغيرة، ولكنهم لم ينسوا أقاربهم هناك، وظل لفظ «ولد عمى» متوارثا بينهم حتى اليوم، وما زالت العائلة تذكر بيوت آل خطاب بيتا بيتا، فيعدون من آل خطاب من نزلة السمان بيت حمد سليمان خطاب، وبيت سلومة حمد خطاب، وحمد سليمان خطاب، وحميدة حمد خطاب، والسعداوى حمد خطاب، ومن هذه البيوت خرج أبناء العائلة فى الهرم ونزلة السمان، أما فى منطقة أبورواش التى كان من أوائل من ذهبوا إليها محمد إبراهيم حمد سليمان خطاب، فنشأ هناك بيت محمد إبراهيم حمد وأولاد علام محمد إبراهيم وأولاد محمود محمد إبراهيم وأولاد مهدى محمد إبراهيم حمد خطاب وبيت خطاب الصغير سليمان خطاب وبيت عبدالله خطاب، ومنهم خرج أبناء خطاب أبورواش، وهناك العديد من بيوت خطاب فى مختلف المحافظات السابقة.