مالکان برخی از خانه‌های تاریخی در یزد دور از چشم مسئولان یگان حفاطت اداره میراث فرهنگی ملک خود را از داخل خانه تخریب کرده، آن را می سازند، سپس دیوار رو به کوچه را برداشته و نمای جدید ساختمانشان را رو می کنند!

محسن حاج سعید یکی از دوستداران میراث فرهنگی و دبیرشورای تشکل های گردشگری استان یزد درباره این موضوع به مهر می گوید: در بافت تاریخی یزد چند تا خانه تاریخی و کارگاه شعربافی بود مالکان همیشه سعی می کردند پشت درهای بسته کار کنند مدتی هم افرادی با فرغونهایی پر از آجر وارد ملک می شدند اما اجازه دخالت و بازدید از خانه را به کسی نمی دادند تا اینکه یکدفعه متوجه شدیم دیوار خشتی که با دیوارهای قدیمی بافت هماهنگ بود فروریخت و دیوار آجری با یک در گاراژ بزرگ از داخل کوچه نمایان شد!
به عنوان مثال ملکی به نام خانه ابریشمی در محدوده بافت با زیر بنای دو هزار و ۱۰۰ متر دارای گودال باغچه و معماری منحصر به فردی بود که می خواستند آن را به هتل تبدیل کنند.
محمدرضا کارگر، معاون سابق میراث فرهنگی یزد هم عقیده دارد سازمان میراث فرهنگی باید خانه‌های در حال تخریب را بازسازی کند تا مالکان آنها نیز بهانه ای برای تخریب نداشته باشند: برخی از مالکان خانه های تاریخی در بافت قدیم یزد متخلف هستند و هر اندازه که با آنها تعامل شود باز هم به تخلف خود ادامه می دهند اما برخی دیگر چاره ای ندارند بنابراین باید میراث فرهنگی برنامه جامعی برای حل این مشکل داشته باشد.