حجت الاسلام و المسلمین شیخ حسن توکلی -مالک ساختمان کتابخانه- می گوید:  ساختمان کتابخانه ولیعصر (عج الله) در سال ۱۳۵۳ شمسی راه اندازی گردید. زمین این ساختمان بخشی از خانه پدری ما بود. حسب صحبتی که با پدرم داشتم، ایشان موافقت کردند که این زمین را برای راه اندازی فعالیت های فرهنگی در اختیار ما قرار بدهند. در ساخت آن هم کمک های مردمی بود که یاریگر ما شد. مردم خیرّ ابوزیداباد هم آجر آن را رایگان به ما دادند و هم کارگران به صورت رایگان کار می کردند. البته ابتدای امر قرار بود که کلاس های قرآن در اینجا برگزار شودو فقط همان طبقه اول آن را ساختیم و کلاس های قرآن نیز برای چندین سال دایر بود. همچنین به یاد دارم که در ۱۹ دیماه ۱۳۵۶ نوار علمای قم را آوردیم و برخی از معتمدین از جمله مرحوم حاج سلمان سلمانی و حاج عباس ظفرمند را دعوت کردیم و آن نوار را گذاشتیم تا این عزیزان گوش بدهند.

بعد از گذشت چند سال بود که با موافقت اخوی بزرگوار، طبقه دوم این ساختمان نیز به آن اضافه شد و به عنوان کتابخانه ولیعصر (عج الله) مورد بهره برداری قرار گرفت.

به موازات سخنرانی ها با هدف آگاهی رسانی و بصیرت افزایی از همان سال ۱۳۵۳ بود که اولین پایگاه فعالیت های انقلابی ابوزیدآباد راه اندازی شد و بعدها به عنوان کتابخانه مورد استفاده قرار گرفت. کتاب های مذهبی و سیاسی از جمله رساله و کتاب های حضرت امام ره و نیز کتاب های شهید هاشمی نژاد در اختیار جوانان قرار می گرفت. علاوه بر امانت دادن کتاب، جلسات قرآن و دعا نیز برگزار می شد. از جمله فعالین در عرصه های فرهنگی شهید شیخ حسن رمضانی، شهید شیخ غلامرضا صبوحی، شهید عباس سلطانی، شهید ابوالفضل تاریخی، شهید حسین بیغمی و شهید محمدرضا اقبالی بودند.

همچنین در مناسبت های مذهبی مانند ولادت ائمه اطهار سلام الله علیهم و نیز نیمه شعبان مراسم چراغانی و آذین بندی کوچه مجاور را داشتیم. بعضی مواقع مراسم دعا برگزار می شد و نیز نوار قرآن از پشت بلندگو پخش می کردیم.پس از انقلاب نیز مدت چند سالی عزیزان مسجد امام ره در این مکان به فعالیت فرهنگی مشغول بودند. در سال های اخیز نیز به عنوان پایگاه بسیج خواهران حضرت خدیجه سلام الله علیها مورد استفاده قرار گرفت.