به روایت بسیاری از مورخان و بزرگان در قرون گذشته دانشمندان بسیاری در رشته‌های مختلف از جمله فقه، اصول، منطق لغت و علوم قرآنی و . . . تربیت نموده و به جوامع اسلامی تقدیم داشته است. دانش پژوهانی که از شهرهای گوناگون از جمله لارستان، جهرم و . . . به این مرکز علمی مراجعه نموده و نزد اساتید بزرگ آن به تحصیل مشغول بوده‌اند. علامه مجد الدین کارزینی در لغت نامه مشهور خویش ضمن اعلام اینکه زادگاه خود شهر کارزین است اشاره‌ای به بزرگان و علماء شهر کارزین نموده که در این حوزه علمیه به تدریس و تحصیل اشتغال داشته‌اند. این مدرسه در ضلع شرقی مسجد جامع کارزین و در باغی مصفّا قرار داشته است که هم اکنون نیز آن را باغ مدرسه می‌گویند.