В Средние века величие ордена тамплиеров вызывало уважение у европейских королей. Крестовые походы принесли воинам большие богатства, которые постоянно приумножались.
Монахам было строго запрещено покидать замок. Но в начале 14 в. сообщество закончило свое существование, а цитадель была передана служителям Святого Антония, также занимавшимся лечением. В конце столетия отсюда пошло распространение латинской письменности в местном регионе, для усвоения которой была основана школа.
При Карле Роберте Анжуйском Середнянский замок (как его еще называют)
оказался предметом споров между богачами Другетами и крупными землевладельцами Палочи. Их распря продолжалась около века и закончилась тем, что крепость перешла в руки последних.
Последний потомок их рода погиб в 1526 г. в сражении при Могаче с османской армией. После того, как наследников не осталось, замок перешел к семейству Добо. Самым знаменитым его представителем считается Иштван Добо, который в середине 16 столетия в период войны между Австрией и Турцией возглавлял оборону Эгера. Его двухтысячная армия не позволяла прорваться намного превышавшим силам противника (более 100 тыс. воинов) во главе с Али-Пашой. Осада длилась свыше 30 дней.
И. Добо много раз приезжал в крепость, а впоследствии его сын полностью восстановил ее, использовав рабочую силу пленных турок. Они же проложили в окрестностях множество подземных ходов, общей протяженностью в 4,5 км. Прежде недра сохраняли тайны добытых в войнах сокровищ, а сейчас здесь находятся и ныне использующиеся винные подвалы.
В 17-18 вв. замок тамплиеров (Закарпатье) постоянно выдерживал натиск самых разных армий и даже других монашеских орденов. Он переходил от служителей Святого Антония к членам общины Святого Павла, а после стал собственностью венгерской аристократии.
Постепенно крепость начала разрушаться. В начале 18 столетия во время восстания куруцев она была сильно повреждена и позже не восстанавливалась.