Первое документальное упоминание о городе зафиксировано в 1447 году. Его первыми жителями были, скорее всего, крестьяне-беглецы из Галичины и предгорных районов Закарпатья. Жители Рахова в те времена преимущественно занимались скотоводством и заготовкой и сплавом леса.
Среднее славится остатками замка тамплиеров XIII века. Середнянский замок считается самым восточным форпостом этого могучего средневекового ордена и едва ли не единственным замком серебряной земли в романском стиле. Тамплиеров, которые были не только воинами и монахами, но и предприимчивыми бизнесменами, в Закарпатье привело белое золото средневековья – соль, которой очень богаты эти земли. Кроме бизнеса тамплиеры занимались оказанием медицинской помощи местному населению. Они даже умели делать хирургические операции.