Сооружение замка Баба Вида было начато еще в X веке на месте римской смотровой башни и связано с одной легендой: У болгарского короля, который правил в Видине, было три дочери: Вида, Кула и Гамза. Перед своей смертью король разделил все свои владениям между дочерьми. Старшей, Виде, достался сам город и земли к северу от Карпатских гор, Кула получила город Зайчар (территория нынешней Сербии) и окружающие земли вдоль реки Тимок, а Гамзе достались земли к западу от р. Морава.

Кула и Гамза в итоге женились на дворянах, предпочитающих алкоголь и хорошую драку, а Вида осталась незамужней и построила в своем городе крепость, который с легкой руки самой Виды или жителей, получил название «Баба Вида», что в переводе с болгарского означает «Бабуля Вида».