Сооружение замка Баба Вида было начато еще в X веке на месте римской смотровой башни и связано с одной легендой: У болгарского короля, который правил в Видине, было три дочери: Вида, Кула и Гамза. Перед своей смертью король разделил все свои владениям между дочерьми. Старшей, Виде, достался сам город и земли к северу от Карпатских гор, Кула получила город Зайчар (территория нынешней Сербии) и окружающие земли вдоль реки Тимок, а Гамзе достались земли к западу от р. Морава.