Şehir 14. yüzyılda Osmanlı paşalarından Karlı Ali Bey tarafından kurulmuş ve Karlı ova adı verilmiştir. Şehir Osmanlıların imar ve iskan çalışmaları sonucu ekonomik ve kültürel alanda gelişmiştir. Şehrin adı 1953-1962 yılları arasında Levskigrad adını taşımış, daha sonra ise tekrar Karlovo adını almıştır.