Tudy od založení města Pardubice vedla hlavní cesta do královského a krajského města Chrudimi. Když Vilém z Pernštejna po požáru roku 1507 znovu postavil město a vybudoval mohutné opevnění s valem a Městskou řekou, změnila se trasa cesty na Chrudim. Vznikající Karlova ulice probíhala po okraji zátopového území ? Olšinek. Po druhé straně byly zahrady, kde si držitelé gruntů ve městě stavěli stodoly, pro něž nebylo ve vnitřním městě místo a kde byly požárním rizikem. Časem tu vznikaly rozsáhlejší dvory jako obecní dvůr, původně Markvartovský.
Karlova ulice dostala jméno roku 1882 podle „pana Karla“, zámeckého úředníka,
který při ulici vlastnil v letech 1507–1517 dvůr. Obytná stavení vznikala až v 19. století,
proto se jižní části Karlovy ulice říkalo Nová. Elektrárnu v ulici postavil Ing. František
Křižík roku 1904. Od roku 1929 stojí na začátku ulice moderní nová reálka dle
projektu arch. L. Machoně, dnes Střední a vyšší škola elektrotechnická. V oblouku
proti počátku Anenské ulice stál dvoupatrový dům z 20. let 20. stol. V jeho suterénu
svého času bylo stálé loutkové divadlo, pak až do asanace jakási modlitebna.
V 70. letech došlo k asanaci staré Karlovy a přilehlých ulic. Zmizela změť domků,
dvorků a zákoutí. Nahradila ji moderní výstavba Karloviny. Roku 1979 byla Karlova
ulice bez ohledu na historii a tradici rozdělena na dvě části nově pojmenované: severní
se stala ulicí Karla IV. a jižní kolem elektrárny a místa bývalého Karlova dvora až
na konec Sladkovského ulice ulicí Arnošta z Pardubic.
