U prošlosti je bio poznat pod nazivom «Bag». Početkom 14.stoljeća pod vlašću je bana Pavla Šubića, nakon kojeg vlast preuzimaju knezovi Kurjaković.
U rimsko doba, nedaleko današnjeg Karlobaga, nalazila se naseobina «Vegium».
Nakon što je «Bag» razoren i spaljen od strane Turaka 1525.godine, obnavlja ga nadvojvoda Karlo. Današnje ime nosi od vladavine austrijskog cara Karla VI., koji ga je u 16.stoljeću proglasio Carskim Kraljevskim gradom.
U 18.stoljeću završena je gradnja luke. Sve do kraja 20.stoljeća najpoznatiji je po trajektnoj luci kojom se održavala veza sa otokom Pagom.