汉高祖死后，吕后临朝，开始和赵佗交恶，并发布了和南越交界的地区禁止向南越国出售铁器和其它物品的禁令。
赵佗与吕后当政的汉朝中央政权关系一度紧张，汉越矛盾激化，吕后随即派遣大将隆虑侯和周灶前去攻打赵佗，但由于中原的士兵不适应南越一带炎热和潮湿的气候，纷纷得病，连南岭都没有越过。
赵佗觉得吕后可能会通过长沙国（汉朝的另一个藩属国，位于南越国北部，现湖南省境内）来吞并他，于是赵佗宣布脱离汉朝，自称“南越武帝”，出兵攻打长沙国，并在打败长沙国的边境数县后撤回。
这时候，赵佗已经是第二次称王帝了。
赵佗凭借着他的军队扬威于南越一带，并通过财物贿赂的方式，使得闽越、西瓯和骆越都纷纷归属南越，领地范围扩张至顶峰。赵佗也开始以皇帝的身份发号施令，与汉朝对立起来。
公元前179年，吕后死后，汉文帝刘恒即位，他派人重修了赵佗先人的墓地，设置守墓人每年按时祭祀，并给赵佗的堂兄弟们赏赐了官职和财物。接着汉文帝在丞相陈平的推荐下，任命汉高祖时曾多次出使南越的陆贾为太中大夫，令其再次出使南越说服赵佗归汉。
陆贾到了南越后，向赵佗晓以利害关系，赵佗再次被说服，决定去除帝号归复汉朝，其与中央政权的关系又修好始昔，维护了岭南的社会稳定。一直到汉景帝时代，赵佗都向汉朝称臣，每年在春秋两季派人到长安朝见汉朝皇帝，象诸侯王一样接受汉朝皇帝的命令。但是在南越国内，赵佗仍然继续用着皇帝的名号。
公元前137年（汉武帝建元四年）赵佗去世，享年一百余岁。
赵佗死后，其后代续任了四代南越王。一直到公元前111年，南越国被汉朝所灭。（未完待续）
