Andrey Karlov, 4 Şubat 1954 tarihinde Moskova'da dünyaya geldi. 1976’da Moskova Devlet Uluslararası İlişkiler Enstitüsü’nden, 1992 yılında ise Diplomasi Akademisi’nden mezun olarak yükseköğrenimini tamamladı. Karlov, 1976’dan beri diplomatik alanda çalışmalarını sürdürüyordu.
SSCB, Rusya Federasyonu Dışişleri Bakanlığı merkez teşkilatının yanı sıra yurtdışı temsilciliklerinde, özellikle 1976-1981 ve 19841990 yıllarında SSCB’nin Kuzey Kore’deki büyükelçiliğinde, 1992-1997 yıllarında da Güney Kore Cumhuriyeti’ndeki büyükelçiliğinde farklı görevlerde çalıştı. Karlov, 2001-2006 döneminde ise Kuzey Kore’de büyükelçi olarak görev yaptı. Karlov, 2007-2013 döneminde de ülkesinin Dışişleri Bakanlığı Konsolosluk İşleri Genel Müdür Yardımcısı ve Genel Müdürü olarak görev yaptı.