Анатолий Васильевич родился в 1948 году. В 1973 году он окончил Петрозаводский филиал Ленинградской государственной консерватории по классу баяна (его педагогом был профессор В. Л. Калаберда). После выпуска ему присвоили сразу три квалификации: «преподаватель по классу баяна», «дирижёр оркестра» и «концертный исполнитель».
С 1973 года Анатолий Васильевич начал работать в Калининградском областном музыкальном училище (сейчас — колледж им. С. В. Рахманинова). Там он совмещал несколько ролей: преподавал класс баяна и дирижирование, а также возглавил оркестр русских народных инструментов колледжа. Под его руководством коллектив активно гастролировал: например, в 2005 году оркестр выступил в Польше (более 20 концертов в Ольштыне на тему «Инструменты русского оркестра»), а в 2006 году принял участие в фестивале «Славянское подворье» в Литве (Вильнюс, Клайпеда).
Параллельно с работой в колледже Яковлев в 1975–1991 годах гастролировал с ансамблем русских народных инструментов «Балтийский сувенир» по Калининградской области, Литве, Белоруссии и Польше. С 1991 года он также стал артистом Калининградского областного оркестра русских народных инструментов и выступал как солист-баянист (в том числе за рубежом — в Германии, Голландии).
Кроме того, в 1990–2005 годах Анатолий Васильевич входил в состав мужского камерного хора «Ликъ». В 1995 году в составе хора он стал лауреатом III степени Международного хорового конкурса в немецком Цвиккау, а в 1996 году коллектив завоевал Золотую медаль на Международном хоровом фестивале в Париже.
Яковлев активно занимался не только исполнительством и дирижированием, но и педагогической работой. Он воспитал немало выпускников, которые стали лауреатами зональных, всероссийских и международных конкурсов.
Даже после выхода на пенсию Анатолий Васильевич продолжал делиться опытом: проводил мастер-классы. Например, в 2025 году он работал с учащимися ДШИ им. А. Караманова: помогал преподавателю и студентам над ансамблевыми произведениями (разбирал темпы, штрихи, акценты, метроритм), а также специально написал партию фортепиано для ансамбля аккордеонистов «Контраст».