Родился 15 ноября 1947 года в городе Казатин, Винницкая область.

Музыкальную деятельность начал в Ансамбле песни и пляски Дома офицеров Бакинского военного округа ПВО.

В 1969 году Анатолий ЯРМОЛЕНКО был принят солистом-вокалистом в Гомельскую областную филармонию, работал в эстрадных коллективах «СУВЕНИР» и «ПЕСНИ НАД СОЖЕМ».

Творчество музыканта неразрывно с творчеством вокально-инструментального ансамбля «СЯБРЫ». В сентябре 1972 года стал его солистом. В 1981 году сменил Валентина БАДЬЯРОВА на должности художественного руководителя коллектива.

Анатолий ЯРМОЛЕНКО – исполнитель таких популярных песен, как «ГЛУХАРИНАЯ ЗАРЯ», «У КРИНИЦЫ», «КАЛИНУШКА», «ГУЛЯЦЬ ДЫК ГУЛЯЦЬ», «КАХАНАЯ», «ПЕЙТЕ ПИВО, МУЖИКИ», «ПОЛЬКА БЕЛОРУССКАЯ», «ПЕРЕЖИВЁМ», «НАШИ ПЕСНИ!».