Родился на КВЖД в городе Шахэ (Китай) в семье железнодорожника. В 10 лет остался без родителей — его воспитывал старший брат. Учился в Московском музыкальном училище имени А. К. Глазунова, затем перешёл в Московское городское театральное училище, а позже поступил в Музыкальное училище при Московской консерватории.
Во время войны с 1941 по 1943 год выступал с концертами в частях Дальневосточной армии и флота в составе хора ансамбля Центрального дома культуры железнодорожников под управлением И. О. Дунаевского.
В послевоенные годы работал в разных театрах — в Московском театре миниатюр, Театре оперетты Московской области, цыганском театре «Ромэн», Московском ТЮЗе. Снимался в кино: например, в фильмах «Белорусские новеллы» (1942), «Случай с ефрейтором Кочетковым» (1955), «Серый разбойник» (1956). С 1961 года сосредоточился на литературной работе.
Похоронен на Ваганьковском кладбище в Москве.
Самая известная сторона творчества Гребенникова — песенные тексты. Ключевым стал его многолетний творческий союз с Николаем Добронравовым и композитором Александрой Пахмутовой. Вместе они создали множество песен, ставших частью культурного кода эпохи.
«Главное, ребята, сердцем не стареть» — одна из самых узнаваемых песен цикла «Таёжные звёзды», в ней соединились романтика освоения новых земель и лиризм;
«По Ангаре» («Девчонки танцуют на палубе») — песня о путешествии по великой реке, наполненная ощущением движения и молодости;
«Геологи» — гимн профессии, воспевающий труд и романтику дальних экспедиций;
«Куба — любовь моя»;
«Нежность» (в соавторстве с Н. Добронравовым) — песня, которую знают и любят многие поколения слушателей.
Эти композиции исполняли Лев Барашков, Майя Кристалинская, Муслим Магомаев, Иосиф Кобзон, Эдуард Хиль, Валентина Толкунова, Большой детский хор под управлением В. Попова и другие.
Кроме песен, Гребенников писал прозу для детей и юношества (часто в соавторстве с Добронравовым): «„Отчаянный“, отчаливай», «Третий не лишний», «Скоро каникулы!», «Большие каникулы». Также они создавали пьесы и инсценировки для радио и кукольных театров, новогодние сказки, которые ставили в том числе в Георгиевском зале Кремля.