Культовую группу «Аквариум» он основал вместе со школьным другом Анатолием Гуницким ещё в студенческие годы, учась на факультете прикладной математики — процессов управления Ленинградского государственного университета. Группа была неформальной, выступала в основном подпольно и дебютировала на сцене спустя два года после основания.
В 1977 году после окончания университета Борис Гребенщиков начинает работать в НИИ социологии, одновременно сочиняя песни. В это же время он выпускает журнал «Рокси».
В 1978 году «Аквариум» записывает первый акустический альбом «Все братья — сестры». Скандальную известность группе принесло участие в Тбилисском рок-фестивале 1980 года, после которого Гребенщикова уволили с работы и исключили из комсомола. Группа была запрещена.
«Аквариум» продолжил играть нелегально, участвовал в фестивалях ленинградского рок-клуба. Выйти из подполья музыкантам удалось лишь во времена Перестройки.
Коллектив выпускает несколько альбомов, Гребенщиков пишет музыку к фильмам Сергея Соловьева «Чёрная роза — эмблема печали, красная роза — эмблема любви», «Асса», «Нежный возраст». А в фильме «Два капитана-2» Сергея Дебижева можно не только услышать музыку БГ, но и увидеть самого композитора. В последующие годы он написал музыку ещё ко многим фильмам.
В начале 1990-х годов группа «Аквариум» распалась. В этот период Гребенщиков создает другую — «БГ-Бэнд». Но в 1993 году коллектив «Аквариума» собирается вновь. После опалы следует период признания творчества Гребенщикова. За вклад в развитие рок-музыки он получает премии «Триумф», «FUZZ», «ПобоRoll», «Своя колея» и другие.
В 2005 году Гребенщиков начинает вести программу «Аэростат» на «Радио России». Также он является автором нескольких книг.
Сегодня знаменитый музыкант, один из «отцов-основателей» русской рок-музыки — Борис Гребенщиков продолжает свою творческую карьеру, он много гастролирует, создает новые песни, выпускает альбомы. Живет и работает в Санкт-Петербурге.
В конце сентября этого года музыкант выпустил песню «Вечерний М…», взорвавшую Сеть.