1934’te Glasgow’da doğdu. Whitehill Lisesi’ndeki eğitimini bitirdikten sonra 1952-57 yılları arasında Glasgow Sanat Okulu’nda çizim ve resim eğitimi gördü. Sanat Okulu’nun ardından yarım zamanlı sanat öğretmeni olarak çalıştı, komisyon hesabı üzerinden portreler ve duvar resimleri yaptı. Bu süre boyunca kısa hikâyelerin yanı sıra yirmi seneden uzun bir süre zarfında yazdığı birkaç taslağın değişip gelişmesiyle ortaya çıkan yarı-otobiyografik bir roman olan Lanark’ı kaleme aldı. 1960’ta Jordanhill’de gördüğü eğitimin ardından, sanatçı, ressam, sahne dekoru ressamı ve yarım zamanlı okutmanlıkla geçimini sağladığı çetin hayata geçmeden önce iki yıl süreyle Glasgow’daki okullarda resim dersleri verdi. Gray 1962’de Inge Sørensen’le evlendi, 1964’te bir oğul sahibi olan çift 1970’te boşandı. The Fall of Kelvin Walker (Kelvin Walker’ın Düşüşü) adlı oyunu 1968’de BBC TV’de yayınlandı. Gray 1970’li yıllarda, Tom Leonard, Liz Lochhead ve James Kelman’ın da aralarında bulunduğu bir grupla birlikte, Glasgow Üniversitesi’nde öğretim görevlisi Philip Hobsbaum’un yaratıcı yazarlık derslerine katıldı. Bu süre boyunca, bazıları sahnelenmiş olan çeşitli radyo ve televizyon oyunları kaleme aldığı gibi, tablo ve duvar resimleri yapmaya devam etti. (Yaptığı duvar resimlerinden bazıları Cumbernauld’daki Palace Rigg parkında, Dunfermline’daki Abbots House yerel tarih müzesinde ve Glasgow’daki Ubiquitous Chip restoranda görülebilir.) Gray’in 1981’de Canongate tarafından yayımlanan ilk romanı Lanark geniş bir çevreden olumlu eleştiriler aldı. Bu romanı, Unlikely Stories, Mostly (1983, Çoğunlukla Pek Muhtemel Olmayan Hikâyeler) adı altında yayımladığı kısa hikâyeler, ikinci büyük romanı 1982 Janine (1984), tiyatro oyunundan romanlaştırdığı The Fall of Kelvin Walker (1985) ve aynı sene yayımlanan (Agnes Owens ve James Kelman’la birlikte kaleme aldığı) Lean Tales (Kısa Masallar) takip etti.

Eserlerinde fantazi ve fabülasyonu gülmece etkisi yaratacak şekilde harmanlayan Gray, modern dünyada yaşanan kişisel, kültürel ve siyasi yabancılaşmanın etkilerine dair daha karanlık ve eleştirel bakışını hiçbir zaman kaybetmez. Kitaplarında üstkurmaca oyunları, tipografik efektler, alaycı bilimsel eklemeler ve kendisine ait karmaşık illüstrasyonlardan serbestçe yararlanır.

Gray’in 1988’de kendi portrelerinden oluşan Saltire Self Portrait (Saltire Kendi Portresi) adlı bir risalesi, 1989’da Old Negatives (Eski Negatifler) adlı bir şiir derlemesi, 1990’da ise (1975’te yazılmış bir oyunun roman versiyonu olan) McGrotty and Ludmilla (McGrotty ile Ludmilla) ve Something Leather (Deri Bir Şey) isimli iki romanı yayımlanmıştır. Yazarın Poor Things (1992, Zavallı Şeyler) isimli romanı Frankenstein temasının bütünüyle özgün bir versiyonudur. Ten Tales True and Tall (1993, Gerçek ve Uzun Boylu On Hikâye) adlı kitap yazarın başka kısa hikâyelerinden oluşan bir derlemedir. A History Maker (1994, Tarih Yapan Biri) ve Mavis Belfrage (1996) yazarın diğer romanlarıdır. Why Scots Should Rule Scotland (İskoçlar İskoçya’yı Neden Yönetmeli) adlı uzun polemik yazısı 1992’de yayımlanmış, 1997’de ise gözden geçirilmiştir. Yazarın en yeni kitapları An Anthology of Prefaces (2000, Bir Önsözler Antolojisi) ve A Short Survey of Classic Scottish Writing’dir (2001, Klasik İskoç Yazınına Kısa ve Genel bir Bakış). Gray’in kurmaca eserleri dünya çapında Litvanca, Lehçe, Çekçe, Japonca, İsveççe ve Sırp-Hırvatça gibi birçok dile tercüme edilmiştir.