Graue Kaiserfische werden bis zu 50 Zentimeter lang. Ihre Körpergrundfarbe ist, wie der deutsche Name schon sagt, hellgrau, mit je einem dunkelgrauen Fleck auf jeder Schuppe. Die Kehlregion, die Brust- und Bauchflossen sind dunkelgrau. Die Schwanzflosse hat einen hellblauen Saum. Die Schnauze ist weiß. Rücken- und Afterflosse haben eine fadenartige Verlängerung.
Junge Graue Kaiserfische sind schwarz mit fünf senkrechten gelben Streifen am Körper.