«On Your Knees» fue el primer sencillo en ser lanzado del tercer álbum de Grace Jones Muse, en 1979, y en varias partes con "Don't Mess With the Messer" como lado B. En la versión 7" single aparecen versiones editadas de las dos pistas, mientras que el 12" incluyó una mezcla ligeramente diferente de "On Your Knees" y una re-mezcla extendida de "Don't Mess With The Messer". Wikipedia