Der am 23. November 1898 als Sohn eines Kantors in Pecs geborene Bassist begann nach Studienjahren in Budapest und Wien seine Karriere in Plauen, wo er 1924 und 1925 die Rolle des Hermann in Wagners Oper Tannhäuser und der Sängerkrieg auf Wartburg sang. Ab 1929 trat er am Staatstheater Berlin auf, 1931 holte ihn Arturo Toscanini nach Bayreuth. Nachdem die Nationalsozialisten 1933 in Deutschland die Macht ergriffen hatten, übersiedelte Ernster nach Österreich. Von 1933 bis 1936 sang er als erster Bassist am Stadttheater Graz. 1944 wurde er in das KZ Bergen Belsen deportiert. Kastner gehörte zu jener Gruppe von 1683 ungarischen Juden, die durch die Organisation von Rudolf Kasztner in die Schweiz ausreisen konnten.  Nach dem Krieg sang er in Basel und anschließend an der Metropolitan Opera, wo er zwischen 1946 und 1963 175 Vorstellungen gab. Er starb am 15. Februar 1981 in Zürich.