O erro "HTTP Error 500.0 - ANCM In-Process Handler Load Failure" ocorre porque a sua aplicação em ASP.NET Core foi desenvolvida para a arquitetura de 64 bits e o IIS do domínio está configurado para executar scripts em 32 bits ou vice-versa. Para resolver o problema siga este tutorial para alterar a arquitetura do IIS do seu domínio.

(PASSO 1) Acessando o seu painel de controle Plesk da hospedagem, localize o botão escrito POOL DO APLICATIVO IIS DEDICADO PARA O WEBSITE.

(PASSO 2) Nesta página marque ou desmarque a opção "Ativar aplicativos de 32 bits" conforme a necessidade. Ao desmarcar a opção, o IIS será configurado para funcionar em 64 bits.

Pronto, a arquitetura do seu IIS foi alterada. Apenas aguarde alguns minutos para a reinicialização automática do IIS.