¿Será posible para un humano hackear una inteligencia inteligente y mucho menos una inteligencia artificial superinteligente? ¿Podría esa persona entender cómo sus intentos de modificar su código cambiarán el comportamiento resultante?

No. Ni siquiera podemos hacer esto con las redes neuronales simples que tenemos hoy. Todas las neuronas están demasiado interconectadas para poder descubrir cómo cambiar una afectará a las otras.