Los Gunners disfrutaron de un hombre de ventaja durante más de una hora después de que Diogo Dalot fuera amonestado dos veces al principio de la segunda parte.
Bruno Fernandes adelantó al United, pero el Arsenal igualó a los pocos segundos de la expulsión de Dalot por mediación de Gabriel Magalhaes. Sin embargo, la habitual falta de instinto asesino ante la portería rival le costó caro a los hombres de Arteta, que dejaron escapar otra oportunidad de poner fin a cinco años de sequía de trofeos.
Martin Odegaard vio cómo Altay Bayindir le paraba un penalti, y Kai Havertz y Declan Rice desperdiciaron enormes ocasiones para haber ganado la eliminatoria en los 90 minutos.
Tras 30 minutos de prórroga sin goles, Havertz fue el único jugador que no marcó en la tanda, ya que Bayindir, guardameta suplente del United, realizó otra espléndida parada.
"Ha sido increíble", declaró Arteta. "Basándonos en la actuación, merecimos ganar el partido con creces, pero la realidad es que estamos fuera y lo único por lo que se nos juzgará es por eso".
El Arsenal ha terminado segundo tras el Manchester City en cada una de las dos últimas temporadas de la Premier League, pero hasta ahora no ha estado a la altura de las expectativas esta campaña para subir a otro nivel.
El Arsenal está seis puntos por detrás del Liverpool, que tiene un partido menos, en la lucha por el título de la Premier League, y fue derrotado en casa por el Newcastle (2-0) en la ida de las semifinales de la Copa de la Liga.
Arteta, sin embargo, hizo una apasionada defensa de su plantilla con la vista puesta en el derbi del norte de Londres del miércoles contra el Tottenham.
Vuelta de una leyenda
"Amo a mis jugadores, amo a nuestro equipo y amo lo buenos que son", añadió el español.
"En 1.000 partidos (como éste) pierdes uno y ha sido éste. Pero es parte de nuestra industria, de nuestro juego y seguimos adelante porque no tenemos tiempo y el miércoles tenemos uno enorme."
La victoria fue otra señal de progreso para el técnico del United, Rubén Amorim, después de que su equipo remontara un 2-2 en Liverpool el pasado fin de semana.
Los Diablos Rojos tuvieron que defenderse durante mucho tiempo, incluso antes de quedarse con 10 hombres.
"Tenemos que competir sea cual sea la situación, y hoy hemos competido", declaró Amorim.
"Ellos tuvieron más ocasiones, pero creo que merecimos ganar por la forma en que jugamos y luchamos".
La recompensa del United por alcanzar la cuarta ronda es un encuentro con una cara conocida, ya que el técnico del Leicester, Ruud van Nistelrooy, regresa a Old Trafford.
El neerlandés se hizo cargo del equipo durante cuatro partidos como técnico interino antes de la llegada de Amorim en noviembre.
Amorim decidió no mantener a Van Nistelrooy como parte de su cuerpo técnico, pero dijo que está deseando volver a hablar con el legendario exdelantero del United.
"Estoy deseando hablar con él. Es un tipo con clase", añadió Amorim. "Pero tenemos que ganar. Quizá se divida: ¡ama a este club!".