Khachanov, número 16 de la ATP, se impuso al alemán (3) por 6-3, 4-6 y 7-6 (7/4) después de salvar una pelota de partido en el tercer set.
Zverev, campeón de este torneo en 2017, batalló durante casi tres horas pero acabó despidiéndose de un evento del que era primer sembrado por las bajas de Jannik Sinner y Carlos Alcaraz.
Tras igualar el primer set en contra, el alemán tomó una ventaja de 6-5 en la manga decisiva y tuvo una oportunidad para sellar el triunfo pero su devolución de revés chocó con la red.
En el desempate decisivo tomó también ventaja de 3-1 antes de perder los siguientes cinco puntos y retirarse cabizbajo de la pista al ceder ante el experimentado Khachanov.
El ruso aprovechó así su tercera oportunidad en las semifinales de Canadá tras sus derrotas de 2018 y 2019 frente a Rafael Nadal y Daniil Medvedev, respectivamente.
Khachanov, que no llegaba a una final de Masters 1000 desde su triunfo en 2018 en París, tenía también la espina clavada de la derrota ante Zverev en la final de los Juegos Olímpicos de Tokio en 2021.
Su rival en la final del jueves salía del choque entre los estadounidenses Taylor Fritz y Ben Shelton en la otra semifinal del miércoles.