Als seine Mutter 1919 an der Spanischen Grippe starb, kamen seine Schwester und er in ein Kinderheim. Sein Vater kehrte in die Heimat zurück und kam Mitte der 1920er Jahre, nachdem er erneut geheiratet hatte, wieder in die USA.
Im Alter von zwölf Jahren begann Victor Sen Yung als Houseboy bei einer Familie in Nob Hill zu arbeiten. Er studierte dann Tierhaltung an der Universität in Berkeley. 1938 begann er unter dem Namen Victor Yung mit der Schauspielerei. Er trat während seiner Karriere auch unter den Namen Sen Young, Victor Sen Young, Victor Young und Sen Yung auf. Daneben arbeitete er für eine Chemiefirma und brachte Proben eines Flammenschutzmittels zur 20th Century Fox, um sie zu verkaufen. Anstatt die Chemikalien zu kaufen, castete man ihn für die Rolle als Charlie Chans Sohn Nummer 2 in dem Film Charlie Chan in Honolulu. Daraufhin spielte er in insgesamt achtzehn Charlie-Chan-Filmen mit (zehn für Fox, weitere acht für Monogram, zunächst als Sohn Nr. 2 "Jimmy", später als "Tommy").
Weltbekannt wurde er als Koch Hop Sing auf der Ponderosa in der Fernsehserie Bonanza, in der er von 1959 bis 1973 in 107 Episoden mitwirkte.
1974 veröffentlichte Sen Yung ein Buch über kantonesisches Kochen mit dem Titel „Great Wok Cookbook“ (Nash Publishing).
Er starb am 9. November 1980 in seinem Haus an den Folgen einer Vergiftung, hervorgerufen durch ein Gasleck an einem Ofen.
