Après ses années d’activité militante en France, où il a fait la connaissance de la plupart des dirigeants de la classe ouvrière française, Ho est allé à Moscou à la fin de 1923. En janvier 1924, après la mort de Lénine, il publie un émouvant adieu au fondateur de l’Union Soviétique dans la Pravda., Six mois plus tard, du 17 juin au 8 Juillet, Il participe activement au cinquième congrès de l’Internationale communiste, au cours duquel il reproche au Parti Communiste Français de ne pas s’opposer plus vigoureusement au colonialisme. Sa déclaration au congrès est remarquable car elle contient la première formulation de sa croyance en l’importance du rôle révolutionnaire des paysans opprimés (par opposition aux travailleurs industriels).,

en décembre 1924, sous le nom d’emprunt de Ly Thuy, Ho se rendit à Canton (Guangzhou), bastion communiste, où il recruta les premiers cadres du mouvement nationaliste Vietnamien, les organisant dans la Vietnam Thanh Nien Cach Menh Dong Chi Hoi (« association de la jeunesse révolutionnaire vietnamienne”), qui devint célèbre sous le nom de Thanh Nien. Presque tous ses membres avaient été exilés D’Indochine en raison de leurs convictions politiques et s’étaient rassemblés pour participer à la lutte contre la domination française sur leur pays., Canton devient ainsi le premier foyer du nationalisme Indochinois.

lorsque Tchang Kaï-chek, alors commandant de L’armée chinoise, expulse les communistes chinois de Canton en avril 1927, Ho se réfugie de nouveau en Union soviétique. En 1928, il se rendit à Bruxelles et à Paris, puis au Siam (Aujourd’hui la Thaïlande), où il passa deux ans en tant que représentant de l’Internationale communiste, l’Organisation mondiale des partis communistes, en Asie du sud-est. Ses partisans, cependant, sont restés dans le sud de la Chine.