Bonjour.
Votre raisonnement est en gros correct. Il n'y a pas d'absurdités dedans.
Simplement, si on regarde un peu au niveau microscopique, les électrons sont toujours animés d'une vitesse élevée mais au hasard aussi bien en direction qu'en module. La vitesse moyenne est nulle en absence de champ électrique. Cette vitesse est l'agitation thermique et augmente avec ma température.
L'énergie est échangée avec les atomes fixes (mais qui s'agitent eux aussi) en en moyenne, les électrons donnent autant d'énergie qu'ils récupèrent dans ces chocs.
Quand vous appliquez un champ électrique, les électrons sont accélérés entre deux collisions et gagnent de l'énergie cinétique. Ils la cèdent aux atomes et reviennent à leur énergie moyenne, puis, sont à nouveau accélérés, et ainsi de suite.
Et ce qui est surprenant est que la vitesse moyenne d'avancement des électrons due aux forces du champ électrique est de l'ordre du µm/s (oui: des micromètres/sec) pour des courants habituels. La raison est que le nombre d'électrons libres disponibles dans un conducteur est énorme.
Au revoir.
-----