Le principe du raytracing, c'est justement de ne pas utiliser d'approximation. L'aire d'une ombre moyenné par la hauteur ne sert à rien. On veut le résultat exact.
Même la projection exacte d'une ombre sur le sol ne sert à rien, une ombre peut être projeté sur des formes complexes.
Pour un ray-tracing de base, on part de l’œil pour retrouver les sources de lumières après de multiples réflexions.
Pour un calcul en "global illumination", il faut juste envoyer des rayons dans tous les sens et voir où ils se réfléchissent, aucune méthode analytique comme ta formule ne peut aider.
Car comme je l'ai dit précédemment, une ombre n'est pas noire, elle reçoit de la lumière de partout ailleurs.