Il me semble qu'une partie de ce problème se fonde dans la mécanique quantique plutôt que dans la relativité.
En relativité, le concept de cône de lumière permet de définir le passé et le futur d'un point de l'espace-temps.
Si un objet n'est pas trop gros, on pourrait définir son passé en prenant la réunion des cônes de lumières de tous les points qui le constituent à un instant donné. Mais, puisqu'il n'y a pas de notion de simultanéité, il faut décider relativement arbitrairement des points de l'espace-temps qui constituent cet objet à ce pseudo instant. On fait ça de façon naturelle dans la vie de tous les jours et on définit donc un passé pour l'objet au moins pour des instants suffisamment anciens (définis par exemple par le temps propre d'une particule arbitraire de l'objet).
Il me semble que cette imprécision est moins grave que le problème que l'on peut rencontrer quand on considère que l'évolution d'un système est stochastique, comme en mécanique quantique par exemple. Dans ce cas, le futur n'existe pas dans le sens où il ne peut pas être prédit. De même, en présence d'influences aléatoires, différents historiques peuvent mener au même résultat. Il n'est donc pas non plus possible de "prédire" le passé.
Reste que dans la vie de tous les jours il est plus facile de se tromper sur les prédictions du futurs que sur les souvenirs, il semble donc y avoir une asymétrie, dans le sens où le passé est bien plus prédictible que le passé.
-----