Obtenir une fonction signe (ou porte) uniquement avec les opérations de base (calcul matriciel)

[inviteb9ece61f]

Bonjour à tous

Dans le cadre d'un projet personnel, je veux obtenir l'équivalent d'une fonction signe (ou une fonction porte) pour l'implémenter dans un calcul matriciel, l'idée étant de supprimer certaines fonctions pour pouvoir fusionner les matrices.
Du coup, je me limite aux opérations de base dans un premier temps, pour faciliter l'implémentation en matrice.

J'ai obtenu un équivalent avec x/x²+1 mais la fonction tend rapidement vers 0 quand x>1 ou x<-1, ce qui rend les valeurs de sortie trop faible.

L'idéal serait l'équivalent de la fonction arctangente, mais je n'en trouve pas d'approximation avec les opérations de base, la fonction sigmoïde fonctionne aussi mais c'est e^x: ce que je ne peux pas implémenter par les opérations de base.

Une solution serait d'avoir la fonction racine carré et de l'ajouter au dénominateur de x/x²+1, mais cela déplace le problème. J'ai tenté en écrivant 3 itérations de l'algorithme du Héron sous la forme d'une équation, mais cela retarde la tendance vers 0, mais elle de délimite trop vite à moins de travailler uniquement avec des valeurs faibles ce qui me dérange.

Quelqu'un aurait-il une piste ou une idée même pour une approximation, ou alors une indication du style "impossible", "recherche ardue", etc...

Merci par avance, je retourne à mes bricolages.

[Médiat]

Bonjour,

En fonction de l'erreur admissible :

[inviteb9ece61f]

La fonction est parfaite mais elle utilise une racine carré, ce qui la rend "impossible" à implémenter clairement par un calcul matriciel d'après mes connaissances (ou alors il existe une formulation que je ne connais pas).
Je peux faire une puissance de 2, mais une puissance 1/2 ça m'échappe.

Mais la formulation est top... si on a droit à une racine carré.

[gg0]

Bonjour.

Je ne comprends pas trop en quoi on pourrait appliquer une fonction signe à une matrice. C'est quoi, une matrice positive (en dehors de "coefficients positifs" ou "semi-définie positive") ?
Par contre, appliquer la fonction à chaque terme, comme le fait couramment Matlab (ou scilab) est classique.

Ce qu'on fait sur des matrices en calcul matriciel pur est extrêmement pauvre.

Cordialement.

[A voir en vidéo sur Futura]

[inviteb9ece61f]

L'idée est d'appliquer la fonction signe à chaque élément de la matrice.
Par exemple la matrice suivante :
-5 | 6 |-1
2 | -2 | 4

deviendrait
-1 | 1 | -1
1 | -1 | 1

avec l'utilisation d'une fonction type arctangente.

L'application d'une fonction à chaque élément d'une matrice est simple, mais pour être précis il s'agit de remplacer la fonction d'activation dans un réseau de neurones.
Afin de pouvoir compacter dans un deuxième temps l'intégralité du réseau sous la forme d'une matrice unique ce qui nécessite d'avoir uniquement une série de calcul matriciel. Cela peut être très complexe, même en ayant une fonction d'activation sous forme de matrice, mais j'ai envie d'essayer.

Il est possible d'avoir la même idée avec une fonction linéaire, mais cela limite mes tests. Voilà.

[invite06c81a14]

Bonjour
J'ai le même problème pour une autre application, je n'ai rien trouvé pour l'instant. J'ai testé l'arctangente hyperbolique et son écriture avec des exponentielles, et le rapport entre x et abs(x). Si ça peut t'aider...

[inviteb9ece61f]

Mes meilleures candidates pour le moment

problème la fonction abs


problème : la racine carrée


problème la puissance de 2

Le mieux c'est :

mais la fonction décroit trop vite.

De toute façon, l'idée n'était pas bonne : il me faudrait une fonction non-linéaire, avec des opérations de base et tout en étant distributive pour faciliter le compactage des matrices sinon je me retrouve en fait avec calculs imbriqués qui n'ont aucun intérêt en termes de gains de temps, ou même du calcul (une matrice au lieu d'une succession).

L'idée centrale c'était de réussir à pouvoir simplifier un réseau de neurones après apprentissage en le ramenant à une matrice ce qui pourrait faciliter l'application mais surtout l'étude du changement d'espace.

A l’extrême ça aurait pu ramener tout l'apprentissage à une seule matrice... mais là ça revient en fait à faire une régression linéaire à priori. Je complique un peu la bête pour rien, du coup...

Bref de la recherche en amateur, un peu foutraque et qui pense réinventer l'eau chaude. Mais bon j'aime bien, je retourne de ce pas à la conjecture de Syracuse...