Bonjour tout le monde,
Je viens de lire des articles sur la réduction de dimension d'un espace de recherche et je trouve que cette réduction peut me servir vu que je travaille sur les Big Data et donc une telle procédure va être très intéressante comme phase de prétraitement.
En effet, pouvez-vous me donner des exemples simples qui mettent en valeur cette réduction(de variables surtout) en utilisant une de ces méthodes d'analyse de données (ACP, ACM ou AFCM).
Merci pour votre aide
il y a une méthode (pas très bonne d'ailleurs) de compression d'images basée sur l'ACP. Une image c'est une matrice X de dimensions nxp de nombres. Tu en fait l'ACP non centrée, c'est-à-dire que tu diagonalises X'X. Tu ranges les valeurs propres en ordre décroissant (ce sont des réels positifs ou nuls), et tu reconstruis ta matrice en ne prenant que les k premières composantes. Tu es donc passé de np nombres à k(n+p+1).
Merci "minushabens" pour votre réponse. En effet, l'ACP ne prend en charge que les variables quantitatives. Qu'utilise-t-on s'il s'agit des variables mixtes( quantitatives & qualitatives)??
en fait la réponse à ta question dépend de ce qu'on veut faire avec les données. Que vetu-on démontrer? ou que veut-on découvrir? (quel genre de choses).
En fait, mon but est de faire un prétraitement d'un jeu de données massives(4Million*1Million) et mixtes(quantitatives & qualitatives) en réduisant sa dimension sans perdre l'information( au lieu de traiter un million de colonnes par exemple on traite 700000 seulement) pour le tester sur un algorithme parallèle distribué. Est-ce possible de le faire??
pour tester quoi?
Bonjour Ransou.
Dans ce cas, tu ne peux pas séparer la notion à tester du traitement de réduction. En réduisant les dimensions, tu pourrais éliminer justement ce que tu veux faire apparaître dans ton test.
D'autre part, la pratique des statisticiens montre que le traitement de données de grande taille n'est pas compatible avec les tests classiques (ils échouent !!). La discipline "data-mining" s'est justement développée pour cela.
Cordialement.
