Problème lors de la tentative d'extraction des mots d'une chaîne dans PHP

Question

J'essaie d'extraire tous les mots d'une chaîne dans un tableau, mais j'ai des problèmes avec les espaces ( ).

C'est ce que je fais:

//Clean data to text only 
$data = strip_tags($data); 
$data = htmlentities($data, ENT_QUOTES, 'UTF-8'); 
$data = html_entity_decode($data, ENT_QUOTES, 'UTF-8'); 
$data = htmlspecialchars_decode($data); 
$data = mb_strtolower($data, 'UTF-8'); 

//Clean up text from special chrs I don't want as words 
$data = str_replace(',', '', $data); 
$data = str_replace('.', '', $data); 
$data = str_replace(':', '', $data); 
$data = str_replace(';', '', $data); 
$data = str_replace('*', '', $data); 
$data = str_replace('?', '', $data); 
$data = str_replace('!', '', $data); 
$data = str_replace('-', ' ', $data); 
$data = str_replace("\n", ' ', $data); 
$data = str_replace("\r", ' ', $data); 
$data = str_replace("\t", ' ', $data); 
$data = str_replace("\0", ' ', $data); 
$data = str_replace("\x0B", ' ', $data); 
$data = str_replace(" ", ' ', $data); 

//Clean up duplicated spaces 
do { 
    $data = str_replace(' ', ' ', $data); 
} while(strpos($data, ' ') !== false); 

//Make array 
$clean_data = explode(' ', $data); 

echo "<pre>"; 
var_dump($clean_data); 
echo "</pre>"; 

Ce sorties:

array(58) { 
    [0]=> 
    string(5) " " 
    [1]=> 
    string(5) " " 
    [2]=> 
    string(11) "anläggning" 
    [3]=> 
    string(3) "med" 
    [4]=> 
    string(3) "den" 
    [5]=> 
    string(10) "erfarenhet" 
    [6]=> 
    string(3) "som" 
} 

Si je vérifie la source pour la sortie que je vois que les 2 premières valeurs du tableau est  .
Peu importe comment j'essaie, je ne peux pas enlever cela de la chaîne. Des idées?

MISE À JOUR:
Après quelques ajustements avec le code je parviens à obtenir la sortie suivante:

array(56) { 
    [0]=> 
    string(1) "�" //Notice change. Instead of string length 5 it now says 1. But still its garbage. 
    [1]=> 
    string(1) "�" 
    [2]=> 
    string(11) "anläggning" 
    [3]=> 
    string(3) "med" 
    [4]=> 
    string(3) "den" 
    [5]=> 
    string(10) "erfarenhet" 
    [6]=> 
    string(3) "som" 
    [7]=> 
    string(5) "finns" 
    [8]=> 
    string(4) "inom" 

Merci!

ANSWER (pour les paresseux):

Même tu c'est une approche légèrement différente du problème, et il ne répond jamais vraiment pourquoi j'ai eu les problèmes que j'avais ci-dessus (comme les restes de   et d'autres supplémentaires bizarre espaces), j'aime bien et c'est beaucoup mieux que mon code original.

Merci à tous ceux qui ont contribué à cela!

//Clean data to text only 
$data = strip_tags($data); 
$data = html_entity_decode($data, ENT_QUOTES, 'UTF-8'); 
$data = htmlspecialchars_decode($data); 
$data = mb_strtolower($data, 'UTF-8'); 

//Clean up text from special chrs 
$data = str_replace(array("-"), ' ', $data);  

$clean_data = str_word_count($data, 1, 'äöå'); 

echo "<pre>"; 
var_dump($clean_data); 
echo "</pre>"; 

Answer 1

Ok, la seule chose que vous avez à faire est de remplacer   avec un espace comme vous le faites déjà (uniquement si la chaîne contient encore vraiment   vérifier @Andy E's answer pour vous assurer que vos données ne ne contiennent aucune entité HTML).

$data = str_replace(" ", ' ', $data); 

Ensuite, vous pouvez utiliser str_word_count pour obtenir les mots:

$words = str_word_count($data, 1, 'äöåÄÖÅ'); 

P.S .: Quel est le sens d'appeler d'abord htmlentities puis de le rétablir avec html_entity_decode de toute façon?

Mise à jour: Exemple:

$str = '  anläggning med den  erfahrenhet som åååÅ ÅÅ'; 
print_r(str_word_count($str, 1, 'äöåÄÖÅ')); 

impressions

Array 
(
    [0] => anläggning 
    [1] => med 
    [2] => den 
    [3] => erfahrenhet 
    [4] => som 
    [5] => åååÅ 
    [6] => ÅÅ 
) 

documentation lecture aide :)

Answer 2

$data = '&nbsp; cesadasdsadas <br /> &nbsp; dsadsadas'; 
$data = preg_replace('/&nbsp;/', ' ', $data); 
var_dump($data); 

Answer 3

Au lieu de:

14x str_replace 

do { 
    $data = str_replace(' ', ' ', $data); 
} while(strpos($data, ' ') !== false); 

faire:

$data = preg_replace('/[.*,:;?!]/', '', $data); 
$data = preg_replace('/(?:\xC2\xA0|\s{2,}|-)/', ' ', $data); 

Alors que 0xC2A0 est l'espace insécable ( ) et \s est tout caractère blanc couvrant les str_replace appels répétés.

Answer 4

Est-il possible de "coder en double" les parties   existantes de la chaîne? Vous appelez htmlentities sur la chaîne avant html_entity_decode, donc tous les caractères   existants deviendront  . Vous pouvez empêcher htmlentities de double codage en fournissant false en tant que quatrième paramètre.

$data = htmlentities($data, ENT_QUOTES, 'UTF-8', false); 
$data = html_entity_decode($data, ENT_QUOTES, 'UTF-8'); 

Aussi, nu à l'esprit que vous pouvez passer un tableau pour les matches de str_replace:

$data = str_replace(array(',','.',':',';','*','?','!','-'), '', $data); 

Answer 5

peut-être vous devriez essayer ceci: http://php.net/manual/en/function.str-word-count.php

J'ai fait quelque chose proche de votre objectif récemment:

$words = array_unique(str_word_count($CONTENT." ".$TITLE, 1)); 
    sort($words); 
    $words = addslashes (implode(" ", array_values($words))); 

Au revoir.

Answer 6

print_r(explode(" ", $data)); 

Mise à jour

define("WORD_COUNT_MASK", "/\p{L}[\p{L}\p{Mn}\p{Pd}'\x{2019}]*/u"); 

function str_word_count_utf8($str) 
{ 
    preg_match_all(WORD_COUNT_MASK, $str, $matches); 
    print_r($matches); 
} 
str_word_count_utf8($str);