Reindexation (était : [sdx-users] Tri des résultats d'un requête)

[Pierrick Brihaye]

----- Message d'origine ----- 
De : "Martin Sévigny" <address@hidden>

>Désolé pour la réindexation,

Oui :-) Et bien... j'ai testé :-)

Je me suis retrouvé avec une erreur Lucene "read past EOF". Dès lors, SDX n'est 
plus capable d'accéder aux index et... il faut :

- arrêter
- effacer manuellement les index
- "réinitialiser la base" qui crée apparemment un fichier "segments". Note :  
*créer la structure* efface tout ; j'ai testé aussi ;-)
- réindexer
- croiser les doigts pour que ça réindexe correctement. Sinon, recommencer...

Je n'ai pas trouvé le moyen de faire autrement : dès lors que les index sont 
corrompus, un simple redémarrage suivi d'un accès aux index fusille ma MV 
Blackdown...

J'ignore ce qui provoque cette erreur mais je doute que ça vienne de chez moi 
car, tout de même, j'ai pu indexer l'intégralité des documents dans une vie 
antérieure. C'est probablement un processus sur le serveur, sans doute au-delà 
de Java, qui interfère avec Lucene (descripteurs de fichiers ?)...

Ce bug Lucene est extrêmement gênant, mais bon, si on a de la chance, on peut 
espérer avoir des index à jour et comme ils n'ont pas pour vocation à être 
modifiés tous les jours, on peut espérer avoir un SDX qui tourne.

Par ailleurs. Le processus de réindexation peut-être très long. Peut-on 
concevoir la possibilité de l'interrompre (il suffirait probablement de mettre 
un flag de sortie après le compactage d'un lot) ? Je conçois bien que cela 
laisserait les index dans un état incohérent par rapport aux documents qui 
n'auraient pas été été réindexés, mais bon, ça permet aussi de ce faire un jeu 
d'index de test...

Dans le même ordre d'idée, comme la réindexatoin se fait en tâche de fond, on 
pourrait *immédiatement* renvoyer la response à la xsp de réindexation, non ?

On pourrait aussi concevoir un champ de métadonnées de documents indiquant la 
date de la dernière indexation et lancer, à intervalles périodiques, un thread 
de haute priorité qui réindexerait des (petits) lots de documents pour les 
documents indexés *avant* la modification du db_fields.xml et/ou de la feuille 
d'indexation.

Voilà ce que mes déboires de vendredi (et peut-être ceux de lundi aussi : j'ai 
relancé une indexation avant de partir) m'ont suggéré...

p.b.