Les critères utilisés (113 en tout) donnent la possibilité de comparer WordPress/Joomla/Drupal sur le plan fonctionnel et technique, aussi bien à l'échelle macro qu'à l'échelle micro, avec 15 critères de haut niveau auxquels sont rattachés 98 [sous-]critères de plus bas niveau. (Chapitre II de l'ouvrage)
Les 15 critères de plus haut niveau
Ci-dessous les 15 critères de plus haut niveau (échelle macro) qui ont servi de support au classement et à la définition des 98 critères de plus bas niveau (échelle micro) :
- Hébergement et installation du CMS.
- [Ordre fonctionnel] Complétude du CMS.
- Personnalisation du site Web.
- [Ordre fonctionnel] Édition des contenus.
- [Ordre fonctionnel] Gestion des contenus.
- [Ordre fonctionnel] Services attachés aux articles.
- [Ordre fonctionnel] Présentation des contenus.
- [Ordre fonctionnel] Gestion des profils et des processus métier.
- [Ordre fonctionnel] Interactivité du site Web (fonctionnalités 2.0).
- Accessibilité du back-office.
- Accessibilité du front-office.
- [Ordre fonctionnel] SEO (optimisation du référencement).
- Performances et sécurité du CMS.
- Administration du site Web.
- Maturité du CMS.
On relèvera que sur les quinze critères utilisés, huit sont d'ordre fonctionnel (critères 2, 4… 9 et 12). À l'exception du critère 15 (maturité du CMS), les autres critères sont plutôt d'ordre technique.
Critères de plus bas niveau et systèmes de cotation associés
Les critères de plus bas niveau ont été utilisés pour une évaluer, en points de performance, les trois CMS (à l'échelle micro) sur la base de systèmes de cotation plus ou moins sophistiqués.
Systèmes de cotation les plus basiques
Les systèmes de cotation les plus basiques sont ceux qui s'appliquent aux critères ne traitant ni les questions d'ordre fonctionnel ni celles relatives à la qualité de la documentation des trois CMS. Les échelles de points utilisées sont soit binaires (0 ou 1) soit comprises entre 0 et 2.
Concernant l’hébergement et l’installation des trois CMS, par exemple, les critères qui ont été retenus sont :
- le coût annuel de l’hébergement ;
- le degré d’implantation des technologies utilisées par le CMS ;
- le temps nécessaire pour installer le CMS considéré ;
- les compétences requises pour l’installer.
Sur la question des coûts générés par l'hébergement, les deux points signifient que ceux-ci se limiteront à quelques dizaines d’euros par an ; un point, plusieurs centaines d'euros ; aucun point, plusieurs milliers.
Systèmes de cotation plus sophistiqués
Des systèmes de cotation plus sophistiqués ont été utilisés pour évaluer non seulement les fonctionnalités des trois CMS, mais aussi leur documentation.
Évaluation des fonctionnalités des trois CMS
L'évaluation des fonctionnalités que les trois CMS intègrent se fonde sur la notion d'utilisabilité (efficacité/efficience/satisfaction) selon une échelle de points qui va de 0 à 4 :
- Aucun point : l’outil n’intègre pas la fonctionnalité considérée et il n’y a pas d’extension disponible (inefficacité).
- Un point : l’outil n’intègre pas la fonctionnalité considérée, mais il existe une extension qui permet de l’intégrer.
- Deux points : l’outil intègre la fonctionnalité considérée (efficacité), mais il n’est pas efficient – soit parce qu’il impose un travail préliminaire soit parce qu’il faut plus de trois clics pour accéder aux écrans à configurer.
- Trois points : [concernant la fonctionnalité considérée] l’outil est à la fois efficace et efficient, mais non satisfaisant – à cause d'un problème de surcharge informationnelle par exemple.
- Quatre points : [concernant la fonctionnalité considérée] l’outil est pleinement utilisable (efficacité, efficience de l'outil ; satisfaction de l’utilisateur).
Évaluation de la documentation des trois CMS
L'évaluation de la documentation des trois CMS se fonde sur des critères qui traitent séparément la documentation des fonctionnalités de base et la documentation des extensions. Les échelles de points utilisées pour évaluer les trois CMS, sur chaque critère, sont soit binaires (0 ou 1) soit comprises entre 0 et 2.
Voici les critères utilisés pour évaluer la documentation des fonctionnalités de base d'un CMS donné :
- Navigabilité de la documentation – critère relatif aux éléments d’orientation permettant de naviguer, de trouver le contenu et de se situer.
- Profondeur de la documentation (niveau de détail).
- Pertinence du glossaire expliquant les concepts de base.
- Traduction COMPLÈTE de la documentation en français.
Ci-dessous, les critères utilisés pour évaluer la documentation des extensions du CMS considéré :
- Navigabilité de la documentation (critère déjà utilisé pour les fondamentaux, mais c'est le seul).
- Intégration de statistiques d’aide à la décision (exemple : le nombre de sites Web faisant appel à une extension donnée).
- Commentaires ou évaluations des utilisateurs finaux.
- Intégration d’un forum pour chaque extension.
- Traduction systématique de la documentation en français.
