16 novembre 2017

Le BISE en 2017 : résultats d’une évaluation auprès du public cible et de ses artisans

Article
Auteur(s)
Claire Laliberté
M. A., M. Sc., conseillère scientifique, Institut national de santé publique du Québec
Karine Chaussé
M. Sc., conseillère scientifique, Institut national de santé publique du Québec

Résumé

Cet article porte sur les principaux résultats de l’évaluation réalisée au cours de l’année 2017 auprès du public cible du BISE. Le contexte de l’évaluation, la méthodologie utilisée, les principaux constats et les améliorations envisagées sont décrits. Les résultats du sondage montrent que le BISE demeure un outil de référence crédible pour son public cible et occupe une place enviable et reconnue dans le domaine de la santé environnementale.

Contexte de l’évaluation

Depuis sa création en 1989, le Bulletin d’information en santé environnementale (BISE) a pour mission le transfert de connaissances en santé environnementale. Plus précisément, le BISE a comme objectifs d’actualiser les connaissances en santé environnementale, de contribuer à leur diffusion et à leur partage, ainsi que de valoriser des expériences ou des interventions de terrain entre les acteurs de la santé environnementale du Québec. Le positionnement du BISE en tant que publication en santé publique – et en santé environnementale en particulier – est unique dans l’espace informationnel au Québec et, probablement, en francophonie.

Quelques dates repères

1989 : Création du BISE par Pierre Gosselin, alors président du Comité de santé environnementale des Départements de santé communautaire. Le bulletin comprenait alors des résumés d’avis et d’articles scientifiques, la description des réglementations environnementales, des activités scientifiques, des interventions régionales et une revue de presse. Le Bulletin était imprimé et expédié par la poste, gratuitement. Dix ans après sa création (1999), le nombre de lecteurs du Québec et du monde francophone était estimé à environ 5 000. À partir de 2003, la version papier et le format PDF cohabitent.

2009 : Enquête auprès des abonnés et du comité de rédaction sur la satisfaction quant aux contenus et sur l’acceptabilité du passage à une version électronique uniquement. Élaboration d’une politique éditoriale. Résultats : la satisfaction est élevée quant au format ainsi qu’au contenu et la crédibilité est reconnue. 88 % des répondants sont prêts à consulter le bulletin en format électronique uniquement.

2011 : Abandon de la version papier et déploiement du portail Web. Le Bulletin compte désormais 800 abonnés, soit le double depuis 2010. Les statistiques de fréquentation indiquent que 69 % des internautes accèdent au portail par des moteurs de recherche, 16 % directement et 15 % à partir de sites où le BISE est référencé.

2012 : Afin d’améliorer la visibilité du Bulletin et de mieux couvrir le domaine de la santé environnementale, la publication de résumés d’articles scientifiques, rédigés par de nouveaux collaborateurs de l’Unité Santé et environnement de l’Institut national de santé publique du Québec, dont les expertises sont mises à profit, est intercalée deux fois par mois avec la publication des numéros. Des outils d’aide à la rédaction, afin de favoriser l’adaptation des contenus, leur sont destinés.

Pourquoi une évaluation en 2017?

Plusieurs raisons ont motivé la réalisation d’une évaluation étoffée du Bulletin en 2017. En premier lieu, l’utilisation d’Internet a profondément transformé les comportements de consultation et de recherche d’information des individus. Comparativement à ses débuts, le BISE est aujourd’hui en compétition avec de multiples ressources informationnelles en transfert de connaissances telles que  les communautés de pratique en santé environnementale et en investigation des éclosions, le Portail santé mieux-être du gouvernement du Québec, le Centre de collaboration nationale en santé environnementale, le site Web Mon climat, Ma santé, les programmes de webinaires ou d’autres activités de développement des compétences, tous les sites internationaux, etc.

En deuxième lieu, des changements stratégiques récents, par exemple l’adoption du Programme national de santé publique, ont favorisé le décloisonnement des équipes de travail, ce qui a conduit à plus d’interactions avec les autres domaines de la santé publique. Œuvrer en santé environnementale à l’heure actuelle exige une ouverture à des problématiques nouvelles et vers d’autres domaines de santé publique, en promotion de la santé par exemple.

En dernier lieu, la production du BISE repose sur la collaboration des membres de l’Unité Santé et environnement qui doivent composer avec leur charge de travail régulière et leur désir de partager les connaissances les plus récentes. Dans un tel contexte, s’interroger sur l’adéquation entre les contenus et les besoins en transfert des connaissances que représente le BISE était aussi valable pour notre propre organisation.

Plusieurs questions se posaient alors : le BISE a-t-il toujours sa place parmi ces diverses plateformes et outils mis à la disposition des professionnels? Est-il toujours pertinent, utile?

Méthodologie

Les évaluations précédentes ont porté sur la satisfaction des abonnés quant au format et au contenu du bulletin, ainsi que sur sa crédibilité scientifique. Pour l’évaluation 2016-2017, la démarche a été élargie et guidée par l’adoption d’un cadre d’évaluation en transfert des connaissances, présenté ci-après.

Cadre d’évaluation

Le cadre adopté permet d’apprécier les retombées des stratégies de transfert des connaissances. Ce cadre est élaboré pour le domaine de la santé publique1. Il se décline en quatre objectifs de transfert des connaissances : informer; favoriser le changement d’attitude; influencer la prise de décision; améliorer les pratiques professionnelles et organisationnelles. Considérant la mission du BISE, son évaluation se rapporte au premier objectif, soit fournir de l’information ainsi que des connaissances rigoureuses et pertinentes.

L’utilisation du cadre de référence a permis d’aborder plusieurs dimensions d’évaluation, principalement les retombées à court et à moyen terme. Toutefois, l’impact à long terme n’a été évalué qu’à partir d’un seul indicateur. À chacune de ces dimensions sont associés des indicateurs mesurables (voir tableau 1). Tous les outils de collecte de données utilisés sont basés sur ce cadre de référence.

Tableau 1 - Indicateurs utilisés pour l'évaluation 2017

Indicateurs utilisés pour les retombées
Atteinte et portée (court terme) Utilisation des connaissances (moyen terme) Impacts et atteinte des objectifs (long terme)
  • Participation (abonnements);
  • Intérêt, habitude de lecture, cohérence avec la mission;
  • Satisfaction (crédibilité, degré de synthèse, lisibilité, fréquence de parution, etc.);
  • Préférence d’autres sources documentaires.
  • Acquisition de nouvelles connaissances;
  • Prise en considération (perception d’utilité, intention d’utiliser);
  • Adaptation et reprises des contenus.
  • Utilisation conceptuelle (meilleure compréhension d’une problématique au fil du temps et du cumul des connaissances);
  • Crédibilité accordée aux connaissances et reconnaissance de l’expertise*;
  • Harmonisation des messages.
Indicateurs utilisés pour les perspectives
  • Vision du bulletin, positionnement et pertinence dans le contexte actuel;
  • Retombées sur l’utilisation des connaissances;
  • Idées novatrices pour améliorer la production;
  • Capacité et intérêt de l’organisation à poursuivre;
  • Mesures proposées.

* Seul indicateur mesuré pour l’impact à long terme.

Techniques d’enquête

Un sondage en ligne a été réalisé auprès du public prioritaire du Bulletin, soit les professionnels et les médecins de santé environnementale des directions de santé publique (DSP), du ministère de la Santé et des Services sociaux (MSSS) et de l’Institut national de santé publique du Québec (INSPQ), du 1er au 17 février 2017. Les indicateurs présentés au tableau 1 ont été couverts par le questionnaire qui comprenait 29 questions. L’intérêt du public cible à contribuer à la rédaction d’articles a aussi été sondé. À noter que les quelque 800 abonnés provenant d’horizons professionnels multiples n’ont pas été sondés, afin de se concentrer sur la description des besoins du public prioritaire du Bulletin.

Des entrevues avec les 11 responsables des équipes scientifiques et les gestionnaires de l’Unité Santé et environnement de l’INSPQ ont été réalisées. Les entrevues se sont déroulées de janvier à avril 2017.

Résultats

Au total, 61 répondants ont participé au sondage. Ils provenaient des DSP des centres intégrés de santé et de services sociaux (CISSS) et des centres intégrés universitaires de santé et de services sociaux (CIUSSS) (n = 31), de l’INSPQ (n = 13) et du MSSS (n = 4). Basé sur le répertoire le plus récent des ressources professionnelles en santé environnementale en date de 2016, le taux de réponse estimé est de 30 %.

Les résultats obtenus à partir du sondage et des entrevues sont traités simultanément en fonction des indicateurs décrits.

Retombées

Atteinte et portée

D’après les données du sondage, le BISE rejoindrait plus de 85 % (52/61) de son public cible. Les raisons invoquées par celles et ceux qui ne lisent pas le Bulletin sont la méconnaissance de son existence (5/8), le fait de ne pas être avisé lors de sa parution (2/8) ou le manque de temps (1/8). Les répondants qui ont mentionné ne pas lire le Bulletin sont exclus d’une partie du questionnaire, ce qui explique la variation du nombre de répondants pour certains résultats.

Selon les répondants, les différentes rubriques offertes répondent à leurs besoins d’information et elles sont cohérentes avec la mission du BISE (figure 1). En général, ils consultent le Bulletin pour suivre l’actualité en santé environnementale (45/49), pour mettre à jour leurs connaissances (41/49), pour des recherches liées à leur travail (27/49) et par intérêt personnel (14/49). Deux autres raisons sont exprimées soit pour connaître les projets en cours (1/49) ou s’informer sur leurs propres dossiers (1/49).

Figure 1 - Raisons de consultation du BISE (Plusieurs raisons possibles) (n = 49)

En général, la satisfaction des répondants est élevée quant à la sélection des sujets et à leur adaptation ainsi qu’aux aspects liés au format (figure 2). Un degré de satisfaction plus faible est observé pour des aspects liés à la plateforme du BISE elle-même, soit la navigation, le moteur de recherche et la facilité d’impression. La crédibilité accordée au BISE, un indicateur de la portée à long terme, est excellente (17/46), très bonne (23/46) ou bonne (6/46) (données non présentées).

Figure 2 - Degré de satisfaction moyen en lien avec l’adaptation et la présentation sur le portail (n = 45)

1 : très satisfaisant, 2 : satisfaisant, 3 : peu satisfaisant, 4 : pas du tout satisfaisant.

Utilisation des connaissances

Les retombées à moyen terme se rapportent à l’acquisition de nouvelles connaissances, à leur prise en considération dans la pratique professionnelle et à la reprise des contenus, telle quelle ou sous une forme adaptée.

Selon les données du sondage, le BISE contribue à l’acquisition de nouvelles connaissances, en particulier l’article principal (figure 3). Les connaissances acquises sont considérées comme utiles dans la pratique professionnelle.

Figure 3 - Degré d’accord moyen en lien avec l’utilisation des connaissances (n = 43)

1 : tout à fait d’accord, 2 : d’accord, 3 : ni en désaccord ni en accord, 4 : pas d’accord, 5 : pas du tout d’accord.

En général, les données du sondage et celles obtenues lors des entrevues avec les collaborateurs du BISE montrent que le Bulletin est une source de référence utile dans la pratique professionnelle (figure 4). D’autres utilisations sont rapportées en lien avec l’aspect synthèse des articles (retour sur un sujet déjà traité, initiation à un sujet, préparation pour une entrevue journalistique). De plus, le BISE est utilisé comme véhicule pour faire connaître des avis ou des rapports sous une forme adaptée et plus synthétique. Cet aspect est apprécié, car il facilite la diffusion auprès du réseau de la santé ou des partenaires externes.

Figure 4 - Prise en considération du BISE comme outil de référence (%) (n = 43)

Perspectives d’amélioration

Reconnaissant l’apport du Bulletin comme outil de référence crédible, plusieurs propositions émergent du sondage et des entrevues. Partant du constat que le public cible n’est pas entièrement rejoint, des efforts de promotion devront être mis en œuvre. Sur le plan du format, l’amélioration de la navigation, de la performance du moteur de recherche, de l’impression et la consultation simplifiée des tables des matières des numéros précédents sont mentionnées.

Les avis concernant la place accordée aux interventions et aux expériences des DSP sont partagés : 14 répondants sur 48 (30 %) disent que cette place est insuffisante. Toutefois, 11 des 31 répondants des DSP ont exprimé leur intérêt à partager leurs expériences dans l’avenir, ce qui permet d’envisager un meilleur équilibre lors des prochaines parutions.

Concernant le contenu, de nouvelles rubriques sont suggérées : veille réglementaire, recherche universitaire, portraits de professionnels de santé environnementale, entrevues avec des experts. Des numéros thématiques intégrant des aspects scientifiques et des interventions régionales sont aussi proposés.

Discussion et conclusion

Le BISE est publié depuis près de 30 ans. Au cours de ces années, le Bulletin a conservé sa mission d’origine, tout en s’adaptant aux changements technologiques. Comme outil de référence pour son public cible, il n’est pas unique, mais il conserve une place enviable et reconnue.

Les données de l’évaluation du sondage montrent que le Bulletin permet d’acquérir des connaissances en santé environnementale (portée à court terme) et que l’information qui y est véhiculée a aussi une portée à moyen terme puisqu’est utilisée dans la pratique. Ces retombées positives militent en faveur de sa continuité.

Des ajustements sont prévus afin de tenir compte des suggestions et des commentaires émis par les répondants au sondage et aux entrevues. Ces adaptations devront prendre en compte les besoins des lecteurs, les changements de la pratique professionnelle, les enjeux émergents du domaine, ainsi que les nouveaux outils disponibles pour les professionnels, par exemple la communauté de pratique en santé environnementale. La création d’un comité scientifique comprenant un représentant d’une DSP et d’un autre du milieu universitaire devrait favoriser la prise en compte de ces nouvelles réalités.

Certaines conditions sont à mettre en place afin de donner un nouvel élan au Bulletin. L’intérêt manifesté pour une plus grande participation au partage d’interventions régionales doit être soutenu par les gestionnaires des DSP. De même, les efforts déployés par les membres du comité de rédaction doivent être reconnus comme faisant partie intégrante de leur pratique.

Le BISE compte actuellement 800 abonnés qui appartiennent à divers milieux gouvernementaux et non gouvernementaux : santé, éducation, environnement et médias, au Québec et dans le monde francophone. À ce titre, il contribue au rayonnement de l’expertise en santé environnementale au Québec.

Les unes du BISE au fil des ans

Pour toute correspondance

Claire Laliberté
Direction de la santé environnementale et de la toxicologie
Institut national de santé publique du Québec
945, avenue Wolfe, 4e étage
Québec (Québec)  G1V 5B3
418 650-5115, poste 5253
Courriel : [email protected]

Référence

  1. Gervais, M.-J., Souffez, K., Ziam, S. Quel impact avons-nous? Vers l’élaboration d’un cadre pour rendre visibles les retombées du transfert des connaissances. Revue francophone de recherche sur le transfert et l’utilisation des connaissances,1(2), janvier-juin 2016. Disponible : r-libre.teluq.ca/725/1/Article%20TUC%20.pdf
Sujet(s) INSPQ