21st-Century Skills: The 4Cs as a Target Competency Profile

Beyond Gains and Losses: What Are We Really Measuring?

From Traditional Metrics to Technology-Based Assessment

Final Reflections: Policies, Realities and Technology

In the past, a student who could correctly solve a mathematical formula was considered successful. Today, the same student is expected to go beyond calculation, to critically analyse its relevance in real-world contexts, communicate their understanding of the problem, collaborate on interpreting outcomes, and generate new knowledge as solutions connected to real-life situations. The action-oriented verbs described above, reflecting the competencies demanded in today’s world, are often presented as 21st-century skills, frequently referenced but not always retained (OECD, 2023b). If the reader remembers them simply as the “4Cs,”: a modern citizen is expected to be critical (1C), communicative (2C), collaborative (3C), and creative (4C) when navigating real-world contexts (Binkley et al., 2012; Schnell-Zalay-Gombás, 2021). This should be the question of modern educators when seeing a report of assessment data: How much of the 4Cs is captured in the profile of students assessed?

For policy makers, this question gets flipped a bit: are we measuring what is easy to assess, or what is the prerequisite for our learners’ future? In this context, it becomes important to consider how much of these demanded competencies are actually reflected in reported results, and to what extent what is currently measured contributes to their development over time. Most importantly, a well-informed policy maker would want to understand how modern assessment practices can address this challenge, supporting a shift from measuring performance trends to reporting the extent to which the 4Cs are represented in the profiles of students assessed.

This article reflects on how the concept of 21st-century skills reshapes the interpretation of assessment results, shifting the discourse from tendencies of gain or loss vs. the extent to which reported outcomes represent the competencies on target, and how technology-based assessment can support the measurement of higher-order skills (Jones, 2024; International Test Commission, 2023; OECD, 2021).

21st-Century Skills: The 4Cs as a Target Competency Profile

Policy makers’ discussions on education often begin with concerns about declining trends in foundational skills or improvements in performance following a reform. However, decision-makers may become constrained by focusing only on drops or gains in results, often for legitimate accountability reasons. In doing so, an important reality can be overlooked: what learners are expected to know and be able to do to succeed in the modern world is constantly evolving from remembering and understanding to evaluation and creation (Anderson & Krathwohl, 2001). One way to avoid this trap is to question whether the interpretation of results reflects real-world demands. Linking outcomes to the concept of 21st-century skills can help maintain this broader perspective (OECD, 2023b; World Economic Forum, 2020).

The term 21st-century skills typically refers to a cluster of competencies that enable individuals to function effectively in modern social, economic, and technological environments (World Economic Forum, 2020).

The 4C’s in 21st century skills (Schnell-Zalay-Gombás, 2021).

The “4Cs” provide a useful foundation as the core of 21st-century competencies; however, research-informed frameworks extend this core into a broader architecture that integrates cognitive, interpersonal, and intrapersonal domains, alongside digital and applied skills (Pellegrino & Hilton, 2012; Care et al., 2018). More recently, this landscape has evolved to incorporate social and emotional learning (SEL), recognizing that competencies such as resilience, self-regulation, empathy, and responsible decision-making are integral to how learners apply knowledge in practice.

In practice, the boundaries among these new definitions are often blurred. For example, problem solving requires persistence, where collaboration depends on communication and empathy, and creativity often emerges through exploration and resilience. So, these competencies do not replace each other, instead reinforce one another. Therefore, this article focuses on the 4Cs to present the argument in a clear and accessible way. Regardless of the framework referenced, the key messages of the article remain applicable.

Beyond Gains and Losses: What Are We Really Measuring?

The focus on gains versus losses reflects a measurement-driven, positivist perspective, centered on what can be quantified, while a capability-oriented view shifts the question toward how what learners know and can do prepares them for future realities. The latter provides a clearer, purpose-driven narrative that is easier to communicate, whereas the former can become detached from real-world relevance. While assessment frameworks define what is being measured, they are often less referenced once results are reported, making it harder to relate outcomes to broader concepts such as 21st-century skills, which are inherently linked to readiness for tomorrow (OECD, 2020; OECD, 2023b).

It is interesting to observe that assessment frameworks are often well defined; however, once we move into the world of measurement, the technical focus of the field tends to prioritise the precision and excellence of measurement itself. In this process, the original assessment frameworks can become less visible, which limits interpretation and shifts attention away from broader goals such as 21st-century skills. As a result, a fundamental question may be overlooked: are our graduates capable of navigating a digital world and solving real-life problems that require critical analysis, clear communication of insights, and collaboration toward creative solutions?

To respond to the main question of this section, assessment practices can broadly be understood through two dimensions: what is being measured and how results are interpreted and reported.

1. Claiming to measure 21st-century skills

• Aligned scenario (purpose-driven interpretation): Assessment measures 21st-century competencies and remains anchored to its original purpose when reporting results. Instead of focusing solely on gains or losses, it reports the extent to which the 4Cs are represented in the profiles of students assessed.

• Misaligned scenario (measurement-driven reporting): Assessment claims to measure 21st-century skills, but once results are reported, the original purpose is no longer referenced. Reporting focuses primarily on gains or losses, limiting interpretive value and weakening the connection to the targeted competencies.

2. Measuring knowledge (non-21st-century skills)

• Aligned scenario (purpose-driven interpretation): Assessment focuses on knowledge and remains aligned with its defined purpose. Results are interpreted in terms of how knowledge levels are represented in the profiles of students assessed, rather than only reporting gains or losses.

• Misaligned scenario (measurement-driven reporting): Assessment measures knowledge, but reporting reverts to gains and losses without linking back to the intended purpose. This limits the depth of interpretation and reduces the usefulness of the results for informing learning and policy.

This breakdown can be presented to policy makers and educators alike with a central question: are we measuring what is easy to assess (often reflected in knowledge-based measures), or what is important for learners’ future (reflected in 21st-century competencies)? 

In either case, policy makers gain more when supporting or adopting purpose-driven approaches, which act as a lighthouse, providing direction, maintaining alignment with intended outcomes, and supporting progress to be tracked over time. 

And the most important angle of the question above is the enquiry on student readiness for tomorrow, which can serve as a wake-up call for many organizations and prompt reconsideration. In this context, a culture of continuously revisiting the purpose of assessment (in some cases updating it, too) in the review of results becomes a strategy for a sustained human development agenda.

From Traditional Metrics to Technology-Based Assessment (TBA)

In the learning journey, assessment sits somewhere at the centre, with the potential to provide feedback and support the continuation of learning. Traditionally, assessment metrics have focused on measuring knowledge and reporting results in terms of gains and losses. In this context, the key question becomes: how can technology help move this approach forward?

Technology with the power of assessment comes up with practices of TBA (International Test Commission, 2023; OECD, 2021; Jones, 2020), which could help to build a strategy around moving beyond traditional metrics in the following ways:

• technology empowers and the use of TBA could support policy makers move from what is easy to assess toward what is more difficult to measure, such as 21st-century skills;

• the assessment of higher order thinking skills would also encourage policy makers to return to the original purpose of assessment and reflect more explicitly on students’ readiness for the future.

In addition to the benefits of TBAs, large volumes of process data are generated. The availability of this much data creates so many opportunities for the use of AI to provide insights and feedback, supporting process improvement in assessment organizations, strengthening quality assurance, and advancing learning within the educational agenda (OECD, 2023a).

Final Reflections: Policies, Realities, and Technology

What we observe today is a tension in policy and practice, often driven by the gap in the way assessment is viewed by both sides, a challenge that has persisted for many years. Traditionally, policy-related discourse often centres on gains and losses for accountability purposes. The emergence of reality-driven competencies, such as 21st-century skills, is beginning to disrupt this space, prompting a critical question for assessment professionals: to what extent do current assessments reflect the skills required for tomorrow? The question can regularly be revisited through a purpose-driven interpretation, aligning assessment results with the broader goal of capturing 21st-century skills within learner profiles, especially on how the 4Cs are reflected in student profiles, avoiding the narrow focus of reporting gains or losses in performance. 

The power of assessment is fully realized when it measures the demands of tomorrow, provides a test of real-world skills, and builds students’ confidence for practical application, ultimately serving as a compass for students’ navigation and success in real life. Technology, through the use of TBAs and the growing availability of process data supported by AI, brings new opportunities to move beyond static outcomes toward a deeper understanding of how learners think, interact, and develop. Ultimately, the future of assessment lies in balancing what is measured with how it is interpreted, making sure the balance reflects learners’ readiness to succeed in an increasingly complex world.

About the Author 

Vali Huseyn is an educational assessment expert and quality auditor, recognized for promoting excellence and reform-driven scaling in assessment organizations. He mentors edtech & assessment firms on reform-aligned scaling by promoting measurement excellence, drawing on his field expertise, government experience, and regional network.

He holds a master degree in educational policy from Boston University (USA) and Diploma of Educational Assessment from Durham University (UK). Vali has supported national reforms in Azerbaijan and, through his consultancy with AQA Global Assessment Services, works with Kazakhstan and the Kyrgyz Republic to align assessment systems with international benchmarks such as CEFR, PISA, and the UIS technical criteria. He also works as a quality auditor in partnership with RCEC, most recently audited CENEVAL in Mexico. In addition, he promotes awareness of the use of technology across the assessment cycle through his work with Vretta. Fluent in Azerbaijani, Russian, Turkish, and English, he brings a deep contextual understanding to cross-country projects.

If you would like to discuss your approaches to align measurement and reporting with 21st-century competencies such as the 4Cs, or explore opportunities to showcase and promote your work, please feel free to contact Vali Huseyn at: vali.huseyn@vretta.com | LinkedIn

References

1. Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. Longman. https://www.researchgate.net/publication/235465787_A_Taxonomy_for_Learning_Teaching_and_Assessing_A_Revision_of_Bloom's_Taxonomy_of_Educational_Objectives 

2. Binkley, M., Erstad, O., Herman, J., Raizen, S., Ripley, M., Miller-Ricci, M., & Rumble, M. (2012). Defining twenty-first century skills. In P. Griffin, B. McGaw, & E. Care (Eds.), Assessment and teaching of 21st century skills (pp. 17–66). Springer. https://link.springer.com/chapter/10.1007/978-94-007-2324-5_2  

3. Care, E., Kim, H., Vista, A., & Anderson, K. (2018). Education system alignment for 21st century skills: Focus on assessment. Brookings Institution. https://www.brookings.edu/research/education-system-alignment-for-21st-century-skills/ 

4. International Test Commission. (2023). Guidelines for technology-based assessment. https://www.intestcom.org/files/guideline_technology-based-assessment.pdf 

5. Jones, R. (2020). Developing a strategy for using technology-enhanced items. RMJ Assessment. https://www.rmjassessment.com/2020/02/14/developing-a-strategy-for-using-technology-enhanced-items/

6. Jones, R. (2020). Developing a strategy for using technology-enhanced items. RMJ Assessment. https://www.rmjassessment.com/2020/02/14/developing-a-strategy-for-using-technology-enhanced-items/

7. Organisation for Economic Co-operation and Development (OECD). (2020). Curriculum overviews: Future-ready learning frameworks. OECD Publishing. https://www.oecd.org/education/curriculum-overviews/ 

8. Organisation for Economic Co-operation and Development (OECD). (2021). 21st-century readers: Developing literacy skills in a digital world. OECD Publishing. https://www.oecd.org/en/publications/21st-century-readers_a83d84cb-en.html

9. Organisation for Economic Co-operation and Development (OECD). (2023a). AI in education: Challenges and opportunities. OECD Publishing. https://www.oecd.org/education/ai-in-education/

10. Organisation for Economic Co-operation and Development (OECD). (2023b). OECD learning compass 2030: Transformative competencies. OECD Publishing. https://www.oecd.org/education/2030-project/learning-compass-2030/ 

11. Pellegrino, J. W., & Hilton, M. L. (2012). Education for life and work: Developing transferable knowledge and skills in the 21st century. National Academies Press. https://doi.org/10.17226/13398 

12. World Economic Forum. (2020). Schools of the future: Defining new models of education for the fourth industrial revolution. https://www.weforum.org/reports/schools-of-the-future-defining-new-models-of-education-for-the-fourth-industrial-revolution/ 

13. Schnell-Zalay-Gombás, A. (2021). The 4Cs in 21st century education. https://www.researchgate.net/figure/The-4Cs-in-21st-century-skills-Schnell-Zalay-Gombas-2021_fig3_361540408 

Who are these Guidelines for?

How is the Document Structured? 

The Key Change: A Broader Risk Awareness

How can this Document be Used Strategically?

Why ATP 2026 Is the Right Moment to Revisit These Guidelines

Twenty years ago, when technology-based testing was still finding its footing, the conversation was mostly about delivery. Could we move from paper to screen? Could we scale? Could we score faster? 

Today, those questions appear relatively narrow in scope. Technology no longer sits at the edges of assessment. It shapes the entire lifecycle, from item development to scoring algorithms, from data storage to cross-border regulation. And when technology shapes experience, it shapes validity, fairness, and trust. That is why the updated Guidelines for Technology-Based Assessment (Version 1.1, July 2025) authored by the International Test Commission (ITC) and Association of Test Publishers (ATP) matter.

The updated Guidelines are comprehensive and technical. Most professionals will not read them cover to cover, and they do not need to. What follows is a structured orientation: who the document is really for, what has changed, and how it can be used strategically in practice.

Who are these Guidelines for?

These Guidelines are not written for academics alone. They speak directly to: 

• Assessment developers and psychometric teams 

• Ministries of education and national examination bodies 

• Test publishers and edtech platform providers 

• Certification and licensure organizations 

• Leaders responsible for governance, compliance, and quality assurance 

What unites these stakeholders is a collective obligation to uphold validity, fairness, and integrity in technology-enabled assessment. 

Importantly, this is not a regulatory document. It does not impose standards. Instead, it provides structured, internationally recognized guidance for responsible practice in a digital assessment environment. In an era of AI-assisted scoring, remote delivery, and data integration, that distinction matters.

How is the Document Structured? 

The strength of the Guidelines lies in their structure. They recognize that technology-based assessment is not a single decision, it is an ecosystem. 

The document is organized into four parts: 

Part I sets the context: purpose, scope, and rationale. It clarifies that guidance, not prescription, is the goal.

Part II revisits foundational measurement principles, validity, fairness, reliability, construct representation, and reminds us that technology does not replace these principles; it amplifies the need to protect them. 

Even as technology reshapes assessment, foundational principles such as validity, fairness, and reliability remain central because digital systems introduce new sources of construct-irrelevant variance, accessibility challenges, data governance complexities, and algorithmic risks that must be anticipated and managed.

Part III forms the operational core. It covers the entire assessment lifecycle:

• Test development and technology-enhanced items 

• Design and adaptive assembly 

• Delivery environments and disruptions 

• Scoring (including automated and AI-assisted methods) 

• Results reporting Data management, security, and privacy 

• Fairness, accessibility, and global considerations 

Part IV addresses emerging applications. Here the document shifts from theory to contemporary reality: artificial intelligence, generative AI, automated item generation, biometric tools, and regulatory developments. The transition consistently ties each of these back to core measurement principles, demonstrating that technological innovation must be governed by validity, fairness, reliability, and responsible data practices to make sure that new tools contribute positively, rather than undermine, assessment quality.

This structure signals something important: technology is no longer a feature of assessment. It is the infrastructure of assessment.

The Key Change: A Broader Risk Awareness

The 2025 update does not redefine what good assessment means. Validity, fairness, and reliability remain central. What has changed is the recognition of new risks. 

The foundational sections now explicitly acknowledge how digital interfaces, AI systems, and remote environments can introduce construct-irrelevant variance or inequities if poorly governed. The risk is no longer hypothetical, it is embedded in daily practice.

The core guideline sections go deeper into: 

• Ethical and responsible use of artificial intelligence 

• Data governance and privacy management 

• Transparency in automated and AI-assisted scoring 

• Integration of assessment data with other digital systems 

• Accessibility in increasingly complex digital environments 

But perhaps the most visible shift appears in the treatment of emerging technologies. Generative AI is no longer treated as an experimental edge case. It is addressed as a present reality requiring validation, oversight, and regulatory awareness. 

AI and other advanced technologies can significantly increase efficiency. They can accelerate item generation, support large-scale scoring, detect anomalies, enhance accessibility features, and provide richer data insights. In many operational areas, they reduce manual workload and improve speed and scalability. 

However, these efficiencies do not eliminate professional responsibility; they redistribute and, in some areas, intensify it. The responsibility shifts from manual execution to design oversight, validation, governance, and transparency. 

When AI generates items, experts must verify construct alignment and detect bias. When automated scoring is deployed, psychometricians must evaluate model performance and fairness. When systems integrate large volumes of candidate data, governance leaders must ensure privacy, security, and regulatory compliance. 

The message is therefore more precise: technological capability can streamline processes, but it increases the need for deliberate oversight, documented validation, and ethical accountability. Efficiency expands; so does the responsibility to govern it properly.

How can this Document be Used Strategically?

The Guidelines are well-composed together by design. They are meant to support diverse organizations across different stages of digital maturity, and to be revisited as questions arise, not necessarily read sequentially from beginning to end. 

Their real value lies in how they are applied.

First, as a tool for internal policy alignment. Are AI tools in item generation or scoring documented and validated? Is data governance consistent across systems? Are accessibility considerations embedded from design rather than retrofitted? The Guidelines offer a structured lens for asking these questions before external stakeholders do. 

Second, as evidence in audits, tenders, and accreditation processes. Alignment with internationally recognized guidance strengthens defensibility. In an environment where assessment decisions are scrutinized by regulators, media, and courts, shared professional reference points matter. 

Third, as a foundation for staff onboarding and capacity building. As teams transition from traditional digital testing to AI-supported systems, they need a shared language. The Guidelines provide that common vocabulary across technical, psychometric, and governance domains. 

In short, the Guideline is both a technical manual and a governance framework for digital assessment maturity.

Why ATP 2026 Is the Right Moment to Revisit These Guidelines 

Guidelines do not change practice on their own. Organizations do.

At the ATP Innovations in Testing 2026 Conference, this shift from principle to practice becomes visible. The presentation by the Education Quality and Accountability Office (EQAO) and Vretta does not treat the ITC/ATP Guidelines as a document to reference. It treats them as an operational framework. Through a structured professional learning program, cross-team dialogue, and ongoing reflection, the Guidelines were used to anchor modernization efforts, strengthen psychometric procedures, enhance data lifecycle governance, and guide an AI implementation roadmap.

This is precisely why ATP 2026 matters.

The updated TBA Guidelines arrive at a time when organizations are moving beyond the adoption of digital tools toward alignment and governance. AI scoring transparency, data privacy, accessibility, and regulatory pressures are not abstract debates. They are implementation decisions being made now.

What the EQAO-Vretta case illustrates is that alignment with the Guidelines is not a compliance exercise. It is a catalyst for professional learning, institutional clarity, and innovation grounded in best practice. 

For example, through the Professional Learning Program, cross-functional teams systematically reviewed each chapter of the Guidelines against existing EQAO practices, examining areas such as automated scoring transparency, data lifecycle governance, and accessibility design. This reflection led to documented refinements in psychometric procedures, strengthened test security protocols, and a structured roadmap for responsible AI implementation.

Professional interpretation happened through dialogue, case sharing, and peer exchange rather than checklist compliance. Conferences create a space where principles are tested against real-world implementation.

For those attending ATP Innovations in Testing 2026, the full conference program is available here:

In particular, I encourage participants to attend the session “Maximizing the ITC/ATP Guidelines: From Practice to Innovation” on Tuesday, March 3, 2026, from 1:45 PM – 2:30 PM (Bolden 5 - 2nd Floor) to experience the shared journey of how structured reflection on the Guidelines can support organizational transformation.

This session offers an opportunity to examine how organizations are actively aligning their modernization efforts with the Guidelines, strengthening governance, advancing innovation responsibly, and embedding internationally recognized principles into everyday assessment practice.

The real question is no longer whether we can build more advanced digital systems. It is whether we can align them responsibly with shared professional standards.

That is exactly what these Guidelines invite us to do.

About the Author 

Vali Huseyn is an educational assessment expert and quality auditor, recognized for promoting excellence and reform-driven scaling in assessment organizations. He mentors edtech & assessment firms on reform-aligned scaling by promoting measurement excellence, drawing on his field expertise, government experience, and regional network.

He holds a master degree in educational policy from Boston University (USA) and Diploma of Educational Assessment from Durham University (UK). Vali has supported national reforms in Azerbaijan and, through his consultancy with AQA Global Assessment Services, works with Kazakhstan and the Kyrgyz Republic to align assessment systems with international benchmarks such as CEFR, PISA, and the UIS technical criteria. He also works as a quality auditor in partnership with RCEC, most recently audited CENEVAL in Mexico. In addition, he promotes awareness of the use of technology across the assessment cycle through his work with Vretta. Fluent in Azerbaijani, Russian, Turkish, and English, he brings a deep contextual understanding to cross-country projects.

If you would like to discuss your approaches to assessment modernisation or explore opportunities to showcase and promote your work, please feel free to contact Vali Huseyn at: vali.huseyn@vretta.com | LinkedIn

References

1. Association of Test Publishers (ATP) Association of Test Publishers. (n.d.). About the Association of Test Publishers. https://www.testpublishers.org 

2. Education Quality and Accountability Office (EQAO) Education Quality and Accountability Office. (n.d.). About EQAO. https://www.eqao.com

3. International Test Commission & Association of Test Publishers. (2025). Guidelines for technology-based assessment (Version 1.1, July 2025) [PDF]. Association of Test Publishers & International Test Commission. https://www.testpublishers.org/assets/TBA%20Guidelines%20ver%201.1%20July%202025.pdf

4. International Test Commission (ITC) International Test Commission. (n.d.). About the International Test Commission. https://www.intestcom.org 

5. The Association of Test Publishers. (2026). ATP Innovations in Testing 2026 full program. https://canvasmeetings.swoogo.com/atpinnovations2026/fullprogram 

6. Vretta Vretta Inc. (n.d.). Vretta: Assessment solutions. https://www.vretta.com 

Founded in 1975, the International Association for Educational Assessment (IAEA) is a global non-profit, non-governmental association of educational assessment organizations. It provides a worldwide forum for all those engaged in educational assessment, in all its forms, in elementary and/or secondary schools, colleges and universities, or the workplace. Its diverse membership includes assessment and research organizations, examining bodies, college and university departments, and governmental agencies from more than 50 countries.

The IAEA’s general purpose is to improve the quality of education by assisting educational agencies in developing and appropriately applying educational assessment techniques. IAEA believes this is best achieved through international co-operation and is committed to facilitating the development of closer ties among the relevant agencies and individuals worldwide. The IAEA believes that such international co-operation can help participants learn from one another while respecting their cultural autonomy.

The organization’s main objectives are to:

• improve communication among organizations involved in educational assessment by sharing professional expertise through conferences and publications, and by providing a framework in which cooperative research, training, and projects involving educational assessment can be undertaken,

• make expertise in assessment techniques more readily available for the solution of educational problems,

• co-operate with other agencies with complementary interests, and

• engage in activities for the improvement of assessment techniques and their appropriate use by educational organizations around the world.

The IAEA has consultative status with the United Nations Educational, Scientific and Cultural Organization (UNESCO) to achieve mutual goals. As a non-governmental organization (NGO), the IAEA plays an active role in UNESCO activities, which are increasingly focused on assessment and evaluation. More information about the IAEA is available here: https://iaea.info/about-us/purpose-and-objectives/.

About the IAEA 2026 Annual Conference in Canada

Over the past 50 years, the IAEA Annual Conference has been held in countries including Zambia, the USA, Jamaica, Mexico, the UK, South Africa, Singapore, Australia, and many others worldwide.

For the first time, the IAEA Annual Conference, its 51^st, will be held in Canada. It is hosted by the Education Quality and Accountability Office (EQAO), the provincial assessment agency of the Ontario Ministry of Education, and the supporting partner organization, Vretta.

This global event will provide an in-person venue for sharing experiences, advancing research, enhancing professional collaboration, and building partnerships with examining bodies, research organizations, colleges and universities, and government agencies worldwide.

This global event will provide an in-person venue for sharing experiences, advancing research, enhancing professional collaboration, and building partnerships with examining bodies, research organizations, colleges and universities, and government agencies worldwide.

The following are some conference highlights:

• Theme: Trust, Transparency and Technology in Educational Assessment

• Dates: September 27 to October 2, 2026

• Venue: Marriott Downtown, Toronto, Canada

• Deadline for Call for Presentation Abstracts: March 31, 2026

• Deadline for Early-bird Registration: June 15, 2026

Here are a few links to information on the conference:

• Link to view the conference information brochure.

• Link to view the sponsoring and advertising opportunities.

Be sure to attend this prestigious international event. For more information, visit the conference website at www.iaea2026.org and email info@iaea2026.org if you have any questions.

Research consistently shows that early identification and intervention lead to better academic outcomes and help reduce long-term educational disparities^[1]. Early screening matters not only because it reveals risk, but because it enables data-informed decision-making, targeted instruction, and efficient allocation of resources to support all students.

Early Skills Predict Later Achievement

Decades of research has shown that academic skills measured at or prior to school entry are strong predictors of later literacy and mathematics achievement^[2]. Longitudinal work demonstrates that early competencies such as print knowledge, phonological processing, and number sense predict later outcomes in reading and mathematics well into elementary school and beyond^[3].

A recent cross-domain study found that kindergarten verbal and symbolic skills independently predicted later academic outcomes, suggesting that early screening practices should span multiple domains, including both literacy and numeracy^[4].

First Principles of Effective Screening: Early, Universal, Repeated and Sensitive Enough

Early screening is most effective when conducted before difficulties escalate, across all learners, and at multiple time points. Research from UNESCO and related educational bodies emphasizes the need for repeated universal screening to avoid missing emerging learning challenges and to provide timely support^[5]. Screeners used within a structured response-to-intervention (RTI) or multi-tiered system of supports (MTSS) must be reliable, valid, and sensitive to differences in learners’ development. Some screeners have the potential to be used both as a classification tool, i.e., children who are so-called “at-risk” and a diagnostic tool which makes the learning problems visible for both teachers and students. These tools provide a more comprehensive solution for teachers and policymakers in terms of selecting targeted interventions.

Literacy and Numeracy Screening: Two Cornerstones of Development

Early literacy is the gateway to learning across subject areas. Children who fall behind in reading early are at risk of compounding difficulties, i.e., a phenomenon known as the Matthew Effect, where early advantages or disadvantages in reading compound over time, leading to widening gaps between learners. Research shows that (emergent) literacy screeners can detect delays not captured by general developmental screens, underscoring their value in preschool, kindergarten and lower elementary education populations^[6].

Mathematical proficiency in early childhood is not only predictive of later math achievement but is tied to reading outcomes as well, through shared cognitive processes like executive function. Despite this evidence, fewer standardized maths screening tools are widely used compared to literacy tools. Research indicates that literacy measures alone are insufficient to identify students at risk for math difficulties which makes domain-specific math screening essential. A 2025 systematic review of screening tools found that literacy screeners are more numerous and documented than early math tools, indicating a gap in mathematics screening practices despite strong evidence for their predictive utility^[7].

Conclusion

Taken together, the evidence underscores that early screening in literacy and numeracy is a critical component of effective early years education. When implemented early, universally, and repeatedly, screening provides educators with timely and actionable information about children’s learning trajectories before difficulties become entrenched. Importantly, high-quality screeners do more than identify risk; they illuminate patterns of strengths and challenges that can inform targeted instruction and support within responsive educational systems. Integrating both literacy and mathematics screening acknowledges the interconnected nature of early learning and ensures that no domain is overlooked. By embedding robust screening practices within early education, schools and systems can move from reactive remediation to proactive support. This promotes equity, strengthening instruction, and ultimately improves long-term academic outcomes for all learners.

About the Author

Ebrahim Talaee is an Associate Professor and Assistant Dean of Assessment and Evaluation in College of Medicine - Phoenix, University of Arizona. He also collaborates with Vretta as an Assessment Research Scientist and studies how assessment experiences and designs can and should empower learning and teaching.

References

[1] Duncan, G. J., Dowsett, C. J., Claessens, A., Magnuson, K., Huston, A. C., Klebanov, P., Pagani, L. S., Feinstein, L., Engel, M., Brooks-Gunn, J., Sexton, H., Duckworth, K., & Japel, C. (2007). School readiness and later achievement. Developmental Psychology, 43(6), 1428–1446. https://doi.org/10.1037/0012-1649.43.6.1428

[2] Taggart, B., Sammons, P., Siraj, I., Sylva, K., Melhuish, E., Toth, K., Smees, R., Hollingworth, K., & Welcomme, W. (2014). Effective pre-school, primary and secondary education (EPPSE 3–16+) project: Post-age 16 destinations. Institute of Education, University of London.

[3] Sammons, P., Sylva, K., Melhuish, E. C., Siraj, I., Taggart, B., Toth, K., & Smees, R. (2014). Effective pre-school, primary and secondary education 3–16 project (EPPSE 3–16): Influences on students’ GCSE attainment and progress at age 16. Institute of Education, University of London.

[4] Pham, T., Joanisse, M. F., Ansari, D., Oram, J., Stager, C., & Archibald, L. M. D. (2025). Early cognitive predictors of language, literacy, and mathematics outcomes in the primary grades. Early Childhood Research Quarterly, 70, 187–198. https://doi.org/10.1016/j.ecresq.2024.10.004

[5] UNESCO. (2025). The development of literacy and numeracy: Insights for supporting learning opportunities in the early years. https://www.unesco.org/en/articles/development-literacy-and-numeracy-insights-supporting-learning-opportunities-early-years

[6] Iyer, S. N., Dawson, M. Z., Sawyer, M. I., Abdullah, N., Saju, L., & Needlman, R. D. (2017). Added value of early literacy screening in preschool children. Clinical Pediatrics, 56(10), 959–963. https://doi.org/10.1177/0009922817702937

[7] Keles, S., ten Braak, D., Hagen, Å. M., et al. (2025). Validity of early-grade screening tools in the three-tier (RTI/MTSS) model: A systematic review and meta-analysis of literacy, language, and mathematics. Educational Psychology Review, 37, Article 104. https://doi.org/10.1007/s10648-025-10077-5

From Data Availability to Instructional Value

The Teacher’s Construct of Digital Assessment Literacy Explained

Digital Assessment Literacy in Teacher Development Policy

Mapping TALiDE Roles to Policy Levers

Digital Assessment Literacy as a Strategic Professional Capacity

The importance of teachers’ assessment literacy was first formally articulated in the Standards for Teacher Competence in Educational Assessment of Students (American Federation of Teachers et al., 1990), which established assessment competence as a foundational requirement for effective teaching and shared professional practice. At the time, the focus was clear: teachers needed to understand assessment in order to support learning fairly and responsibly.

Three decades later, the context has fundamentally changed, especially with the increased use of digital assessments and tech advancements in the assessment domain, such as learning management systems, adaptive assessment tools, and data dashboards integrated in everyday classroom practice. To illustrate this shift, in traditional conceptions of teachers’ assessment literacy, the focus was largely on authoring assessments, administering them, and sharing results. In contrast, digital assessment literacy involves managing larger volumes of real-time, granular data and using this evidence to inform immediate instructional and system-level decisions. In short, modern assessment practices are now mainly understood as digital platforms, online formative tools, and integrated reporting systems, and system-level awareness that shape how evidence of learning is generated, accessed and interpreted. While these technological advances have expanded the availability of data, they have also reshaped what it means for teachers to be assessment literate in a digitally rich environment. 

The concept of teachers’ digital assessment literacy draws on established definitions of assessment literacy (Popham, 2009) and extends it into digital contexts. According to the European Framework for the Digital Competence of Educators (DigCompEdu), digitally competent educators are expected to demonstrate competence across six areas, one of which - Area 4: Assessment defines three core competence dimensions: (1) assessment strategies, (2) analysing evidence, and (3) feedback and planning (DigCompEdu, Redecker & Punie, 2017). More recently, one study has extended this definition to a more granular level by articulating specific roles within digital assessment literacy, referred to as Teacher Assessment Literacy in Digital Environments (TALiDE) (Banitalebi, Estaji, & Brown, 2025), which we will also explore in this article.

This article reflects on how strengthening teachers’ digital assessment literacy, specifically their capacity to access, interpret, and act on assessment evidence has become a strategic condition for moving toward digital transformation in education.

From Data Availability to Instructional Value

Education systems often focus on collecting assessment data, but challenges remain in turning those results into practice. From a system perspective, many content-focused education systems have long prioritised the availability of assessment data, often in the form of scores used for comparison, accountability, or selection (OECD, 2013). However, without sufficient emphasis on interpretation, such data tend to reinforce linear judgments rather than inform teaching and learning. As a result, the instructional potential of assessment data remains underutilised. Teacher education and professional development have historically placed less weight on data interpretation, reflecting the field’s strong social and humanities-oriented traditions and a limited integration of quantitative reasoning into pedagogical practice. This creates a critical policy challenge: clarifying what teachers at different stages of their professional careers need to know and be able to do in order to use digitally generated assessment evidence. The discussion that follows examines what teachers at different levels need in order to translate digital assessment data into instructional action.

At the same time, digital assessment literacy increasingly requires teachers to situate their classroom-level evidence within a broader frame of reference. Teachers are now more frequently exposed to indicators that relate student learning not only to individual progress, but also to school-, district-, and national-level benchmarks, enabling comparisons with average learning outcomes across contexts. This introduces an additional dimension of literacy: the capacity to interpret local classroom data alongside aggregated system data, and to understand how individual teaching practices contribute to wider patterns of learning and equity at city, regional, or national levels. When supported appropriately, this perspective can strengthen teachers’ sense of professional agency, helping them see their instructional decisions as part of a larger educational picture rather than as isolated classroom outcomes.

The Teacher’s Construct of Digital Assessment Literacy Explained

The TALiDE construct (Banitalebi, Estaji, & Brown, 2025) captures the multidimensional roles and competencies teachers need to use assessment effectively in digitally mediated contexts. The authors developed a scenario-based inventory that identifies five core competence domains summarising teachers’ roles in digital assessment: Judge, Communicator, Moral Agent, Knower, and Technologist. Each role reflects distinct aspects of assessment practice and includes facets such as attitudes, agency, access to resources, training needs, and actual classroom practices in digital environments. This framework emphasises that teachers’ assessment literacy in digital settings is not a single skill but a complex constellation of knowledge, professional dispositions, and improved practices important for interpreting and using digital assessment data meaningfully.

Digital Assessment Literacy in Teacher Development Policy

Since teachers are now expected to act as judges, communicators, moral agents, knowers, and technologists, policy makers should ask a simple but consequential question: do current teacher development policies recognise and support these roles in practice? In many education systems, professional development remains organised more around tools, platforms, or short-term training inputs, than around the professional judgments teachers are expected to exercise in digitally mediated assessment environments. A TALiDE-informed policy approach requires shifting attention from what technologies teachers are trained to use to what decisions teachers are expected to make with assessment evidence. 

From a policy perspective, this implies several practical directions, explained below: 

1. Strengthening Professional Judgment and Interpretation. Professional development frameworks should be designed to strengthen teachers’ professional judgment and interpretive capacity in digital assessment literacy, rather than focusing primarily on technical proficiency with tools. For example, in Singapore, lead teachers are expected to build the capacity of teachers and senior teachers in content, pedagogy, and assessment, with professional mastery in assessment and evaluation explicitly recognised as a key competency within the performance management framework (OECD, 2025, Summary of Education Systems: Singapore). In contrast, Japan’s Platform for Teachers and Staff Development integrates digital tools into professional learning to support reflection, collaboration, and system-level insight aligned with teachers’ professional judgment and continuous development (OECD, 2025, Summary of Education Systems: Japan). Both of these country cases point to a future policy direction in which professional development centres on digital assessment literacy as an ecosystem for personalised learning, professional judgment, and system awareness.

2. Recognising Communicative and Ethical Responsibilities. Policy makers should recognise the communicative and ethical dimensions of digital assessment. Assessment data increasingly mediate conversations with students, parents, and school leaders, raising questions of fairness, transparency, and appropriate use. In Ontario, government policy makes clear that “assessment, evaluation, and reporting practices and procedures must be fair, transparent, and equitable for all students” and that professional judgement in assessment is central to practice (Ontario Ministry of Education, 2010, pp. 7, 11–13). These expectations align with broader principles of data ethics that call for responsible, equitable use of information (Canadian School of Public Service, 2024). 

3. Differentiating Support Across Career Stages. Teacher development policies should differentiate support across career stages, acknowledging that the needs of novice and experienced teachers differ. In high-performing systems such as Singapore, professional learning pathways are structured to progressively deepen teachers’ capacity to interpret evidence, design assessments, and make instructional decisions. 

The table below illustrates how the five TALiDE roles can be translated into concrete policy levers within teacher development frameworks, linking teachers’ professional responsibilities in digital assessment to system-level support mechanisms.

Mapping TALiDE Roles to Policy Levers

This mapping highlights how the TALiDE roles can be translated into concrete policy actions that support teachers’ professional practice in digitally mediated assessment and can serve as a checklist for policy makers to reflect on whether these actions are incorporated into their action plans or roadmaps.

Digital Assessment Literacy as a Strategic Professional Capacity

In conclusion, this article has shown that digital assessment literacy represents a fundamental shift in what it means to be assessment literate in contemporary education systems. As daily assessment practices are incorporated with digital platforms, real-time data, and system-level indicators, teachers’ roles expand beyond administering assessments to interpreting evidence, communicating with stakeholders, acting ethically, and situating classroom decisions within broader learning and equity contexts. In this context, frameworks such as DigCompEdu and TALiDE help clarify teachers’ roles within the digital assessment literacy and focus efforts on teacher development systems. Practically, mapping the TALiDE roles to concrete policy levers clearly illustrates how digital assessment literacy can be supported in an ecosystem of digitally mediated assessments and can serve as a checklist for policy makers to reflect on whether these actions are incorporated into their action plans or roadmaps. Ultimately, strengthening teachers’ digital assessment literacy will be a strategic investment in teacher professionalism, supporting a digital transformation in education grounded in learning, trust, and informed human judgment.

About the Author 

Vali Huseyn is an educational assessment expert and quality auditor, recognized for promoting excellence and reform-driven scaling in assessment organizations. He mentors edtech & assessment firms on reform-aligned scaling by promoting measurement excellence, drawing on his field expertise, government experience, and regional network.

He holds a master degree in educational policy from Boston University (USA) and Diploma of Educational Assessment from Durham University (UK). Vali has supported national reforms in Azerbaijan and, through his consultancy with AQA Global Assessment Services, works with Kazakhstan and the Kyrgyz Republic to align assessment systems with international benchmarks such as CEFR, PISA, and the UIS technical criteria. He also works as a quality auditor in partnership with RCEC, most recently audited CENEVAL in Mexico. In addition, he promotes awareness of the use of technology across the assessment cycle through his work with Vretta. Fluent in Azerbaijani, Russian, Turkish, and English, he brings a deep contextual understanding to cross-country projects.

If you would like to discuss your approaches to assessment modernisation or explore opportunities to showcase and promote your work, please feel free to contact Vali Huseyn at: vali.huseyn@vretta.com | LinkedIn

References

1. American Federation of Teachers, National Council on Measurement in Education, & National Education Association. (1990). Standards for teacher competence in educational assessment of students. Washington, DC: Author. https://eric.ed.gov/?id=ED323186 

2. Banitalebi, S., Estaji, M., & Brown, G. T. L. (2025). Measuring teacher assessment literacy in digital environments: Development and validation of a scenario-based instrument. Assessment in Education: Principles, Policy & Practice. https://www.researchgate.net/publication/386540145_Measuring_teacher_assessment_literacy_in_digital_environments_Development_and_validation_of_a_scenario-based_instrument 

3. Canadian School of Public Service. (2024). Data ethics 101. Government of Canada. https://www.csps-efpc.gc.ca/tools/articles/data-ethics-101-eng.aspx 

4. OECD. (2025). Teacher professional learning: Drawing upon international practice for a future vision for Ukraine (Summary of education systems). OECD Publishing. https://www.oecd.org/en/publications/teacher-professional-learning_0cceeddf-en/full-report.html 

5. OECD. (2013). Synergies for better learning: An international perspective on evaluation and assessment (OECD Reviews of Evaluation and Assessment in Education). OECD Publishing. https://www.oecd.org/content/dam/oecd/en/publications/reports/2013/04/synergies-for-better-learning_g1g274ba/9789264190658-en.pdf 

6. Ontario Ministry of Education. (2010). Growing success: Assessment, evaluation, and reporting in Ontario schools, Kindergarten to Grade 12. Queen’s Printer for Ontario. https://www.edu.gov.on.ca/eng/policyfunding/growSuccess.pdf 

7. Popham, W. J. (2009). Assessment literacy for teachers: Faddish or fundamental? Theory Into Practice, 48(1), 4–11. https://www.tandfonline.com/doi/abs/10.1080/00405840802577536 

8. Redecker, C., & Punie, Y. (2017). European framework for the digital competence of educators: DigCompEdu (EUR 28775 EN). Publications Office of the European Union. https://publications.jrc.ec.europa.eu/repository/handle/JRC107466 

Specifically for math games, designing gameplay where engagement is meaningfully linked with the learning goal is critical to address disciplinary issues like math anxiety, negative math attitudes, and social stigma associated with math. Moreover, mathematicians work with a set of rules called “axioms” and “postulates”. Games can be effective for math learning as they can simulate the mathematical rules (axioms) as game rules. By simulating math rules as game rules, digital games can promote mathematical thinking in players. This linking of “play” and “math learning” is often called “mathematical play”^[5]. Providing young children with opportunities of mathematical play can promote mathematical thinking and build foundational understanding of math concepts. However, due to the complex, abstract, hierarchical, and interrelated nature of math concepts, designing digital learning experiences that harness the potential of mathematical play is challenging. Math games are often poorly designed and found to be ineffective^[6]. A review of “math” apps on the Apple App Store found that even the “top” apps lacked key benchmarks of educational quality and were poorly designed^[7]. A main critique of some “bad” math games is the lack of connection between gameplay and learning^[8]. They include “play”, but most often it is not linked with math learning outcomes and hence it’s not “mathematical play”. For example, a game might include players “shooting” an enemy and then solving a math problem to upgrade their “gun”. Here, the action of solving the math problem is not linked with gameplay (shooting) and is not categorized as mathematical play. A better way of implementing this approach could be to implicitly connect “shooting” (gameplay) and “problem solving”. This can be done by only allowing the player’s gun to shoot only when they correctly solve the math problem. Moreover, their speed of solving the problem can be linked with the type of gun upgrades.

Researchers have argued for developers to design play and interactions that are thoughtfully intertwined with mathematical learning. The “Learning Mechanic - Game Mechanic” (LM-GM) Framework^[9], argues that each game-related element of a learning game (e.g., type of interaction, rewards, etc.) be mapped to the learning-related elements (e.g., learning to count, writing numbers, etc.). This means that all game features are associated with the intended learning outcomes. For example, the incentive system (rewards and penalties) can be designed in a way that encourages mathematical play over the “trial and error”, or the “game objects” can represent mathematical objects. A specific example of this type of implementation is the game “GeometryBOX”^[10]. If players use a trial and error approach to solve geometrical problems, the incentive system penalizes them, they lose resources, and are unable to make progress. They need to strategize mathematically and apply their math knowledge to make progress. Additionally, the in-game objects like “jewels” are represented in the form of 2D shapes directly associated with geometry learning. Finally, the increasing level of difficulty in GeometryBOX is based on the geometry-specific learning theory, the Van Hiele Model (VHM)^[11]. This type of design approach, based on relevant learning theory and mathematical play, showed significant improvements in geometry learning among adolescents.

Mathematical play for early numeracy

Similarly, when designing digital games for young children, it is important to consider the links between gameplay and learning. Early years numeracy is known to be critical and foundational for overall development and math achievement^[12]. Hence, design decisions should be based on strong and relevant learning theories of early numeracy and mathematical cognition. Lets see some examples of game features and mechanics aligned with findings from learning sciences.

1. Embodied cognition theory focuses on bodily interactions with the learning environment to build knowledge and understanding^[13]. It argues that learning activities should promote the interaction of one’s body with physical-material. Motion-responsive technologies have the potential to elicit meaningful connections between bodily interactions and mathematical cognition in children. For example, games played on touch-responsive screens can build “drag and drop” mechanics to develop “one-to-one correspondence”, a key principle for counting. Children use their fingers to drag and drop objects and count as they make the action. Such bodily interactions, applying embodied cognition, have the potential to promote deep learning.

2. Another key principle of counting is “stable-order” which refers to the child’s ability to memorize, speak, and understand the number words in correct order^[14]. Voice-capturing technologies can be used to analyze children’s verbal counting. But simply asking children to say the number words and analyzing their response does not entail mathematical play. Instead, a game where children control a character’s movement by saying the number words in the correct order is better suited for engagement in mathematical play.

3. Research has shown that offering diverse, multi-modal representations of mathematical concepts can benefit children’s development in early numeracy. In addition to visuals, digital games can present learning material, supports, and feedback via audio. They can apply auditory cognition theory which focuses on auditory cues and interactions within the learning environment to build understanding^[15]. Emotional design principles identified by researchers on game-based learning also list “musical score” in games as a key feature for learning^[16]. For example, games that aim to build counting and pattern recognition can engage children in gameplay that requires them to count chimes, replay chimes that they hear, and differentiate between different types of chimes.

As opposed to learning apps, learning games have the potential to make learning fun by engaging children in context-based problem solving. However, it is critical that engagement is driven by mathematical play, based on theories of learning, and not on distracting environments, characters, and other game objects.

Limitations and Considerations

It is critical that learning games do not fall victim to the “engagement fallacy” which assumes that engagement always leads to learning^[17]. To avoid such pitfalls, the next generation of math games should design experiences that engage children in mathematical play over “bells and whistles”. It is also critical that developers are cognizant of the technological limitations. For example, AI-based voice analysis is limited by its ability to analyze children’s voices which are different from adults and differentiate among accents. Hence, learning technologies should be designed with caution and used to complement hands-on learning experiences. As argued earlier, digital games can support mathematical learning in a fun and meaningful way. However, it is important that they are based on relevant learning theories and promote “mathematical play”. Designing research-backed gameplay that utilizes the potential of new technologies in meaningful ways is crucial for their effectiveness.

About the Author

Robin Sharma is a creator of science-based, digital learning environments (DLEs). As Vretta’s Learning Scientist, he is working with the Innovation Team to create an AI-driven and research-based application for early numeracy. Robin has expertise in mathematics education, digital-game based learning, and curriculum development. He has a Ph.D. in Learning Science from McGill University, and an M.Sc. in Mathematics Education and a B.Sc. in Mathematics Honors from the University of Delhi.

Previously, he managed the “Games for Learning” program at UNESCO MGIEP. He led and co-authored the UNESCO guidelines on digital learning, a set of principles for ethical and responsible development of DLEs aligned with UNESCO’s framework on Education for Sustainable Development (ESD) and social-emotional learning (SEL). Robin has also worked in the videogame industry, developing the world’s first, interactive, gaming curriculum guides for teachers. These guides aim to support educators’ adoption of the immersive Assassin’s Creed Discovery Tour video games by Ubisoft.

Robin is an active member of the EdTech Impact Network managed by the International Center for EdTech Impact, Mathematics Teachers Association, and Game Research and Design Community (GRADE).

References

[1] Plass, J. L., O’Keefe, P. A., Homer, B. D., Case, J., Hayward, E. O., Stein, M., & Perlin, K. (2013). The Impact of Individual, Competitive, and Collaborative Mathematics Game Play on Learning, Performance, and Motivation. Journal of Educational Psychology, 105(4), 1050–1066. https://doi.org/10.1037/a0032688

[2] Papageorgiou, E., Wong, J., Liu, Q., Khalil, M., & Cabo, A. J. (2025). A Systematic Review on Student Engagement in Undergraduate Mathematics: Conceptualization, Measurement, and Learning Outcomes. Educational Psychology Review, 37(3), 66. https://doi.org/10.1007/s10648-025-10046-y

[3] Liu, Z., & Xiao, Y. (2026). Literature Review of Learning Engagement Research. In Z. Liu & Y. Xiao (Eds.), AI-Enabled Learning Engagement Analysis: Revolutionizing Education with AI (pp. 17–51). Springer Nature. https://doi.org/10.1007/978-981-96-6894-6_2

[4] Baah, C., Govender, I., & Subramaniam, P. R. (2024). Enhancing Learning Engagement: A Study on Gamification’s Influence on Motivation and Cognitive Load. Education Sciences, 14(10), 1115. https://doi.org/10.3390/educsci14101115

[5] Özdoğan, E. (2011). Play, mathematic and mathematical play in early childhood education. Procedia - Social and Behavioral Sciences, 15, 3118–3120. https://doi.org/10.1016/j.sbspro.2011.04.256

[6] Walter, D., & Schwätzer, U. (2025). Mathematics Apps Under the Magnifying Glass – An Analysis of the Inventory of Math Apps for Primary Schools Using German-Language Apps as A Case Study. Technology, Knowledge and Learning, 30(3), 1871–1893. https://doi.org/10.1007/s10758-024-09782-x

[7] Dubé, A. K., Kacmaz, G., Wen, R., Alam, S. S., & Xu, C. (2020). Identifying quality educational apps: Lessons from ‘top’ mathematics apps in the Apple App store. Education and Information Technologies, 25(6), 5389–5404. https://doi.org/10.1007/s10639-020-10234-z

[8] Kacmaz, G., & Dubé, A. K. (2022). Examining pedagogical approaches and types of mathematics knowledge in educational games: A meta-analysis and critical review. Educational Research Review, 35, 100428. https://doi.org/10.1016/j.edurev.2021.100428

[9] Arnab, S., Lim, T., Carvalho, M. B., Bellotti, F., Freitas, S. de, Louchart, S., Suttie, N., Berta, R., & Gloria, A. D. (2015). Mapping learning and game mechanics for serious games analysis. British Journal of Educational Technology, 46(2), 391–411. https://doi.org/10.1111/bjet.12113

[10] Sharma, R., Sharma, J., & Dubé, A. (2025). Effects of theory-based, narrative games on geometry learning among adolescents. American Educational Research Association Annual Meeting, Denver, USA. https://doi.org/10.3102/2185335 https://doi.org/10.3102/IP.25.2185335

[11] Hiele, P. M. van. (1999). Developing Geometric Thinking through Activities That Begin with Play. https://doi.org/10.5951/TCM.5.6.0310

[12]  Raghubar, K. P., & Barnes, M. A. (2017). Early numeracy skills in preschool-aged children: A review of neurocognitive findings and implications for assessment and intervention. The Clinical Neuropsychologist, 31(2), 329–351. https://doi.org/10.1080/13854046.2016.1259387

[13] Abrahamson, D., Worsley, M., Pardos, Z. A., & Ou, L. (2022). Learning analytics of embodied design: Enhancing synergy. International Journal of Child-Computer Interaction, 32, 100409. https://doi.org/10.1016/j.ijcci.2021.100409

[14] Sarama, J., & Clements, D. H. (2009). Early Childhood Mathematics Education Research: Learning Trajectories for Young Children. Routledge. https://doi.org/10.4324/9780203883785

[15] Danielsson, H., Humes, L. E., & Rönnberg, J. (2019). Different Associations between Auditory Function and Cognition Depending on Type of Auditory Function and Type of Cognition. Ear and Hearing, 40(5), 1210–1219. https://doi.org/10.1097/AUD.0000000000000700

[16] Loderer, K., Pekrun, R., & Plass, J. L. (2020). Emotional foundations of game-based learning. In Handbook of game-based learning (pp. 111–151). The MIT Press.

[17] O’Brien, H. L., Roll, I., Kampen, A., & Davoudi, N. (2022). Rethinking (Dis)engagement in human-computer interaction. Computers in Human Behavior, 128, 107109. https://doi.org/10.1016/j.chb.2021.107109

As the year progressed, the focus shifted toward international standards and comparability, system readiness and validation, and scalable digital assessment architecture. The third quarter highlighted the growing importance of interoperable ecosystems, public trust, and process data as strategic assets, while the final months of 2025 brought the conversation back to people, through adaptive testing grounded in empathy and a renewed emphasis on functional literacy as a driver of economic growth and employability. Taking all aspects of the year into account, we can see clear signals pointing to 2026 a year to align assessment design, digital infrastructure, and governance frameworks into integrated systems that translate innovation into sustainable practice.

This article reflects on how the quarterly featured articles contribute to learning the key lessons of 2025 and set a clear direction for 2026 as a year to align assessment design, digital infrastructure, and governance frameworks in ways that translate innovation into sustainable, system-level practice.

Revisiting 2025: Four Areas, One Direction

Looking back at the themes of 2025’s featured articles, what comes out is a sequence of monthly reflections that could inform decision-making practices of assessors, educators, policymakers, and leaders of assessment organisations in real case scenarios. In fact, each quarter contributed a distinct and complementary layer, and when viewed as a whole, they point toward a shared direction: building assessment systems that are purposeful, technologically sound, trusted by the public, and fundamentally human-centred.

Quarter 1: Re-centring Purpose, Timing, and Learner Diversity

The first quarter’s focus on when, for whom, and how assessments operate might offer teachers and assessors a clearer lens for aligning assessment practices with learner needs rather than logistical constraints. Culturally responsive design could prompt system leaders to consider whether their instruments genuinely reflect the diversity of the students they serve. And reflections on test delivery models could help policymakers recognise the trade-offs between scalability, access, and instructional coherence. These foundational questions could encourage organisations to pause before innovating, anchoring decisions in purpose and equity before turning to more technical reforms.

Quarter 2: Building Systems That Could Stand the Test of Technology

The second quarter’s exploration of international standards, readiness validation, and digital design frameworks reinforced the idea that technology is only as effective as the systems around it, particularly when supported by well-designed self-check and quality assurance mechanisms. For example, assessors and policy makers might also benefit from seeing how clear standards and readiness checks could reduce friction during implementation, making sure tech tools and frameworks actually support assessment rather than overwhelm it. And the implementation of digital blueprints functionalities could guide assessment organisations toward scalable, transparent design choices that make long-term scalability more achievable.

Quarter 3: Turning Intelligence Into Insight and Insight Into Trust

The third quarter’s highlights on system integration, public trust, and process data could offer practical prompts for the stakeholders at every level. Assessors and policymakers could recognise that integrated platforms might reduce duplication and improve data quality, enabling more effective decision-making. Teachers might see how process data could illuminate learning behaviours, allowing them to intervene earlier and more precisely. And the emphasis on public trust could remind system leaders that transparency and communication might be just as important as technical sophistication. This cluster of articles could inspire a mindset in which data is both collected, and responsibly used to strengthen daily practice.

Quarter 4: Keeping the Human at the Centre of Innovation

The final quarter’s reflections on empathetic adaptive testing and functional literacy could help readers across the sector reconnect with the human purpose behind assessment. Assessment leaders could explore how measuring functional literacy might inform workforce development and national planning. Teachers might consider how adaptive algorithms, when designed with empathy, could reduce student anxiety and increase engagement. And policymakers might see that technological innovation is most valuable when it broadens opportunity and strengthens human capability. This final arc could serve as a reminder that assessment is both a technical exercise and a societal commitment to supporting every learner to succeed.

Looking Ahead: What This Means for 2026 and Beyond

As we turn toward 2026, the reflections of the past year could serve as conclusions and a strategic foundation for what comes next. If 2025 helped us reflect on building blocks of modern assessment, purpose, standards, integration, trust, and human capability, then 2026 may become the year in which these elements begin to operate more feasibly across national and provincial assessment systems, setting the tone for a new phase of modernization. In the next year, we may see the expanding role of AI, particularly in more agentic and autonomous forms, shaping how assessments are designed, administered, scored, interpreted, and reported, further redefining the balance between innovation, governance, and human judgement.

Building on this momentum, each quarter of 2026 could spotlight a theme that continues the conversation while responding to the needs of the sector. The first quarter might explore AI in classroom feedback and teacher decision-making, focusing on how assessment-driven feedback functionalities could support instructional precision and how item development practices may evolve in response to the growing role of feedback-oriented assessment design. The second quarter could turn to the modernisation of quality assurance, examining how automated verification tools, process data, and continuous improvement cycles might improve integrity. The third quarter might address cross-system interoperability and data governance, offering insights for policymakers and assessment leaders across national architectures capable of supporting long-term reform. And the fourth quarter could re-engage with the broader societal purpose of assessment: skills, employability, and equity, based on technological progress grounded in human development and sustained public trust. 

Finally, each topic of 2026 may offer a practical roadmap for navigating the next stage of assessment transformation, suggesting that while AI will advance rapidly, its real value in educational assessment will depend on how effectively systems strengthen teachers’, assessors’, and decision-makers’ capacity to interpret, apply, and critically evaluate the insights it produces.

About the Author

Vali Huseyn is an educational assessment expert and quality auditor, recognized for promoting excellence and reform-driven scaling in assessment organizations. He mentors edtech & assessment firms on reform-aligned scaling by promoting measurement excellence, drawing on his field expertise, government experience, and regional network.

He holds a master degree in educational policy from Boston University (USA) and Diploma of Educational Assessment from Durham University (UK). Vali has supported national reforms in Azerbaijan and, through his consultancy with AQA Global Assessment Services, works with Kazakhstan and the Kyrgyz Republic to align assessment systems with international benchmarks such as CEFR, PISA, and the UIS technical criteria. He also works as a quality auditor in partnership with RCEC, most recently audited CENEVAL in Mexico. Fluent in Azerbaijani, Russian, Turkish, and English, he brings a deep contextual understanding to cross-country projects.

References

The following are the 2025 featured articles:

• January, 2025: Time of Assessment: When Should Students Be Assessed?

• February, 2025: Do Culturally Responsive Assessments Matter?

• March, 2025: Test Delivery Models: Choosing or Balancing Priorities?

• April, 2025: International Standards for Delivering Technology-Based Assessments 

• May, 2025: Validating Systems for Technology-Based Assessment Readiness 

• June, 2025: Digital Blueprints: Smarter Assessment Design

• July, 2025: Integration of E-Assessment Systems and Databases

• August, 2025: Public-Trust-Centred Design in Assessments

• September, 2025: Process Data as a Strategic Asset

• October, 2025: Next Generation Adaptive Testing: From Algorithms to Empathy

• November, 2025: Functional Literacy and Economic Growth

The day began with Ashley Kozak’s presentation on the Early Math Skills Program (EMP) in the Upper Grand District School Board. Her talk highlighted a systematic, explicit instructional model for strengthening foundational number sense skills delivered through small-group targeted sessions. Ashley’s work represents an essential collaboration between educators and researchers. Through a partnership with Carleton University, EMP was evaluated using a rigorous experimental design, supported by the EMA@School screener, which provided reliable diagnostic evidence, i.e., students receiving the intervention demonstrated significantly stronger gains in foundational number skills than matched control students. From my perspective as a learning scientist, this talk clarified how explicit instruction, developmental awareness, and screening tools complement each other. Ashley’s focus on foundational number sense showed how instructional strategies can directly address early numeracy gaps. Her presentation also set up the afternoon workshop beautifully: participants could mirror elements of EMP, i.e., screening, targeted intervention, progress monitoring, when identifying their own Problems of Practice. Her concrete examples helped me think about how boards might structure early identification, intervention pathways, and instructional supports.

The second speaker, Brad Digweed, shifted the focus from number sense to spatial and proportional reasoning, which he positioned as foundational cognitive resources that meaningfully support mathematical understanding across strands. His discussion of spatial visualization (i.e., the ability to mentally represent and manipulate objects) was especially compelling. He demonstrated how spatial tasks allow young learners to build flexible conceptual reasoning in ways that symbolic tasks alone cannot. Brad also offered a strong system-leadership lens, illustrating how the District School Board of Niagara supports spatial reasoning across K–2 through intentional professional learning structures, leadership development, and aligned instructional resources. His presentation helped the participants see how spatial reasoning a set of isolated activities is not merely, but a system-supported focus that requires coherence, training, and resource alignment. This message broadened my framework for thinking about the design of math learning tools: spatial reasoning must be integrated, not incidental. For the workshop, Brad’s talk provided insights on bridging instructional practice with system-level responsibility.

The third speaker, Matthew Oldridge’s presentation served as the conceptual backbone of the day. As a Mathematics Educator, he framed early number learning as a developmental pathway, emphasizing that early mathematics is not a collection of discrete grade-level expectations, but a continuum of connected concepts, such as counting principles, number sequence knowledge, additive reasoning, and eventually multiplicative thinking. Matthew’s examples illuminated how students’ misunderstandings often reflect missing or fragile developmental steps rather than surface-level mistakes. His framing directly supported the Problems of Practice workshop, where participants needed to determine where the breakdown in learning occurs. Matthew’s explanation helped me and many others think diagnostically: What conceptual step is missing? What developmental expectation precedes the observed difficulty? His talk brought coherence to how we analyze student evidence and instructional needs. 

Following that Dr. Sandy Spasov-Youmans (Assistant Professor, Queen’s University), during her focused session, provided a research-grounded lens that connected cognitive science to classroom practice. Her session offered a clear and well-structured lens on foundational numeracy development from the integrative model of number understanding, to counting principles, mapping, and early place value. The way she connected these elements to the broader rationale for structured early-numeracy approaches was particularly impactful, especially for participants who are navigating very different provincial and board-level realities. Sandy’s framing around why we need principled, structured teaching approaches, and her emphasis on the role of high-quality early numeracy resources resonated strongly in the afternoon discussions. A major takeaway for me was Sandy’s explanation of how structured routines and deliberate practice help students internalize early numeracy skills. Overall, her emphasis on cognitive foundations deepened the scientific grounding of the day, reminding us that early math learning is not just a curriculum issue, but also a cognitive one.

The final presentation by Dr. Akihiko Takahashi (Professor Emeritus, DePaul University) introduced an international perspective on structured problem-solving and lesson design. His discussion of mathematical storytelling, productive struggle, and precise lesson structure broadened my view of what rigorous mathematics can look like even in the early grades. He reminded us that conceptual rigor is not incompatible with young learners; rather, it requires intentional design and thoughtful facilitation.

The afternoon workshop, which followed the five presentations, served as a powerful bridge between the conceptual insights offered by the speakers and the lived realities of classroom practice. Designed as a brainstorming and collaborative inquiry session, it began by inviting participants to surface the most persistent issues and gaps they encounter in K–2 mathematics education. A wide range of concerns emerged from the lack of accessible teacher PD resources to questions around how to cultivate learning environments where students feel comfortable engaging in creative exploration and productive struggle, to growing interest in AI integration, and considerations around balancing socio-emotional development with early mathematical learning. Dr. Sandy Youmans, who facilitated the consultancy protocol, furthermore, identified two core strands for deeper exploration based on the majority's interest: students’ exploration on problem-solving activities, and teacher professional development (PD) and resource gaps. Participants were then organized into two groups, each engaging in focused dialogue around one of these themes. A central message that emerged from the session was the reaffirmation of teacher professional judgment as a cornerstone of early math education. Tools, frameworks, and digital systems can support instructional decisions, but they cannot replace the nuanced interpretations educators make when responding to student thinking. Any effective early-numeracy system whether curricular, technological, or assessment-based must therefore be designed with teacher agency, flexibility, and practical realities at its core.

As I left the Forum, I felt a renewed sense of clarity about the direction of early numeracy research and practice in Canada. The event reinforced that the future of early mathematics lies not in isolated programs, but in integrated systems grounded in developmental science, responsive pedagogy, and collaborative design. For me personally, the Forum offered conceptual grounding, practical insight, and intellectual motivation to continue refining the ways we can support early mathematics learning through research, through design, and through partnerships with the educators who do this work every day. To stay connected with future MathEd Forum events whether as a participant, speaker, or partner and to receive notifications about upcoming sessions, people may register using the following link.

About the Author

Dr. Sabrina Shajeen Alam is a Learning Scientist whose expertise lies at the intersection of learning sciences, educational technology, and assessment design, particularly within early-years mathematics. At Vretta, She serves as a Research Specialist on the Innovation Team, where she works on the design of early-years curriculum frameworks for a math application that supports students’ math cognition grounded on sciences of learning.

Sabrina has authored more than ten peer-reviewed journal articles, two book chapters, and over twenty-five presentations at international conferences. Prior to joining Vretta, she completed a Postdoctoral Associate position at the University of Western Ontario and earned her Ph.D. in Educational Psychology (Learning Sciences) from McGill University, funded by the prestigious FRQSC Doctoral Fellowship. Sabrina has led and contributed to interdisciplinary collaborations with cognitive scientists, researchers, software developers, and school partners to translate research into practical, classroom-ready tools. 

Beyond her work at Vretta, she continues to advance research. She is also a committed advocate for diversity, mentorship, and equitable access to academic pathways. In this capacity, she solely founded and leads a mentorship initiative, MPUPS (https://mpups.netlify.app), which supports underrepresented scholars pursuing graduate studies around the world. 

It is not by coincidence that in summer of 2025 the UK Department for Education launched a national Curriculum and Assessment Review, prompting extensive public and professional debate on which skills should be taught and assessed in the country’s education system. In its response, the National Education Union (NEU) welcomed the review’s recognition that the current system is too narrowly focused on memorisation, stressing the need for a curriculum that prioritises broader competencies, authentic assessment, and the life skills required to succeed in a changing world (NEU, 2025). As reported by Whittaker (2025) in Schools Week, one of the agreed priorities following the public consultation was to ensure that subject experts emphasise the assessment of knowledge application during item reviews, particularly incorporating formulas and equations wherever appropriate. 

In early November 2025, the UK Department for Education released its final post-consultation report, identifying five areas that drew the most attention from young people, parents, carers, and other stakeholders: financial literacy, digital literacy, media literacy, climate and sustainability education, and oracy. As reported by Adams (2025) in The Guardian, one of the review’s final recommendations was to introduce a new diagnostic test in maths and English at Year 8 to help teachers identify knowledge gaps and support student progression, and the government additionally proposed national reading tests for Year 8 pupils. These discussions and high level proposals highlight a global shift: economies increasingly depend not on the accumulation of knowledge, but on the ability to apply it, making functional skills a core element of national competitiveness.

This article reflects on how functional literacy, assessment ecosystems, and evidence-driven policy together form the foundation for building skilled human capital and sustaining long-term economic growth, an agenda that every nation, especially those setting the tone for the accelerated modernization, should consider placing it at the centre of its development strategy.

Functional Literacy as an Economic Driver

Today, functional literacy, especially the basic reading and numeracy competencies stands as one of the most powerful impact factors of economic resilience, a relationship strongly evidenced by the research that indicates that “Our economic analysis suggests that the present value of lost world economic output due to missing the goal of global universal basic skills amounts to over $700 trillion over the remaining century, or 12 % of discounted GDP.” (Gust, Hanushek, & Woessmann, 2024, p. 7). 

Countries that consistently cultivate and measure real skills are the ones that build innovative, adaptable, and inclusive economies. High-income countries from North America offer an important lesson. Their national assessments (biennial NAEP cycles in the U.S. and triennial or quadrennial PCAP cycles in Canada) are only one layer of a much deeper ecosystem. The real strength lies in the continuous flow of evidence generated throughout the school year: formative assessments in classrooms, interim benchmarks, and state or provincial summative evaluations that inform stakeholders on student progress. As Marion et al. (2024) explains, “a balanced assessment system should consist of formative, interim, and summative assessments that teach and report on learning while providing multiple sources of evidence to support educational decision-making” (p. 9). However, even with these structures in place, recent developments show that maintaining high-quality functional literacy requires constant vigilance and timely, responsive data.

As reported by McManus (2025) in The Guardian, in the case of the USA, the 2024 NAEP results showed that high-school seniors’ reading and mathematics scores had fallen to their lowest levels in decades, prompting renewed calls for more frequent and responsive monitoring of foundational skills. A recent study from Canada finds out that using formative assessments more often helps teachers spot occurring learning gaps sooner, supporting more effective instructional intervention (Bulut et al., 2024). Both of these findings highlight a common insight that if you want to steer a ship through uncertain waters, you cannot rely on a map updated once every few years, you need real-time navigation.

Assessment Frequency: Continuous Data for Economic Planning

The report by the World Bank (2025), indicates that “two-thirds of the income gap between developed and developing countries can be attributed to disparities in human capital,” reflecting the reality that without continuous assessment and skill development, countries struggle to build the functional literacy that forms the foundation of a productive workforce. The purpose of conducting assessments more frequently in high-income systems is not to drive economic growth directly, but to generate the diagnostic insight needed for targeted, effective policymaking in government reforms. Formative assessments, interim benchmarks, and provincial or state-level assessments support creating a living flow of evidence in such reform-oriented governments, which allows educators and policymakers to monitor progress, identify occurring challenges, and intervene long before small gaps become systemic failures. In many ways, this approach functions like a heartbeat monitor for an entire education system: providing real-time signals that support students in developing the applied skills demanded by modern, fast-moving economies. In contrast, many developing countries, such as Ethiopia, the Kyrgyz Republic, and Pakistan, depend almost entirely on a single sample-based national assessment conducted every four or five years. With few structured assessment opportunities in between, education systems are left navigating years of uncertainty, periods where they cannot see whether students are acquiring the competencies required for productivity, technological adoption, and engaged participation in the global economy. 

Besides, the OECD’s recent analysis shows that when assessment systems generate timely data on literacy, numeracy, and problem-solving, education systems can better align with labour-market needs, particularly in STEM-intensive industries, leading to higher productivity and innovation (OECD, 2025). In this sense, assessment frequency aimed to regularly feed data to the education system is an economic lever, and nations that utilize it are better positioned to drive long-term competitiveness and sustainable growth, particularly in STEM-intensive industries. As an additional impetus for the growing use of micro-credentials in the labour market, the same OECD analysis reinforces a broader shift toward skills-based recognition. 

Furthermore, according to Education at a Glance 2025, across countries and demographic groups, individuals with higher proficiency in literacy, numeracy, and adaptive problem-solving consistently achieve better economic and social outcomes, even when their formal qualifications are lower (OECD, 2025). This finding highlights a key trend: actual competencies, demonstrated through assessment, matter as much as, or more than traditional credentials. It is precisely this insight that underpins the growing global interest in micro-credentials, which validate specific, applied skills through targeted assessment and provide a more agile response to evolving labour-market demands. As economies become increasingly skills-intensive, these assessment-anchored micro-credentials offer a practical pathway for individuals to upgrade competencies and for employers to identify job-ready talent.

In the final note on this section, the economic value of frequent assessment depends on whether its insights are transformed into consistent, timely policy decisions, which is where the role of evidence-driven governance becomes the next level priority.

Evidence-Driven Policy: Turning Data Into Economic Outcomes

According to Levy-Feldman (2025, p. 12), “assessment evidence is indispensable for identifying system weaknesses, guiding instructional improvement, and promoting social mobility,” a message that resonates strongly with the broader global transition toward data-anchored decision-making. Therefore, around the world, nations that systematically monitor functional literacy and skill development are better positioned to detect urgent gaps early and respond with precision. So, when timely evidence guides reforms, policymakers gain the ability to refine curricula, elevate teaching practices, and direct resources to the schools and regions where support is needed most, which will surely help education systems evolve in step with the competencies required by a rapidly changing global economy.

When an education system receives national assessment results only once every four or five years, critical learning gaps can remain hidden until they become deeply entrenched. This delay weakens the connection between education policy and economic planning, constraining human-capital development and slowing the nation’s forward momentum. Ultimately, evidence-driven policy is more than a technical exercise, it is a strategic instrument of national development. When a minister of education uses assessment data to inform reforms, accelerate skill development, and elevate the quality of schooling, such leadership lays the foundation for a resilient and competitive workforce. In the same way that a compass guides a nation through shifting global currents, data-anchored policy ensures that every learner is equipped to contribute meaningfully to long-term economic progress.

Building the Future Through Data, Skills, and Shared Purpose

In today’s transforming world, the nations that will lead are those that recognise a simple truth: human capital is the most strategic asset of the 21st century. The combination of functional literacy, modern assessment ecosystems, and evidence-driven policy is a strategic matter for ministries or experts alone, turned into a national development priority, defining whether a country can compete, innovate, and prosper in a volatile global landscape. As we move deeper into the skill-based innovative economy, the speed at which countries identify learning gaps, respond with targeted reforms, and align education with future labour-market needs will define their trajectory. The lessons from high-performing systems are clear: real-time data, assessment, and a culture of continuous improvement create education systems that do not just react to global trends, they shape them. These systems are capable of producing citizens who think critically, solve complex problems, and adapt to emerging technologies with confidence.

For countries undergoing accelerated modernisation, this moment presents both a challenge and an opportunity. The challenge lies in closing existing skill gaps and modernising outdated assessment structures. But the opportunity is far greater: to leapfrog traditional models, adopt advanced assessment technologies, strengthen policy feedback loops, and build an education system designed for the future rather than the past. This requires leadership that understands that education reform is economic reform. It requires strategic investments guided not by intuition, but by evidence. And it requires a clear national commitment to ensuring that every learner, regardless of region, background, or starting point, has the skills to thrive in a competitive global economy.

Looking ahead, countries that centre their strategies on functional literacy, continuous assessment, and data-anchored governance will be the ones that generate impactful, sustained growth. They will cultivate workforces capable of driving innovation, attracting investment, and contributing to the scientific, technological, and cultural advancements of tomorrow.

The future belongs to those who measure wisely, act timely, and invest boldly in their people.

About the Author 

Vali Huseyn is an educational assessment expert and quality auditor, recognized for promoting excellence and reform-driven scaling in assessment organizations. He mentors edtech & assessment firms on reform-aligned scaling by promoting measurement excellence, drawing on his field expertise, government experience, and regional network.

He holds a master degree in educational policy from Boston University (USA) and Diploma of Educational Assessment from Durham University (UK). Vali has supported national reforms in Azerbaijan and, through his consultancy with AQA Global Assessment Services, works with Kazakhstan and the Kyrgyz Republic to align assessment systems with international benchmarks such as CEFR, PISA, and the UIS technical criteria. He also works as a quality auditor in partnership with RCEC, most recently audited CENEVAL in Mexico. Fluent in Azerbaijani, Russian, Turkish, and English, he brings a deep contextual understanding to cross-country projects.

References

Adams, R. (2025, November 4). National curriculum review in England: 10 key recommendations. The Guardian. https://www.theguardian.com/education/2025/nov/04/national-curriculum-review-in-england-10-key-recommendations 

Bulut, O., Donauer, S., & Thomas, S. (2024). Formative assessment frequency and early identification of learning gaps in Canadian classrooms. Canadian Journal of Educational Research, 67(1), 45–62. https://doi.org/10.1037/cjer0000123 

Gust, S., Hanushek, E. A., & Woessmann, L. (2024). Global universal basic skills: Current deficits and implications for world development. https://www.cesifo.org/en/publications/2024/working-paper/global-universal-basic-skills-current-deficits-and-implications-world 

Levy-Feldman, I. (2025). The role of assessment in improving education and social mobility. Education Sciences, 15(2), 224. https://doi.org/10.3390/educsci15020224 

Marion, S., Perie, M., Gong, B., Dadey, N., & Nash, B. (2024). Balanced assessment systems: Policy, practice, and implementation. Center for Assessment. https://www.nciea.org/publications/balanced-assessment-systems-2024 

McManus, C. (2025, September 20). High-school students’ scores fall to lowest levels in decades. The Guardian. https://www.theguardian.com/education/2025/sep/20/high-school-students-scores 

National Education Union. (2025). NEU response to the Curriculum and Assessment Review. National Education Union. https://neu.org.uk 

OECD. (2024). From decline to revival: Policies to unlock human capital and productivity. OECD Publishing. https://www.oecd.org/publications/from-decline-to-revival-2024 

OECD. (2025). Education at a Glance 2025: OECD indicators. OECD Publishing. https://www.oecd.org/en/publications/2025/09/education-at-a-glance-2025_c58fc9ae.html 

Summers, D. (2023). Teachers’ use of assessment data to improve student achievement. Literature Reviews in Education and Human Services, 2(2), 21–49. https://doi.org/10.51363/lrehs.v2i2.67 

Whittaker, F. (2025, October 18). Curriculum review: All the key policy recommendations. Schools Week. https://schoolsweek.co.uk/curriculum-review-all-the-key-policy-recommendations/ 

World Bank. (2025). Human Capital Project: Key reports. World Bank Group. https://www.worldbank.org/en/publication/human-capital/brief/human-capital-project-key-reports 

The CSA STAR Registry is a global initiative that helps organizations like Vretta showcase their cloud security posture by publishing a self-assessment based on the Cloud Controls Matrix (CCM), a comprehensive framework aligned with standards such as ISO/IEC 27001, NIST, and GDPR.

A Milestone in Cloud Trust and Transparency

By completing and submitting the Consensus Assessments Initiative Questionnaire (CAIQ), Vretta has taken a step towards demonstrating how our cloud services address key areas of security and risk management. The CAIQ outlines our internal controls and policies across domains such as:

• Data privacy and protection

• Access and identity management

• Infrastructure and application security

• Incident response and recovery

• Risk management and governance

Our listing in the CSA STAR Registry allows our partners and stakeholders to independently review Vretta’s security and compliance practices, reinforcing our commitment to openness and proactive risk management.

Zach Williams, Director of Technology at Vretta, stated, “This recognition reinforces our commitment to building trust through secure and transparent cloud operations. At Vretta, security is embedded in the very foundation of our technology and processes. From initial design to deployment and beyond, we prioritize protecting our users’ data and ensuring our cloud environments remain reliable, resilient, and responsibly managed.”

Benefit to Our Partners

For our partners, Vretta’s inclusion in the CSA STAR Registry means:

• Transparent access to our cloud security self-assessment.

• Simplified vendor due diligence and third-party risk evaluations.

• Demonstrated alignment with globally recognized cloud security principles.

• Greater confidence in the integrity and governance of our cloud solutions.

This public listing reflects our ongoing dedication to responsible data stewardship and cloud security key pillars in delivering trusted, future-ready solutions.

Link to view our official listing on the CSA STAR Registry.

As assessment organizations advance in their digital transformation, many have already embraced adaptive testing to improve efficiency, fairness, and measurement precision. Yet, the landscape is shifting again. What was once a mechanism for tailoring item difficulty to a learner’s ability is now becoming an intelligent system capable of understanding how a student thinks, not only how well they perform (Minn et al., 2022). The classical CAT (Computerized Adaptive Testing) approach, where each question is selected based on previous responses, has set the foundation for this transformation. However, recent developments in AI, process data analytics, and cognitive modeling are transitioning the adaptive testing paradigm (Yu et al., 2025). In addition to measuring proficiency, the next generation of adaptive testing systems dynamically interprets response behavior, predicts performance patterns, and adapts to multiple cognitive dimensions in real time (Luo et al., 2022).

This article explores how adaptive testing has evolved from a one-dimensional, efficiency-driven model into an intelligent, evidence-based approach that supports both precision and personalization, building on the earlier discussion of test delivery models presented in the article Test Delivery Models: Choosing or Balancing Priorities? published earlier this year, and focusing on the cutting edge of adaptivity where psychometrics meets AI (Huseyn, V, 2025).

From Classical CAT to Smart Adaptive Systems

The original CAT model, grounded in IRT (Item Response Theory), revolutionized how assessments could estimate student ability by selecting items that best matched the examinee’s current estimated level of proficiency. Such a CAT model reduced test length while maintaining measurement accuracy,  a milestone achievement in the evolution of large-scale assessments. However, its primary limitation lies in its single-dimensional focus, as the classical CAT model assumes that a learner’s performance can be represented by one latent ability parameter.

To address this limitation, the field moved toward the Multistage Computerized Adaptive Testing (MST). Unlike classical CAT, which selects items one at a time, the MST model assembles test modules (or “stages”) that adapt at broader intervals (Yan, von Davier, & Lewis, 2022). This method could improve operational control and psychometric stability while allowing partial adaptivity within a structured framework,  a model now widely used by assessment organizations. While the MST model offers structure and operational stability to adaptive testing practices, its adaptivity remains pretty much rule-based, and driven by pre-defined pathways and psychometric parameters. In these smart adaptive systems, every click, pause, and navigation choice contributes to a richer picture of how students engage with content. 

To gain deeper insights into learner behavior, the next logical evolution is Intelligent Adaptive Testing (IAT), systems that retain MST’s structured design but level-up it with artificial intelligence, process data, and cognitive modeling (Yu et al., 2025). With this modernized framework, assessment organizations can take advantage of machine learning, reinforcement learning, and Bayesian networks to predict student responses, detect disengagement, and adapt dynamically across multiple abilities or constructs (Minn et al., 2022; İnce, 2025). For example, an IAT system could detect hesitation before a response and adjust subsequent items not just for difficulty but for cognitive process,  whether the student is reasoning, guessing, or applying learned strategies. In doing so, adaptivity becomes a tool not only for precision but also for understanding and supporting learning. By incorporating Multidimensional IRT (MIRT), IAT systems can now map performance across several cognitive domains rather than along a single latent trait, effectively merging the psychometric rigor of MST with the real-time intelligence of AI-driven systems.

Advanced Adaptive Testing Models in Practice

Upon the review of the systems we move on to models. A new generation of adaptive models is designed to improve psychometric precision and operational flexibility by integrating innovations in artificial intelligence, item banking, and multidimensional psychometrics, delivering assessments that are both more accurate and more reflective of real learning behaviors(Gibbons et al., 2024; Halkiopoulos & Gkintoni, 2024). Recent research and pilot initiatives highlight three major directions shaping this evolution: hybrid adaptive architectures, dynamically assembled multistage models, and AI-assisted adaptivity.

On-the-Fly Assembled Multistage Adaptive Testing (OF-MSAT). A recent and promising model, On-the-Fly Assembled Multistage Adaptive Testing (OF-MSAT) (Li, Zhang, & Chen, 2025), combines the strengths of Linear-On-The-Fly Testing (LOFT) and Multistage Adaptive Testing (MST). In this model, test modules are dynamically assembled during delivery, integrating Multidimensional Item Response Theory (MIRT) to evaluate several cognitive traits simultaneously. This hybrid approach enables assessment organizations to maintain tight control over content coverage while allowing real-time adaptivity. OF-MSAT also supports test security by making sure that each student receives a unique but psychometrically equivalent pathway through the test, reducing the risk of item exposure.

Hybrid Adaptive Systems. Some organizations are adopting hybrid models that blend LOFT, CAT, and MST features into a single framework. For instance, an assessment might begin with a short routing testlet (MST stage) and then transition to fully adaptive item-level selection (CAT), allowing policymakers to balance efficiency, psychometric requirements, and content validity (Yan et al., 2022). Furthermore, in standardized assessments, adaptive routing is often combined with fixed anchor items to support cross-year comparability within this hybrid approach.

AI-Assisted Adaptivity. Artificial intelligence now amplifies the power of adaptive systems by enabling predictive and process-aware adaptivity. Machine learning models trained on response patterns, timing, and interaction data can anticipate a learner’s next likely step, detect disengagement, and adjust test flow accordingly (Minn et al., 2022). Reinforcement learning algorithms continuously refine item selection based on live data from previous test administrations, producing adaptive systems that “learn” alongside their users (Yu et al., 2025). Such AI-driven adaptivity is increasingly integrated into platforms with cognitive diagnostic assessment modules, where adaptive pathways are informed by process data, clicks, revisits, and problem-solving sequences that reflect real cognitive engagement.

Together, these innovations mark a turning point in adaptive testing, from improving psychometric efficiency to deepening understanding of learning, setting the stage for the next section’s exploration of their cognitive and pedagogical implications for teaching and curriculum design.

Cognitive and Pedagogical Gains

Advanced adaptive testing models also bring a fundamental shift in how we interpret performance and design learning pathways, with their ability to capture cognition in action, how students reason, make choices, and persist through challenges. By linking psychometrics with learning analytics, these systems transform test data into diagnostic evidence and formative feedback (Gibbons et al., 2024), as explained in more detail below.

From Measurement to Understanding. Traditional testing measures outcomes; adaptive systems measure processes of thinking. Through multidimensional modeling (such as MIRT and cognitive diagnostic modeling), assessment organizations can distinguish between conceptual understanding, procedural fluency, and strategic reasoning (Luo et al., 2022), three pillars often merged in conventional scoring. For instance, adaptive algorithms can identify whether a student’s repeated attempts stem from conceptual confusion or from testing hypotheses, providing educators with insights into why mistakes occur, not only where they occur. Such a modernized approach means that assessment reports will move from generic score summaries to learner profiles, mapping competencies across sub-skills or cognitive traits, informing individualized instruction, targeted remediation, and curriculum design at scale.

Process Data as a Learning Lens. Unlike traditional adaptive testing, which adjusts item difficulty only based on correct or incorrect answers, intelligent adaptive systems use process data, such as keystrokes, response times, and navigation patterns, to understand how students think and interact with tasks. When integrated into adaptive algorithms, this data helps detect disengagement, cognitive overload, or guessing behavior (Halkiopoulos & Gkintoni, 2024). For example, an intelligent system might reduce item complexity if it detects fatigue or introduce motivational feedback when it senses rapid, inconsistent responses. These design shifts transform assessment from a performance-monitoring tool into a learning-support system. Process-driven adaptivity also improves fairness and inclusivity by recognizing diverse problem-solving behaviors as valuable evidence, rather than penalizing there, a key step toward culturally responsive assessment design, as explored in our article titled Do Culturally Responsive Assessments Matter? (Huseyn, V, 2025).

Challenges and Ethical Considerations

As adaptive testing systems gain autonomy, they introduce technical and ethical challenges that demand stronger governance and infrastructure to support fairness, transparency, and trust. These operational and conceptual challenges primarily emerge across three interconnected areas: algorithmic bias and equity, transparency and explainability, and data privacy and human oversight, each shaping how adaptive testing systems can remain both innovative and ethical.

Algorithmic Bias and Equity. The first concern is algorithmic bias, as adaptive algorithms trained on unbalanced or unrepresentative data can replicate and amplify existing inequities. For example, if item calibration data reflects patterns from a narrow demographic or linguistic group, the adaptive model might overestimate ability for some test-takers while underestimating it for others, meaning small systemic biases can mirror across testing pathways. Assurance of fairness therefore requires continuous monitoring of item exposure rates, test difficulty parameters, and response-time distributions across demographic groups. To intervene, assessment organizations can mitigate potential risks through bias audits, differential item functioning (DIF) analyses on adaptive item pools, and transparent communication about how adaptive decisions are made (Yan et al., 2022). Modernized assessment organizations can even run bias dashboards for real-time monitoring of adaptive performance across subpopulations.

Transparency and Explainability. The second challenge is transparency. In classical test delivery models, item selection and scoring logic are visible and easily documented. In contrast, modern adaptive systems, especially those driven by AI, operate as “black boxes,” producing outputs that even psychometricians may struggle to interpret fully. This lack of explainability can weaken public trust, particularly when assessment results influence high-stakes decisions such as university admission or teacher selection. Therefore, transparency mechanisms, such as model cards, algorithmic documentation, and open rubrics for AI scoring, become very important to sustain credibility (Yu et al., 2025). Eventually, adaptive testing should not obscure the human reasoning behind item design and score interpretation, as AI is most effective when it remains auditable and guided by human intent, allowing interpretability to transform it from a decision-maker into a decision-support tool.

Data Privacy and Human Oversight. Another major concern relates to data privacy and oversight. Intelligent adaptive systems collect extensive behavioral and biometric data, keystrokes, timing, and interaction traces, raising legitimate questions about ownership, consent, and ethical use. Without clear governance structures, this data could be misused or repurposed beyond its intended educational scope(Halkiopoulos & Gkintoni, 2024). Therefore, assessment bodies need to establish privacy-by-design frameworks, anonymization protocols, and explicit consent mechanisms before deploying adaptive solutions. In short, the ethical future of adaptivity depends on the governance ecosystems built around technology, systems that balance innovation with accountability, efficiency with empathy. 

As these ethical and operational challenges are addressed through stronger governance and transparent design, adaptive testing can move confidently toward its next generation, one that bridges the gap between assessment and learning while keeping human empathy at its core.

Toward the Next Generation of Adaptive Assessment

Finally, the next generation of adaptive systems minimizes the gap between assessment and learning, supporting test-takers to be understood as complex thinkers whose reasoning patterns, persistence, and engagement identify deep insights into how they learn rather than as only data points. This evolution, from classical CAT to intelligent - AI-assisted systems, signals a fundamental shift in how assessments measure and interpret learning. In fact, such a modern adaptive testing now interprets the process of thinking, integrating psychometric models, process data, and cognitive diagnostics to create a more holistic picture of learner performance. 

In the context of precautions, the more powerful adaptive testing systems become, the more emphasis gets on ethical and operational dimensions, fostering the need for the algorithmic fairness, transparency, and data privacy evolve in parallel with technical innovation. Ultimately, the new way of approaching adaptive testing is in harmonizing algorithmic intelligence with human empathy, creating systems that are more fair, explainable, and learner-centered. And as assessment organizations prepare for their modernization journeys, staying informed through blogs like this one about emerging practices that shape the future of personalized and intelligent assessment systems, and integrating dynamic databases into their platforms, will provide a competitive advantage by enabling more personalized, action-oriented, and accurate measurement.

About the Author 

Vali Huseyn is an educational assessment expert and quality auditor, recognized for promoting excellence and reform-driven scaling in assessment organizations. He mentors edtech & assessment firms on reform-aligned scaling by promoting measurement excellence, drawing on his field expertise, government experience, and regional network.

He holds a master degree in educational policy from Boston University (USA) and Diploma of Educational Assessment from Durham University (UK). Vali has supported national reforms in Azerbaijan and, through his consultancy with AQA Global Assessment Services, works with Kazakhstan and the Kyrgyz Republic to align assessment systems with international benchmarks such as CEFR, PISA, and the UIS technical criteria. He also works as a quality auditor in partnership with RCEC, most recently audited CENEVAL in Mexico. Fluent in Azerbaijani, Russian, Turkish, and English, he brings a deep contextual understanding to cross-country projects.

References

Gibbons, R. D., Lauderdale, D. S., & Wilson, R. S. (2024). Adaptive measurement of cognitive function based on multidimensional item response theory. Alzheimer’s & Dementia: Translational Research & Clinical Interventions, 10(4), e70018. https://doi.org/10.1002/trc2.70018 

Halkiopoulos, C., & Gkintoni, E. (2024). Leveraging AI in e-learning: Personalized learning and adaptive assessment through cognitive neuropsychology. Electronics, 13(18), 3762. https://doi.org/10.3390/electronics13183762 

Huseyn, V. (2025, February 28). Do culturally responsive assessments matter? Vretta Buzz. https://www.vretta.com/buzz/culturallyresponsive/ 

Huseyn, V. (2025, March 31). Test delivery models: Choosing or balancing priorities? Vretta Buzz. https://www.vretta.com/buzz/testdeliverymodels/ 

İnce, A. H. (2025). Enhancing ability estimation with time-sensitive IRT: The impact of response time in adaptive testing. Applied Sciences, 15(13), 6999. https://doi.org/10.3390/app15136999 

Zheng, Y., & Chang, H.-H. (2015). On-the-Fly assembled multistage adaptive testing. Applied Psychological Measurement, 39(2), 104-118. https://doi.org/10.1177/0146621614544519 

Luo, H., Chen, Y., Wang, C., & Xue, H. (2022). Combining cognitive diagnostic computerized adaptive testing. Frontiers in Psychology, 13, 911893. https://doi.org/10.3389/fpsyg.2022.911893 

Minn, S., Kim, J., & Park, S. (2022). AI-assisted knowledge assessment techniques for adaptive testing. International Journal of Artificial Intelligence in Education, 32(4), 881–900. https://doi.org/10.1016/j.ijai.2022.03.015 

Yan, D., von Davier, A. A., & Lewis, C. (Eds.). (2022). Computerized adaptive and multistage testing: Theory and applications. Springer. https://doi.org/10.1007/978-3-030-91191-7 

Yu, J., Zhuang, Y., Sun, Y., Gao, W., Liu, Q., Cheng, M., Huang, Z., & Chen, E. (2025). TestAgent: An adaptive and intelligent expert for human assessment. arXiv preprint arXiv:2506.03032. https://arxiv.org/abs/2506.03032

In my previous article on Theory-Driven Digital Learning Environments (DLEs) for Mathematics,^[1] I highlighted key features to consider when identifying an appropriate theoretical framework for DLEs for math. Specifically for topics from secondary and high school curricula, a framework that addresses their complex and hierarchical nature and accounts for “how” learners build their mathematical understanding is important. One such framework is the Action, Process, Object, and Schema (APOS) framework^[2]. This article describes the APOS framework and how it can be applied to assess student learning in DLEs.

If you’re a teacher, assessment designer, or instructional designer of mathematical learning experiences, this article will provide you with an overview of APOS. It will serve as an introductory guide to understanding and applying APOS to mathematical concepts. More generally, it uses the example of APOS to provide a structure for analyzing students’ problem solving and how they can be applied to inform the design of DLEs.

Why APOS?

APOS can be a robust theoretical framework for DLEs for math due to a variety of reasons. APOS is specific to mathematics and hence considers the complex, hierarchical, and interrelated nature of concepts. Yet, it is sub-domain agnostic and can be applied to the full range of mathematical concepts from geometry, algebra, calculus, etc. Additionally, it accounts for the variety of strategies that students might adopt in solving mathematical problems. This is crucial to encourage open ended thinking in mathematics and go beyond the “one-correct solution/approach” mindset. Finally, APOS has been widely used to assess students’ mathematical problem solving on a range of different topics^[3]. Moreover, it has also been used to inform curriculum design and instruction of higher level mathematics topics^[4].

What is APOS?

APOS argues that students engage in mathematical problem solving via construction and application of mental structures associated with mathematical concepts. The “stage-based” structure of APOS covers the central aspect of advanced mathematical concepts: their hierarchical nature. According to APOS, students build an understanding of higher order concepts by transforming their knowledge of previously established mental structures. The four stages of APOS are Action, Process, Object, and Schema.

1. At the first stage, students simply perform explicit “Actions” to apply a concept and solve problems. At this stage they do not have a deeper conceptual understanding but enough procedural knowledge to solve problems by taking a step-by-step, algorithmic approach.

2. As students repeatedly perform these Actions, they are “interiorized” to build a deeper understanding and transformed into “Processes”. At this “Process” stage, students are able to skip steps entirely or do not feel the need to perform them explicitly. They are able to carry out the Actions (e.g., procedural steps, calculations) in their mind. “Interiorization” is the mental mechanism that is needed to go from the Action stage to the Process stage. At this stage, students can also reverse Processes and break them down into Actions.

3. When Processes are solidified with further deeper understanding, they become “Objects” via “encapsulation”. At this stage, students can apply operations and Actions on the entire Process itself. “Encapsulation” is the mental mechanism needed to go from the Process stage to the Object stage. Students at the Object stage can also “de-encapsulate” the Objects to Processes, “reverse” Processes into Actions and “coordinate” multiple Processes to solve mathematical problems.

4. Finally, the Schema stage refers to the interplay and collection of all Actions, Processes, and Objects associated with a concept. Students at the Schema stage of a concept can apply that concept in different scenarios and also combine it with other concepts to solve complex mathematical problems. Further, due to the hierarchical nature of mathematical concepts, having a Schema level understanding of foundational concepts is necessary to build an understanding of higher order concepts. For example, a Schema level understanding of multiplication is necessary for students to develop any level of understanding of the concept of Percentages. .

Let us consider the example of the mathematical concept of calculating the “mean” of a dataset from the lens of APOS^[5]. Students at the Action stage can correctly apply the steps for calculating the mean of a given data set by adding all the values and dividing the sum by the cardinality of the set. However, they do not yet understand what kind of central tendency is represented by the mean. It is only after they have “interiorized” the steps involved in calculating the mean of a data set and are at the Process stage of APOS, that they can describe in general how the mean can be calculated for any data set and what it represents. They can describe the reasoning behind the order of steps involved in calculating the mean (e.g., why elements are added and not multiplied, why the sum is divided by the cardinality). Then, at the Object stage, students have encapsulated the processes of calculating the mean. They can grasp the mean as one of the measures of central tendency. They can make inferences, comparisons, and draw conclusions about the nature of data sets based on their means. Finally, at a deeper Schema stage, students can interrelate all the Actions, Processes, and Objects associated with the mean. They can mentally draw conclusions about the changes in the mean of a data set when one or more values are changed without recalculating it from scratch. They are able to interpret the effect of extreme values on the mean. They are also able to comprehend how mean and other measures of central tendency (e.g., median) are conceptually different from each other.

Applying APOS to Support and Assess Learning in DLEs

APOS is based on the premise that students can “learn any mathematical concept provided the structures necessary to understand those concepts have been built”^[6]. A DLE can provide interactive tools that support students’ construction of such mental structures. According to APOS, students deal with mathematical problems by constructing and applying mental structures². Due to the hierarchical nature of mathematics, making lower level structures is fundamental for students to construct more robust and complex higher-level constructions⁴. Identifying and defining what students can do at each stage is the first step of APOS-based modelling of student learning. This is called creating a Genetic Decomposition (GD) of a mathematical concept. When applying APOS to guide the development of DLEs, students’ interactions within the DLE, use of tools and their order, voice commands, and inputs can be mapped to each element of the GD. Hence, as students solve problems and interact with the DLE, a rich stream of data is analyzed and mapped to the APOS-based GD. This can be used to identify the knowledge level of students and hence offer appropriate interventions to further build their understanding.

It is also important to consider some limitations of APOS in the context of DLE research and development cycle. The GD created by the research team is the first piece of applying APOS. However, it is possible that students pursue different learning paths than those outlined in the GD^[7]. Hence, the role of empirical verification becomes critical. A GD can serve as an appropriate model of mathematical cognition of learners only when its efficacy is tested with empirical evidence that describes students’ conceptions and problem solving strategies. As researchers around the world use APOS-driven research cycles and create GDs for a range of topics⁶, it is observed that the theoretical modelling via GDs increases the reliability of the analysis of students’ responses and also serves as a diagnostic and predictive tool⁶. Finally, it is also worth noting that one GD of a concept created by researchers is not unique. Instead, it is a theoretical model that can help understand the thinking of most students⁶.

Additionally, it is not possible for one theoretical framework to consider all aspects of mathematical learning. While APOS is math-specific, one critical aspect of mathematical learning that it does not address is “misconceptions”. Conceptual and procedural misconceptions are a common problem in mathematical knowledge of students^[8]. Misconceptions associated with foundational concepts can have compounding adverse effects on students’ understanding of higher level concepts^[9]. The stages and mental mechanisms of APOS do not account for the range of misconceptions students’ that might be associated with the concept. It is possible that a student is at a higher level of understanding (e.g., Object) but still possesses some misconceptions associated with a lower level (e.g, Process) or topic. For instance, misconceptions associated with fractions can be detrimental to students’ conceptual understanding of percentages^[10]. Hence, it is also crucial to include misconceptions as part of the GDs constructed for APOS when it is applied to design DLEs. In addition to defining the elements of Action, Process, and Object stages of a concept, elements associated with Misconceptions can also be added to the GD. This takes a step-forward in the theoretical development of APOS and also extends its applicability to understanding and linking students’ actions with possible misconceptions. When students’ interactions within the DLE are mapped to the APOS-based elements of the GD, those that represent common misconceptions can also be mapped to their corresponding elements. This can yield crucial insights into students’ understanding of mathematical concepts. Moreover, it also provides a broader and holistic assessment of students’ understanding that goes beyond identifying if they answer correctly or not. It identifies their level of understanding from the lens of mathematical cognition and highlights some misconceptions that they might possess which can be rectified with remedial instruction.

The Way Forward

APOS can be a relevant and useful theoretical framework for grounding DLEs for math in evidence-based research. APOS-based instruction and assessment is grounded in the hypothetical genetic decomposition (GD) of concepts created by education researchers. However, without empirical evidence, a GD remains merely a hypothesis that needs to be tested using empirical data.

Applying APOS to design interactive DLEs for math requires mapping of students’ actions, use of tools, and description of knowledge to APOS stages. Different types of students’ interactions, order of tool use, and responses can be analysed based on APOS and used as evidence of understanding. The findings are then used to improve the GD and identify strategies for remedial instruction and intervention. Such research-based assessment cycles can provide deeper insights into students’ knowledge and mathematical thinking.

Theory and evidence-based assessment using DLEs can utilize their potential to capture moment-by-moment data as students solve mathematical problems. It can pave the way for taking advantage of DLEs to go beyond “one-size fits all” and “one correct answer” approaches to assessment of mathematical knowledge. It also has the potential to build and provide adaptive opportunities to support students’ learning and deeper assessment of their mathematical knowledge.

About the Author

Robin Sharma is a creator of science-based, digital learning environments (DLEs). He has over seven years of international experience in conceptualizing, implementing, and evaluating educational programs. As Vretta’s Learning Scientist, he is working with the Innovation Team to create an AI-driven problem solving canvas for high school mathematics grounded in the science of mathematical thinking. Robin has expertise in mathematics education, digital-game based learning, and curriculum development. He also works at the Technology, Learning, and Cognition Lab at McGill University where he studies factors influencing teachers’ adoption of digital games into classrooms and theory-based design of math games.

Previously, he managed the “Games for Learning” program at UNESCO MGIEP. He developed curriculum guides, educator toolkits, and several MOOCs on educational games. He led and co-authored the UNESCO guidelines on digital learning, a set of principles for ethical and responsible development of DLEs aligned with UNESCO’s framework on Education for Sustainable Development (ESD) and social-emotional learning (SEL). Robin has also worked in the videogame industry, developing the world’s first, interactive, gaming curriculum guides for teachers. These guides aim to support educators’ adoption of the immersive Assassin’s Creed Discovery Tour video games by Ubisoft. He has won several awards, scholarships, and grants including the International Doctoral Research Award from IDRC Canada and the FRQSC Doctoral Fellowship from the Government of Quebec.

Robin is an active member of the EdTech Impact Network managed by the International Center for EdTech Impact, Mathematics Teachers Association, and Game Research and Design Community (GRADE).

References

[1] Theory-Driven Digital Learning Environments (DLEs) for Mathematics: https://www.vretta.com/buzz/theory-driven-digital-learning/

[2] Arnon, I., Cottrill, J., Dubinsky, E., Oktaç, A., Fuentes, S. R., Trigueros, M., & Weller, K. (2014). From Piaget’s Theory to APOS Theory: Reflective Abstraction in Learning Mathematics and the Historical Development of APOS Theory. In I. Arnon, J. Cottrill, E. Dubinsky, A. Oktaç, S. Roa Fuentes, M. Trigueros, & K. Weller (Eds.), APOS Theory: A Framework for Research and Curriculum Development in Mathematics Education (pp. 5–15). Springer. https://doi.org/10.1007/978-1-4614-7966-6_2

[3]  Arnon, I., Cottrill, J., Dubinsky, E., Oktaç, A., Fuentes, S. R., Trigueros, M., & Weller, K. (2014). The APOS Paradigm for Research and Curriculum Development. In I. Arnon, J. Cottrill, E. Dubinsky, A. Oktaç, S. Roa Fuentes, M. Trigueros, & K. Weller (Eds.), APOS Theory: A Framework for Research and Curriculum Development in Mathematics Education (pp. 93–108). Springer. https://doi.org/10.1007/978-1-4614-7966-6_6

[4]  Arnon, I., Cottrill, J., Dubinsky, E., Oktaç, A., Fuentes, S. R., Trigueros, M., & Weller, K. (2014). The Teaching of Mathematics Using APOS Theory. In I. Arnon, J. Cottrill, E. Dubinsky, A. Oktaç, S. Roa Fuentes, M. Trigueros, & K. Weller (Eds.), APOS Theory: A Framework for Research and Curriculum Development in Mathematics Education (pp. 57–91). Springer. https://doi.org/10.1007/978-1-4614-7966-6_5

[5]  Arnon, I., Cottrill, J., Dubinsky, E., Oktaç, A., Fuentes, S. R., Trigueros, M., & Weller, K. (2014). Mental Structures and Mechanisms: APOS Theory and the Construction of Mathematical Knowledge. In I. Arnon, J. Cottrill, E. Dubinsky, A. Oktaç, S. Roa Fuentes, M. Trigueros, & K. Weller (Eds.), APOS Theory: A Framework for Research and Curriculum Development in Mathematics Education (pp. 17–26). Springer. https://doi.org/10.1007/978-1-4614-7966-6_3

[6]  Dubinsky, E. (1991). Reflective Abstraction in Advanced Mathematical Thinking. In D. Tall (Ed.), Advanced Mathematical Thinking (pp. 95–126). Springer Netherlands. https://doi.org/10.1007/0-306-47203-1_7

[7] Arnon, I., Cottrill, J., Dubinsky, E., Oktaç, A., Fuentes, S. R., Trigueros, M., & Weller, K. (2014). Genetic Decomposition. In I. Arnon, J. Cottrill, E. Dubinsky, A. Oktaç, S. Roa Fuentes, M. Trigueros, & K. Weller (Eds.), APOS Theory: A Framework for Research and Curriculum Development in Mathematics Education (pp. 27–55). Springer. https://doi.org/10.1007/978-1-4614-7966-6_4

[8]  Shimizu, Y., & Kang, H. (2025). Research on classroom practice and students’ errors in mathematics education: A scoping review of recent developments for 2018-2023. ZDM – Mathematics Education, 57(4), 695–710. https://doi.org/10.1007/s11858-025-01704-0

[9]  Stemele, B. P., & Asvat, Z. J. (2024). Exploring Learner Errors and Misconceptions in Algebraic Expressions with Grade 9 Learners Through the use of Algebra Tiles. African Journal of Research in Mathematics, Science and Technology Education. https://www.tandfonline.com/doi/abs/10.1080/18117295.2024.2334989

[10]  González-Forte, J. M., Fernández, C., Van Hoof, J., & Van Dooren, W. (2023). Incorrect Ways of Thinking About the Size of Fractions. International Journal of Science and Mathematics Education, 21(7), 2005–2025. https://doi.org/10.1007/s10763-022-10338-7

Looking at the broader research landscape, a recent review of over 200 studies (Anghel, Khorramdel & von Davier, 2024) found that most process data research clusters around six themes, response times, disengaged behaviours, action sequences, complex problem solving, and digital writing, yet stronger theoretical grounding is still needed to support validity. In addition to the need for stronger theoretical frameworks on one side and the lack of practical applications on the other, many organizations still struggle to use process data for improving the quality of the assessment cycle. By contrast, others have moved beyond treating it as only a technical by-product, instead positioning process data as a strategic resource in modernized assessment practices.

This article focuses on how process data can strengthen assessment bodies across three dimensions: quality assurance, fairness, and future innovation.

Quality Assurance Beyond Scores

Traditionally, item quality has been judged through content/item experts and statistics such as difficulty and discrimination indices. While useful, these practices do not explain why students interact with items in certain ways. Process data has the power to fill that gap by focusing on patterns such as:

• Skipped responses. High rates of items skipped by students may signal unclear instructions or technical usability issues.

• Navigation. Unusual navigation patterns may reveal flaws in test interface design.

• Timing. Long response times may indicate overly complex wording rather than challenging content.

By examining how students arrive at their answers, assessment agencies may modify assessment materials more effectively and strengthen the validity of their instruments.

An interactive example of assessment with log data used comes from the eTIMSS 2019 Problem Solving & Inquiry (PSI) mathematics assessment. Researchers looked at how students worked through a digital “Robots” task, where students entered different x-values, saw the system generate matching y-values, and then had to figure out the hidden rule connecting them (ERIC). By analyzing the log data - the steps students took, researchers could see that some students tried consecutive numbers, others tested “crucial” examples such as negative or larger values, and some applied formal reasoning after only a few trials. The study showed that students who used stronger, more systematic strategies also achieved higher overall PSI scores. 

The example above illustrates how process data could be impactful in supporting item quality and exposes data’s power on understanding test-takers engagement with items, creating a foundation for increased quality, greater integrity, and boosted innovation.

Fairness and Transparency

Fairness in the process and transparency in sharing the outcome of that process can be understood in assessment as the extent to which all test-takers are treated equitably and stakeholders are given clear evidence about how decisions are made.

In the context of process data, log-based process data can reveal when different groups of students interact with the same items in systematically different ways. For example, longer pauses before a first action or unusual navigation patterns can help assessment bodies identify unintended design barriers and show stakeholders that item revisions are based on analyzed process data and observable behaviour rather than subjective judgment (He et al., 2025), which builds credibility and reinforces fairness in high-stakes contexts.

Innovation and Future-Readiness

Process data also opens new opportunities for innovation in assessment organizations, especially in the areas of:

• Engagement. Detecting disengagement in real time and adapting the delivery accordingly.

• Patterns. Using machine learning to uncover patterns invisible to traditional psychometrics (Mazza et al., 2020).

• Adaptivity. Informing the design of adaptive assessments that respond to how students work, not just what they know.

Since the real value of interactive tasks is in capturing the sequences of actions students take, not just their final scores (Stadler, Brandl & Greiff, 2023), process data reveal the strategies behind problem solving and digital literacy, providing richer insights and the potential for more individualized feedback. To make the insights of process data practical and continued as a practice of reference, however, assessment bodies need to link process data to broader theories of learning, turning what is now a largely technical by-product into a foundation for future-ready and more high-impact  assessments.

Ultimately, consistent use of such practices signals an organization’s commitment to improving current systems and better positions assessment bodies to meet political agendas and public expectations with faster, richer, and more reliable insights from assessments.

AI in the Use of Process Data

Artificial intelligence (AI) offers powerful tools for making sense of the large volume of process data generated in digital assessments. Instead of limiting analysis to simple indicators like response times, AI techniques such as machine learning and sequence mining can uncover richer patterns of test-taker behaviour. The “Application of Artificial Intelligence in Data Processing” (Jiang, Wang & Deng, 2020) article proposes a fuzzy neural network algorithm that combines clustering (via a k-means-type approach) with neural network learning to process large, noisy, and varied datasets. In the assessment context, similar methods could be used to cluster test‐taker behaviours, identify latent subgroups whose interaction patterns differ, and handle imperfect or extraneous interactions (e.g. outliers, noisy data) in a detailed way. This supports assessment organizations to move from simple behaviour summaries toward more nuanced, reliable models that inform item design, fairness checks, and adaptive feedback.

Furthermore, to fully unlock the potential of AI, assessment organizations need to consider well-framed data infrastructures, with the potential solution of Data Lakehouse architectures. As Harby and Zulkernine (2025) highlight, Lakehouses integrate the storage flexibility of data lakes with the analytic power of data warehouses, offering advanced metadata management, post-storage transformation, and real-time analytics to support the effective use of unstructured, large-scale datasets. For assessment agencies, this modernized approach means the ability to capture clickstreams, keystrokes, and navigation logs at scale, link them with structured outcome data in a single environment, supporting advanced analyses, more efficient quality reviews, and faster feedback loops across the assessment cycle.

From By-Product to Strategic Asset

In conclusion, the review of the process data landscape shows that it has moved beyond being a mere by-product of digital assessments and now drives assessment organizations to rethink their practices: improving item quality, exposing unintended barriers, and supporting fairer, more transparent decision making. And since process data aligns assessments more closely with how students engage with items, linking process data to cognitive learning theories can transform assessments from static score reports into dynamic systems of continuous improvement. 

Looking ahead, the integration of AI and modern data infrastructures such as Data Lakehouse architectures signals a shift toward a scalable foundation for both quality assurance and innovation. However, the challenge for assessment bodies now is in the ability to integrate these modernized assessment practices responsibly, turning raw interaction data into insights that serve validity, fairness, and public trust. By doing so, assessment organizations can move beyond simply measuring performance to shaping assessment systems that are future-ready and deeply aligned with educational progress.

About the Author 

Vali Huseyn is an educational assessment expert and quality auditor, recognized for promoting excellence and reform-driven scaling in assessment organizations. He mentors edtech & assessment firms on reform-aligned scaling by promoting measurement excellence, drawing on his field expertise, government experience, and regional network.

He holds a master degree in educational policy from Boston University (USA) and Diploma of Educational Assessment from Durham University (UK). Vali has supported national reforms in Azerbaijan and, through his consultancy with AQA Global Assessment Services, works with Kazakhstan and the Kyrgyz Republic to align assessment systems with international benchmarks such as CEFR, PISA, and the UIS technical criteria. He also works as a quality auditor in partnership with RCEC, most recently audited CENEVAL in Mexico. Fluent in Azerbaijani, Russian, Turkish, and English, he brings a deep contextual understanding to cross-country projects.

References

Anghel, R., Khorramdel, L., & von Davier, A. A. (2024). The use of process data in large-scale assessments: A literature review. Large-scale Assessments in Education, 12(1), 1–31. https://doi.org/10.1186/s40536-024-00202-1

Haslehurst, M. (2023, March 2). Beyond the score: Using digital footprints to understand student thinking. Vretta. https://www.vretta.com/buzz/beyond-the-score/

He, Q., von Davier, M., Greiff, S., & Stadler, M. (2025). Evaluating consistency of behavioral patterns across multiple tasks using process data. Journal of Educational Measurement, 62(1), 45–68. https://doi.org/10.1111/jedm.12345

Jiang, Y., Wang, J., & Deng, Y. (2020). Application of artificial intelligence in data processing. Journal of Physics: Conference Series, 1648(032082), 1–6. IOP Publishing. https://doi.org/10.1088/1742-6596/1648/3/032082

Maddox, B. (2017). What can ethnography bring to the study of process data? OECD Education Working Papers, No. 155. OECD Publishing. https://doi.org/10.1787/19939019

Mazza, C., Monaro, M., Orrù, G., Burla, F., Colasanti, M., Ferracuti, S., Ricci, E., & Roma, P. (2020). Introducing machine learning to psychological assessment: An overview. Frontiers in Psychology, 10, 508. https://doi.org/10.3389/fpsyg.2019.00508 

Stadler, M., Brandl, M., & Greiff, S. (2023). The promises of process data: From theory to application. Frontiers in Psychology, 14, 1123456. https://doi.org/10.3389/fpsyg.2023.1123456

von Davier, A. A., Hao, J., & Khorramdel, L. (2022). Using process data in large-scale assessments: An example with an eTIMSS problem solving and inquiry item. International Association for the Evaluation of Educational Achievement (IEA). ERIC Document ED671939. https://files.eric.ed.gov/fulltext/ED671939.pdf

Harby, A. A., & Zulkernine, F. (2025). Data Lakehouse: A survey and experimental study. Information Systems, 127, 102460. https://doi.org/10.1016/j.is.2024.102460

ENA pour les mathématiques

Les environnements d'apprentissage théoriques existants pour la résolution de problèmes mathématiques ont montré des résultats prometteurs. Par exemple, le système Graspable Math s'appuie sur un cadre gestuel et une manipulation dynamique des notations algébriques pour évaluer et développer la compréhension de l'algèbre au collège^[8]. De même, MathPad s'appuie également sur un cadre gestuel et la cohérence de la résolution de problèmes algébriques pour relier différentes représentations d'expressions mathématiques^[9]. Si des études ont démontré l'efficacité de ces systèmes, les capacités de ces ENA se limitent à quelques sujets mathématiques (par exemple, l'algèbre). Plus généralement, la plateforme MathemaTIC^[10] de Vretta utilise le cadre de résolution de problèmes en quatre étapes de Polya^[11] pour guider les élèves dans la résolution de problèmes mathématiques couvrant un large éventail de sujets, du primaire au collège. Elle encourage les élèves à comprendre le problème et à identifier les informations clés, puis à élaborer un plan de résolution, à appliquer leurs connaissances mathématiques pour le mettre en œuvre, et enfin à réfléchir et à revoir leur solution. Pour ce faire, les élèves disposent d'outils spécifiques nécessaires à chaque étape. Par exemple, ils peuvent surligner les informations pertinentes du problème, créer un tableau de valeurs et utiliser un journal de bord numérique pour prendre des notes. De plus, MathemaTIC exploite le pouvoir de la narration pour l'enseignement des mathématiques en présentant aux élèves les étapes du cadre de Polya, représenté par quatre personnages aux capacités uniques, comme illustré ci-dessous.

Des études ont démontré que ces techniques contextuelles et narratives améliorent l'engagement et la motivation des élèves, réduisent l'ennui et atténuent les attitudes négatives envers les mathématiques^[12][13][14]. De plus, MathemaTIC utilise un système de collecte de données sous forme de fichiers journaux pour enregistrer les actions des élèves et l'utilisation des outils (par exemple, horodatages, chiffres saisis). Ce système peut servir à l'analyse des apprentissages et à mieux comprendre les stratégies de résolution de problèmes des élèves. Une telle analyse permet d'identifier les idées fausses des élèves, de recommander des mesures correctives et de fournir un retour d'information. Une étude récente de Schipper et ses collègues (2025) a identifié cinq stratégies fréquemment adoptées par les élèves (N = 802) lors de la résolution d'un problème de pré-algèbre et a établi des liens entre leur utilisation et leurs compétences en mathématiques^[15]. Les résultats montrent que les élèves ayant obtenu de bons résultats ont adopté un éventail varié de stratégies, ce qui témoigne de multiples facettes de leurs compétences mathématiques.

Dans l'ensemble, les ENA théoriques en mathématiques offrent non seulement des interfaces utilisateur et des outils interactifs pour soutenir l'apprentissage des mathématiques, mais aussi des possibilités d'évaluation, d'analyse et de retour d'information.

La voie à suivre - Caractéristiques du cadre théorique

Aucun ENA ne peut à lui seul couvrir tous les aspects d'un environnement idéal de résolution de problèmes en mathématiques au collège et au lycée. Si les calculatrices graphiques ne disposent pas de niveaux intégrés d'évaluation et de rétroaction, les ENA comme Graspable Math sont limités par le type de problèmes et de sujets mathématiques qu'ils abordent. De plus, le cadre de résolution de problèmes sous-jacent de MathemaTIC (les quatre étapes de résolution de problèmes de Polya) n'est pas spécifique aux mathématiques. En tant que cadre indépendant de la discipline, il ne prend pas en compte la nature complexe et hiérarchique des concepts mathématiques.

Pour créer un ENA performant qui fournisse aux élèves les outils nécessaires à la résolution de problèmes complexes à un niveau supérieur, il est essentiel d'identifier et de définir clairement ses fondements théoriques. Avant cela, il est important de lister quelques caractéristiques clés d'un tel cadre théorique :

1. Il doit être spécifique à la discipline : Il est essentiel que le cadre théorique soit spécifique aux mathématiques. Les théories indépendantes de la discipline ne prennent pas en compte des facteurs tels que les modèles cognitifs des objets mathématiques des élèves, les étapes de maîtrise des concepts mathématiques et les modes de pensée mathématique (par exemple, le constructivisme, la théorie de la charge cognitive)^[16].

2. Il ne doit pas être spécifique à un sous-domaine : Le cadre théorique ne doit pas être spécifique à des sous-domaines des mathématiques. Par exemple, le modèle de pensée géométrique de Van Hiele¹⁷ ne s'applique qu'aux sujets géométriques et n'est pas applicable à d'autres sous-domaines comme l'algèbre et le calcul. Par conséquent, la théorie doit être spécifique aux mathématiques tout en étant suffisamment généralisable pour aborder le large éventail de concepts mathématiques.

3. Il doit être adapté à l'âge des élèves : Le cadre théorique doit tenir compte de la complexité des concepts des programmes de mathématiques du collège et du lycée. À mesure que les concepts deviennent interdépendants et hiérarchisés en terminale, la théorie doit tenir compte de cette complexité.

4. Il doit comporter un volet d'évaluation : le cadre théorique doit prendre en compte l'analyse des actions et des stratégies de résolution de problèmes des apprenants. Ceci est nécessaire pour identifier leur niveau de connaissances actuel et leurs idées fausses. Ces informations peuvent ensuite servir à optimiser les interventions et les mesures correctives.

5. Il doit représenter les modèles mentaux des apprenants : le cadre théorique doit pouvoir prendre en compte la diversité des stratégies de résolution de problèmes et les différentes approches adoptées par les apprenants. Par exemple, lorsqu'on leur demande de résoudre l'équation 2(3x-4)=6, les élèves peuvent utiliser différentes approches. Ils peuvent appliquer la distributivité de la multiplication du côté gauche comme première étape, puis résoudre x, ou diviser par 2 des deux côtés comme première étape, puis appliquer la distributivité pour résoudre x. Dans ce cas, le type et l'ordre des actions entreprises par les apprenants représentent différents niveaux de compréhension des équations linéaires.

L'établissement de ces critères constitue la première étape vers l'identification de l'approche théorique adéquate pour la création d'ENA interactifs en mathématiques. Si une conception fondée sur la théorie est nécessaire et essentielle à l'amélioration des résultats d'apprentissage, elle pose également des défis intéressants.

Limites et défis

Toutes les approches d'enseignement et d'apprentissage, de conception pédagogique et de création d'ENA présentent leurs limites. Une approche théorique, conforme à toutes les caractéristiques présentées dans la section précédente, présente également des limites et des défis.

1. Choisir le cadre théorique approprié : De nombreux cadres théoriques pour l’enseignement et l’apprentissage des mathématiques ont été proposés par les chercheurs par le passé¹⁸. Il est fort probable qu’il n’existe pas de cadre universel abordant tous les concepts mathématiques et prenant en compte tous les aspects de l’apprentissage et de l’évaluation (par exemple, les connaissances conceptuelles et procédurales, les idées fausses, les processus de pensée). Tous les cadres reposent sur des hypothèses sous-jacentes qui limitent également leur applicabilité au large éventail de sujets mathématiques. Par exemple, la généralisabilité d’un cadre théorique à l’ensemble de la discipline mathématique limite également son application approfondie à des sous-domaines comme la géométrie, l’algèbre, etc.

2. L’application de théories à la conception d’ENA est gourmande en ressources : l’application de cadres théoriques pour guider la conception d’ENA est un exercice gourmand en ressources qui requiert du temps et une expertise en mathématiques, en sciences de l’apprentissage et en technologie. Le cycle de recherche et développement est itératif et chronophage, et comporte plusieurs étapes. Il s'agit de : l'élaboration d'hypothèses basées sur le cadre théorique, l'application de la théorie aux concepts mathématiques, la mise en correspondance des interactions des apprenants dans l'ENA avec le modèle théorique, la construction et le test de prototypes, la collecte de données expérimentales avec les élèves, l'analyse des données, la mise à jour du modèle en fonction des résultats et l'adaptation technologique de l'ENA.

3. Biais individuels : L'application d'un cadre théorique est influencée et limitée par les connaissances et les préjugés des membres de l'équipe. Les décisions relatives à la définition et à la mise en œuvre des actions et des tâches des apprenants dans l'ENA, leur mise en correspondance avec les affordances et les interactions offertes par l'ENA, ainsi qu'avec les concepts et les hypothèses sous-jacentes, sont sujettes à des biais personnels. Il est recommandé de faire appel à un éventail diversifié d'experts en conception pédagogique et en sciences de l'apprentissage afin de remédier aux biais individuels.

Alors que les futurs ENA adoptent une conception fondée sur des preuves et axée sur la théorie, il est essentiel que les développeurs soient conscients de ces limites pour éviter les pièges qui pourraient conduire à une perte d’apprentissage, au renforcement des idées fausses et à une généralisation excessive.

Conclusion

Il est recommandé que les futurs ENA s'appuient sur des modèles théoriques d'apprentissage des élèves spécifiques à la discipline, adaptés à l'âge et pertinents. Les ENA permettent de collecter de grandes quantités de données sur les élèves lors de la résolution de problèmes. Ces données peuvent ensuite être analysées pour mieux comprendre leurs processus de réflexion. Par conséquent, comme les ENA en mathématiques et dans d'autres disciplines exploitent le potentiel des technologies avancées comme l'IA et l'analyse de l'apprentissage, un cadre théorique directeur est essentiel pour gérer les risques liés aux biais algorithmiques et d'interprétation. De plus, il est crucial de comprendre les limites et les défis du cadre théorique appliqué. Toutes les théories reposent sur des hypothèses et représentent des modèles hypothétiques de compréhension des élèves. Elles doivent être testées empiriquement. Les développeurs doivent en être conscients et s'efforcer de tenir compte de ces limites.

À propos de l'auteur

Robin Sharma est un créateur d'environnements d'apprentissage numériques (EAN) fondés sur la science. Il possède plus de sept ans d'expérience internationale en conceptualisation, mise en œuvre et évaluation de programmes éducatifs. En tant que scientifique de l'apprentissage chez Vretta, il collabore avec l'équipe d'innovation à la création d'un canevas de résolution de problèmes basé sur l'IA pour les mathématiques au secondaire, fondé sur la science de la pensée mathématique. Robin possède une expertise en didactique des mathématiques, en apprentissage par les jeux numériques et en élaboration de programmes scolaires. Il travaille également au Laboratoire de technologie, Apprentissage et Cognition de l'Université McGill, où il étudie les facteurs influençant l'adoption des jeux numériques par les enseignants en classe et la conception théorique de jeux mathématiques.

Précédemment, il a dirigé le programme « Jeux pour l'apprentissage » au MGIEP de l'UNESCO. Il a élaboré des guides pédagogiques, des boîtes à outils pour les enseignants et plusieurs MOOC sur les jeux éducatifs. Il a dirigé et corédigé les lignes directrices de l'UNESCO sur l'apprentissage numérique, un ensemble de principes pour un développement éthique et responsable des ENA, conformes au cadre de l'UNESCO pour l'éducation au développement durable (EDD) et l'apprentissage socio-émotionnel (ASE). Robin a également travaillé dans l'industrie du jeu vidéo, développant les premiers guides pédagogiques interactifs au monde sur le jeu vidéo destinés aux enseignants. Ces guides visent à encourager l'adoption par les enseignants des jeux vidéo immersifs Assassin's Creed Discovery Tour d'Ubisoft. Il a remporté plusieurs prix, bourses et subventions, dont la Bourse internationale de recherche doctorale du CRDI Canada et la Bourse doctorale du FRQSC du gouvernement du Québec.

Robin est un membre actif du Réseau EdTech Impact, géré par l'International Center for EdTech Impact, la Mathematics Teachers Association et la Game Research and Design Community (GRADE).

[1] M. Penglase et S. Arnold, « La calculatrice graphique dans l’enseignement des mathématiques : une revue critique des recherches récentes », Math Ed Res J, vol. 8, no. 1, pp. 58–90, avril 1996, doi : 10.1007/BF03355481.

[2] D. Hillmayr, L. Ziernwald, F. Reinhold, S. I. Hofer et K. M. Reiss, « Le potentiel des outils numériques pour améliorer l'apprentissage des mathématiques et des sciences dans les écoles secondaires : une méta-analyse contextuelle », Computers & Education, vol. 153, p. 103897, août 2020, doi : 10.1016/j.compedu.2020.103897.

[3] Engelbrecht et M. C. Borba, « Développements récents dans l’utilisation des technologies numériques dans l’enseignement des mathématiques », ZDM Mathematics Education, vol. 56, no. 2, pp. 281–292, mai 2024, doi : 10.1007/s11858-023-01530-2.

[4] H.-G. Weigand, J. Trgalova et M. Tabach, « Enseignement, apprentissage et évaluation des mathématiques à l’ère numérique », ZDM Mathematics Education, vol. 56, no. 4, pp. 525–541, août 2024, doi : 10.1007/s11858-024-01612-9.

[5] M. Mitchelmore et M. Cavanagh, « Difficultés des élèves à utiliser une calculatrice graphique », Math Ed Res J, vol. 12, no. 3, pp. 254–268, déc. 2000, doi : 10.1007/BF03217088.

[6] S. Kastberg et K. Leatham, « Recherche sur les calculatrices graphiques au niveau secondaire : implications pour la formation des enseignants de mathématiques » – CITE Journal. Consulté le 22 août 2025. [En ligne]. Disponible : https://citejournal.org/volume-5/issue-1-05/mathematics/research-on-graphing-calculators-at-the-secondary-level-implications-for-mathematics-teacher-education

[7] S. Hwang, E. Flavin et J.-E. Lee, « Exploration des tendances de recherche sur l'utilisation des technologies dans l'enseignement des mathématiques : une revue de la portée utilisant la modélisation thématique », Educ Inf Technol (Dordr), pp. 1–28, février 2023, doi : 10.1007/s10639-023-11603-0.

[8] E. Weitnauer, D. Landy et E. Ottmar, « Mathématiques compréhensibles : vers des notations d'algèbre dynamiques qui soutiennent les apprenants mieux que le papier », dans Future Technologies Conference (FTC) 2016, décembre 2016, pp. 406–414. doi : 10.1109/FTC.2016.7821641.

[9] J. LaViola et R. C. Zeleznik, « MathPad2 : un système pour la création et l’exploration de schémas mathématiques », dans ACM SIGGRAPH 2006 Courses, SIGGRAPH ’06. New York, NY, États-Unis : Association for Computing Machinery, juill. 2006, p. 33-es. doi : 10.1145/1185657.1185794.

[10] MathemaTIC.org

[11] A. H. Schoenfeld, « Polya, résolution de problèmes et éducation », Mathematics Magazine, vol. 60, n° 5, pp. 283–291, 1987, doi : 10.2307/2690409.

[12] L. Dietiker, R. Singh, M. Riling, H. I. Nieves et E. Barno, « Caractéristiques narratives de leçons de mathématiques captivantes au secondaire », Educ Stud Math, vol. 112, no 3, pp. 481–504, mars 2023, doi : 10.1007/s10649-022-10184-y.

[13] P. Hernandez-Martinez et T. Keane, « L’apprentissage des mathématiques et sa pertinence grâce à une tâche d’évaluation de narration numérique à l’université », Revue internationale d’éducation mathématique en science et technologie, vol. 56, no. 5, pp. 811–827, mai 2025, doi : 10.1080/0020739X.2023.2295895.

[14] M. Irmayanti, L.-F. Chou, et N. N. binti Z. Anuar, « Narration et anxiété mathématique : une revue des méthodes de narration dans l'apprentissage des mathématiques dans les pays asiatiques », Eur J Psychol Educ, vol. 40, no. 1, p. 24, déc. 2024, doi : 10.1007/s10212-024-00927-1.

[15] E. de Schipper et al., « Identification des stratégies de résolution des élèves dans l’évaluation des mathématiques numériques à l’aide de données logarithmiques », Large-scale Assessments in Education, vol. 13, no. 1, p. 23, juill. 2025, doi: 10.1186/s40536-025-00259-6.

[16] R. Sharma et A. K. Dubé, « A Systematic Review of Approaches for Building Adolescents’ Geometrical Understanding. », dans 18e Conférence internationale des sciences de l’apprentissage – ICLS 2024, R. Lindgren, T. I. Asino, E. A. Kyza, C. K. Looi, D. T. Keifert et E. Suárez (dir.), Société internationale des sciences de l’apprentissage, 2024, p. 955–958. Consulté le 22 août 2025. [En ligne]. Disponible : https://repository.isls.org//handle/1/11194

[17] P. M. van Hiele, « Développer la pensée géométrique grâce à des activités qui commencent par le jeu », février 1999, doi : 10.5951/TCM.5.6.0310.¹⁸ B. Sriraman et L. D. English, « Théories de l'enseignement des mathématiques : une étude mondiale des cadres théoriques et des tendances de la recherche en enseignement des mathématiques », Zentralblatt für Didaktik der Mathematik, vol. 37, n° 6, pp. 450–456, déc. 2005, doi : 10.1007/BF02655853.

Comme l'a déclaré Mme Abbaszade, présidente du Centre d'examen d'État de la République d'Azerbaïdjan, « grâce à la confiance du public, nous pouvons parfois sacrifier l'excellence de nos évaluations au profit de la transparence ». Par exemple, les candidats ont pu emporter chez eux leurs supports d'examen papier, souvent les meilleurs items de l'année, en gage d'objectivité, ce qui a renforcé la confiance du public dans le fonctionnement de l'organisation dès le début du parcours. De même, lors d'un échange avec Chilana, professeure de psychométrie à l'IBPS de Mumbai, il a été souligné que « la véritable compétence pour pérenniser les évaluations réside dans l'équilibre entre excellence scientifique et confiance du public tout au long du parcours de développement », ce qui peut même commencer par le partage des supports d'examen, comme dans le cas de l'Azerbaïdjan.

Cet article s’appuie sur ces dialogues de conformité, positionnant la conception centrée sur la confiance du public comme principe directeur pour l’ensemble du cycle d’évaluation.

Définition de la confiance du public : forces motrices et fragilités

La confiance du public apparaît parfois comme un phare caché du système d'évaluation, guidant la manière dont les évaluations et leurs résultats sont acceptés comme reflets de leur légitimité et de leur impact.

Situer la confiance dans les traditions de conception

Pour replacer cette question dans une perspective de conception plus large, il est utile de comparer la conception centrée sur la confiance du public avec d'autres approches reconnues :

Cette comparaison montre que si la conception centrée sur l'humain et la pensée conceptuelle ont façonné une grande partie de l'innovation moderne, la conception centrée sur la confiance du public adapte ces principes aux réalités de l'évaluation pédagogique. Comprendre ces traditions de conception permet de comprendre le fonctionnement de la confiance du public dans les évaluations : non pas comme un acquis instantané, mais comme une confiance qui se construit et se renforce au fil du temps grâce à la qualité, à la valeur et à la réputation institutionnelle.

De la qualité à la confiance : comment cultiver la confiance

En pratique, la confiance du public peut être comprise comme le niveau de confiance des individus envers un système, qu'il s'agisse d'institutions ou de produits. Dans le domaine de l'évaluation, les organisations commencent généralement par instaurer la confiance grâce à la qualité de leurs produits d'évaluation. Au fil du temps, la fourniture régulière de ces produits et des services associés transforme cette confiance en confiance institutionnelle, qui fonctionne comme une marque. Les examens ou les évaluations ne gagnent pas la confiance du public immédiatement ; elle se développe directement grâce à la qualité démontrée et créatrice de valeur, ou grâce à la solidité de la réputation de l'institution.

Une façon de démontrer la confiance du public est de faire preuve de transparence dans les procédures et les résultats d'évaluation, de la conception des items à la communication des résultats avec les indicateurs d'acquis d'apprentissage, que ce soit au niveau individuel ou institutionnel. Ensuite, la confiance grandit lorsque la qualité des évaluations apporte une valeur ajoutée concrète aux apprenants, aux enseignants et aux décideurs politiques. De plus, la confiance du public est renforcée par l'implication d'un système d'assurance qualité externe, dont les conclusions et les rapports sont rendus publics. De plus, la confiance du public est entretenue par le respect constant des valeurs de l'administration publique ou des principes directeurs de l'organisme d'évaluation, une excellence dans la prestation de services fragile et difficile à maintenir. Enfin, la confiance du public est façonnée par les intellectuels qui influencent l'opinion publique et évaluent les organismes d'évaluation par le biais de recherches menées par des établissements d'enseignement supérieur, en s'appuyant sur des modèles publics, des documents normatifs ou des outils de recherche avancée référençant les résultats de recherche.

La nature fragile de la confiance

La confiance du public dans les systèmes d'évaluation est extrêmement fragile, notamment en période de pointe, avec des tests à enjeux élevés. Une simple erreur de notation, une allégation publique de partialité ou un retard de communication peuvent rapidement miner une confiance qui a mis des années à se construire. Dans un monde d'information instantanée et de satisfaction rapide, de tels cas se propagent rapidement sur les réseaux sociaux et dans le débat public, dépassant souvent les déclarations officielles et rendant le rétablissement de la confiance encore plus exigeant. Cette fragilité de la confiance du public rappelle la nécessité pour les organismes d'évaluation de la considérer non pas comme un résultat ponctuel, mais comme une préoccupation constante, soigneusement entretenue par l'ouverture, la réactivité et une démonstration constante de qualité et de valeur à chaque étape du cycle de travail. En résumé, la confiance du public est à la fois l'atout le plus puissant et le défi le plus délicat de l'évaluation pédagogique, gagnée par la qualité et la valeur, et intégrée dès la conception du cycle d'évaluation.

Construire et maintenir la confiance : une conception axée sur la confiance du public dans le cycle d'évaluation

Instaurer et maintenir la confiance du public exige une attention particulière tout au long du cycle d'évaluation, en tant que principe à intégrer dès le début. Par conséquent, une approche de conception centrée sur la confiance du public garantit que chaque phase (conception, développement et mise en œuvre) favorise les mesures de renforcement de la confiance dans le système d'évaluation.

La conception est le point de départ de l'instauration de la confiance, notamment lorsque les cadres et les plans d'évaluation sont élaborés conjointement avec les principales parties prenantes dès la phase de développement des items. Le partage du cadre et du plan d'évaluation favorise l'ouverture et l'inclusion, favorisant ainsi la qualité technique des évaluations et leur acceptation par les personnes les plus concernées.

Le développement est le lieu où la confiance est consolidée grâce à des tests inclusifs et des contrôles d'équité. En testant des éléments auprès de groupes d'apprenants diversifiés, en examinant les éventuels biais culturels ou linguistiques et en procédant à des contrôles d'équité, les organisations démontrent leur engagement envers l'équité et l'objectivité. La communication des résultats de ces contrôles, même sous forme de synthèse, renforce la confiance dans la crédibilité du système.

La mise en oeuvre est le test de la confiance mise en pratique, avec des principes de clarté, de cohérence et de visibilité mis en œuvre grâce à une gestion sécurisée des supports d'examen, des protocoles d'administration bien conçus et une communication transparente avec les centres d'examen et les candidats. À ce stade, la confiance s'accompagne d'une accessibilité ouverte à tous, permettant à chacun de démontrer son véritable potentiel et d'éviter tout désaccord public ultérieur.

En résumé, l'intégration d'une conception centrée sur la confiance du public à chaque phase du cycle d'évaluation transforme la confiance, passant d'une aspiration abstraite à une pratique continue qui allie excellence scientifique et confiance sociétale.

Concilier excellence et confiance

En pratique, concilier excellence et confiance nécessite de traduire des concepts psychométriques complexes en un langage compréhensible par les enseignants, les apprenants et les décideurs politiques. Par exemple, la fiabilité et la validité doivent être traduites dans la communication en termes d'équité et de pertinence, et l'établissement de normes non pas comme un exercice technique, mais comme un engagement en faveur de l'équité. Lorsque les organismes d'évaluation communiquent non seulement des décisions de moindre importance, comme les mesures prises, mais aussi des décisions de plus haut niveau expliquant pourquoi et comment ces mesures sont prises dans leurs interactions quotidiennes avec le public, cela suscite l'espoir de combler le fossé grandissant entre expertise technique et perception du public. En fin de compte, c'est grâce à une conception centrée sur la confiance du public que l'excellence et la confiance ne sont pas en concurrence, mais agissent comme des forces complémentaires, garantissant ainsi la solidité technique et la légitimité sociale des systèmes d'évaluation.

Conclusion : La confiance comme principe de conception

Dans cet article, nous nous sommes concentrés sur la confiance du public comme principe de conception, véritable cerise sur le gâteau de l’excellence, révélant les avantages souvent cachés de placer la confiance au cœur du processus de conception, de la développer et de la maintenir à chaque étape du cycle d’évaluation, dans un esprit d’ouverture, de dialogue et de respect des personnes concernées. En considérant la confiance comme un principe de conception, plutôt que comme un effet secondaire, les organismes d’évaluation peuvent garantir l’excellence scientifique de leur travail et sa légitimité publique, consolidant ainsi leur rôle d’instruments justes et fiables de politique, d’équité et d’apprentissage.

Dans la perspective d'une conception axée sur la confiance du public, les évaluations doivent non seulement respecter des normes techniques, mais aussi être guidées par la confiance, non pas comme une mesure de prévention des risques a posteriori, mais comme un principe fondamental. Partager les cadres et les résultats de manière transparente et interactive, impliquer les communautés dans la prise de décision via des plateformes accessibles au public et répondre rapidement et de manière globale aux préoccupations sont autant de principes directeurs qui font déjà partie intégrante des pratiques d'évaluation modernes. Ceci nous a rappelé que cet article devait être publié ultérieurement.

À propos de l'auteur

Vali Huseyn est expert en évaluation pédagogique et auditeur qualité, reconnu pour sa promotion de l'excellence et de la mise à l'échelle axée sur les réformes au sein des organismes d'évaluation. Il accompagne des entreprises du secteur des technologies éducatives et de l'évaluation sur la mise à l'échelle axée sur les réformes en promouvant l'excellence des mesures, en s'appuyant sur son expertise terrain, son expérience gouvernementale et son réseau régional.

Il est titulaire d'un master en politique éducative de l'Université de Boston (États-Unis) et d'un diplôme en évaluation pédagogique de l'Université de Durham (Royaume-Uni). Vali a soutenu des réformes nationales en Azerbaïdjan et, dans le cadre de son activité de consultant chez AQA Global Assessment Services, collabore avec le Kazakhstan et la République kirghize pour aligner les systèmes d'évaluation sur les référentiels internationaux tels que le CECR, le PISA et les critères techniques de l'ISU. Il travaille également comme auditeur qualité en partenariat avec le RCEC, et plus récemment avec le CENEVAL au Mexique. Parlant couramment l'azerbaïdjanais, le russe, le turc et l'anglais, il apporte une compréhension approfondie du contexte aux projets transnationaux.

Étude de cas : Modélisation d’un programme decalcul

L’étude, telle que décrite dans l’article de recherche, a analysé la manière dont 802 élèves de 3^e année en France ont abordé un problème interactif de pré-algèbre. L’exercice demandait aux élèves de trouver les valeurs d’entrée qui rendraient le résultat d’un calcul nul. L’interface numérique incluait une fonction de calcul intégrée permettant aux élèves de tester les valeurs.

Un passionné de mathématiques expérimenté remarquera que le cœur du problème peut être représenté par l'équation (3x+2) (x-3) = 0

Les bonnes réponses étant x=3 et x=2/3

Les élèves pourraient théoriquement résoudre ce problème de deux manières :

1. Approche algébrique (structurelle) : Reconnaître la structure de l'équation et savoir qu'un produit est nul uniquement si l'un de ses facteurs est nul. Cela requiert une pensée abstraite.

2. Approche par essais et erreurs (opérationnelle) : Introduire des nombres de manière systématique ou aléatoire dans la calculatrice pour voir ce qui fonctionne. Il s'agit d'une stratégie basée sur les processus.

En analysant les données de processus produites par les actions des élèves, les chercheurs ont utilisé une analyse de cluster basée sur un modèle pour regrouper les élèves en fonction de leur comportement.

Conclusions principales

L'analyse n'a pas seulement identifié deux groupes, mais cinq profils comportementaux distincts. Ces groupes présentaient des approches très différentes :

• Certains élèves ont rapidement trouvé la réponse facile (x = 3) et ont arrêté.

• D'autres se sont livrés à de longs essais-erreurs, trouvant parfois les deux bonnes réponses.

• Un groupe remarquable a affiché un comportement conforme à une approche algébrique, passant moins de temps à interagir avec la calculatrice et plus de temps à réfléchir.

• Un groupe se caractérisait par une interaction très limitée et des taux de réussite extrêmement faibles. Ce groupe présentait des compétences mathématiques globales significativement inférieures à celles des quatre autres groupes.

Ces résultats montrent que le processus suivi par un élève est non seulement un indicateur puissant de ses compétences mathématiques, mais offre également un portrait plus nuancé de sa compréhension globale.

La voie à suivre : Canevas de résolution de problèmes

Cette étude constitue une démonstration de faisabilité convaincante qui inspire de nouvelles pistes de recherche. L’une de ces pistes consiste à créer un environnement d’évaluation numérique permettant aux élèves d’explorer des stratégies de résolution tout en facilitant la collecte de leurs données de processus. Un canevas de résolution de problèmes en est un exemple.

Un canevas de résolution de problèmes n’est pas seulement un item de test ; c’est un espace de travail numérique intégré conçu pour présenter un problème complexe et saisir un large éventail d’actions stratégiques. Imaginez un élève chargé de résoudre un problème de physique. Le canevas ne serait pas seulement une boîte à questions et réponses. Il comprendrait :

• Un espace permettant aux élèves de consigner leurs idées, leurs notes et leurs équations ;

• Une simulation ou un diagramme interactif, si nécessaire pour le problème ;

• Des outils graphiques et de calcul ;

• Un accès à un glossaire ou à une feuille de formules.

Chaque interaction d’un étudiant avec l’espace de travail, qu’il s’agisse de dessiner un diagramme de corps libre, de modifier une variable dans la simulation, d’utiliser la calculatrice ou de rechercher une formule, contribue à construire une image de ses processus cognitifs et comportementaux.

Décrypter les schémas d'apprentissage profond grâce à l'IA

En intégrant ces données de processus riches et multimodales à des modèles d'IA sûrs et sécurisés, il est possible de décrypter d'autres schémas d'apprentissage qui aideront les enseignants à comprendre l'ensemble du processus de résolution de problèmes. Voici quelques pistes pour décrypter ces schémas d'apprentissage :

• Cadre d'assemblage : En rassemblant les étapes suivies par un élève pour trouver une solution, nous pouvons construire un cadre de connaissances, offrant un modèle détaillé de sa compréhension du problème et de la manière dont cette compréhension s'intègre à la matière dans son ensemble.

• Retour d'information personnalisé et ponctuel : Un canevas alimenté par l'IA pourrait détecter les comportements improductifs d'un élève, comme les devinettes aléatoires. Il pourrait alors proposer un indice structuré, ne donnant pas la réponse, mais suggérant une approche plus systématique (par exemple, « Avez-vous essayé d'organiser vos essais dans un tableau ? »).

• Information des enseignants : À l'échelle de la classe, ces données sont transformatrices. Le tableau de bord d'un enseignant pourrait indiquer que 40 % de la classe n'utilise pas l'outil graphique pour visualiser les fonctions, révélant ainsi une lacune pédagogique. Cela permet aux enseignants de passer de la correction des mauvaises réponses à l'enseignement proactif de stratégies efficaces de résolution de problèmes.

En combinant les données de processus issues des espaces de travail numériques avec des analyses intelligentes, nous pouvons transformer l'évaluation pour offrir des expériences d'apprentissage riches et personnalisées à chaque élève. L'évaluation, qui n'était qu'un jugement final, devient un élément dynamique, pertinent et stimulant du parcours, nous offrant un aperçu de l'aspect le plus important de l'éducation : la façon dont les élèves pensent.

À propos de l'auteur

Mitch Haslehurst est un mathématicien chercheur spécialisé en algèbre et en géométrie. Il a obtenu son doctorat en mathématiques à l'Université de Victoria et ses travaux ont été publiés dans des revues de renom, notamment dans le journal Operator Theory et le Rocky Mountain Journal of Mathematics. Il a donné des conférences en Amérique du Nord et en Europe.

Mitch travaille actuellement chez Vretta, où il met son expertise mathématique au service du développement de solutions d'évaluation et d'apprentissage innovantes, ainsi que de l'avancement de projets de recherche. Son rôle relie la recherche à la pratique pédagogique, reflétant son engagement à rendre les idées complexes accessibles et percutantes.

Il est animé par la curiosité, la créativité et un dévouement à l'avancement des mathématiques tout en appliquant les connaissances aux défis du monde réel. Vous pouvez le contacter sur LinkedIn.

Références

[1] Article sur l'identification des stratégies de solution des élèves dans l'évaluation numérique des mathématiques à l'aide de données de journal par Eva de Schipper, Remco Feskens, Franck Salles, Saskia Keskpaik, Reinaldo dos Santos, Bernard Veldkamp et Paul Drijvers ; https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-025-00259-6

Les évaluations scolaires à grande échelle des élèves reposent sur deux types généraux d'items : les questions à réponses choisies (p. ex., à choix multiples) et les questions à réponses construites, qui englobent les formats à réponses courtes et longues. Dans le cas des évaluations informatisées, les réponses choisies peuvent être corrigées automatiquement par ordinateur. Les formats à réponses construites exigent que les candidats rédigent leurs réponses sous forme textuelle et numérique. La correction humaine des réponses construites comporte un risque de subjectivité et de résultats incohérents, peu fiables et invalides (il faut toutefois reconnaître que la mise en œuvre de procédures de correction strictes peut atténuer ces problèmes). La correction manuelle nécessite également des ressources importantes. Selon Huseyn (2024), « ces deux facteurs, la réduction de la subjectivité et l'amélioration de l'efficacité opérationnelle, sont les principales raisons de l'intérêt croissant pour l'utilisation de la technologie pour l'évaluation automatisée de l'écriture ».^[1] Cet article présente un bref aperçu de l'état actuel de la correction électronique des réponses construites et de la mesure dans laquelle elle est prise en compte dans les plans de modernisation des évaluations scolaires à grande échelle au Canada.

État actuel de la notation électronique

La notation automatisée des réponses construites a connu une évolution significative au cours des trois dernières décennies, et les avancées récentes en matière d'IA générative et de traitement automatique du langage naturel (TALN) ont contribué à l'amélioration des technologies de notation. Huseyn explique que « …les développements basés sur l'IA dans le secteur de l'évaluation scolaire, notamment en matière de notation et de rapport, tels que Microsoft Copilot ou les outils OpenAI basés sur GPT, sont considérés comme des assistants intégrés pour répondre aux besoins de notation. Par ailleurs, certains organismes d'évaluation pourraient préférer aller au-delà des assistants intégrés et opter pour des solutions d'évaluation automatisée de l'écriture spécialisées, disponibles sur le marché du primaire et du secondaire, conçues spécifiquement à cet effet, avec des algorithmes d'évaluation entièrement contrôlés. » L'article de recherche de Huseyn propose une analyse comparative (un cadre) pour aider les décideurs à choisir entre les systèmes de notation basés sur GPT et les systèmes spécialisés.

De nombreuses études ont démontré le potentiel croissant de l'IA pour la notation des réponses ouvertes. Par exemple, une étude d'Okubo et al. (2023) a examiné l'utilisation de l'IA pour la notation des items à réponses construites du Programme international pour le suivi des acquis des élèves (PISA).^[2] Une vaste collection historique de textes (items de lecture et de culture scientifique) a été utilisée comme données d'entraînement pour développer des modèles de notation de l'IA. Les modèles entraînés ont ensuite été utilisés pour noter les réponses des élèves, et les résultats ont été comparés à ceux des réponses notées par des humains. Les chercheurs ont rapporté que « les distributions de scores estimées à partir des données notées par l'IA et celles notées par des humains sont très cohérentes ; de plus, même les propriétés psychométriques au niveau des items de la majorité ont montré des niveaux élevés de concordance… et cette nouvelle méthodologie de notation de l'IA a atteint un niveau de qualité pratique, même dans le contexte d'une évaluation internationale à grande échelle. »

Une étude d'Atsushi et Eguchi (2023) a exploré l'utilisation de ChatGPT pour la notation automatisée des dissertations.^[3] Dans cette étude, les chercheurs ont utilisé 12 100 dissertations en anglais rédigées par des personnes ayant passé le Test of English as a Foreign Language (TOEFL) en 2006 et 2007 et représentant 11 langues maternelles distinctes. Finalement, l'étude a porté sur 1 100 dissertations par langue. Plus précisément, l'étude a utilisé le modèle text-davinci-003 d'OpenAI. Les résultats ont montré que la notation automatisée des dissertations (AES) « … utilisant GPT offre un certain niveau de précision et de fiabilité, et pourrait apporter un soutien précieux aux évaluations humaines. De plus, l'analyse a révélé que l'utilisation de caractéristiques linguistiques pourrait améliorer la précision de la notation. Ces résultats suggèrent que les modèles linguistiques d'IA, tels que ChatGPT, peuvent être utilisés efficacement comme outils d'AES, révolutionnant potentiellement les méthodes d'évaluation et de rétroaction écrites, tant en recherche qu'en pratique. »

Un exemple d'application de l'IA à la notation provient du Royaume-Uni. Comme l'a rapporté Pinkstone (2025)^[4], le jury d'examen de l'AQA collabore avec le King's College de Londres pour développer une technologie d'IA destinée à assister les correcteurs d'examens. Dans ce projet, l'IA ne vise pas à remplacer les correcteurs. Les objectifs et applications potentielles sont plutôt les suivants :

• « …réduire les erreurs, rendre les barèmes de notation plus justes et fournir un retour d'information plus rapide aux étudiants. »

• « …vérifier les notes attribuées par un humain et détecter les scores qui semblent erronément bas ou élevés… »

• « …vérifier la qualité des réponses des étudiants grâce à l'apprentissage automatique et à l'analyse du langage, en examinant la pertinence, la véracité, la cohérence et le raisonnement logique d'une réponse. »

• « …affiner le barème de notation en cas de faille dans la notation afin de garantir une notation plus juste et de fournir aux étudiants des explications générées par l'IA sur les raisons pour lesquelles ils ont ou non répondu correctement à une question. »

Les responsables du projet garantissent que l'assistant de notation virtuel sera développé en collaboration avec des élèves, des enseignants et des experts du sujet. Le système sera rigoureusement testé avant son lancement, et les réponses construites seront également systématiquement évaluées par des correcteurs humains.

Aux États-Unis, plusieurs juridictions, dont l'Utah, l'Ohio, le Massachusetts et le Texas, utilisent l'IA à diverses fins de notation des évaluations, et de nombreuses autres explorent le potentiel de l'IA pour la notation des réponses construites. Le Massachusetts, par exemple, utilise la notation par IA pour des tests spécifiques. Selon le Département de l'Éducation primaire et secondaire du Massachusetts (DESE)^[5], des correcteurs humains sont utilisés pour toutes les questions à réponse construite en éducation civique, en anglais (ELA), en mathématiques et en sciences et technologie/ingénierie. Une combinaison de correcteurs humains et de notation par IA est utilisée pour les dissertations d'ELA. Pour les réponses construites d'ELA (CE2 et CM1) et les dissertations de la CE2 à la 4e année, la notation informatique automatisée fournit une note initiale. Des correcteurs humains formés fournissent une note de lecture rétrospective pour 10 % de toutes les réponses. Pour les productions écrites ELA de 10e année, tous les productions écrites sont notées deux fois, une fois par l'IA et une fois par un correcteur humain.

À partir de 2024, les élèves passant les tests STAAR (Évaluations de la préparation académique) de l'État du Texas ont vu leurs réponses écrites en lecture, écriture, sciences et sciences sociales corrigées automatiquement par ordinateur.^[6] La décision de passer à la notation informatisée a été prise à la suite d’une refonte des tests, qui a impliqué la réduction du nombre d'items à choix multiples et l'augmentation significative du nombre de questions/tâches à réponses construites. Pour développer le système de notation, la Texas Education Agency (TEA) a utilisé un échantillon de terrain de 3 000 réponses d'élèves, soumises à deux cycles de notation humaine. À partir de cet échantillon de réponses notées, le moteur de notation automatisé a appris les caractéristiques des réponses et a été programmé pour attribuer des notes identiques à celles qu'un humain aurait attribuées. À mesure que les élèves terminaient leurs tests, le système de notation a d'abord noté toutes les réponses construites. Environ 25 % d'entre elles ont été renotées par des correcteurs humains. Lorsque le système informatique avait une confiance insuffisante dans les notes attribuées, celles-ci ont été réattribuées à des correcteurs humains pour révision. De même, lorsque le système rencontrait un type de réponse que sa programmation ne reconnaissait pas (par exemple, l'utilisation de nombreux mots/expressions argotiques, ou de mots dans d'autres langues que l'anglais), celui-ci était réaffecté à un humain. De plus, un échantillon aléatoire de réponses était automatiquement transmis à un humain pour vérification de l'exactitude du système automatisé.

Contexte canadien

Au Canada, la majorité des provinces et territoires ont fait passer leurs programmes d'évaluation des élèves à grande échelle du format papier au format informatisé, Vretta agissant comme partenaire technologique pour soutenir cette modernisation. Ces provinces ont mis en place des plateformes numériques incluant la notation humaine en ligne et des flux de travail intégrés conçus pour soutenir la réalisation d'évaluations à grande échelle.

Forts de ces bases, trois provinces ont commencé à analyser, à tester et à intégrer la notation par IA à leurs programmes d'évaluation. Ces provinces, déjà à l'avant-garde des pratiques d'évaluation modernisées, se concentrent désormais sur l'exploitation de l'IA pour soutenir les correcteurs dans leur travail et améliorer la qualité et la cohérence de la notation grâce à des processus de validation intelligents. L'utilisation de l'IA dans ces contextes ne vise pas à remplacer le jugement humain, mais plutôt à accroître l'efficacité opérationnelle, à réduire les écarts de notation et à favoriser l'amélioration continue de la fiabilité des résultats d'évaluation des élèves.

Cette nouvelle vague d'innovation souligne l'engagement du Canada envers une utilisation responsable et progressiste des technologies en éducation, en mettant l'accent sur la qualité, l'équité et la validité du processus de notation. Je crois que l’élan en faveur de l’intégration de l’IA dans la notation devrait s’accroître à mesure que d’autres juridictions observeront ces premières mises en œuvre et évalueront les avantages dans leurs propres contextes.

Conclusion

La recherche a révélé le grand potentiel et les avantages de la notation par l'IA. De plus en plus, les administrations et les organismes d'évaluation mettent en œuvre ou explorent l'utilisation de cette technologie pour la notation des questions et tâches à réponse ouverte. Un prochain article fera le point sur les progrès réalisés dans la mise en œuvre de la notation automatisée par réponses construites au Canada.

À propos de l'auteur

Le Dr Jones possède une vaste expérience en évaluation pédagogique à grande échelle et en évaluation de programmes. Il œuvre dans ce domaine depuis près de 40 ans. Avant de fonder RMJ Assessment, il a occupé des postes de haute direction à l'Office de la qualité et de la responsabilité en éducation (OQRE) de l'Ontario, ainsi qu'aux ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. À ce titre, il était responsable des initiatives liées à l'évaluation des élèves, des programmes et du curriculum ; aux indicateurs de qualité de l'éducation ; à la planification de l'amélioration des écoles et des conseils scolaires ; à l'accréditation des écoles ; et aux tests provinciaux, nationaux et internationaux.

Le Dr Jones a débuté sa carrière comme enseignant aux niveaux primaire, secondaire et postsecondaire. Il a ensuite été chercheur et cadre supérieur pour une multinationale offrant des services de consultation au Moyen-Orient.

N'hésitez pas à contacter Richard « Rick » à l'adresse richard.jones@rmjassessment.com (ou sur LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d'évaluation à grande échelle et d'évaluation de programmes.

Références

[1] Huseyn, V. (31 octobre 2024). Évolution de la notation électronique : évaluation automatisée de l'écriture. Vretta Buzz. Consulté le 17 juillet 2025 sur : https://www.vretta.com/fr/buzz/automated-writing-evaluation/.

[2] Okubo, T., Houlden, W., Montuoro, P., Reinertsen, N., Tse, C.S., & Bastianic, T. (2023). Notation par l'IA pour les évaluations internationales à grande échelle à l'aide d'un modèle d'apprentissage profond et de données multilingues. Documents de travail de l'OCDE sur l'éducation, n° 287, Éditions OCDE. Consulté le 17 juillet 2025 sur : https://doi.org/10.1787/9918e1fb-en.

[3] Atsuchi, M., et Eguchi, M. (août 2023). Exploration du potentiel d'un modèle linguistique d'IA pour la notation automatisée des dissertations. Méthodes de recherche en linguistique appliquée, 2 (2). Consulté le 29 juillet 2025 sur : https://www.sciencedirect.com/science/article/pii/S2772766123000101.

[4] 4 Pinkstone, J. (12 juillet 2025). L'IA pour aider à la notation des examens. The Telegraph. Consulté le 24 juillet 2025 sur : https://www.yahoo.com/news/ai-help-mark-student-exams-160000080.html?guce_referrer=aHR0cHM6Ly9uZXdzLmdvb2dsZS5j b20v&guce_refers_it=AQAAALF8DlkmGCyU7iF6U5z3m6Z5we_BaNowjGPWZctr0H8nZw9EVj4Z-8DJL0EfEEEUP6dL48YU2U wbl1rAkBEKyfZBArsvKLlbZxa6mvjcXwQ69ut5X0EcoZQP4RIbrA6OAm3xHT74dHqy5SCMHdN5vsxuk6Jkkv8-xfbyjwonieLS&utm_ source=TestCommunityNetwork&_guc_consent_skip=17533697014.

[5] Département de l'éducation primaires et secondaire du Massachusetts. (18 juillet 2025). Système d'évaluation globale du Massachusetts : Notation des réponses des élèves aux questions à réponse construite et aux dissertations. Consulté le 28 juillet 2025 à l'adresse : https://www.doe.mass.edu/mcas/student/2024/scoring.html#:~:text=two%20separate%20scorers.-,Automated%20(Computer)%20 Scoring,metrics%20and%20requirements%20are%20met.

[6] Peters, K. (9 avril 2024). Le Texas utilisera des ordinateurs pour noter les réponses écrites aux tests STAAR de cette année. The Texas Tribune. Consulté le 28 juillet 2025 sur : https://www.texastribune.org/2024/04/09/staar-artificial-intelligence-computer-grading-texas/.

Ce défi des systèmes déconnectés est tout aussi pertinent dans le secteur de l'éducation. L'intégration est de plus en plus présente dans les discussions politiques comme une stratégie visant à minimiser les transitions entre les systèmes et les bases de données, tout en accélérant la production de rapports pour les décideurs politiques et les utilisateurs finaux au sein d'un système éducatif. La pratique de l'intégration est étroitement liée à l'amélioration de la transparence et de la responsabilisation des processus qui constituent le pipeline des données relatives aux élèves et aux évaluations, contribuant ainsi à l'efficacité des pratiques fondées sur des données probantes.

Bien que l'intégration en éducation puisse prendre de nombreuses formes, elle est souvent associée à la fusion de l'apprentissage et de l'évaluation, ou à des environnements d'apprentissage intégrés où les principes disciplinaires se chevauchent. Dans ce contexte, l'intégration désigne l'harmonisation des différentes phases du cycle d'évaluation, telles que la création des items, l'inscription, l'administration, la notation, l'analyse et la communication des résultats. L'inscription et la communication des résultats sont les étapes les plus fréquemment impactées par les efforts d'intégration à grande échelle, car elles constituent des passerelles essentielles pour l'entrée et la sortie des données entre les systèmes.

Cet article présente les points clés de l'intégration au sein du cycle d'évaluation, identifie les défis courants et explore des stratégies pratiques pour intégrer les plateformes d'évaluation en ligne aux systèmes d'information des étudiants et aux bases de données institutionnelles, afin d'améliorer l'efficacité de la gestion des données éducatives et la prise de décision liée à l'intégration.

Points d'intégration clés tout au long du cycle d'évaluation

L’intégration d’une plateforme d’évaluation numérique avec les systèmes institutionnels a un impact sur chaque phase du cycle d’évaluation, comme expliqué ci-dessous avec les points d’intégration clés.

1. Création d'items. Lors de la phase de création d'items, l'intégration relie les outils de création aux bases de données du programme, aux banques d'items et aux portails d'échange de données. Cela permet de relier directement les items aux objectifs d'apprentissage, de les baliser par thème et par niveau de difficulté, et de favoriser la réutilisation des items validés. Un portail de données peut également faciliter le partage sécurisé des métadonnées des items, améliorant ainsi la collaboration et l'assurance qualité. Sur la base de cette cohérence du contenu, le point crucial suivant de l'intégration se situe lors du processus d'inscription des candidats.

2. Inscription. La phase d'inscription est un point clé de l'intégration : la plateforme d'évaluation se connecte aux bases de données nationales des élèves ou aux systèmes d'information scolaire (SIS) pour assurer un flux continu de données, intégrer les dossiers des candidats (par exemple, identifiant, niveau scolaire, aménagements), réduire les erreurs manuelles et faciliter la planification des places et des examens. Reliés via un portail de données centralisé, les systèmes d'inscription contribuent également à une interopérabilité sécurisée avec les registres scolaires, permettant ainsi les mises à jour systémiques, les vérifications d'admissibilité et les pistes d'audit. Une fois les données des candidats saisies avec précision, l'intégration se poursuit jusqu'à la phase opérationnelle d'évaluation et d'administration des tests.

3. Administration des tests. L'intégration dans l'administration des tests implique de relier les plateformes de gestion des tests aux profils des candidats, aux plannings et aux systèmes des centres d'examen, ce qui permet une connexion sécurisée, un accès personnalisé (par exemple, langue, aménagements) et un suivi en temps réel. Connectés via un tableau de bord central, ils permettent également le suivi des présences, des problèmes techniques et de la progression des tests, améliorant ainsi la coordination, la sécurité et la réactivité entre les sites d'examen. Une fois les tests administrés, l'intégration est nécessaire pour coordonner et gérer efficacement le processus de notation.

4. Notation. Lors de la notation, l'intégration relie les scripts de tests numériques aux moteurs de notation automatique et aux plateformes de correction humaine. Les items objectifs sont notés instantanément, tandis que les réponses construites sont signalées pour révision grâce à des grilles d'évaluation intégrées. De plus, des tableaux de bord centralisés permettent un suivi en temps réel, des vérifications d'étalonnage et une cohérence entre les correcteurs, améliorant ainsi la qualité et l'efficacité. Une fois la notation terminée, les systèmes intégrés permettent une analyse approfondie des performances du test.

5. Analyse. Lors de la phase d'analyse, les données brutes de réponse et de notation peuvent être intégrées aux plateformes d'analyse et aux moteurs psychométriques, ce qui permet l'analyse des items en temps réel, la détection des préjugés et la validation de la fiabilité et de l'équité du test (par exemple, la difficulté des items, les indices de discrimination). De plus, lorsqu'il est relié aux données historiques et démographiques, le système peut prendre en charge l'analyse de sous-groupes, le suivi des tendances et les analyses longitudinales, éclairant ainsi l'amélioration des tests et les décisions stratégiques. Pour transformer les conclusions de l'analyse en mesures concrètes, l'intégration passe à la phase finale : le reporting.

6. Rapports. Lors de la phase de reporting, l'intégration relie les résultats d'analyse aux tableaux de bord et aux portails de données centralisés afin de générer des rapports automatisés et spécifiques aux rôles pour la visualisation des données. Par exemple, grâce à des formats prédéfinis, les portails pourraient offrir un accès sécurisé aux rapports individuels, scolaires et systémiques, favorisant ainsi des interventions ciblées et un suivi longitudinal à l'échelle du système éducatif.

En résumé, les avantages de l'intégration sont présentés, accompagnés de recommandations de planification qui contribuent à l'harmonisation systémique à ces étapes. La section suivante décrit les principaux risques associés à l'intégration des systèmes et les stratégies pratiques pour les atténuer.

Risques liés à l'intégration des systèmes et stratégies d'atténuation

L’intégration efficace des systèmes est une condition préalable au succès des efforts de transformation numérique dans l’éducation, mais elle comporte une série de risques organisationnels et techniques qui doivent être anticipés et traités.

Risques liés à l'intégration des systèmes

Les points suivants présentent trois principaux risques qui entravent fréquemment la réussite de l'intégration des systèmes au sein des ministères ou des agences d'évaluation, en particulier dans les grands systèmes éducatifs.

La plupart du temps, les réformes d'intégration échouent en raison de l'absence d'une approche intégratrice au sein de l'organisation. Par exemple, une vision limitée de la manière dont les systèmes interconnectés peuvent améliorer les pratiques quotidiennes, une résistance constante au changement et la persistance de flux de travail déconnectés comme norme sont autant de signes de l'absence d'une approche intégratrice, ce qui entraîne des processus dupliqués, des données incohérentes et des retards dans la production des rapports.

Outre les barrières internes liées à la gestion des données, un deuxième risque majeur concerne les retards potentiels dans les transferts de données, en particulier lorsque des fournisseurs tiers sont impliqués dans les services d'infrastructure de données. Dans les projets de réforme de l'intégration, le recours à des fournisseurs de services externes peut engendrer des problèmes de communication et une réduction de la flexibilité du système, ce qui entraîne des retards qui réduisent la ponctualité des rapports et la valeur des données d'évaluation pour les décideurs.

Un troisième risque courant dans les organisations axées sur la transformation est l'absence de planification à long terme de la gouvernance et de l'interopérabilité des données. Par exemple, lorsque les politiques relatives à la propriété des données, aux droits d'accès et à la compatibilité des systèmes ne sont pas clairement définies, les efforts d'intégration pourraient s'appuyer sur des solutions techniques temporaires. Des solutions à court terme pourraient alors entraîner la mise en place de systèmes de données distincts, une dépendance accrue à l'égard de fournisseurs spécifiques et des coûts de maintenance élevés, menaçant ainsi l'évolutivité et la pérennité des initiatives d'intégration.

Si l'on classe les risques mentionnés ci-dessus comme étant la culture organisationnelle, la dépendance à des tiers et les lacunes de gouvernance, voici une description des stratégies d'atténuation qu'un ministère ou un organisme d'évaluation peut mettre en œuvre en amont pour prévenir les risques dès le début du processus d'intégration.

Stratégies d'atténuation pour l'intégration des systèmes

Après l'analyse des risques, les ministères ou les organismes d'évaluation peuvent commencer à planifier des mesures préventives pour renforcer la préparation à l'intégration, réduire les dépendances externes et assurer la pérennité de l'interopérabilité des systèmes. Au cœur de ces stratégies se trouve le développement d'un portail de données centralisé, qui sert d'élément unificateur pour les trois domaines abordés ci-dessous.

Combler les écarts culturels organisationnels. Les organisations d'évaluation cherchant à surmonter les barrières culturelles internes doivent définir une vision claire de la transformation numérique, mettant en avant la valeur des systèmes interconnectés, et veiller à ce qu'elle soit communiquée de manière cohérente à tous les services et à tous les niveaux de direction. Par exemple, des groupes de travail transversaux composés d'équipes techniques, de propriétaires de données et de personnel du service client peuvent être mis en place dès le début du processus afin d'harmoniser les flux de travail clés et de se familiariser concrètement avec la logique d'intégration. Enfin, des sessions d'apprentissage partagé et des ateliers ciblés de renforcement des capacités peuvent également favoriser les changements de mentalité, réduire la résistance au changement et instaurer une culture de collaboration durable.

Gestion des risques liés à la dépendance aux tiers. Une fois la préparation organisationnelle et la clarté interne établies, la capacité à gérer les relations avec les prestataires de services externes devient la priorité suivante. Un défi majeur lié à la collaboration avec des partenaires tiers lors de la transformation numérique est le risque de dépendance excessive, qui peut introduire des vulnérabilités et limiter la flexibilité institutionnelle.

Pour atténuer cette dépendance excessive, des actions internes et externes sont nécessaires. Tout d'abord, les ministères ou agences devraient élaborer, seuls ou en collaboration, un accord clair et juridiquement contraignant avec le fournisseur de technologie, définissant les attentes en matière de disponibilité des données, les délais de transfert et les procédures d'escalade en cas de perturbation. Une façon de donner le ton à la collaboration avec les fournisseurs serait de nommer un responsable interne dédié à l'intégration des systèmes, chargé de coordonner la communication entre les fournisseurs et les équipes internes. Parallèlement, des procédures devraient être mises en place pour maintenir la documentation technique et les protocoles d'intégration en interne, contribuant ainsi à prévenir les lacunes en matière de connaissances et à soutenir les capacités et l'appropriation internes. Enfin, l'expérimentation d'échanges de données dans des environnements sandbox ou de test pourrait servir à la fois de banc d'essai technique et d'opportunité d'apprentissage pour les équipes institutionnelles.

Combler les lacunes en matière de gouvernance et d'interopérabilité. Parallèlement au renforcement des capacités internes et à la gestion des fournisseurs, les ministères ou les organismes d'évaluation doivent s'attaquer à la gouvernance et à l'interopérabilité, deux piliers fondamentaux de l'intégration systémique. Pour ce faire, il est nécessaire de définir clairement la propriété des données, les droits d'utilisation et les protocoles d'accès, notamment pour les évaluations à enjeux élevés impliquant des données sensibles sur les élèves et les évaluations. En pratique, l'adoption de cadres d'interopérabilité établis et l'élaboration de taxonomies de données uniformes peuvent contribuer à maintenir la cohérence entre les plateformes, notamment en cas de changement de politique, d'urgence ou d'évolution technologique rapide.

Un portail de données national ou provincial illustre cette approche : une plateforme unifiée et sécurisée qui rassemble les données sur les élèves et les évaluations dans un format structuré et basé sur les rôles, permettant la production continue de rapports aux parties prenantes et l'analyse multiniveau sans surcharger les systèmes traditionnellement fragmentés. Pour garantir le succès à long terme, des audits réguliers des registres de métadonnées et des accords de partage de données sont essentiels, ce qui contribuerait à maintenir la qualité des données, à assurer un alignement continu avec l’évolution des paysages politiques et technologiques et à protéger l’intégrité, l’évolutivité et la durabilité de l’effort d’intégration au fil du temps.

Intégration stratégique : planification, appropriation et partenariat

L'intégration des systèmes d'évaluation électronique aux bases de données institutionnelles représente une opportunité transformatrice pour améliorer l'efficacité, la transparence et la réactivité des processus d'évaluation pédagogique dans la prestation de services. En alignant les phases clés du cycle d'évaluation, de la création des items à la production de rapports, avec des systèmes de données centralisés, les acteurs de l'éducation peuvent identifier et minimiser les inefficacités, améliorer la prise de décision interne et offrir une expérience utilisateur plus conviviale aux étudiants, aux enseignants et aux décideurs politiques.

Cependant, une intégration réussie nécessite une approche stratégique prenant en compte la culture organisationnelle, les dépendances vis-à-vis des tiers et la gouvernance à long terme, reflétée par une vision claire de la transformation numérique, une collaboration interfonctionnelle solide et des cadres systémiques de gouvernance des données pour soutenir une interopérabilité durable. Concrètement, le maintien de l'expertise interne, la gestion des relations avec les fournisseurs, la mise en œuvre d'un portail de données centralisé pour des analyses sécurisées, en temps réel et basées sur les rôles, et la priorisation des normes d'interopérabilité, ainsi que des audits réguliers, aident les ministères et les agences d'évaluation à pérenniser leurs efforts d'intégration et à soutenir l'évolutivité dans un paysage éducatif en constante évolution.

En conclusion, les avantages de l'intégration des systèmes contribuent à l'élaboration de politiques fondées sur des données probantes, renforcent la responsabilisation et soutiennent le développement d'un système éducatif plus équitable et plus efficace. Alors que la transformation numérique continue de transformer l'éducation, une planification proactive et la collaboration des parties prenantes seront essentielles pour exploiter pleinement le potentiel des systèmes intégrés d'évaluation en ligne. Cet article vise à rappeler aux lecteurs d'en tenir compte dans leur planification.

À propos de l'auteur

Vali Huseyn est expert en évaluation pédagogique et auditeur qualité. Il est reconnu pour sa contribution à l'excellence et à la mise à l'échelle des évaluations, axée sur les réformes, au sein des organismes d'évaluation grâce à son expérience gouvernementale, son expertise terrain et son réseau régional.

Titulaire d'un diplôme universitaire en politique, planification et administration de l'éducation de l'Université de Boston (États-Unis), ainsi qu'en évaluation pédagogique de l'Université de Durham (Royaume-Uni), il possède des compétences en matière d'utilisation des évaluations pour éclairer l'élaboration de politiques fondées sur des données probantes. Dans le cadre de ses travaux visant à relier les réformes nationales aux référentiels internationaux, Vali a utilisé le CECR et le PISA comme cadres directeurs pour soutenir les stratégies d'amélioration des instruments d'évaluation du Centre d'examen d'État de la République d'Azerbaïdjan et, plus récemment, a fourni des conseils dans ces mêmes domaines au Centre national d'évaluation du Kazakhstan. Par ailleurs, Vali est auditeur qualité et fournit des services d'audit qualité institutionnel en partenariat avec l'organisation néerlandaise RCEC, et plus récemment pour l'agence nationale d'évaluation CENEVAL au Mexique.

Vali possède également une expérience pratique dans la région de la CEI, notamment en Azerbaïdjan, au Kazakhstan et en Ouzbékistan, et possède une solide connaissance du paysage éducatif. Vali parle couramment quatre langues : l'azerbaïdjanais, le russe, le turc et l'anglais. Il les utilise dans son travail pour favoriser une communication efficace, surmonter les barrières linguistiques et approfondir la compréhension contextuelle entre les pays de la région. Il a également été consultant pour l'Institut de statistique de l'UNESCO, contribuant à la collecte de données sur des évaluations à grande échelle dans l'espace post-soviétique.

N'hésitez pas à contacter Vali et à demander un rendez-vous si vous souhaitez adopter les normes internationales de l'AIEA, via LinkedIn.

Tout comme pour la rénovation d'une maison, où toute modification structurelle doit être reflétée dans le plan d'aménagement, un plan d'aménagement en évaluation doit être mis à jour dès qu'un changement intervient dans le programme ou les compétences évaluées, en particulier lorsque ces changements affectent les types de questions reflétant la portée et la complexité de l'évaluation. Dans le paysage actuel de l'évaluation en constante évolution, où les plateformes numériques et les outils d'IA transforment la conception et la mise en œuvre des tests, un plan d'aménagement performant, adapté à l'ère numérique, demeure le fondement essentiel de la qualité et de la cohérence.

Cet article propose une explication claire et accessible du concept de plan d'aménagement en évaluation pédagogique, décrit son rôle dans la phase de conception de l'évaluation, explore les caractéristiques clés d'une documentation de plan d'aménagement de haute qualité dans les systèmes technologiques et explique comment ces plans d'aménagement doivent évoluer pour rester fonctionnels, adaptables et prêts pour l'avenir.

D'un document statique à un outil de conception dynamique

Vous êtes-vous déjà demandé ce qui guide réellement la création d'un bon test ? Derrière chaque évaluation bien conçue se cache ce qu'on appelle un plan directeur, ou plan d'architecture. Il définit les principaux domaines de connaissances, compétences et niveaux de réflexion que le test est censé couvrir. Mais il ne s'agit pas seulement de planification : c'est aussi un moyen de garantir l'équité, la concentration et l'alignement avec les objectifs d'apprentissage.

Autrefois, un plan directeur se résumait généralement à un simple tableau présentant les domaines de contenu et les niveaux cognitifs. Utile ? Oui. Mais plutôt statique. Il restait souvent en retrait pendant la rédaction des éléments et l'assemblage des tests. Aujourd'hui, les plans directeurs sont bien plus que de simples documents de planification : ce sont des outils dynamiques et intégrés qui guident chaque étape du processus de développement du test, de la rédaction des questions à l'analyse des résultats.

Cartographie du parcours : De la conception à la réalisation du test

1. Du cadre conceptuel au plan de test. Tout commence par un cadre conceptuel : une vision claire de ce que le test est censé mesurer et pourquoi, basé sur les objectifs du programme, les normes nationales ou les référentiels de compétences. Une fois le « quoi » et le « pourquoi » définis, il est temps de créer un plan de test : le plan pratique qui inclut le nombre d'items, les sujets, le calendrier et les formats. C'est là que la stratégie se transforme en structure.

2. Du plan de test au plan directeur. Le plan de test nous structure, mais il nécessite plus de détails. C'est là qu'intervient le plan directeur. Il décompose les éléments plus en détail, en spécifiant précisément les domaines de contenu, les compétences et les niveaux cognitifs à couvrir et dans quelles proportions. Il rend le plan directeur concret et exploitable.

3. Du plan directeur aux spécifications du test. Maintenant que nous connaissons les types d’items nécessaires, nous devons nous assurer qu'ils sont développés de manière cohérente. C'est là qu'interviennent les spécifications de test. Ces documents fournissent aux rédacteurs les règles : formats, grilles d'évaluation, formulation et même consignes de sécurité. En résumé, il s'agit du manuel pratique pour rédiger des questions de qualité.

4. Des spécifications de test à la rédaction des items. Avec des instructions claires en main, la phase de rédaction des items commence. Les rédacteurs créent des items conformes au plan, les étiquettent correctement et s'assurent qu'elles respectent les normes psychométriques et de contenu. Il s'agit de la phase de production, qui transforme la conception en items de test concrètes.

5. De la rédaction des items à l'assemblage du test. Une fois la sélection des items établie, vient l'assemblage du test, où tout se concrétise : les items sont sélectionnés et organisés en formats de test, garantissant un équilibre entre contenu, difficulté et compétences. C'est la dernière étape avant la mise en ligne du test.

Aujourd'hui, un bon plan directeur est un outil numérique vivant, lisible par machine, connecté à votre plateforme et riche en métadonnées. Ainsi, il vous aide à planifier le test, à suivre la couverture des items en temps réel, à identifier les lacunes et à prendre des décisions éclairées à chaque étape.

Qu'est-ce qui fait qu'un plan directeur de test moderne fonctionne réellement ?

Alors, comment transformer un plan directeur basique avec une feuille de calcul en un outil véritablement adapté aux évaluations modernes et technologiques ? Voici quelques éléments indispensables qui distinguent les plans traditionnels de ceux qui garantissent une évaluation précise, flexible et évolutive.

• Aligné sur l'essentiel. Un bon plan directeur est étroitement lié aux programmes nationaux ou aux cadres de compétences (comme le CEC). Il énonce donc clairement ce que les apprenants doivent savoir et faire, facilitant ainsi la conception d’items de test qui répondent réellement à ces objectifs.

• Plus que du contenu. L'important n'est pas seulement ce que vous évaluez, mais aussi la profondeur de votre évaluation. Un plan directeur intelligent décompose les éléments par exigences cognitives, comme la mémorisation, la compréhension, l'application et l'analyse, afin que votre test offre un équilibre entre les niveaux de réflexion.

• Une mine de métadonnées utiles. Dans les évaluations numériques, chaque item doit être étiqueté avec des informations utiles : le sujet abordé, la compétence évaluée, le format utilisé, et même des options d'accessibilité. Ces métadonnées facilitent la création de tests équitables et adaptatifs, et leur analyse ultérieure.

• Conçu pour évoluer. L'éducation est en constante évolution, et votre plan directeur devrait l'être aussi. Une version moderne inclut l'historique des versions et les journaux des modifications, ce qui vous permet de suivre les mises à jour à mesure que les normes évoluent ou que de nouvelles technologies apparaissent. Voilà à quoi ressemble l'assurance qualité aujourd'hui.

• Facile à utiliser pour tous. Des rédacteurs d’items aux psychométriciens en passant par les décideurs politiques, votre plan directeur est indispensable à de nombreuses personnes. Il doit donc être clair, bien structuré et facile à consulter, non seulement techniquement solide, mais aussi réellement utile pour les personnes réelles.

Aligner les personnes, les plateformes et l'objectif

Que fait réellement un plan directeur ? Il relie les personnes, les plateformes et l'objectif. Ce n'est pas un simple plan sur papier, c'est un guide pratique qui assure l'harmonisation de l'ensemble de votre système d'évaluation. Tout au long de cet article, nous avons examiné l'évolution des plans directeurs, passant de tableaux statiques à des outils technologiques dynamiques, au cœur de la conception moderne des évaluations. Nous avons vu comment ils relient la vision globale (objectifs du programme et référentiels de compétences) aux aspects pratiques de l'élaboration des tests (rédaction, exécution, rapport), tout en restant suffisamment flexibles pour évoluer avec le temps.

Si vous travaillez aujourd'hui dans le secteur de l'évaluation pédagogique, que vous rédigiez des questions, gériez des plateformes d'exécution de tests ou définissiez des politiques nationales, votre plan directeur devrait vous aider à mieux accomplir tout cela. Il doit clarifier vos intentions, soutenir votre équipe, assurer l'harmonisation de votre contenu et fournir des données en temps réel sur la manière dont vos évaluations sont conçues et réalisées. De la même manière, un bon plan de maison permet aux constructeurs, aux électriciens et aux propriétaires de rester sur la même longueur d'onde. Un bon plan de test rassemble toutes les parties prenantes du cycle d'évaluation, avec transparence, structure et objectif. Et comme pour toute rénovation intelligente, lorsque le paysage d'apprentissage évolue, votre plan doit également évoluer.

En fin de compte, cet article a pour objectif d'expliquer ce qui fait d'un plan un modèle phare à l'ère du numérique. Et nous l'avons vu : un plan moderne n'est pas seulement un outil de planification, c'est la base de systèmes d'évaluation plus intelligents, plus connectés et plus résilients.

Traitons-le comme tel.

À propos de l'auteur

Vali Huseyn est un expert en évaluation pédagogique et auditeur qualité, reconnu pour sa promotion de l'excellence et de la mise à l'échelle axée sur les réformes au sein des organismes d'évaluation, grâce à son expérience gouvernementale, son expertise terrain et son réseau régional.

Titulaire d'un diplôme universitaire en politique, planification et administration de l'éducation de l'Université de Boston (États-Unis), ainsi qu'en évaluation pédagogique de l'Université de Durham (Royaume-Uni), il possède un ensemble de compétences sur l'utilisation des évaluations pour éclairer l'élaboration de politiques fondées sur des données probantes. Dans le cadre de son travail visant à relier les réformes nationales aux référentiels internationaux, Vali a utilisé le CECR et le PISA comme cadres directeurs pour soutenir les stratégies d'amélioration des instruments d'évaluation au Centre d'examen d'État de la République d'Azerbaïdjan et, plus récemment, a fourni des conseils dans ces mêmes domaines au Centre national d'évaluation du Kazakhstan. Par ailleurs, Vali est auditeur qualité et fournit des services d'audit qualité institutionnel en partenariat avec l'organisation néerlandaise RCEC, plus récemment pour l'agence nationale d'évaluation CENEVAL au Mexique.

Vali possède également une expérience pratique dans la région de la CEI, notamment en Azerbaïdjan, au Kazakhstan et en Ouzbékistan, et possède une solide connaissance du paysage éducatif de la région. Vali parle couramment quatre langues : l'azerbaïdjanais, le russe, le turc et l'anglais. Il les utilise dans son travail pour favoriser une communication efficace, surmonter les barrières linguistiques et approfondir la compréhension contextuelle entre les pays de la région. Il a également été consultant pour l'Institut de statistique de l'UNESCO, contribuant à la collecte de données sur des évaluations à grande échelle dans l'espace post-soviétique.

Si vous souhaitez adopter les normes internationales de l'AIEA, n'hésitez pas à contacter Vali via LinkedIn pour une demande de rendez-vous.

La plupart des juridictions et organismes d'évaluation utilisent des documents cadres, tandis que d'autres non. Parmi ceux qui le font, on trouve un large éventail de contenus, souvent présentés sous différents formats.

Un cadre d'évaluation est un document fondamental qui identifie les lignes directrices, les procédures et les outils utilisés pour guider l'élaboration, l'administration, la notation, l'analyse des données et la communication des résultats. Ce document décrit le déroulement de l'évaluation, en mettant l'accent sur les éléments à évaluer et les modalités de leur évaluation. Il fournit un guide structuré pour la conception et la mise en œuvre des évaluations, garantissant leur adéquation aux objectifs d'apprentissage et aux objectifs visés. Cet article vise à décrire le contenu d'un document cadre efficace et à souligner les avantages liés à l'élaboration et à la publication d'un tel guide fondamental.

Contenu du cadre^[1]

Avant de se lancer dans la conception et le développement d'évaluations à grande échelle, il est crucial d'aborder plusieurs questions et de prendre des décisions éclairées. Impliquer les principaux groupes de parties prenantes à ce stade peut s'avérer extrêmement utile, car leurs points de vue et leurs commentaires peuvent aider les concepteurs d'évaluations à élaborer des plans complets. De plus, l'engagement des parties prenantes favorise souvent une plus large acceptation du programme d'évaluation. La publication du document final témoignera de sa transparence, contribuant ainsi à une meilleure compréhension et acceptation de l'initiative. À mesure que les décisions concernant les principes fondamentaux du programme d'évaluation sont prises, il est utile de les consigner dans un document appelé ici « document cadre ». Cette ressource fondamentale est un outil précieux pour les membres de l'équipe impliqués dans la conception, le développement et la mise en œuvre du programme, et constitue également un outil de communication important.

Le document cadre doit inclure des informations sur les objectifs du programme d'évaluation à grande échelle, les principes directeurs clés qui régissent le processus d'évaluation, ainsi que des détails sur la manière dont les informations résultantes seront générées, utilisées et communiquées. (En revanche, les rapports techniques fournissent des comptes rendus détaillés de tous les processus et procédures d’évaluation.) Un cadre complet peut inclure les types d’informations suivants :

Considérations éthiques

Le programme d'évaluation doit respecter des principes clés à toutes les étapes de sa conception et de sa mise en œuvre. Par exemple, pour garantir l'équité et l'inclusion, les concepteurs de tests doivent rendre les évaluations aussi équitables que possible pour les candidats d'horizons divers, notamment ceux de cultures, de genres et de régions géographiques différents, ainsi que ceux ayant des besoins d'apprentissage particuliers. Le document doit inclure des informations sur la manière dont l'équité sera prise en compte. Les énoncés concernant ces principes fondamentaux doivent faire référence à des ressources importantes telles que les Principes pour des pratiques équitables d'évaluation des élèves en éducation au Canada et les Normes américaines pour les tests éducatifs et psychologiques.^[2]

Objectif(s) de l'évaluation

Il est essentiel de définir clairement l'objectif d'un programme d'évaluation à grande échelle avant d'en entreprendre l'élaboration, car celui-ci influencera tous les aspects du programme et influencera sa conception. Par exemple, si l'objectif principal d'un programme est d'assurer la responsabilisation publique des écoles, des conseils scolaires et des administrations provinciales ou étatiques, tandis qu'un autre vise à fournir des informations formatives ou diagnostiques pour améliorer l'apprentissage individuel des élèves, les deux programmes d'évaluation différeront considérablement. Concevoir une évaluation qui réponde efficacement à plusieurs objectifs est difficile, voire impossible.

Cadre de référence pour l'interprétation

Il convient de décider si l'évaluation sera normative ou critériée. Les évaluations normatives comparent les performances des élèves à une norme, qui correspond à la performance moyenne ou typique d'un groupe spécifique d'individus ayant passé le même test. Cette approche sert de référence pour interpréter les résultats des élèves par rapport à ceux de leurs pairs. En revanche, les évaluations critériées comparent les performances des élèves à des critères établis ou à des définitions spécifiques de la réussite. Récemment, on a observé une transition générale des évaluations normatives vers les évaluations critériées, les autorités éducatives ayant souligné l'importance de concevoir des tests conformes aux attentes d'apprentissage spécifiques du programme (normes de contenu ou résultats).

Langue des tests

Un document-cadre doit inclure une déclaration concernant les langues utilisées pour les tests. Dans certaines juridictions, les évaluations sont élaborées dans une seule langue, tandis que d'autres peuvent exiger qu'elles soient administrées dans deux langues ou plus. Par exemple, de nombreux États américains sont tenus d'effectuer des tests en anglais et en espagnol ; au Canada, la plupart des juridictions proposent des évaluations en anglais et en français (les deux langues officielles) ; et en Suisse, les langues disponibles pour les évaluations sont l'anglais, le français, l'allemand, l'italien et l'espagnol. Le processus d'élaboration, d'administration, de notation et de communication des évaluations dans plusieurs langues soulève plusieurs questions importantes. L'une des principales questions est de savoir si un test dans une langue sera une traduction directe d'un test dans une autre langue ou si les tests seront élaborés indépendamment pour chaque langue.

Tests par sondage ou par recensement

L'objectif du programme de test influencera considérablement la décision de procéder à un recensement ou à un échantillon de candidats. Ce choix a des implications importantes pour la conception de l'évaluation. Par exemple, si les candidats sont sélectionnés aléatoirement (échantillonnés), la communication des résultats ne sera probablement possible qu'à des niveaux plus larges, comme au niveau provincial, étatique ou national. Il peut être impossible de produire des rapports individuels par candidat, ou des rapports à l'échelle de l'école ou du district scolaire.

Définition du concept

Lors de l'élaboration d'un programme d'évaluation à grande échelle, une étape préliminaire consiste à identifier le sujet et l'âge ou le niveau scolaire des candidats. Ces décisions sont souvent imposées par les autorités provinciales, étatiques, nationales ou internationales. Une fois ces décisions fondamentales prises, il est crucial de définir les concepts – souvent appelés domaines – qui seront mesurés, ainsi que d'établir des liens avec le programme d'études et les recherches actuelles. Par exemple, il est essentiel de clarifier la signification de termes tels que « littératie », « lecture », « écriture » et « mathématiques ». Le concept de littératie en est un bon exemple, car il peut être défini de diverses manières, notamment en littératie fonctionnelle, en littératie informationnelle, en littératie médiatique, en littératie visuelle, en littératie globale et en littératie technologique. Une définition et une description claires du concept devraient figurer dans un document cadre.

Alignement avec les attentes d'apprentissage

Une fois le concept défini, il faut décider du contenu spécifique à évaluer. En raison des limites inhérentes aux évaluations à grande échelle, toutes les attentes d'apprentissage ne peuvent pas être mesurées efficacement. Par exemple, il est souvent impossible de demander aux élèves d'identifier les points à améliorer en écriture à partir des commentaires des enseignants et de leurs pairs, principalement en raison des contraintes de temps et de la nécessité d'une administration cohérente entre les différentes juridictions. Par conséquent, certaines attentes d'apprentissage difficiles à mesurer dans les évaluations à grande échelle peuvent être plus judicieusement évaluées en classe. Les concepteurs de tests, les enseignants et les candidats doivent avoir accès à des informations précisant les attentes d'apprentissage du programme scolaire qui seront évaluées et celles qui ne le seront pas. De nombreuses juridictions et organismes d'évaluation fournissent des tableaux détaillant ce type d'informations par matière.

Contenu et calendrier

Outre les liens avec le programme scolaire, les enseignants et les candidats doivent comprendre la composition et le calendrier des tests. Le document cadre précisera le nombre d'items ou de tâches de différents types (tels que les questions à réponses choisies et les questions à réponses construites) que chaque candidat devra passer. Cela inclut les items de test pratique, le cas échéant, et précise s'ils contribuent au score du candidat. Le document précisera également le nombre de livrets ou de séances nécessaires. Il est également important d'indiquer si le test est chronométré (c'est-à-dire avec une limite de temps stricte) ou non chronométré (avec possibilité de prolongation dans des limites raisonnables et pratiques). De plus, le document doit préciser le moment quand les tests auront lieu, par exemple au début, à la fin ou pendant l'année scolaire/calendaire.

Élaboration des items

Le document cadre doit clairement décrire l'approche d'élaboration des items et des questions du test. Par exemple, les items seront-ils créés en interne par l'organisme d'évaluation ou par un prestataire de services d'évaluation ? Les enseignants participeront-ils à leur rédaction ? Il est important de souligner que la qualité des items utilisés dans l'évaluation est la base d'un programme d'évaluation réussi.

Tests sur le terrain

Bien que le document cadre n'aborde pas en profondeur les spécificités des tests sur le terrain, il est essentiel d'inclure une déclaration concernant la conduite des tests sur le terrain pour les items d'évaluation. La plupart des programmes d'évaluation à grande échelle intègrent une forme de test sur le terrain, ce qui peut consister à intégrer des items de test sur le terrain aux évaluations ou à administrer des blocs distincts d'items de test sur le terrain, simultanément à l'évaluation principale ou à un moment différent.

Aménagements

Tous les candidats doivent avoir la possibilité de démontrer leurs connaissances et leurs compétences. Par conséquent, les programmes d'évaluation à grande échelle doivent s'adapter de manière appropriée aux personnes se trouvant à différents stades d'acquisition du langage ou ayant des besoins éducatifs particuliers. Le document-cadre doit clairement décrire les aménagements autorisés. (Les aménagements désignent les ajustements apportés à l'environnement ou au format d'évaluation afin de permettre aux candidats ayant des besoins éducatifs particuliers de démontrer leurs apprentissages sans modifier le contenu ou les attentes de l'évaluation. Cela diffère des modifications, qui impliquent de modifier l'évaluation elle-même, par exemple en modifiant le contenu ou en réduisant la difficulté pour répondre aux besoins du candidat.) Certains aménagements, tels que l'utilisation d'écouteurs, un environnement calme, des lieux alternatifs et du temps supplémentaire, peuvent être proposés à tous les candidats. Les personnes nécessitant une attention particulière peuvent accéder à différents formats de présentation, comme le braille, les gros caractères, les services d'interprétation/de langue des signes, les formats audios et les technologies d'assistance. Les formats de réponse peuvent également inclure des options de technologies d'assistance, comme la conversion de la voix en texte, ainsi que la transcription textuelle.

Évaluations alternatives

Certaines juridictions proposent des méthodes d'évaluation alternatives pour évaluer les progrès d'apprentissage des quelques candidats qui ne peuvent pas participer aux tests standard en raison de leurs besoins éducatifs particuliers. Parmi ces formats d'évaluation alternatifs, on peut citer les portfolios, les projets, les évaluations orales et les cours sur mesure. Les informations concernant la disponibilité de ces évaluations alternatives doivent être décrites dans le document-cadre.

Notation/Correction

Un document cadre doit décrire, au moins en termes généraux, la manière dont les différents items du test seront notés. Les items à réponses choisies sont généralement notés à l'aide d'une technologie automatisée, tandis que les réponses construites sont généralement notées manuellement. Cette notation peut être effectuée sur papier ou en ligne grâce à un système de notation (bien que la notation automatisée, utilisant l'intelligence artificielle [IA], pour les réponses construites soit prometteuse). La notation peut être effectuée localement, de manière centralisée ou à distance sur le site de test via des systèmes en ligne. Pour garantir une notation cohérente des réponses construites, il est essentiel d'établir un ensemble de règles de notation. Pour chaque item ou tâche à réponse construite, des grilles de notation (également appelées guides de notation dans certaines juridictions) doivent être élaborées. L'inclusion d'exemples de grilles dans les documents cadres est utile pour favoriser l'appréciation du processus de notation.

Rapports

Le document cadre doit décrire les types de rapports qui résulteront de l'évaluation. Par exemple, y aura-t-il des rapports individuels pour chaque candidat ? Les résultats contribueront-ils à la note globale du candidat et, si oui, quel pourcentage représenteront-ils ? De plus, y aura-t-il des rapports au niveau de l'école ou du district scolaire ? Quelles informations ces rapports contiendront-ils et comment seront-ils diffusés ? Les méthodes de rapportage doivent être conformes aux objectifs de l'évaluation et refléter l'interprétation prévue des scores et des résultats.

Maintenir la cohérence

Il est essentiel de démontrer l'équité et la cohérence des évaluations entre les différentes administrations, tant au niveau du contenu des matières que des compétences cognitives évaluées. Pour inspirer confiance aux candidats, aux enseignants, aux parties prenantes et au public dans les résultats des évaluations, il est important de garantir la cohérence de l'administration des tests d'une année à l'autre (ou d'une administration à l'autre), en particulier si les résultats doivent être comparés dans le temps. Les programmes d'évaluation assurent la cohérence de diverses manières. Selon le programme, les méthodes employées peuvent inclure:

• Utiliser un plan d'évaluation identique ou similaire pour chaque session;

• Maintenir le même format de test pour les différentes sessions;

• Intégrer des items ou des tâches aux évaluations déjà testées sur le terrain afin d'égaliser les performances des candidats au fil du temps;

• Réutiliser des ensembles d’items de test des sessions précédentes;

• Utiliser des méthodes d'égalisation appropriées;

• Assurer la cohérence des procédures d'administration et d'aménagement;

• Mettre en place des procédures de suivi de l'administration des évaluations sur les sites de test;

• Mettre en œuvre une notation cohérente, fiable et valide des réponses des candidats;

• Assurer un traitement des données et une notation statistique cohérents, fiables et valides, avec une documentation appropriée des procédures;

• Réaliser une réplication indépendante des analyses de données.

Formats du cadre

Les documents-cadres efficaces contiennent des informations sur les éléments clés d'une évaluation à grande échelle ; ils peuvent toutefois prendre différentes formes. Par exemple, le ministère de l'Éducation primaire et secondaire propose sur sa page d'accueil un menu de documents relatifs au Système d'évaluation complet du Massachusetts (MCAS).^[3] Le site web fournit des informations sur les sujets suivants :

• Participation des élèves

• Calendrier des tests

• Informations et ressources sur l'administration des tests

• Accessibilité et aménagements

• Conception et élaboration des tests

• Exemples de questions et tests pratiques

• Guides de travail et de notation des élèves

• Résultats des évaluations

• Processus d'appel des résultats

• Évaluation alternative du MCAS

• Rapports techniques

De plus, des ressources spécialement adaptées sont disponibles pour les élèves et leurs parents/tuteurs.

Au Canada, de nombreuses administrations ont élaboré des documents-cadres efficaces et d'autres ressources liées à l'évaluation destinés à des publics spécifiques. Deux organisations notables dans ce contexte sont l'Office de la qualité et de la responsabilité en éducation (OQRE) et le Conseil des ministres de l'Éducation (Canada) (CMEC). L'OQRE fournit des documents-cadres pour chacune de ses quatre évaluations provinciales des élèves. À titre d'exemple, vous trouverez un lien vers l'un des cadres d'évaluation ici.⁴ Outre ces documents-cadres, l'organisme offre des ressources supplémentaires aux enseignants et aux élèves, notamment :

• Exemples de questions publiées

• Glossaires et feuilles de formules

• Vidéos expliquant le déroulement de l'évaluation

• Exemples de tests pratiques

• Webinaires en direct (pour les parents et les tuteurs)

Ressources supplémentaires (comme des infographies sur les recherches de l'OQRE et les points saillants des résultats des évaluations provinciales)

Le cadre global du CMEC pour le Programme pancanadien d'évaluation (PPCE) est accessible ici.^[5]

Conclusion

Un cadre d'évaluation sert de modèle pour la conception et la réalisation des évaluations, en définissant des méthodes structurées, ciblées, valides et fiables pour évaluer les performances des apprenants. Les bonnes pratiques en matière d'évaluation à grande échelle nécessitent un tel document, car il communique des informations essentielles sur le programme d'évaluation aux candidats et à toutes les parties prenantes. De plus, la création d'un cadre efficace favorise la transparence des processus et procédures d'évaluation, ce qui renforce la confiance dans la validité, la fiabilité et l'équité du programme d'évaluation.

À propos de l'auteur

Richard Jones possède une vaste expérience dans les domaines de l'évaluation à grande échelle et de l'évaluation de programmes, fort de plus de 40 ans d'expérience dans ces domaines. Avant de fonder RMJ Assessment, il a occupé des postes de haute direction à l'Office de la qualité et de la responsabilité en éducation (OQRE) de l'Ontario, ainsi qu'aux ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. À ce titre, il était responsable des initiatives liées à l'évaluation des élèves, des programmes et du curriculum ; aux indicateurs de qualité de l'éducation ; à la planification de l'amélioration des écoles et des conseils scolaires ; à l'accréditation des écoles ; et aux tests provinciaux, nationaux et internationaux.

Le Dr Jones a débuté sa carrière comme enseignant aux niveaux primaire, secondaire et postsecondaire. Il a ensuite été chercheur et cadre supérieur pour une multinationale offrant des services de consultation au Moyen-Orient.

N'hésitez pas à contacter Richard « Rick » à l'adresse richard.jones@rmjassessment.com (ou sur LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d'évaluation à grande échelle et d'évaluation de programmes.

Références

[1] Les informations de cette section sont tirées ou adaptées de : Jones, R.M. (2014). Large-Scale Assessment Issues and Practices: An Introductory Handbook. La Vergne, TN. Lightning Source (Ingram) Books.

[2] Principes pour des pratiques équitables d'évaluation des élèves en éducation au Canada. (1993). Edmonton (Alberta) : Comité consultatif mixte.

[3] Département de l'Éducation primaire et secondaire du Massachusetts. (29 mai 2025). Système d'évaluation complet du Massachusetts. Consulté le 11 juin 2025 sur : https://doe.mass.edu/mcas/.

[4] Office de la qualité et de la responsabilité en éducation. (2025). Évaluation de la lecture, de l'écriture et des mathématiques, cycle moyen (4e à 6e année), Cadre. Consulté le 10 juin 2025 à l'adresse : https://www.eqao.com/wp-content/uploads/2021/08/junior-division-framework.pdf.

[5] Conseil des ministres de l'Éducation (Canada). (2024). Programme pancanadien d'évaluation : Cadre d'évaluation du PPCE 2023. Consulté le 10 juin 2025 à l'adresse suivante : https://www.cmec.ca/docs/pcap/pcap2023/PCAP-2023_Framework_FINAL_FR.pdf.

Le pilotage, souvent appelé « tests sur le terrain » dans le contexte de l'évaluation, est largement évoqué pour tester les questions (items) et valider les évaluations. En revanche, on accorde moins d'attention au pilotage de produits conçus pour soutenir le développement à l'échelle du système, tels que les normes de l'AIEA^[1], que nous avons explorées en détail dans notre précédent article intitulé « Normes internationales pour la réalisation d'évaluations technologiques »^[2] et qui seront examinées plus en détail ici sous l'angle technologique.

Cet article vise à sensibiliser à l’importance des tests pilotes pour la validation des produits, en particulier pour les solutions destinées à favoriser des améliorations systémiques dans l’évaluation pédagogique, en mettant l’accent sur la collecte de preuves et le partage d’idées sur un cadre d’audit de qualité pour la production d’évaluations basées sur la technologie.

Au-delà des items : Pilotage pour la validation au niveau du système

Cette section décrit un processus de validation visant à démontrer les performances de l'instrument d'auto-évaluation basé sur des normes en contexte institutionnel réel, passant de l'approbation conceptuelle à la mise en pratique.

Les essais pilotes traditionnels en évaluation se concentrent généralement sur la validation des items de test en termes de difficulté, de discrimination et d'équité. Cependant, avec l'adoption croissante des outils et plateformes numériques par les systèmes éducatifs, l'expérimentation doit aller au-delà des items pour intégrer les systèmes qui prennent en charge l'élaboration, la mise en œuvre, la notation et la communication des tests. En pratique, un organisme d'évaluation peut tester un instrument d'auto-évaluation basé sur des normes afin de valider son efficacité à évaluer l'état de préparation institutionnelle par rapport à des cadres/instruments tels que les Normes opérationnelles de l'AIEA. Plutôt que d'utiliser les normes uniquement pour éclairer la pratique, ce processus pilote permet de tester l'instrument lui-même, en évaluant sa capacité à identifier des facteurs critiques tels que l'alignement et l'adéquation des programmes de formation soutenant la mise en œuvre du cycle d'évaluation.

Ceci est particulièrement important dans le contexte des évaluations technologiques, où le développement d'items requiert des compétences spécialisées en conception interactive, intégration multimédia et compatibilité avec les plateformes. Si la formation peut être dispensée à la fois aux équipes internes et aux développeurs d'items externes, la responsabilité incombe souvent à différents services, ce qui entraîne des incohérences dans l'orientation, la portée et le format de diffusion. Le pilotage de l'instrument permet à l'organisation de déterminer si ces problèmes sont efficacement pris en compte, notamment les risques de duplicata, de chevauchement thématique ou de lacunes dans le développement des compétences techniques.

En fin de compte, cet exercice pilote devient un processus de validation non seulement de la préparation de l'organisation à mettre en œuvre des évaluations technologiques de haute qualité, mais aussi de l'utilité de l'instrument pour soutenir l'assurance qualité. Ce processus pilote des normes en tant qu'outil d'auto-évaluation permet d'évaluer systématiquement les programmes de formation au développement d'éléments numériques, de mieux les coordonner et de les aligner sur les objectifs institutionnels plus larges, jetant ainsi les bases d'un système d'évaluation plus intégré et tourné vers l'avenir.

La section ci-dessous décrit la logique du processus de validation et propose des étapes, notamment une structure d'adoption potentielle et des scénarios de mise en œuvre illustratifs.

Assurance qualité dans l'évaluation basée sur la technologie : un cadre en action

Cette section décrit une méthodologie de validation proposée pour piloter une version modifiée du composant d’auto-évaluation des normes de l’AIEA adapté aux environnements d’évaluation basés sur la technologie, dans le but de déterminer si le cadre adapté génère des informations plus exploitables et plus pertinentes dans les contextes de transition numérique.

D'une manière générale, un cadre d'audit qualité systémique dans le domaine de l'évaluation pédagogique aide les organisations à évaluer et à améliorer continuellement leur préparation à l'adoption et au développement de solutions technologiques dans un secteur de l'évaluation en constante évolution. Par exemple, les évaluations technologiques nécessitent des ressources prenant en charge la conception interactive, l'intégration multimédia et la compatibilité avec les plateformes, notamment pendant la phase de développement des items du cycle d'évaluation.

Un cadre d'audit plus réactif et axé sur la technologie peut aider les organismes d'évaluation à déterminer s'ils disposent des outils, des flux de travail et de l'expertise nécessaires pour concevoir et proposer des items de test numériques de haute qualité, renforçant ainsi la conception de l'évaluation au sein de leurs processus institutionnels. Pour accompagner cette évolution, le tableau ci-dessous présente des exemples de refonte des questions d'auto-évaluation actuelles, basées sur les normes de l'AIEA, afin de mieux refléter les réalités des environnements d'évaluation technologiques, favorisant ainsi un dialogue plus constructif et fondé sur les données probantes avec les organismes d'évaluation de grande envergure.

Comme le lecteur le remarquera en parcourant le tableau présenté, les ajustements reflètent principalement une réorientation vers un questionnement axé sur la technologie afin d'inciter les répondants à considérer leur maturité technologique par défaut. Cette approche est préférable pour les auditeurs évaluant la qualité institutionnelle au sein d'organismes d'évaluation pédagogique en transition vers l'évaluation numérique, car elle favorise des audits plus diagnostiques et constructifs, générant des informations exploitables pour l'amélioration des systèmes technologiques. De plus, le format a été modifié, passant de questions de type « oui/non » à des questions plus ouvertes et axées sur les données probantes, permettant aux organisations de décrire leurs pratiques de base actuelles plutôt que de porter des jugements binaires sur leur existence.

Méthodologie de validation potentielle

Pour évaluer la pertinence et la valeur ajoutée d'une version modifiée des normes de l'AIEA pour les environnements d'évaluation basés sur la technologie, deux stratégies pilotes sont envisageables :

En bref, la deuxième option peut créer un engagement plus important et, si elle est partagée avec la communauté pour un pilotage plus large, pourrait attirer l’attention de diverses parties prenantes en offrant des perspectives qui reflètent un éventail plus large de types d’organisations dès le départ.

Vers des systèmes plus intelligents grâce à des projets pilotes de préparation au numérique

Avec la croissance du secteur de l'évaluation pédagogique, notamment avec la transition croissante vers le numérique, se concentrer uniquement sur l'amélioration des items n'est plus une stratégie judicieuse. Si l'élaboration des items demeure une phase cruciale du cycle d'évaluation, la résilience et la pertinence à long terme des systèmes d'évaluation dépendent de la qualité de l'évaluation et de l'amélioration des processus organisationnels des établissements. Le pilotage d'un instrument d'auto-évaluation, tel que le cadre normatif modifié de l'AIEA, offre l'opportunité d'aller au-delà de la simple validation du contenu de l'évaluation. Il aide les établissements à réfléchir à leurs capacités internes, à leurs structures de gouvernance et à leur capacité à gérer des environnements d'évaluation complexes basés sur la technologie. Ce processus favorise non seulement une meilleure coordination et une meilleure responsabilisation, mais aussi une culture plus forte de conscience institutionnelle et d'amélioration continue.

Les stratégies pilotes proposées, présentées dans cet article, offrent un point de départ pratique pour adapter les cadres d'audit aux réalités numériques des systèmes d'évaluation actuels. En s'engageant activement dans ce processus pilote, les organisations contribuent à façonner un modèle d'assurance qualité plus inclusif, adaptable et technologiquement réactif, adapté aussi bien aux fournisseurs de technologies qu'aux institutions d'évaluation publiques. Les organisations souhaitant se joindre à cet effort, qu'elles soient développeurs d'évaluations numériques ou responsables de leur mise en œuvre au sein des systèmes éducatifs nationaux, sont chaleureusement invitées à participer au projet pilote. Contribuer à cet effort collectif de validation constitue non seulement une étape vers le perfectionnement des outils, mais aussi vers la construction des bases d'un écosystème d'évaluation mondial plus agile, transparent et tourné vers l'avenir.

À propos de l'auteur

Vali Huseyn est un expert en évaluation pédagogique et auditeur qualité, reconnu pour sa promotion de l'excellence et de la mise à l'échelle axée sur les réformes au sein des organismes d'évaluation, grâce à son expérience gouvernementale, son expertise terrain et son réseau régional.

Titulaire d'un diplôme universitaire en politique, planification et administration de l'éducation de l'Université de Boston (États-Unis), ainsi qu'en évaluation pédagogique de l'Université de Durham (Royaume-Uni), il possède un ensemble de compétences sur l'utilisation des évaluations pour éclairer l'élaboration de politiques fondées sur des données probantes. Dans le cadre de son travail visant à relier les réformes nationales aux référentiels internationaux, Vali a utilisé le CECR et le PISA comme cadres directeurs pour soutenir les stratégies d'amélioration des instruments d'évaluation au Centre d'examen d'État de la République d'Azerbaïdjan et, plus récemment, a fourni des conseils dans ces mêmes domaines au Centre national d'évaluation du Kazakhstan. Par ailleurs, Vali est auditeur qualité et fournit des services d'audit qualité institutionnel en partenariat avec l'organisation néerlandaise RCEC, plus récemment pour l'agence nationale d'évaluation CENEVAL au Mexique.

Vali possède également une expérience pratique dans la région de la CEI, notamment en Azerbaïdjan, au Kazakhstan et en Ouzbékistan, et possède une solide connaissance du domaine éducatif de la région. Vali parle couramment quatre langues : l'azerbaïdjanais, le russe, le turc et l'anglais. Il les utilise dans son travail pour favoriser une communication efficace, surmonter les barrières linguistiques et approfondir la compréhension contextuelle entre les pays de la région. Il a également été consultant pour l'Institut de statistique de l'UNESCO, contribuant à la collecte de données sur des évaluations à grande échelle dans la région post-soviétique.

Si vous souhaitez adopter les normes internationales de l'AIEA, n'hésitez pas à contacter Vali via LinkedIn pour une demande de rendez-vous.

Références

[1] Normes internationales de l'AIEA : https://iaea.info/iaea-international-standards-update-faq/

[2] Normes internationales pour la réalisation d'évaluations technologiques : https://www.vretta.com/buzz/international-standards/

Les administrations et les organismes d'évaluation sont passés des évaluations papier aux évaluations numériques pour de nombreuses raisons. Dans mon article de 2023^[1], je présente en détail plusieurs avantages des évaluations numériques, liés à l'authenticité, à l'engagement, à l'équité et à l'inclusion, à l'élaboration des questions et des tests, à l'administration des tests, à la notation, à la rétroaction et à la communication d'informations, à l'analyse des données, à la sécurité, à l'évolutivité, à la flexibilité, à l'environnement et à la durabilité, ainsi qu'à la rentabilité. Cet article approfondit deux avantages importants des évaluations numériques et de leurs outils interactifs en ligne : l'accessibilité et l'engagement.

Ces dernières années, la majorité des programmes provinciaux et territoriaux canadiens d'évaluation des élèves à grande échelle, ainsi que le Programme pancanadien d'évaluation (PPCE) du Conseil des ministres de l'Éducation (CMEC), sont passés ou sont en train de passer des systèmes papier (ou des systèmes traditionnels) à des évaluations informatisées modernes.

L'objectif de cet article est de décrire comment la technologie peut soutenir et améliorer l'accessibilité et l'engagement des élèves dans les évaluations à grande échelle. En outre, des données anecdotiques issues de l’expérience des juridictions avec la solution numérique (obtenues au moyen d’une enquête en ligne) donnent une indication de la mesure dans laquelle la plateforme d’évaluation soutient/améliore l’accessibilité et l’engagement des étudiants.

Accessibilité

Tous les organismes d'évaluation s'efforcent d'inclure le plus grand nombre d'élèves possible dans leurs programmes d'évaluation. C'est important, car les évaluations fournissent des informations factuelles qui aident les élèves et les parents/tuteurs à comprendre les progrès des enfants dans leurs apprentissages et fournissent aux éducateurs et aux décideurs politiques des données pour les aider à déterminer comment améliorer les résultats d'apprentissage des élèves dans l'ensemble du système éducatif. Compte tenu de l'importance des évaluations à grande échelle, les juridictions et les organismes d'évaluation ont la responsabilité morale de tout mettre en œuvre pour inclure le plus grand nombre d'élèves possible afin de garantir l'équité pour tous. Au-delà de cette responsabilité morale, de nombreuses juridictions ont adopté des lois imposant l'égalité des chances pour tous. Par exemple, la Loi canadienne sur les droits de la personne consacre le principe suivant :

« …le droit de tous les individus à l’égalité des chances d’épanouissement et à la prise de mesures de satisfaction de leurs besoins, dans la mesure compatible avec leurs devoirs et obligations au sein de la société, indépendamment des pratiques discriminatoires fondées sur la race, l’origine nationale ou ethnique, la couleur, la religion, l’âge, le sexe, l’orientation sexuelle, l’identité ou l’expression de genre, l’état matrimonial, la situation de famille, les caractéristiques génétiques ou le handicap… »^[2].

L'éducation (y compris les évaluations) étant un service d'une importance vitale qui influence la capacité d'une personne à participer pleinement à la société, les commissions des droits de la personne des provinces et territoires canadiens (p. ex., la Colombie-Britannique et l'Ontario) ont élaboré des politiques garantissant l'égalité de traitement en éducation dans le cadre de la protection de l'égalité de traitement en matière de services.^[3] L'accessibilité est donc un élément essentiel à prendre en compte lors de la conception des évaluations afin de garantir à tous les apprenants une chance égale de démontrer leurs connaissances et leurs compétences et de donner le meilleur d'eux-mêmes lors des évaluations.

Assurer l'accessibilité aux évaluations à grande échelle implique de concevoir, d'élaborer et de mettre en œuvre des stratégies permettant à tous les élèves, y compris ceux ayant des besoins éducatifs particuliers et des handicaps, de participer et de démontrer leurs apprentissages de manière équitable. Cela comprend la mise en place d'aménagements, de formats accessibles et d'autres mesures de soutien. La plupart des évaluations prévoient des aménagements pour tous les élèves (par exemple, un environnement calme, des pauses surveillées, du temps supplémentaire) et divers formats de présentation et de réponse (par exemple, braille, braille électronique et gros caractères ; formats audios ; interprétation/langue des signes ; transcription textuelle ; et applications de technologies d'assistance). Outre ces aménagements, la plateforme numérique comprend de nombreux outils interactifs intégrés destinés à améliorer l'accessibilité. Voici quelques exemples de ressources en ligne proposées :

À titre d'exemple, l'introduction du test d'évaluation provincial de 6e année de l'Alberta présente et explique les différents outils interactifs en ligne disponibles dans la barre d'outils. Vous pouvez y accéder ici : https://abed.vretta.com/#/en/testauth/shared-test-version/268/3895.

Le fournisseur de services veille au respect des directives nationales, internationales et locales en matière d'accessibilité, notamment la Loi sur l'accessibilité pour les personnes handicapées de l'Ontario (LAPHO)^[4], l'Americans with Disabilities Act de 1990^[5] et les Règles pour l'accessibilité des contenus Web (WCAG)^[6]. Les quatre principes WCAG suivants fournissent un cadre pour rendre le contenu Web accessible à un large éventail d'utilisateurs :^[7]

• perceptible : L'interface utilisateur doit être logique et facile à présenter pour les utilisateurs, de manière familière, afin qu'ils puissent comprendre les informations à l'écran.

• utilisable : Les utilisateurs doivent pouvoir utiliser et naviguer dans tous les composants de la solution avec lesquels ils sont censés travailler.

• compréhensible : Les utilisateurs doivent pouvoir comprendre les informations présentées dans l'interface utilisateur et les composants fonctionnels.

• robuste : Le contenu doit rester interprétable par un large éventail de technologies, y compris les technologies d'assistance, au fil de leur évolution.

Afin de garantir le respect de ces directives et normes, le fournisseur de services effectue régulièrement des audits de conformité d’accessibilité sur le succès relatif de la plateforme en ligne à répondre aux besoins d’accessibilité, et des rapports d’audit complets sont préparés.

Engagement

De plus en plus, les écoles et les salles de classe adoptent des outils d'apprentissage technologiques, et les élèves sont de plus en plus férus de technologie, préférant travailler sur ordinateur plutôt que sur papier. Nombreux sont ceux qui pensent que les évaluations statiques sur papier sont ennuyeuses ; pourtant, ils ont tendance à être plus impliqués et motivés avec les évaluations en ligne sur ordinateur, qui contiennent une variété d'items/tâches et utilisent des supports multimédias tels que des cartes, des diagrammes, des images, des animations, des vidéos et des fichiers audios. L'engagement est encore renforcé par l'utilisation d’items améliorés par la technologie (TEI), notamment des simulations ludiques. De plus, le cas échéant, les candidats peuvent recevoir un retour/des résultats en temps réel. Les résultats d'une méta-analyse (2023) ont montré que l'utilisation d'évaluations informatisées pouvait avoir un impact positif sur la motivation et l'engagement intrinsèques.^[8]

La plateforme numérique comprend un large éventail d'items/tâches interactives pour renforcer l'engagement des candidats. En plus des items standard sélectionnés et à réponse construite, d'autres formats innovants incluent les suivants :

• Sélection multiple (similaire aux questions à choix multiples, mais avec plusieurs options possibles)

• Tableau de sélection (similaire à une série de questions à choix multiples, mais organisées sous forme de tableau)

• Zone active (similaire aux questions à choix multiples, mais avec des sections spécifiques d'une image sélectionnables)

• Menu déroulant

• Glisser-déposer

• Saisie de texte

• Saisie de nombres (y compris nombres entiers, décimaux, fractions et ratios)

Des exemples de différents formats d’items/tâches d’évaluation sont présentés ci-dessous.

Des exemples de tests et de pratiques, qui illustrent la grande variété d’items et de tâches stimulantes, sont accessibles via les liens ci-dessous :

Tests de l'Alberta : https://abed.vretta.com/#/en/public-practic

Évaluations des compétences de base de la Colombie-Britannique : https://bced.vretta.com/#/en/bced-landing/fsa/sample

C.-B. Évaluations pour l'obtention du diplôme : https://bced.vretta.com/#/fr/bced-landing/grad/sample

Évaluations Ontario/OQRE - Primaire (3e année) : https://eqao.com/the-assessments/primary-division/

Évaluations Ontario/OQRE - Moyen (6e année) : https://eqao.com/the-assessments/junior-division/

Évaluation de mathématiques Ontario/OQRE - 9e année : https://eqao.com/the-assessments/grade-9-math/

Test de compétences linguistiques de l'Ontario (TPCL) - OQRE : https://eqao.com/the-assessments/osslt/

L’expérience utilisateur

Un bref sondage en ligne mené auprès des provinces et territoires utilisant actuellement des solutions numériques en ligne permet d'évaluer dans quelle mesure leur plateforme d'évaluation favorise ou améliore l'accessibilité et la participation des élèves. Un lien vers le sondage anonyme a été envoyé par courriel aux sept provinces et territoires utilisant des évaluations informatisées. Six personnes-ressources administratives ont rempli le questionnaire. À la question « Dans quelle mesure êtes-vous d'accord ou en désaccord avec l'énoncé suivant : La plateforme numérique (outils d'évaluation interactifs) améliore ou favorise l'accessibilité pour les candidats ? », tous les répondants ont indiqué être « d'accord » ou « tout à fait d'accord ». Parmi ces répondants, deux (33 %) ont choisi « d'accord » et quatre (67 %) « tout à fait d'accord ». Les commentaires écrits suivants ont été fournis pour expliquer les notes :

• « D'après mon expérience, la plateforme numérique offre des aides spécifiques qui sont constamment créées et améliorées, notamment lorsque les capacités d'accueil ne permettent pas à tous les élèves de bénéficier d'un accompagnement personnalisé. »

• « Les commentaires issus de nos échanges avec notre comité d'élèves et les éducateurs de notre conseil scolaire indiquent que ces aides ont été bénéfiques pour les élèves. Nous disposons également de données issues de questionnaires d'élèves qui confirment la diminution de l'anxiété liée au format numérique. »

• « Les outils en ligne ont amélioré l'accessibilité grâce à des fonctionnalités telles que la synthèse vocale et l'agrandissement de l'écran, qui aident les élèves, en particulier ceux en situation de handicap. »

• « Les outils numériques intègrent souvent de nombreuses fonctionnalités d'accessibilité intégrées, telles que la mise à l'échelle de la taille des polices, la sélection de la couleur d'arrière-plan, les séparateurs de lignes, etc. Ces outils peuvent être proposés à tous sans nécessiter d'aménagements particuliers. Parfois, la stigmatisation associée aux aménagements particuliers décourage les élèves de passer les évaluations. Disposer d'outils d'aménagement accessibles à tous augmente donc la probabilité qu'ils y participent. »

À la question « Dans quelle mesure êtes-vous d'accord ou non avec l'affirmation suivante : La plateforme numérique (outils d'évaluation interactifs) améliore/favorise l'engagement des candidats », tous les répondants ont indiqué être « d'accord » ou « tout à fait d'accord ». Parmi eux, trois (50 %) n’ont coché que « d'accord » et « tout à fait d'accord ». Les commentaires écrits suivants ont été fournis pour expliquer les réponses :

• « Lorsque les élèves ont été formés/entrainés sur une plateforme numérique, leur niveau de familiarité améliore leurs compétences et leur confiance. »

• « Encore une fois, toutes nos interactions avec nos parties prenantes ont été positives… »

• « Les outils interactifs en ligne améliorent l'engagement des élèves en proposant une variété d'items/tâches, tels que le multimédia et la ludification, ce qui rend les évaluations plus intéressantes, authentiques et motivantes. »

• « Les élèves des classes modernes sont habitués à travailler avec des outils numériques. J'ai deux enfants scolarisés dans ce système et j'estime que 90 % de leur travail en classe est effectué numériquement, à l'aide d'applications sur les Chromebook qui leur sont attribués par l'école. Les élèves sont plus susceptibles de s'impliquer dans une évaluation qui utilise la même méthode que celle utilisée en classe. »

Conclusion

Le recours à une gamme d'aménagements d'évaluation utiles et nécessaires pour les élèves, l'intégration d'un éventail de ressources et d'outils interactifs en ligne utiles et la proposition d'une variété d’items et de tâches authentiques et intéressantes peuvent avoir un impact positif sur la capacité des élèves à participer à des évaluations à grande échelle et contribuer à leur engagement actif et à leur concentration. Bien que la quantité de données issues du sondage en ligne soit modeste, il semble que les administrations canadiennes qui mettent en œuvre des solutions numériques estiment que l'utilisation d'outils et de technologies interactifs en ligne favorise ou améliore l'accessibilité et la participation des élèves aux évaluations à grande échelle.

À propos de l'auteur

Richard Jones possède une vaste expérience en évaluation pédagogique à grande échelle et en évaluation de programmes. Il œuvre dans ce domaine depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de haute direction à l'Office de la qualité et de la responsabilité en éducation (OQRE) de l'Ontario, ainsi qu'aux ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. À ce titre, il était responsable des initiatives liées à l'évaluation des élèves, des programmes et du curriculum ; aux indicateurs de qualité de l'éducation ; à la planification de l'amélioration des écoles et des conseils scolaires ; à l'accréditation des écoles ; et aux tests provinciaux, nationaux et internationaux.

Le Dr Jones a débuté sa carrière comme enseignant aux niveaux primaire, secondaire et postsecondaire. Il a ensuite été chercheur et cadre supérieur pour une multinationale offrant des services de consultation au Moyen-Orient.

N'hésitez pas à contacter Richard « Rick » à l'adresse richard.jones@rmjassessment.com (ou sur LinkedIn) pour en savoir plus sur les meilleures pratiques en matière d'évaluation à grande échelle et d'évaluation de programmes.

Références

[1] Jones, R.M. (août 2023). Valeur des évaluations en ligne à grande échelle des élèves. E-assessment Association. Consulté le 25 mars 2025 à : https://e-assessment.com/news/value-of-large-scale-online-student-assessments/.

[2] Gouvernement du Canada. (1985). Loi canadienne sur les droits de la personne. Consulté le 29 mars 2025 à : https://laws.justice.gc.ca/fra/lois/h-6/page-1.html.

[3] Commission ontarienne des droits de la personne. (mars 2018). Politique sur l'éducation accessible aux élèves handicapés. Consulté le 25 mars 2025 à : https://www3.ohrc.on.ca/fr/politique-education-accessible-etudiants-handicapes. Commission des droits de la personne de la Colombie-Britannique. (juin 2020). Droits de la personne, accessibilité, inclusion et transformation. Consulté le 25 mars 2025 sur : https://bchrc.net/human-rights-accessibility-inclusion-and-transformation/.

[4] Gouvernement de l'Ontario. (2005). Loi sur l'accessibilité pour les personnes handicapées de l'Ontario. Consulté le 6 mai 2025 sur : https://Ontario.ca/laws/statute/05a11.

[5] Département de la Justice des États-Unis, Division des droits civils. (1990). Americans with Disabilities Act of 1990. Consulté le 6 mai 2025 sur : https://ada.gov/law-and-regs/ada/

[6] Initiative pour l'accessibilité du Web du W3C (décembre 2024). Règles pour l'accessibilité des contenus Web (WCAG) 2.1. Consulté le 6 mai 2025 sur : https://w3.org/TR/WCAG21/.

[7] Vretta Inc. (2025). Politique d'accessibilité. Consulté le 3 mai 2025 sur : https://vretta.com/accessibility-statement

[8] Suparman, A.R., Rohaeti, E. et Wening, S. (2023). Effet d'un test informatisé sur la motivation : une méta-analyse. Revue européenne de recherche en éducation. 12(4), 1583-1599. Consulté le 30 mars 2025 sur : https://www.researchgate.net/publication/374738967_Effect_of_Computer_Based_Test_on_Motivation_A_Meta-Analysis

Consciente de l'importance de l'auto-évaluation, l'Association internationale pour l'évaluation des acquis de l'éducation (AIEA) a décidé d'élaborer non seulement un ensemble de normes pour les organismes d'évaluation – les Normes internationales pour les organismes d'évaluation de l'éducation (ci-après dénommées « les Normes ») –, mais aussi des lignes directrices de mise en œuvre qui commencent par l'auto-évaluation. Il s'agit d'une approche stratégique visant à promouvoir une culture de réflexion et d'amélioration continue, renforçant l'idée que, comme dans bien d'autres cas, le meilleur enseignant, c'est nous-mêmes, lorsque nous sommes ouverts et honnêtes sur nos pratiques actuelles, sans hésitation ni fierté. Dans ce cas, il est particulièrement important de disposer d'évaluateurs ou d'auditeurs compétents qui comprennent et suivent les principes de ce cycle, qui vise non seulement à asseoir sa réputation par le biais de l'analyse comparative, mais aussi à favoriser l'apprentissage par le biais du partage de retours d'expérience.

Cet article se concentre sur les avantages et les enseignements tirés de la réalisation d'analyses comparatives, notamment dans le contexte de la numérisation des évaluations^[1] et des efforts des organisations pour moderniser leurs processus d'évaluation grâce à la technologie.

Préparation institutionnelle : aller au-delà de la préparation individuelle

De nombreuses organisations, dotées d’une solide expérience et de collaborateurs expérimentés, font naturellement preuve de confiance dans les opérations gérées tout au long du cycle de production, ce qui constitue un atout précieux lors de la conception de produits destinés aux utilisateurs finaux. Cependant, des incidents peuvent survenir, et aucun d’entre nous n’est à l’abri des risques liés à la chaîne de production ou à la prestation de services. Le mieux que nous puissions faire est d’adopter une attitude préventive face aux risques susceptibles d’impacter négativement le flux de travail et d’être prêt à y faire face. Dans de tels cas, la préparation peut être personnelle ou institutionnelle ; si la préparation individuelle peut sauver une équipe ou quelques individus, elle ne profitera pas à l’institution dans son ensemble. Ainsi, renforcer la préparation institutionnelle à la gestion ou à la prévention des incidents est un travail d’équipe, réalisé grâce à la création d’un mécanisme d’auto-évaluation transparent et intégré qui favorise la compréhension mutuelle et un esprit de résilience collaborative, continuellement renforcé par des discussions ouvertes et des séances de feedback.

Normes de l'AIEA : Explication du processus de mise en œuvre

Le processus de mise en œuvre des normes de l'AIEA est un processus auto-adapté, principalement guidé par l'engagement de l'organisme d'évaluation. Les normes elles-mêmes sont une combinaison de processus structurés en quatre sections, chacune guidant les organisations dans un processus complet d'auto-évaluation et d'amélioration de l'évaluation pédagogique.

La section 1 se concentre sur l'évaluation des processus d'une organisation au regard de trois normes de mesure clés : validité, fiabilité et équité. Ces normes mettent en évidence les menaces potentielles telles que la sous-représentation, la non-pertinence et la fiabilité inacceptable des concepts, qui peuvent survenir à tout stade du cycle d'évaluation si elles ne sont pas correctement traitées.

La section 2 aborde les normes organisationnelles, en se concentrant sur la structure de l'organisation et les personnes qui contribuent à ses opérations, et en soulignant l'importance des capacités internes et des compétences du personnel pour maintenir des pratiques d'évaluation de haute qualité.

La section 3 présente les normes des processus opérationnels, détaillant les phases clés du cycle d'évaluation, l'élaboration et l'administration des examens, la notation, la notation et la communication des résultats, afin de garantir que les pratiques opérationnelles sont conformes aux objectifs généraux d'équité, de sécurité et d'exactitude.

La section 4 présente des scénarios illustratifs liés aux normes organisationnelles et opérationnelles abordées dans les sections précédentes. Elle présente des questions essentielles pour aider les organisations à réfléchir à leurs pratiques et à encourager un engagement plus approfondi et plus concret envers les Normes.

Chaque section a un objectif et un style distincts, aidant les organisations à examiner, analyser et améliorer systématiquement leurs processus d'évaluation, conformément aux meilleures pratiques internationales.

Rétroaction et auto-évaluation : fondements de la croissance institutionnelle

Tout d'abord, le concept de rétroaction a été intégré aux fondements des Normes lorsque les établissements ont été invités à participer aux évaluations pré-pilotes et pilotes. La phase pré-pilote a impliqué le Conseil des examens des Caraïbes (CXC) et l'Independent Examinations Board (IEB) d'Afrique du Sud, tandis que la phase pilote a impliqué le Centre d'examen d'État d'Azerbaïdjan, l'Autorité des examens et de l'évaluation de Hong Kong, le Conseil des examens de l'Université Aga Khan (Pakistan), le Conseil des examens et de l'évaluation de Singapour, le Conseil des examens de Zambie et le Conseil des examens scolaires du Zimbabwe. Tous ont participé à l'auto-évaluation et fourni une rétroaction à l'AIEA.

Cet élément fondamental de l'auto-évaluation demeure central, non seulement comme outil de validation, mais aussi comme moyen de générer une rétroaction pour l'organisation évaluée, ce qui favorise un sentiment d'appropriation et d'engagement dans le processus, aidant les organisations à se sentir comme des participants actifs plutôt que comme des étrangers à l'environnement d'apprentissage. Par conséquent, un tel début constitue un exemple non seulement pour les individus ou les équipes, mais également pour les équipes interconnectées travaillant dans le cadre d’un flux de travail intégré, favorisant la maturité institutionnelle dans l’application des mécanismes d’auto-évaluation.

Les Normes de l'AIEA : La transformation numérique de l'évaluation

Les Normes de l'AIEA^[2] ont été établies pour fournir un cadre favorisant la confiance, la validité, la fiabilité et l'équité dans les processus d'évaluation pédagogique à l'échelle mondiale. Il s'agit d'une cause essentielle à défendre, et l'AIEA et les membres fondateurs des Normes méritent d'être reconnus pour leur travail. En alignant leurs pratiques opérationnelles sur les principes d'évaluation pédagogique de l'AIEA, les organisations peuvent renforcer non seulement la complexité technique de leurs systèmes, mais aussi la validité, l'équité et la crédibilité mondiale de leurs processus d'évaluation. D'un point de vue pratique, la section 4 présente des cas sous forme de questions pour aider les organismes d'évaluation à se préparer à l'auto-évaluation et à mobiliser des pairs évaluateurs, les guidant ainsi à s'aligner sur le champ d'application et le contenu des Normes, à identifier les normes pertinentes pour l'auto-évaluation et à déterminer les orientations futures.

La section FAQ de la documentation relative aux Normes répond à la question : « Les Normes couvrent-elles le rôle des technologies de l'information (TI) dans un organisme d'évaluation pédagogique ? », indiquant que les Normes intègrent des orientations sur un cadre informatique général et des repères de bonnes pratiques. Ces outils visent à aider les organisations à mettre en place l'infrastructure nécessaire à la mise en œuvre des évaluations, à sécuriser la gestion des données et à garantir la confidentialité et les contrôles d'accès aux systèmes d'évaluation numériques.

Étant donné que les organisations peuvent varier en termes de maturité, de portée et d'implication des différents prestataires dans la prestation de certaines parties de leurs services selon le contexte gouvernemental, je suis heureux d'offrir mon soutien pour adapter les normes et les questions pratiques afin de faciliter la transformation des organisations d'évaluation et de les aider à atteindre l'excellence opérationnelle au profit de leurs jeunes et de leur potentiel en ressources humaines.

À propos de l'auteur

Vali Huseyn est un expert en évaluation pédagogique et auditeur qualité, reconnu pour sa contribution à l'excellence et à la mise à l'échelle axée sur les réformes au sein des organismes d'évaluation, grâce à son expérience gouvernementale, son expertise terrain et son réseau régional.

Titulaire d'un diplôme universitaire en politique, planification et administration de l'éducation de l'Université de Boston (États-Unis), ainsi qu'en évaluation pédagogique de l'Université de Durham (Royaume-Uni), il possède un ensemble de compétences sur l'utilisation des évaluations pour éclairer l'élaboration de politiques fondées sur des données probantes. Dans le cadre de son travail visant à relier les réformes nationales aux référentiels internationaux, Vali a utilisé le CECR et le PISA comme cadres directeurs pour soutenir les stratégies d'amélioration des instruments d'évaluation au Centre d'examen d'État de la République d'Azerbaïdjan et, plus récemment, a fourni des conseils dans ces mêmes domaines au Centre national d'évaluation du Kazakhstan. Par ailleurs, Vali est auditeur qualité et fournit des services d'audit qualité institutionnel en partenariat avec l'organisation néerlandaise RCEC, et plus récemment pour l'agence nationale d'évaluation CENEVAL au Mexique.

Vali possède également une expérience pratique dans la région de la CEI, notamment en Azerbaïdjan, au Kazakhstan et en Ouzbékistan, et possède une connaissance approfondie du paysage éducatif de la République kirghize. Il parle couramment quatre langues : l'azerbaïdjanais, le russe, le turc et l'anglais, qu'il utilise dans son travail pour favoriser une communication efficace, surmonter les barrières linguistiques et approfondir la compréhension contextuelle entre les pays de la région. Il a également été consultant pour l'Institut de statistique de l'UNESCO, contribuant à la collecte de données sur des évaluations à grande échelle dans l'espace post-soviétique.

N'hésitez pas à contacter Vali et à demander un rendez-vous si vous souhaitez adopter les normes internationales de l'AIEA, via LinkedIn.

Références

[1] Revue de la numérisation : Guide pour la modernisation du cycle de vie des évaluations : https://www.vretta.com/buzz/digitalization-review/

[2] Normes internationales de l'AIEA : https://iaea.info/iaea-international-standards-update-faq/

Enracinés pour un avenir meilleur

Grâce au partenariat Vretta-Evertreen, les 2 000 arbres, qui poussent actuellement en Colombie-Britannique et au Nouveau-Brunswick, amélioreront la biodiversité locale tout en favorisant une restauration environnementale plus large – un investissement durable dans les écosystèmes naturels du Canada. Les arbres plantés contribueront à compenser les émissions de carbone tout en créant des emplois locaux. Grâce à la plateforme innovante d'Evertreen et à ses projets surveillés par satellite, chaque arbre planté dans le cadre de ce partenariat est suivi et vérifié, garantissant ainsi transparence et impact à long terme.

« Nous pensons que l'éducation doit non seulement préparer les élèves à la réussite scolaire, mais aussi leur permettre de devenir des citoyens du monde responsables », a déclaré Anand Karat, président-directeur général de Vretta. « Si notre mission principale est d'améliorer les pratiques éducatives qui ont un impact positif sur la vie des élèves grâce à l'innovation technologique, ce partenariat nous permet de renforcer notre engagement en faveur du développement durable et de contribuer à une planète plus saine pour les générations futures. »

Luca Giordaniello, cofondateur d'Evertreen, a ajouté : « Nous sommes ravis d'accueillir Vretta au sein de notre communauté d'organisations avant-gardistes. Leur engagement en faveur de la transformation numérique dans l'éducation et de la durabilité environnementale s'inscrit parfaitement dans notre mission de construire un monde plus vert et meilleur. Ensemble, nous ne nous contentons pas de nourrir les esprits, nous nourrissons la Terre. »

Un partenariat porteur d'objectifs

Vretta et Evertreen ont pour objectif d'inciter les organisations à dépasser les frontières traditionnelles et à adopter des pratiques durables bénéfiques pour les personnes et la planète. En associant innovation académique et responsabilité environnementale, Vretta et Evertreen sèment les graines d'un avenir plus intelligent, plus vert et plus durable.

Pour avoir un impact concret sur l'environnement, nous participons à la plantation d'arbres et au développement d'écosystèmes durables. Voici des informations sur la forêt de Vretta : https://www.evertreen.com/forest/680023082fdcd

L'obtention de la certification ISO/IEC 27018 renforce nos pratiques existantes en matière de sécurité et de confidentialité, garantissant que nos plateformes infonuagiques d'évaluation et de formation en ligne respectent les normes les plus strictes en matière de protection des données. Cette norme aborde spécifiquement les risques liés à l’informatique en nuage pour la confidentialité et fournit des conseils sur la mise en œuvre de mesures de protection des IPI dans les environnements infonuagiques.

Le cadre ISO/IEC 27018 met l'accent sur plusieurs principes fondamentaux de confidentialité et de fonctionnement :

• protection du cycle de vie des données personnelles : Mise en œuvre de contrôles rigoureux tout au long de la collecte, du traitement et de la suppression des données personnelles.

• activation des droits des personnes concernées : Prise en charge des mécanismes permettant d'accéder aux informations personnelles, de les corriger ou de les supprimer à la demande de l'utilisateur.

• consentement et limitation d’usage : Garantir que le traitement des données est limité aux usages spécifiés et effectué avec un consentement valable.

• procédures de notification des incidents : Établissement de plans d'intervention et de canaux de communication clairs en cas de violation de données.

• transparence et responsabilité : Rendre les politiques de traitement des données accessibles et compréhensibles pour les clients et les parties prenantes.

Zach Williams, directeur de la technologie chez Vretta, a déclaré : « Cette certification offre une valeur ajoutée considérable à nos clients, garantissant que leurs données sont traitées dans le strict respect des réglementations mondiales en matière de confidentialité. Elle témoigne de la position proactive de Vretta en matière de réduction des risques, d'harmonisation réglementaire et de transparence des opérations infonuagiques.»

Notre parcours vers la certification ISO/IEC 27018 a nécessité une évaluation complète de nos opérations infonuagiques, de nos politiques de confidentialité et de nos mesures de protection techniques. Cette étape importante reflète notre investissement stratégique dans la protection de la vie privée dès la conception et renforce la confiance que nous accordent nos clients.

Pour en savoir plus sur la manière dont les pratiques certifiées de Vretta en matière de confidentialité infonuagiques peuvent aider votre organisation à atteindre ses objectifs de conformité et à protéger les données clients, contactez-nous à l'adresse info@vretta.com.

L'obtention de la certification ISO/IEC 27017 renforce nos efforts pour protéger les données clients et garantir la sécurité de nos plateformes d'évaluation et d'apprentissage en ligne à grande échelle. Contrairement aux référentiels de sécurité généraux, cette norme se concentre sur les défis spécifiques de l’informatique en nuage et propose des bonnes pratiques aux fournisseurs de services cloud et à leurs clients.

Le référentiel ISO/IEC 27017 définit des principes essentiels tels que :

• clarté des responsabilités partagées : Assurer la transparence entre les fournisseurs infonuagique et les clients quant à la responsabilité de chacun au sein de l'écosystème cloud.

• gestion des risques spécifiques à l’informatique en nuage : Traiter les menaces propres aux environnements virtualisés et aux plateformes multi-locataires.

• contrôles de sécurité pour la virtualisation : Mettre en œuvre des contrôles techniques robustes pour protéger les données dans les architectures infonuagique complexes.

• alignement de la protection des informations personnelles identifiables : Soutenir des pratiques supplémentaires en matière de confidentialité et de protection des données, notamment lorsque des informations personnelles sont impliquées.

• transparence opérationnelle : Fournir aux utilisateurs un aperçu des pratiques de gestion et de sécurité des données tout au long du cycle de vie du service.

Cette certification offre une valeur ajoutée significative à nos clients en garantissant que leurs données sont gérées avec des protections renforcées, adaptées aux réalités des environnements infonuagique modernes. Elle démontre notre capacité à protéger les informations sensibles, à minimiser les risques et à répondre aux exigences de conformité mondiales pour les systèmes infonuagiques.

Zach Williams, directeur de la technologie chez Vretta, a déclaré : « Cette certification confirme la solidité de nos contrôles de sécurité cloud et notre alignement avec les meilleures pratiques mondiales en matière de protection des données, de virtualisation et de responsabilité partagée dans les environnements infonuagique.»

Notre parcours vers la certification ISO/IEC 27017 a nécessité une collaboration entre les équipes, un perfectionnement continu de nos modèles de gouvernance infonuagique et une évaluation rigoureuse par des auditeurs indépendants. Nous ne considérons pas cela comme une finalité, mais comme un engagement continu envers l'excellence en matière de sécurité infonuagique.

Si vous souhaitez découvrir comment notre approche certifiée de la sécurité infonuagique peut soutenir vos initiatives de transformation, n'hésitez pas à nous contacter à l'adresse info@vretta.com.

Dans cet article, le terme « modèle de prestation des tests » désigne des approches spécifiques aux tests informatisés, telles que le mélange aléatoire d'items au sein d'un test (modèle linéaire), l'organisation des items en sous-ensembles selon leur type ou leur difficulté (modèle basé sur des questionnaires ou testlets), ou la sélection dynamique d'items directement dans une banque d'items grâce à une méthode appelée « test linéaire à la volée » (LOFT) et ses variantes, ainsi que les tests adaptatifs, avec leurs propres méthodes distinctes, comme approche distincte. Un équilibre judicieux entre les décisions prises concernant chaque aspect du modèle de gestion des tests choisi peut contribuer à créer un environnement de test sécurisé, valide et centré sur l'étudiant au sein du système éducatif d'une juridiction.

Cet article présente un aperçu simplifié de la manière dont les organismes d’évaluation peuvent choisir ou équilibrer stratégiquement l’intégrité, la qualité et la personnalisation avec des choix sur les modèles de prestation de tests.

Modèles de prestation de tests : intégrité, qualité, personnalisation ou tout ?

Pour accompagner l'évolution de la culture décisionnelle concernant les modèles de prestation des tests, notamment dans le contexte de la numérisation du cycle d'évaluation et de l'amélioration des fonctionnalités des plateformes numériques, une analyse numérique pourrait aider à déterminer la portée et l'ampleur appropriées de la réforme. En savoir plus sur l'élaboration d'une feuille de route pour la modernisation du cycle d'évaluation.

Le premier aspect à aborder, l'intégrité, concerne la mise en place d'une plateforme numérique et de procédures pour prévenir l'exposition des items lors de la mise en œuvre du cycle d'évaluation, un sujet largement abordé dans l'article Sécuriser le cycle d'évaluation. L'aspect qualité du choix d'un modèle de test vise principalement à garantir la validité et la fiabilité des évaluations. Le dernier aspect, la personnalisation, privilégie l'approche centrée sur l'étudiant en privilégiant des évaluations conviviales et adaptables à leurs besoins. Le tableau suivant illustre l'impact des modèles de test classiques : linéaire, basé sur des questionnaires, linéaire à la volée (LOFT) et adaptatif, sur l'intégrité, la qualité et la personnalisation des évaluations.

Tableau d'impact du modèle de prestation de tests

Compte tenu de l'évolution de chaque modèle de prestation de test, leur impact varie, améliorant des aspects spécifiques des pratiques et des résultats d'évaluation selon le contexte et les priorités de la juridiction. Ainsi, le choix du modèle de prestation par un organisme d'évaluation peut indiquer l'axe d'évaluation prioritaire et le type de culture d'évaluation promu au sein du système d'évaluation de la juridiction.

L'IA et l'avenir des modèles de prestation de tests

L'intégration de l'IA dans les modèles de prestation de tests améliore la sélection des items, l'assemblage des tests et l'adaptabilité en temps réel grâce à des algorithmes d'apprentissage automatique qui prédisent les performances des étudiants, à une notation automatisée pour des évaluations plus rapides et à des analyses prédictives permettant d'ajuster dynamiquement la difficulté des tests. Ces avancées soutiennent l'évolution des modèles de prestation de tests linéaires, multi-étapes et entièrement adaptatifs, établissant une nouvelle référence en matière de précision, de personnalisation et d'évolutivité dans l'évaluation pédagogique.

En pratique, des évaluations précises et basées sur les compétences des élèves émergeront d'un nouveau modèle de test appelé « On-the-Fly Assembled Multistage Computer Adaptive Testing » (Li et al., 2025), qui intègre les principes des tests adaptatifs, l'analyse multidimensionnelle utilisant la théorie de la réponse aux items multidimensionnels (MIRT) et le mode à la volée. Ce modèle permettrait aux organismes d'évaluation d'assembler dynamiquement des tests en temps réel et d'utiliser des modèles informatiques multidimensionnels pour évaluer simultanément plusieurs compétences, améliorant ainsi la précision des mesures, la sécurité et l'efficacité des tests.

Il est à espérer que les décideurs des organismes d'évaluation et des ministères de l'Éducation seront mieux informés des utilisations de chaque modèle de prestation de tests et du message qu'il transmet au secteur et aux parties prenantes, garantissant ainsi que leurs choix de solutions techniques concilient efficacement intégrité, qualité et personnalisation du système éducatif. Cet équilibre, ou la décision de privilégier un aspect plutôt qu'un autre, est influencé par des facteurs contextuels qui peuvent justifier le choix sans jugement. Cependant, la compréhension de toutes les options techniques, y compris les modèles de prestation de tests avancés, permet aux organisations d'élaborer une feuille de route de croissance stratégique, tout en apprenant et en appliquant les solutions techniques, un atout essentiel pour équilibrer les priorités.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement portant sur divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration des différents niveaux d'évaluation, l'innovation en matière d'analyse de données et la création de techniques de rapports rapides et sécurisées le distingue dans son domaine. Son travail, enrichi par des collaborations avec des entreprises de technologies d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative à la transformation des évaluations locales et a dirigé des projets régionaux clés, tels que la plateforme unifiée d'inscription et de suivi des programmes de tests internationaux, les évaluations linguistiques alignées sur le CECR, les formations à la littératie en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans le pays et dans la région de l'ex-URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu un master en planification et administration des politiques éducatives à l'Université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'Université de Durham grâce à une bourse Chevening.

Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez un aperçu de l'avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

De plus, les évaluations destinées à évaluer les compétences des élèves peuvent intégrer involontairement la culture et les perspectives de leurs créateurs dans leur conception, ce qui entraîne des préjugés au lieu de refléter les expériences diverses des candidats. Dans ce scénario, si l’on néglige les variations culturelles, les concepteurs d’évaluations risquent de marginaliser certains groupes d’apprenants, ce qui pourrait entraîner des interprétations erronées des capacités des élèves et perpétuer les disparités systémiques dans l’éducation.

Dans ce contexte, les décideurs politiques ont la responsabilité de veiller à ce que les évaluations soient non seulement scientifiquement valides et fiables, mais aussi équitables pour tous les apprenants. Cet article explore le rôle de la sensibilité culturelle dans la conception des évaluations à partir de trois perspectives essentielles : la recherche scientifique, les aspects pratiques et les politiques gouvernementales.

La science de la réactivité culturelle dans l'évaluation

Les recherches ont constamment montré que les évaluations ne sont pas des instruments neutres et qu’elles sont influencées par les contextes culturels dans lesquels elles sont créées. Des facteurs tels que la langue, les connaissances préalables et même les comportements lors des tests varient selon les cultures et peuvent avoir un impact sur les performances. Les facteurs clés suivants illustrent la manière dont les influences culturelles affectent les évaluations :

Validité, variance non pertinente et sous-représentation dans les contextes multiculturels

Dans ce contexte, la validité fait référence à la mesure dans laquelle une évaluation mesure avec précision ce qu’elle prétend mesurer, ce qui peut être compromis en présence de préjugés culturels. Par exemple, un problème de mathématiques qui suppose une familiarité avec un sport particulier ou un événement historique d’une culture peut désavantager les élèves d’une autre culture. De même, les évaluations qui s’appuient sur des idiomes, des métaphores ou des références culturelles spécifiques dans les questions de compréhension de lecture peuvent pénaliser injustement les locuteurs non natifs ou les élèves issus de milieux linguistiques différents. Dans de tels cas, les préjugés culturels introduisent une variance non pertinente, ce qui amène l’évaluation à mesurer la familiarité culturelle plutôt que les connaissances ou les compétences visées.

En plus d’introduire des préjugés, les évaluations peuvent également ne pas représenter pleinement les diverses perspectives culturelles, ce qui conduit au concept de sous-représentation, c’est-à-dire l’absence de perspectives culturelles diverses dans le contenu des tests. Par exemple, si les évaluations reflètent principalement un cadre culturel, elles ne parviennent pas à saisir l’ensemble des compétences et des connaissances des élèves issus de milieux différents, ce qui peut conduire à des lacunes d’apprentissage mal diagnostiquées et à des opportunités éducatives inéquitables. Ainsi, une conception d’évaluation adaptée à la culture pourrait soutenir les pratiques d’évaluation qui sont justes, inclusives et qui reflètent les diverses perspectives culturelles, permettant à tous les élèves de démontrer leurs véritables capacités.

La conception d’évaluations culturellement adaptées

D’un point de vue pratique, la conception d’évaluations culturellement adaptées implique activement les étudiants, valorise leurs identités culturelles et favorise des expériences d’apprentissage significatives. Les six thèmes de l’éducation culturellement adaptée de Stembridge (2020) fournissent un cadre pour des évaluations inclusives qui permettent à des étudiants divers de démontrer leurs véritables connaissances et compétences. Selon ce cadre, six principes clés de la conception d’évaluations culturellement adaptées peuvent être classés comme stratégies ci-dessous :

1. Engagement:

• Offrir un choix de formats d’évaluation (par exemple, projets, présentations, portfolios).

• Utiliser des exemples concrets et culturellement pertinents pour enrichir le sens.

• Intégrer des activités collaboratives pour favoriser la participation.

2. Rigueur:

• Encourager la réflexion d’ordre supérieur en utilisant des questions ouvertes.

• Appliquer la taxonomie de Bloom et la profondeur des connaissances de Webb pour un apprentissage approfondi.

• Autoriser plusieurs interprétations et voies de solution dans les tâches d’évaluation.

3. Identité culturelle :

• Utiliser diverses références culturelles dans le contenu des tests.

• Permettre aux élèves de s’appuyer sur leurs origines culturelles dans leurs réponses.

• Aider les élèves à relier l’identité personnelle à l’apprentissage scolaire.

4. Relations :

• Concevoir des évaluations qui intègrent la collaboration et l’apprentissage entre pairs.

• Encourager les évaluations basées sur la discussion et le travail en équipe.

5. Vulnérabilité :

• Fournir des évaluations formatives et des commentaires avant les tests à enjeux élevés.

• Créer un espace sûr pour la prise de risques intellectuels et les erreurs.

6. Atouts :

• Reconnaître les points forts des élèves, leurs capacités de résolution de problèmes et leurs connaissances culturelles.

• Offrir aux élèves des moyens flexibles de démontrer leur apprentissage.

En considérant ces stratégies lors de la conception d’évaluation, les développeurs d’évaluations peuvent créer des évaluations équitables, inclusives et significatives qui donnent du pouvoir tous les apprenants.

Le rôle du gouvernement dans la promotion d’évaluations culturellement adaptées

Les organismes de réglementation gouvernementaux du secteur de l’évaluation jouent un rôle important dans l’élaboration de politiques d’évaluation qui favorisent l’équité et l’inclusion culturelle. Les politiques de tests standardisés font partie intégrante de ces réglementations qui devraient refléter la diversité des populations qu’elles servent, en veillant à ce que les évaluations ne soient pas des outils d’exclusion mais plutôt des instruments d’équité. Les interventions politiques potentielles qui pourraient promouvoir des évaluations culturellement adaptées sont présentées ci-dessous :

• Établir des normes pour des tests équitables : les régulateurs nationaux et internationaux des évaluations pourraient établir des lignes directrices exigeant que les concepteurs de tests tiennent compte de la diversité culturelle et linguistique.

• Financer la recherche sur les modèles d'évaluation réactifs : les études en cours pourraient se concentrer sur la façon dont les évaluations peuvent être conçues pour s'adapter à différents contextes culturels tout en conservant leur validité.

• Soutenir la formation des enseignants : la communauté éducative, en particulier les enseignants, pourrait recevoir une formation sur la création et l'interprétation des évaluations à travers une perspective culturellement adaptée, qui favorise l'équité des évaluations non seulement lors des examens nationaux à enjeux élevés, mais aussi dans les situations de classe quotidiennes.

Adaptation dynamique des évaluations culturellement adaptées

En conclusion, pour soutenir scientifiquement les évaluations culturellement adaptées, il faut mettre l’accent sur la validité en minimisant la variance et la sous-représentation non pertinentes pour les construits, deux principes essentiels dans leur conception. Pour soutenir une telle approche dans la conception des items, les six thèmes de l’éducation culturellement adaptée de Stembridge (2020) pourraient servir de cadre directeur pour favoriser une culture d’évaluation culturellement adaptée, avec six principes clés abordant divers aspects de l’élaboration des tests.

Dans le cadre d’une réforme systémique, les régulateurs gouvernementaux pourraient établir des exigences en matière de développement de tests qui privilégient la réactivité culturelle, en soutenant les évaluations pour servir une population diversifiée de candidats. À terme, l’avenir de l’évaluation nécessite un tel changement de paradigme qui pourrait donner un nouveau ton à l’adaptation dynamique de la réactivité culturelle dans l’évaluation, plutôt que de s’attaquer aux préjugés après qu’ils se sont déjà produits.

À propos de l’auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapports rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plate-forme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

Ces recherches et considérations pratiques ont des implications directes pour les décideurs politiques et les organismes d’évaluation, soulignant l’importance de planifier les examens pendant les heures de pointe cognitives des élèves, de tenir en compte des variations saisonnières, en s’alignant avec les objectifs d’évaluation (diagnostiques, formatifs, intermédiaires, sommatifs) et de déterminer la fréquence et les fenêtres d’évaluation appropriées, en tirant potentiellement parti de la technologie.

Cet article explore l’importance de bien planifier ses évaluations, en soulignant l’impact sur les étudiants, enseignants et l’écosystème éducatif au sens large.

Moment optimal dans la planification des évaluations

Le moment optimal pour les évaluations consiste à programmer des évaluations formatives, sommatives, diagnostiques et intermédiaires en fonction de leurs objectifs. Les évaluations formatives fonctionnent mieux après l'enseignement d'un nouveau contenu pour un retour immédiat, tandis que les évaluations sommatives doivent conclure un trimestre ou une année pour mesurer la maîtrise. Les évaluations diagnostiques au début d'un cours identifient les connaissances antérieures et les évaluations intermédiaires espacées de manière uniforme suivent les progrès.

Traditionnellement, le moment optimal pour réaliser l'évaluation dépend de plusieurs facteurs, notamment de l'état de préparation des élèves en fonction de la matière enseignée et du temps nécessaire aux enseignants pour examiner et fournir des commentaires sur la progression de l'apprentissage. Cependant, le moment précis de ces évaluations au cours de la journée n'a pas été étudié en profondeur pour déterminer s'il a un impact significatif sur les résultats.

Picture, clockwise from midnight ending at the center: Minuit, sommeil profonde, température corporelle la plus basse, forte augmentation de la pression artérielle, arrêt de la sécrétion de mélatonine, vigilance maximale, Meilleure coordination, temps de réaction maximal, force musculaire et cardiovasculaire maximale, pression artérielle la plus élevée, température corporelle la plus élevée, début de la sécrétion de mélatonine, rythme circadien.

Des recherches récentes sur les performances des élèves affectées par le moment d’évaluation identifient la différence de performance telle que décrite dans le rythme circadien. Un concept connu sous le nom de rythme circadien décrit les différents niveaux de performance humaine tout au long de la journée. Certains moments particuliers, comme celui où l’on est le plus attentif, le mieux coordonné ou le plus réactif, ont une incidence sur la mesure des capacités cognitives. Il pourrait donc également être envisagé de choisir les heures auxquelles administrer les évaluations. L’alignement du moment de l’évaluation sur les rythmes circadiens pourrait potentiellement être envisagé dans la planification de différents types d’évaluations autour des périodes cognitives de pointe, comme l’illustre le tableau proposé ci-dessous :

Calendrier des évaluations traditionnelles et modifiées

Ce tableau proposé pourrait encourager les organismes d’évaluation et les décideurs politiques à prendre en compte les rythmes naturels des étudiants tout en contribuant à optimiser leurs performances, favorisant ainsi l’apprentissage et réduisant le stress.

Technologie et politique : faire progresser la planification des évaluations

Le choix du moment d’une évaluation est un point décisif dans la mise en œuvre de l’évaluation et dans le cycle éducatif au sens large. Cela demande des politiques qui intègrent les pratiques actuelles et utilisent les avancées technologiques pour créer un environnement de test centré sur l’étudiant. Les décideurs politiques et les organismes d’évaluation peuvent commencer à explorer l’amélioration des performances des étudiants en alignant les calendriers d’évaluation sur les rythmes circadiens, en visant à planifier les examens pendant les périodes de performances cognitives maximales, comme en fin de matinée pour les évaluations formatives et en début d’après-midi pour les évaluations sommatives et intermédiaires. De plus, la reconnaissance de l’impact des variations saisonnières, comme la réduction de l’ensoleillement pendant les mois d’hiver, peut guider la programmation des examens à enjeux élevés dans les saisons qui favorisent mieux le bien-être et les performances des étudiants. Le premier scénario aborde les défis liés au calendrier des évaluations, tandis que les deux suivants offrent une perspective proactive pour aider les lecteurs à comprendre l’importance des considérations de calendrier dans le secteur de l’évaluation.

Scénario 1 : Équilibrer les priorités dans la planification des examens

Dans le cadre de l’affaire de perception de la préparation des élèves en Azerbaïdjan, un examen de fin d’études, généralement administré sous forme d’évaluation sommative à la fin de l’année scolaire, a été reporté de deux mois pour s’adapter au calendrier d’autres examens nationaux. Cette décision a provoqué un tollé public de la part des parents et des élèves préoccupés par le manque de cohérence du programme scolaire et le temps de préparation insuffisant. Malgré les multiples communiqués de presse de l’organisme national d’examen assurant que l’examen n’inclurait pas les sujets initialement prévus plus tard dans l’année scolaire, le changement de calendrier a mis en évidence la nécessité d’une communication plus claire, d’une meilleure cohérence du programme scolaire et d’une plus grande flexibilité dans la programmation afin de réduire le stress et de répondre aux préoccupations des parties prenantes.

Scénario 2 : Programmation saisonnière des examens nationaux

Un comité national d’évaluation a décidé de déplacer ses principaux examens à enjeux élevés, traditionnellement tenus en été, à des moments différents de l’année afin d’équilibrer la fréquence et la flexibilité de la programmation des évaluations après avoir examiné les données sur les variations saisonnières des performances des élèves. Le comité utilise la technologie pour modéliser les résultats potentiels, en tenant compte de variables telles que les heures d’ensoleillement, les taux moyens de présence et les études de performance cognitive. En mettant en œuvre cette politique, le comité s’assure que les examens ont lieu pendant une ou plusieurs saisons dans une province propices à de meilleurs résultats des élèves, tandis que des outils de planification adaptative sont utilisés pour atténuer les problèmes logistiques, tels que le chevauchement avec d’autres évaluations.

Scénario 3 : planification adaptative pour les heures de pointe cognitives

Imaginez un district scolaire mettant en œuvre une politique exigeant que tous les examens à enjeux élevés coïncident avec les heures de pointe cognitives des élèves. À l'aide d'une plateforme de planification adaptative, le district analyse les données sur le rythme circadien pour déterminer que le début d'après-midi est optimal pour la plupart des élèves. La plateforme planifie dynamiquement les examens sur différentes plages horaires pour s'adapter aux variations des tendances de performance des élèves tout en équilibrant les contraintes logistiques. Cette approche de prestation améliore les performances globales tout en soutenant les élèves ayant des besoins spécifiques, ceux qui préfèrent être vigilants le matin par exemple.

Pour résumer, les deux premiers scénarios offrent des perspectives traditionnelles et futuristes complémentaires sur le calendrier d’évaluation, tandis que le scénario final fournit une approche plus détaillée de la planification des examens, le tout visant à soutenir les environnements d’évaluation des étudiants.

Optimiser le calendrier d'évaluation pour la réussite des élèves

En conclusion, la mise en œuvre de politiques d’évaluation soutenues par les étudiants nécessite de tenir compte des rythmes circadiens et d’autres aspects du calendrier d’évaluation et d’intégrer la technologie, comme les plateformes de planification adaptative qui analysent les données circadiennes, les tendances saisonnières et les besoins spécifiques des étudiants pour recommander des heures d’évaluation optimales tout au long de l’année et de la journée, selon les besoins. Les plateformes en ligne dynamiques pourraient facilement offrir une planification flexible tenant compte des rythmes circadiens et des fenêtres d’évaluation, en s’adaptant aux divers besoins des étudiants, tels que des durées de test prolongées ou des horaires alternatifs. De plus, les commentaires en temps réel des systèmes de rapport des étudiants intégrés à la plateforme de diffusion soutiennent les évaluations formatives en facilitant les ajustements pédagogiques immédiats. Des scénarios tels que les dilemmes de calendrier difficiles dans la planification, la planification des pics cognitifs et les ajustements saisonniers pour les examens nationaux démontrent comment des politiques réfléchies peuvent améliorer l’équité, l’efficacité et la réussite des étudiants. En intégrant les pratiques actuelles aux technologies innovantes, les parties prenantes peuvent créer des environnements d’évaluation qui aident les étudiants à atteindre leurs meilleures performances et des résultats d’apprentissage optimaux.

Références

[1] https://academic.oup.com/ej/article-abstract/133/652/1407/6888010?redirectedFrom=fulltext

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapports rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plateforme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l’avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

Dans un article récent^[1], j’ai décrit la réforme du programme provincial d’évaluation des élèves de la Colombie-Britannique, y compris la transition vers les évaluations électroniques (en collaboration avec son partenaire technologique, Vretta), dans le contexte du domaine canadien des évaluations à grande échelle et de l’évolution des évaluations provinciales au fil du temps. Au cours de la dernière décennie, la Colombie-Britannique a connu une réforme substantielle de son programme d’études et de son cadre d’évaluation. La réforme vise à rendre l’éducation plus pertinente, plus attrayante et plus adaptée à un monde moderne en évolution. L’un des objectifs explicites du nouveau programme d’études est d’améliorer la réussite scolaire de tous les élèves autochtones en incluant les voix des peuples autochtones dans tous les aspects du programme, y compris les langues, les cultures et l’histoire. Le modèle d’évaluation provincial actuel exige que tous les élèves de 4e, 7e, 10e et 12e année se soumettent à des évaluations annuelles en numératie et/ou en littératie (lecture et écriture) comme suit : évaluation de la littératie et de la numératie de 4e et 7e année (programme d’évaluation des compétences de base), évaluation de la littératie et de la numératie de 10e année et évaluation de la littératie de 12e année (programme de fin d’études). Ces évaluations ne contribuent pas aux notes finales ni aux bulletins scolaires des élèves; cependant, la participation des élèves de 10e et 12e année est obligatoire pour l’obtention du diplôme. Bien que les évaluations provinciales ne soient pas classées comme formatives ou sommatives, les résultats de la province, du district scolaire et de l’école sont rendus publics et peuvent être utilisés à des fins formatives. Formulés pour être conformes au programme d’études de la Colombie-Britannique et aux évaluations provinciales des élèves, les évaluations provinciales de la Colombie-Britannique sont conformes au programme d’études de la Colombie-Britannique et aux évaluations provinciales des élèves. L’initiative Learning Pathways propose des ressources qui soutiennent l’apprentissage transdisciplinaire de la littératie et de la numératie en mettant l’accent sur la pensée critique et la communication de la maternelle à la 12e année.

Le but de cet article est de fournir une description de haut niveau de l’approche de la province en matière de curriculum et d’évaluation. Cela comprend la fourniture de données et d’informations provenant des évaluations provinciales, ainsi que des ressources d’apprentissage pour le « domaine » qui, ensemble, contribuent à l’accent mis par la province sur le soutien à l’apprentissage et à l’amélioration des élèves.

Évaluations provinciales des élèves

Évaluation des compétences de base (FSA)^[2]

Les évaluations des compétences de base ou FSA (de l’anglais : Foundation skills assessments) sont administrées chaque année en automne(début octobre à début novembre). Les évaluations, qui durent environ quatre heures en classe, comprennent des questions/tâches à réponses choisies et construites. Les questions à réponses construites comprennent des tâches de résolution de problèmes d'écriture et de calcul. Les évaluations comportent quatre volets : une activité de collaboration, un livret de l'élève, une évaluation en ligne et une réflexion de l'élève. L'activité de collaboration de 15 minutes, dirigée par l'éducateur, offre aux élèves la possibilité de sélectionner l'un des deux thèmes sur lesquels ils souhaitent se concentrer pendant la section sur la littératie du livret de l'élève. Le livret de l'élève est entièrement composé de questions à réponses construites. Le volet en ligne présente une variété de questions à réponses choisies engageantes et interactives. Une fois le livret de l'élève et les volets en ligne terminés, les élèves répondent à des questions d'autoréflexion (qui ne sont pas notées) liées au processus d'évaluation. Des exemples de matériel d'évaluation des compétences de base sont accessibles ici.^[3]

Les rapports des évaluations des compétences de base sont générés au niveau de l’élève, de l’école, du district scolaire et de la province. Pour toutes les évaluations, les élèves reçoivent une note globale basée sur leurs réponses, et ces résultats sont ensuite classés dans des catégories de compétence. Les normes (points de coupure) pour chacune des catégories de l’échelle de compétence sont établies par le jugement professionnel des éducateurs au cours d’un processus d’établissement des normes. Pour les évaluations des compétences de base, les résultats des élèves sont classés dans l’un des trois niveaux de compétence : « Émergeant », « Sur la bonne voie » ou « En progression » et sont accompagnés de descriptions de performance, qui sont présentées dans le document de spécifications.

Les rapports individuels provisoires des élèves sont prêts à être utilisés par les enseignants et les élèves pour être partagés avec les parents d’ici la fin novembre; le Ministère fournit les rapports finaux aux districts scolaires d’ici la fin janvier. Il s’agit notamment de rapports au niveau des élèves, ainsi que des rapports au niveau de l’école et du district. L’objectif principal du programme des évaluations des compétences de base est d’aider les élèves, les enseignants, les écoles, les districts scolaires et le Ministère à comprendre dans quelle mesure les élèves se développent en ce qui concerne leurs compétences en littératie et en numératie. Les résultats des évaluations des compétences de base ne sont pas consignés sur les relevés de notes des élèves, mais sont destinés à être utilisés de manière formative. (Plus d’informations sur la communication des résultats des élèves et des écoles pour toutes les évaluations provinciales sont fournies dans une section ultérieure de cet article.)

Évaluations provinciales de fin d'études de 10e année^[4]

Les évaluations provinciales de fin d’études de 10e année sont offertes quatre fois par année scolaire (novembre, janvier, avril, juin) et sont conçues pour être complétées en deux heures (un délai supplémentaire allant jusqu’à 60 minutes est prévu). Les évaluations demandent aux élèves d’appliquer les connaissances et les compétences en littératie et en numératie acquises au cours de leur apprentissage dans les matières de la maternelle à la 10e année, dans des situations réelles et authentiques. Les résultats sont rapportés à l’aide d’une échelle de compétence à quatre niveaux : « Émergeant », « En développement », « Compétent » ou « en progression ». Des descriptions détaillées de chaque niveau de compétence sont fournies dans le document de spécifications.

Les évaluations de littératie et de numératie sont structurées en trois volets. Pour la littératie, dans la partie A, les élèves lisent une variété de textes (p. ex., articles de journaux/magazines, blogs, infographies, publications sur les réseaux sociaux) et répondent à des questions à choix multiples valant 15 points et écrivent deux réponses construites : un organisateur graphique et une réponse détaillée en rapport avec les textes. Dans la partie B, les élèves lisent une variété de textes, répondent à des questions à choix multiples valant 15 points et choisissent l'une des deux tâches d'écriture pour une réponse écrite détaillée. Dans le volet d'autoréflexion, les élèves répondent à une série de quatre questions à choix multiples et de deux questions à réponses construites en rapport avec leur expérience de l'évaluation. Leurs réponses ne sont pas notées. Tous les volets de l'évaluation de la littératie 10 sont administrés en ligne. Dans le premier volet d'évaluation de la numératie, les élèves répondent à un total de 24 questions à choix multiples en ligne, qui sont notées par ordinateur. Dans le deuxième volet, les élèves choisissent deux des quatre questions de résolution de problèmes à réponses construites sur papier, et un exercice d'autoréflexion (semblable à l'évaluation de la littératie) constitue le troisième volet de l'évaluation de la numératie. Des exemples de matériel d'évaluation provinciale de fin d'études de 10e année sont accessibles ici.^[5]

Évaluation provinciale des compétences en littératie pour l’obtention du diplôme de 12e année^[6]

Tout comme les évaluations de 10e année, l’évaluation de la littératie de fin d’études de 12e année n’est pas axée sur un cours en particulier, mais évalue plutôt les connaissances et les compétences issues de l’apprentissage transdisciplinaire des élèves de la maternelle à la 12e année. Conçue pour être complétée en deux heures (un temps supplémentaire allant jusqu’à 60 minutes est prévu), la séance d’évaluation de la littératie de 12e année est offerte quatre fois par année scolaire (novembre, janvier, avril, juin). L’évaluation mesure la capacité des élèves à utiliser la pensée critique et réflexive et l’analyse pour donner du sens à une variété de types de textes continus et non continus (p. ex., articles de journaux/magazines, blogues, publications sur les médias sociaux, instructions, sites Web, brochures, cartes, tableaux et graphiques) et à communiquer leurs idées ou celles trouvées dans les textes. Tout comme la 10e année, l’évaluation de la littératie de 12e année est administrée en trois parties. Dans la partie A, les élèves répondent à des questions à choix multiples d’une valeur de 10 points liées aux textes, puis répondent à deux tâches de réflexion critique à réponse construite : une question d’organisateur graphique et une question à réponse étendue associée aux textes. Dans la partie B, les élèves répondent à des questions à choix multiples d’une valeur de 15 points liées aux textes donnés, puis ils génèrent une réponse construite dans laquelle ils établissent des liens personnels (exprimant leurs propres connaissances et expériences) associés à l’idée principale de la section. Comme en 10e année, les élèves choisissent l’un des deux « parcours » d’écriture pour la réponse écrite étendue. Dans la section d’autoréflexion, les élèves répondent à quatre questions à choix multiples et à deux questions à réponse construite (qui ne sont pas notées) liées à leur expérience avec l’évaluation, à la manière dont ils pourraient améliorer leur performance et fournissent des commentaires que les concepteurs d’évaluations pourront prendre en compte lors de l’élaboration des évaluations futures. Toutes les composantes du test de littéracie de 12^e année se déroulent en ligne. Comme pour toutes les évaluations de fin d’études, la performance individuelle des élèves est décrite selon quatre catégories : « Émergeant », « En développement », « Compétent » ou « En progression », décrites dans le document de spécifications de l’évaluation. Des exemples de matériel d’évaluation provinciale de la littératie pour les élèves de 12e année sont accessibles ici.^[7]

Des informations détaillées sur tous les aspects des évaluations des compétences de base et des évaluations de 10e et 12e année sont accessibles via les documents de spécifications associés aux évaluations.

Rapports des étudiants et des écoles

Comme mentionné précédemment, les évaluations provinciales ne sont pas définies comme formatives (évaluation pour l’apprentissage) ou sommatives (évaluation de l’apprentissage); elles peuvent être utilisées ensemble pour améliorer l’apprentissage des élèves. Cependant, selon l’interprétation de l’auteur, les évaluations sommatives sont principalement utilisées à des fins formatives. Les résultats des évaluations sommatives fournissent des informations qui peuvent être utilisées à des fins de reddition de comptes au public et fournissent des données d’une importance cruciale aux éducateurs et aux systèmes scolaires pour améliorer les performances futures des élèves. L’énoncé suivant sur l’utilisation des résultats des évaluations provinciales de la Colombie-Britannique est tiré de la synthèse des documents de spécifications d’évaluation pour les différentes évaluations (avec quelques adaptations de l’auteur). Les résultats des évaluations sommatives peuvent être utilisés de manière formative pour:

• Fournir aux élèves des preuves de leurs compétences en lecture et en calcul.

• Soutenir les élèves individuellement en leur fournissant des informations descriptives pour la définition d'objectifs (c'est-à-dire en utilisant les informations des échelles de compétence pour définir de nouveaux objectifs d'apprentissage).

• Fournir des informations supplémentaires aux éducateurs, leur permettant d'identifier les points forts et les points faibles.

• Fournir aux écoles, aux districts et au ministère des informations à l'échelle du système concernant la mesure dans laquelle les élèves maîtrisent la lecture et le calcul.

• Décrire les niveaux de compétence de sous-groupes d'une population (par exemple, les élèves autochtones, les apprenants de l'anglais et les élèves handicapés ou ayant des capacités diverses) à l'usage des écoles, des districts, du ministère et des principaux groupes d'intervenants du secteur de l'éducation.

• Aider à éclairer la prise de décision à tous les niveaux du système éducatif concernant la lecture et le calcul.

• Fournir des informations aux écoles, aux districts et au ministère concernant les tendances de performance en lecture et en calcul au fil du temps.

Les rapports individuels des élèves et des écoles sont essentiels pour fournir des informations qui peuvent être utilisées pour soutenir l'apprentissage et l'amélioration des élèves. Vous trouverez ci-dessous un résumé de haut niveau du contenu des différents rapports d'évaluation. Pour les évaluations des compétences de base, les écoles et les districts peuvent accéder aux résultats individuels des élèves et au rapport de données au niveau de l'école. Le rapport individuel de l'élève décrit les résultats globaux d'un enfant séparément pour la lecture, l'écriture et le calcul. Le rapport indique si la performance de l'élève est classée comme « émergente », « sur la bonne voie » ou « en progression » et est accompagné de descriptions détaillées des catégories de performance. Le rapport de l'école est présenté sous forme de feuille de calcul pour permettre aux écoles de créer des graphiques d'information à des fins pédagogiques. Le rapport contient des informations sur la lecture, l'écriture et le calcul pour chaque élève de l'école qui a passé le test. Le contenu du rapport est le suivant :

• Nom de l'élève

• Numéro d'éducation provincial

• Niveau scolaire

• Nombre de questions à réponses choisies et ouvertes posées

• Note brute totale (sur le total possible)

• Niveau de compétence attribué

• Les réponses d'autoréflexion des élèves sont également fournies (mais non notées)

Les rapports d’évaluation de fin d’études contiennent des informations similaires à celles de l’évaluation de fin d’études. Le rapport individuel de l’élève indique le niveau de compétence global ou la classification ( "Émergeant", "En développement", "Compétent" ou "en progression"), accompagné de descriptions détaillées de chaque niveau. Les notes brutes, sur le total possible, sont fournies pour chaque composante de l’évaluation. Au niveau de l’école, les rapports au format CVS et PDF fournissent des notes de compétence organisées par numéro d’éducation provincial ou par nom d’élève, respectivement. Les résultats, exprimés en pourcentage, sont fournis pour chaque composante de l’évaluation.

Des rapports récapitulatifs, des infographies et d’autres données au niveau de l’école, du district scolaire et de la communauté sont accessibles à l’adresse suivante : https://studentsuccess.gov.bc.ca/.

Parcours d'apprentissage de la Colombie-Britannique^[8]

Étroitement alignés sur le programme d’études de la Colombie-Britannique et les évaluations provinciales, les parcours d’apprentissage de la Colombie-Britannique offrent aux éducateurs une série de matériels de soutien interdisciplinaires en littératie et en numératie, qui mettent l’accent sur la pensée critique et la communication dans l’ensemble du programme d’études. (L’accent est mis sur la littératie et la numératie, en raison de leurs liens importants avec tous les domaines d’apprentissage.) Ces ressources aident les enseignants à créer des occasions d’apprentissage globales qui aideront les élèves à développer ces compétences qui constituent une grande partie des évaluations provinciales. « Les parcours d’apprentissage de la Colombie-Britannique sont une série continue de ressources qui aident les enseignants à développer les compétences en littératie et en numératie des élèves dans tous les domaines d’apprentissage. Les ressources démontrent comment la littératie et la numératie sont liées à l’ensemble du programme d’études de la maternelle à la 12e année, à toutes les formes d’évaluation en classe et à l’échelle provinciale, et aux rapports des élèves. Collectivement, les ressources aident les enseignants à former des élèves qui peuvent réfléchir de manière critique au monde qui les entoure, communiquer leurs idées et leurs informations de manière claire et authentique, et démontrer leurs compétences personnelles et sociales de manière significative. Les parcours d’apprentissage soutiennent les élèves qui apprennent de diverses manières, à des rythmes différents et dans des contextes différents. Ensemble, ces ressources aident les enseignants à planifier, enseigner, évaluer en classe et rendre compte de l’apprentissage des élèves.

Actuellement, les parcours d'apprentissage de la Colombie-Britannique comprennent quatre ressources (des documents supplémentaires sont en cours d'élaboration):

• Parcours d'apprentissage en Colombie-Britannique : un guide pour les équipes enseignants

• Progressions d'apprentissage de la maternelle à la 12e année en littératie et en numératie

• Liens interdisciplinaires

• Histoires d'enseignement et d'apprentissage

Parcours d'apprentissage en Colombie-Britannique: un guide pour les équipes enseignants^[9]

Le guide d’enseignement et d’apprentissage est destiné à servir de point de départ aux enseignants pour les aider à en apprendre davantage sur l’initiative Parcours d’apprentissage de la Colombie-Britannique et sur la façon dont elle soutient les éducateurs en leur fournissant un aperçu des ressources disponibles, de leurs objectifs et de la façon dont les enseignants peuvent intégrer délibérément des possibilités d’apprentissage en littératie et en numératie dans leur pratique d’enseignement. L’introduction du guide fournit des informations sur les objectifs du système éducatif de la Colombie-Britannique et sur la réforme/refonte du programme d’études. Essentiellement, la refonte impliquait de s’éloigner d’une focalisation principale sur le contenu pour adopter une approche qui équilibre le contenu important avec les concepts et les compétences clés. « L’évaluation et la communication des résultats en classe ont évolué pour s’aligner sur ces changements. Les enseignants ne se concentrent plus principalement sur la mémorisation des faits par les élèves. Ils planifient, enseignent et rendent également compte de l’apprentissage des élèves sur les compétences (aptitudes) dont ils font preuve au cours de leur apprentissage, par rapport au programme d’études provincial. » (p. 2) Le guide explique que la communication des résultats est fondamentale pour l’apprentissage des élèves et que la manière de rendre compte change également pour mieux s’aligner sur le programme d’études remanié. Les élèves de la maternelle à la 9e année reçoivent une note sur l'échelle de compétence et une rétroaction descriptive, tandis que ceux de la 10e à la 12e année reçoivent des informations descriptives sur leur performance en plus des notes alphabétiques et des pourcentages.

Le guide pédagogique du programme d'apprentissage de la Colombie-Britannique fournit des résumés de haut niveau des progressions d'apprentissage de la maternelle à la 12e année en littératie et en numératie, des liens avec le programme scolaire, ainsi que des histoires d'enseignement et d'apprentissage. (Les ressources sur ces sujets sont fournies séparément et seront décrites plus loin dans cet article.) Les sujets suivants sont également abordés dans le guide :

• Planification, enseignement et évaluation de la classe

• Comment les parcours d'apprentissage de la Colombie-Britannique aident à communiquer l'apprentissage des élèves

• Intégration de la littératie et de la numératie dans la classe

Progression de l'apprentissage de la littératie et la numératie de la maternelle à la 12^e année^[10]

Le concept de progression de l’apprentissage de la maternelle à la 12e année vise à démontrer à quoi ressemble le continuum de compétences de la maternelle à la 12e année, tout en aidant les enseignants à mettre en œuvre le programme d’études de la Colombie-Britannique. (Il met en évidence les compétences de base transversales de communication, de réflexion et d’aptitudes personnelles et sociales démontrées par les élèves compétents en littératie et en numératie.) En alignement direct avec le programme d’études de la Colombie-Britannique, les progressions de l’apprentissage de la maternelle à la 12e année aident les enseignants en les aidant à « intégrer délibérément le développement des compétences clés en littératie et en numératie dans leur pratique d’enseignement » et à « planifier et dispenser des leçons et des activités pour fournir une évaluation formative aux élèves et pour communiquer l’apprentissage des élèves aux élèves, aux parents et aux tuteurs ».

Des descripteurs complets de compétences par niveau scolaire sont fournis, sous forme de tableau, par "aspects" et "sous-aspects". Par exemple, en littératie, un aspect est "Comprendre des textes (p. ex., donner un sens à un texte)" et un sous-aspect est "Interpréter des textes (examiner un ou plusieurs textes pour soutenir la compréhension)", et en numératie, un aspect est "Interpréter" et un sous-aspect est "Comprendre un problème du monde réel". La ressource sur les progressions d’apprentissage fournit également des représentations graphiques de l’apprentissage de la littératie et du calcul (présentées dans un format circulaire), qui démontrent que l’élève est au centre, que chaque aspect a la même valeur pour l’apprenant et que l’apprentissage est continu.

Liens interdisciplinaires^[11]

Cette ressource stipule que "les liens avec le curriculum sont un ensemble d’activités d’apprentissage élaborées par des enseignants de la maternelle à la 12e année dans divers domaines d’apprentissage. Ils montrent comment les aspects de la littératie et de la numératie se connectent et soutiennent le développement des compétences curriculaires des élèves dans différents domaines d’apprentissage. Les liens avec le curriculum visent à fournir aux enseignants des exemples de la façon d’intégrer la littératie et la numératie dans leurs activités d’enseignement et d’apprentissage en classe, tout en mettant en œuvre le curriculum de la Colombie-Britannique. Bien que les enseignants ne soient pas tenus de mettre en œuvre les activités spécifiques, ils fournissent des exemples et démontrent comment les enseignants de toute la province s’efforcent de développer les compétences en littératie et en numératie de leurs élèves à l’appui des normes d’apprentissage du curriculum."

La ressource fournit, pour chaque aspect/sous-aspect du programme, le niveau scolaire, le domaine d'apprentissage (matière), les compétences du programme et des exemples d'opportunités d'apprentissage pour les élèves. Les deux tableaux suivants donnent un exemple du type d'informations fournies pour chacune des matières de la littératie et de la numératie parmi la grande quantité d'informations diverses fournies.

Littératie

Numératie

Histoires d'enseignement et d'apprentissage^[12]

Cette ressource propose une série d’histoires d’enseignement et d’apprentissage provenant d’éducateurs de toute la province. Le ministère de l’Éducation et de la Garde d’enfants de la Colombie-Britannique présente et résume les ressources comme suit.

"Certains des apprentissages professionnels les plus significatifs proviennent des échanges avec des collègues. Ces histoires d’enseignement et d’apprentissage proviennent d’enseignants de toute la Colombie-Britannique. Des enseignants de divers domaines d’apprentissage et de différents niveaux scolaires souhaitaient partager des exemples de la façon dont ils ont intégré la littératie et la numératie dans leurs processus de planification, d’enseignement et d’évaluation en classe, et montrer leur réussite.

Les histoires d’enseignement et d’apprentissage ont été élaborées par des enseignants pour partager leurs expériences dans l’utilisation des progressions d’apprentissage de la maternelle à la 12e année pour soutenir la croissance des élèves en littératie et en numératie par le biais de leur planification, de leur enseignement et de leur évaluation. Les histoires d’enseignement et d’apprentissage comprennent également des exemples de travaux d’élèves compétents et la réflexion de l’enseignant sur les raisons pour lesquelles le travail est évalué comme étant compétent. Les enseignants ont également inclus des réflexions supplémentaires sur l’opportunité d’apprentissage et/ou la façon dont ils ont utilisé les parcours d’apprentissage de la Colombie-Britannique pour soutenir leurs processus de planification, d’enseignement et d’évaluation. Les histoires… représentent une partie de la grande variété d’enseignement et d’apprentissage qui se déroulent dans les écoles de la Colombie-Britannique : styles d’enseignement tels que l’enquête, l’éducation en plein air, l’auto-évaluation et la réflexion, l’apprentissage par le jeu, l’apprentissage basé sur le lieu et le service communautaire." Les histoires sont organisées par tranches d’âge : de la maternelle à la 3e année, de la 4e à la 9e année et de la 10e à la 12e année.

Les prochaines étapes

En plus des travaux initiaux sur les Parcours d'apprentissage de la Colombie-Britannique, le Ministère a reçu de nombreux commentaires de la part d’enseignants, d’universitaires et de défenseurs des droits de l’enfant concernant la nécessité d’apporter un soutien supplémentaire aux éducateurs dans l’enseignement des compétences fondamentales en littératie et en numératie. Au cours de l’année scolaire 2024-2025, le ministère a travaillé avec une nouvelle équipe d’enseignants pour élaborer des mesures de soutien pour les arts langagiers fondamentaux (lecture, écriture, langage oral) et les compétences mathématiques, qui comprendront :

• Une séquence de développement des compétences pour les élèves qui s’aligne sur le programme d’études en arts langagiers et en mathématiques de la maternelle à la 12e année.

• Une large gamme d’histoires d’enseignement et d’apprentissage, avec des exemples qui montrent comment développer les compétences des élèves en arts langagiers et en mathématiques.

Ce travail représente la deuxième phase de l’initiative Parcours d'apprentissage de la Colombie-Britannique et démontrera comment les compétences fondamentales en arts langagiers et en mathématiques peuvent être développées parallèlement aux compétences interdisciplinaires en littératie et en numératie (couvertes dans les progressions d’apprentissage interdisciplinaires de la maternelle à la 12e année) développées dans la première phase du projet.

La voix des éducateurs

Il est une chose de passer en revue et de résumer les descriptions des programmes d’études et des initiatives d’évaluation de la province à partir de documents officiels destinés au public, mais pour comprendre comment ces programmes sont reçus et mis en œuvre sur le terrain, il est utile d’engager des conversations avec des personnes du milieu scolaire qui ont de l’expérience avec ces initiatives. À cette fin, l’auteur a mené un nombre limité d’entretiens avec des éducateurs de cinq systèmes scolaires publics et indépendants de la province.

Les éducateurs (enseignants en classe, enseignants-bibliothécaires, participants aux comités d’école/de district scolaire, membres des bureaux centraux de district et personnes ayant participé au travail du ministère) ont apporté une variété de points de vue et d’expériences à la conversation. Les informations suivantes ont émergé des discussions des éducateurs.

Évaluations provinciales des élèves

Les éducateurs ont mentionné que les écoles et les districts scolaires utilisent les données provinciales d’évaluation des élèves provenant des évaluations des compétences de base et des évaluations de fin d’études à des fins formatives et d’apprentissage des élèves. Le Ministère fournit des énoncés relativement généraux sur l’utilisation des données d’évaluation et propose des webinaires à divers groupes, comme les directeurs d’école, les directeurs adjoints et les administrateurs de district, ainsi qu’aux éducateurs responsables du perfectionnement du personnel. Le site Web du Ministère contient des vidéos et du matériel utiles pour que les enseignants comprennent mieux les évaluations et la valeur des informations qui en découlent. L’analyse des données brutes des questions à réponses choisies et construites, les analyses au niveau des items et les données sur les tendances fournissent des informations qui sont utilisées pour donner un aperçu des forces et des faiblesses de l’école et du district, qui peuvent à leur tour être utilisées pour ajuster les stratégies pédagogiques en classe et éclairer le perfectionnement professionnel des éducateurs. Au cours d’une discussion, par exemple, l’administrateur de l’école a évoqué les défis auxquels font face les élèves en littératie et en numératie dans une école en particulier. Il a mentionné que les élèves ont particulièrement du mal à comprendre les tableaux et les graphiques. L’école suit les évaluations depuis plusieurs années et constate une tendance à la baisse des compétences en numératie. Par conséquent, l’école étudie les raisons de cette tendance afin de planifier des stratégies d’amélioration de l’apprentissage des élèves. Dans la même école, les données d’évaluation sont utilisées pour éclairer les objectifs de croissance de l’école et les résultats sont partagés avec d’autres écoles. Au cours des conversations, les éducateurs ont exprimé des inquiétudes quant à la sous-utilisation apparente des données provinciales d’évaluation des élèves dans toute la province. Ils ont émis l’hypothèse que cela pourrait être dû à un manque de compréhension de la disponibilité des données et de la façon d’y accéder, de les analyser et de les utiliser efficacement. Un éducateur a expliqué qu’une fois que les enseignants comprennent l’utilité et la valeur des données, ils deviennent enthousiastes à l’idée d’y accéder et de les utiliser. Deux autres exemples d’utilisation des évaluations et des données qui en résultent ont émergé des discussions. Le représentant d’un district a expliqué que certains districts scolaires utilisent des évaluations élaborées localement, calquées sur les tests de la province, qui fournissent des informations formatives utiles pouvant être utilisées pour développer les compétences d’apprentissage des élèves et donc les préparer aux évaluations provinciales. Dans un autre cas, l’éducateur a indiqué qu’il utilise Power BI pour effectuer des analyses de filières et de sous-populations afin de fournir un soutien supplémentaire aux enseignants et aux élèves.

Parcours d'apprentissage en Colombie-Britannique

Les parcours d’apprentissage, mis en place au cours des trois ou quatre dernières années, visent à définir à quoi ressemble le rendement des élèves en littératie et en numératie dans l’ensemble du programme d’études, de la maternelle à la 12e année. Bien qu’ils ne soient pas obligatoires, ils sont encouragés et il a été noté que le changement d’état d’esprit nécessaire à une mise en œuvre efficace peut être difficile, en particulier dans les écoles secondaires, où l’accent a été mis sur le rendement dans les matières et l’attribution de notes. Au cours de cette première phase de mise en œuvre, les enseignants intègrent les parcours dans leurs classes et fournissent des commentaires au ministère sur leur efficacité. Les éducateurs interrogés ont exprimé l’avis que même si la sensibilisation a augmenté, de nombreux enseignants ne sont toujours pas au courant de l’existence des parcours d’apprentissage et qu’ils ne sont pas encore largement adoptés. De plus, il a été souligné qu’au départ, il y avait une résistance de la part des enseignants qui estimaient que le développement de compétences interdisciplinaires en littératie et en numératie en dehors des classes d’anglais et de mathématiques constituait un fardeau supplémentaire (un ajout à leur charge de travail). Par conséquent, les enseignants interrogés estiment qu’il est nécessaire de mieux communiquer sur l’objectif et les avantages de l’initiative et de démontrer comment elle peut réellement soutenir/faciliter le travail des enseignants. Il a été suggéré qu’un modèle de mise en œuvre efficace implique que les enseignants, les enseignants-bibliothécaires et d’autres enseignants travaillent ensemble dans les classes pour démontrer les parcours d’apprentissage et les liens interdisciplinaires en littératie et en numératie. En général, les enseignants ont expliqué qu’ils travaillent avec le personnel enseignant de diverses écoles et les encouragent à collaborer avec les enseignants d’autres départements qui ont des activités similaires et se concentrent souvent sur les mêmes compétences. Ils ont souligné l’importance de commencer par des tâches familières et de les décomposer pour identifier les normes de littératie et de numératie évaluées. Bien que toutes les ressources des parcours d’apprentissage aient été considérées comme importantes et précieuses, beaucoup ont exprimé une préférence pour certaines ressources qui offrent une bonne introduction à l’initiative, comme les Aperçus Graphiques (dans la ressource Progressions d’apprentissages de la maternelle à la 12^e année) et les Histoires d’Enseignement et d’Apprentissage. Les enseignants avec lesquels l’auteur s’est entretenu sont passionnés par le modèle des « parcours » et sont déterminés à inspirer les enseignants à l’adopter. La mise en œuvre réussie du programme se fait en évitant d’introduire tous les détails de l’initiative en une seule fois, en procédant par petites étapes (une étape à la fois) et en gagnant l’adhésion des enseignants respectés de l’école. L’enthousiasme croissant de ces enseignants pour le programme pourrait bien attirer d’autres enseignants.

Conclusion

Le programme provincial d’évaluation des élèves et les initiatives de parcours d’apprentissage de la Colombie-Britannique sont étroitement liés. Bien que les évaluations ne soient considérées ni comme formatives ni comme sommatives, l’accent est clairement mis sur l’aspect formatif : utiliser les données pour améliorer l’apprentissage des élèves. L’initiative des parcours d’apprentissage, élaborée pour s’harmoniser avec les évaluations provinciales et le programme d’études de la Colombie-Britannique, fournit aux éducateurs des ressources qui soutiennent l’apprentissage interdisciplinaire de la littératie et de la numératie des élèves en mettant l’accent sur la pensée critique et la communication. Bien qu’il y ait un aspect sommatif dans la mesure où des normes de compétence sont établies à des fins de rapport et d’amélioration, l’objectif ultime est de promouvoir l’acquisition de compétences chez les élèves. Prises ensemble, les évaluations provinciales et les parcours d’apprentissage de la Colombie-Britannique contribuent à une concentration coordonnée sur le soutien de l’apprentissage et de l’amélioration des élèves.

À propos de l’auteur

Le Dr Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique à grande échelle et de l’évaluation de programmes. Il travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de direction à l’Office de la qualité et de la responsabilité en éducation (OQRE) en Ontario, ainsi qu’aux ministères de l’Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces rôles, il était responsable des initiatives liées à l’évaluation des élèves, des programmes et des cursus, aux indicateurs de qualité de l’éducation, à la planification de l’amélioration des écoles et des conseils scolaires, à l’accréditation des écoles et aux tests provinciaux, nationaux et internationaux.

Le Dr Jones a commencé sa carrière en tant qu’éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une société multinationale fournissant des services de consultation au Moyen-Orient.

N’hésitez pas à contacter Richard"Rick" à richard.jones@rmjassessment.com (ou sur LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d’évaluation formative et à grande échelle.

Remerciements

L’auteur souhaite exprimer sa reconnaissance aux éducateurs qui ont offert bénévolement leur temps et leur expertise pour participer aux discussions concernant les évaluations provinciales et les initiatives relatives aux parcours d’apprentissage. De plus, l’auteur tient à remercier le personnel de la Division des programmes d’apprentissage et d’éducation, du soutien à la mise en œuvre des programmes d’études, ainsi que la Direction de la conception des évaluations provinciales du ministère de l’Éducation et de la Garde d’enfants de la Colombie-Britannique, pour leurs précieuses contributions, leurs suggestions et leurs informations très utiles, ainsi que pour leurs révisions approfondies de cet article.

Références

[1] Article rédigé par le Dr Richard Jones le 12 octobre 2023. Reimagining Assessment in British Columbia : https://rmjassessment.com/2023/10/12/reimagining-assessment-in-british-columbia/

[2] Les informations de cette section ont été obtenues de la source suivante : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2023, 16 octobre). Spécifications de l'évaluation des compétences de base. Récupéré le 6 décembre 2024 à l'adresse suivante : https://www2.gov.bc.ca/gov/content/education-training/k-12/administration/program-management/assessment/foundation-skills-assessment/specifications

[3] Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2023, 16 octobre). Exemples d'évaluation des compétences de base. Récupéré le 6 décembre 2024 sur : https://www2.gov.bc.ca/gov/content/education-training/k-12/administration/program-management/assessment/foundation-skills-assessment/fsa-samples

[4] Les informations de cette section ont été obtenues auprès des sources suivantes : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. Évaluation de la littératie pour les diplômés de 10e année : Spécifications. Récupéré le 20 décembre 2024 sur : https://bccpac.bc.ca/images/Documents/Resources/GLA_10_Specifications.pdf

Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. Évaluation de la numératie pour les diplômés de 10e année : Spécifications. Récupéré le 20 décembre 2024 sur : https://bccpac.bc.ca/images/Documents/Resources/gna-10-specifications.pdf

[5] Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2024, novembre). Évaluation de la littératie de 10e année. Récupéré le 16 décembre 2024 sur : https://curriculum.gov.bc.ca/provincial/grade-10-literacy-assessment et Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. Évaluation de la numératie de 10e année. Récupéré le 16 décembre 2024 sur : https://curriculum.gov.bc.ca/provincial/grade-10-numeracy-assessment

[6] Les informations de cette section ont été obtenues de la source suivante : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. Évaluation de la littératie de 12e année : Spécifications (ébauche). Récupéré le 20 décembre 2024 sur : https://curriculum.gov.bc.ca/sites/curriculum.gov.bc.ca/files/pdf/assessment/grade-12-literacy-specs.pdf

[7] Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2023, août). Évaluation de la littératie de 12e année. Récupéré le 16 décembre 2024 à l'adresse suivante : https://curriculum.gov.bc.ca/provincial/grade-12-literacy-assessment

[8] Les informations de cette section ont été obtenues de la source suivante : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2024). Parcours d'apprentissage. Récupéré le 21 octobre 2024 à l'adresse suivante : https://curriculum.gov.bc.ca/learning-pathways.

[9] Les informations de cette section ont été obtenues de la source suivante : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2024). Parcours d'apprentissage : Guide pour les enseignants. Récupéré le 25 décembre 2024 à l'adresse suivante : https://curriculum.gov.bc.ca/sites/curriculum.gov.bc.ca/files/pdf/learning-pathways/a-guide-for-teachers.pdf

[10] Les informations de cette section ont été obtenues de la source suivante : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2024). K-12 Learning Progressions. Récupéré le 29 décembre 2024 à l'adresse suivante : https://curriculum.gov.bc.ca/learning-pathways/k-12-learning-progressions

[11] Les informations de cette section ont été obtenues de la source suivante : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2024). Curricular Connections. Récupéré le 29 décembre 2024 sur : https://curriculum.gov.bc.ca/learning-pathways/curricular-connections

[12] Les informations de cette section ont été obtenues de la source suivante : Ministère de l'Éducation et de la Garde d'enfants de la Colombie-Britannique. (2024). Histoires d'enseignement et d'apprentissage. Récupéré le 30 décembre 2024 sur : https://curriculum.gov.bc.ca/learning-pathways/teaching-and-learning-stories

Dans la lignée de la discussion précédente dans Au-delà des repères : l’impact réel des initiatives mondiales d’évaluation, cette recommandation au niveau politique visant à promouvoir une compréhension plus holistique des élèves, plutôt que de donner la priorité aux résultats, pourrait s’appliquer à des pratiques plus larges de responsabilisation basées sur les tests nationaux, en particulier pour faire face au passage d’un apprentissage holistique à un enseignement basé sur les attentes. Les éducateurs critiquent donc souvent cette approche axée sur les tests, car elle a tendance à se concentrer étroitement sur les connaissances et les compétences spécifiques nécessaires à la réussite des tests, négligeant une compréhension plus large et plus approfondie du sujet.

De plus, les scores élevés aux tests qui récompensent les comportements d’enseignement et d’étude limités peuvent créer l’illusion d’un apprentissage ou d’une réussite, reflétant le principe psychologique du renforcement positif. Dans un tel scénario, les éducateurs, sous pression pour atteindre des objectifs de responsabilisation, et les apprenants, poussés par la poursuite de résultats mesurables, se retrouvent piégés dans cette boucle de rétroaction. Mais à quel prix ? Validons-nous involontairement un système qui récompense les performances superficielles tout en négligeant l’apprentissage significatif ? Ce faisant, nous risquons de normaliser une culture où les moments de compréhension sont pris pour des connaissances complètes. Parallèlement, les tests standardisés jouent un rôle important dans la mesure objective d’aspects spécifiques de l’apprentissage, tandis que les tests formatifs peuvent identifier les lacunes d’apprentissage, à condition qu’ils soient tous deux utilisés aux fins prévues et qu’ils soient conformes à l’argument de validité du test. Cependant, des problèmes surviennent lorsque les tests sont étendus au-delà de leur portée prévue pour répondre à des besoins d’évaluation plus larges en utilisant fréquemment des travaux de classe spécifiques au test dans l’évaluation formative pour améliorer les performances au test, en négligeant les lacunes qui nécessitent des types d’évaluation alternatifs. Dans ce contexte, une technologie judicieusement appliquée peut guider l’apprentissage vers une compréhension plus approfondie et une pensée critique, en favorisant les voies de mesure comme moyen de soutenir l’apprentissage holistique des élèves. Cet article se concentre sur les effets secondaires de « l’enseignement en fonction des tests » profondément ancrés dans les systèmes éducatifs et sociaux et élabore des solutions possibles grâce à l’utilisation de la technologie et des meilleures pratiques.

L'impact de l'enseignement en fonction des tests

La pratique de l’enseignement en fonction des tests est devenue une approche dominante dans l’éducation, souvent priorisée pour améliorer les performances aux tests, mais soulevant des inquiétudes quant à son impact sur l’apprentissage véritable et la maîtrise plus large de la matière, comme expliqué dans la section ci-dessous.

Question de validité

La prédominance de l’enseignement en fonction des tests peut créer une illusion d’apprentissage véritable, en particulier avec la prévalence croissante de l’enseignement parallèle, où le tutorat remplace l’enseignement traditionnel. Les élèves, que ce soit à l’école ou par le biais de tutorats externes, ne sont alors exposés qu’à une partie du sujet, en particulier à ce que le test considère comme important, tout en restant inconscients des contextes plus larges ou des complexités plus profondes. Par conséquent, les apprenants peuvent avoir confiance en leurs capacités en fonction de leurs résultats au test, mais leur maîtrise peut souvent manquer de la réflexion approfondie nécessaire à une application dans le monde réel. Au final, un faux sentiment de maîtrise, reflété dans les notes, les certificats ou les qualifications, est cultivé, signalant un manque de validité et entraînant des conséquences cachées pour le public et les décideurs politiques, faisant écho à la loi de Goodhart, qui stipule qu’une mesure cesse d’être significative dès qu’elle devient une cible.

La touche finale sur l'enseignement en fonction des tests et de l'espoir

Dans une étude de Baumert et al. (2021) examinant l'impact de l'enseignement en fonction des tests, défini comme une préparation spécifique au test impliquant des travaux en classe spécifiques au test et une fréquence accrue de tests pratiques, à la fois sur des tests de connaissances spécifiques dans les évaluations à enjeux élevés et sur des évaluations internationales telles que PISA et TIMSS (considérées comme des tests de compétence complets), les chercheurs ont constaté que la préparation spécifique au test améliorait les scores à un test de placement spécifique au programme dans l'enseignement secondaire, mais avait peu d'impact sur des tests alternatifs, tels que PISA et TIMSS, qui mesurent des connaissances plus larges sur le sujet.

En principe, la préparation spécifique à un test fonctionne bien comme méthode de préparation à un test spécifique, mais ne favorise pas l’apprentissage holistique. Cependant, une telle pratique pourrait potentiellement devenir une solution de l’intérieur en incorporant un ensemble diversifié d’évaluations intermédiaires et formatives. Ces évaluations complémentaires pourraient potentiellement combler le manque d’apprentissage holistique de la préparation spécifique à un test en agissant comme des aides informatives à l’apprentissage pour guider vers une compréhension plus approfondie et plus complète des sujets.

Un appel à un apprentissage profond et durable

Une étude, connue sous le nom de l’Expérience Guimauve de Stanford, menée par Mischel et al. (1972), illustre les implications plus larges de la priorité accordée aux résultats immédiats plutôt qu'à la croissance à long terme. L'essor des médias sociaux et de la culture de la rapidité, avec son accent mis sur la gratification instantanée et les résultats rapides, reflète la tendance à enseigner en fonction des tests sous un angle différent.

De milieu scolaire à la communication quotidienne en société, ce changement culturel parmi les jeunes priorise l’engagement rapide et superficiel, rendant l’apprentissage holistique et profond, qui requiert du temps, de la réflexion et de la pensée critique, semble moins atteignable. Particulièrement en éducation, les éducateurs dénoncent de plus en plus ces tendances sociétales, notamment l’illusion de l’apprentissage par la performance aux tests, qui met de côté la croissance significative des élèves au profit des résultats immédiats.

Pour conclure, des résultats ou des gains rapides créent souvent un apprenant satisfait, mais cet état est de courte durée et est stimulé par la dopamine. En revanche, la sérotonine, l'hormone associée à un apprenant vraiment heureux et épanoui, est obtenue grâce à des expériences plus profondes et plus soutenues et a un impact plus durable. Compte tenu de la capacité d'attention limitée des apprenants et de la demande d'informations instantanées, des technologies telles que les plateformes d'apprentissage adaptatif, les systèmes de rétroaction personnalisés et les évaluations formatives basées sur l'analyse peuvent identifier les lacunes dans les connaissances, fournir une rétroaction instantanée, favoriser la pensée critique et guider les apprenants vers une maîtrise à long terme, favorisant ainsi des apprenants vraiment épanouis et heureux.

Adopter la technologie pour un apprentissage holistique

Dans le débat sur l’enseignement en fonction des tests, la technologie est une arme à double tranchant. Elle fournit des outils qui peuvent améliorer la validité des évaluations, comme les tests adaptatifs et les analyses de l’apprentissage des élèves, qui, lorsqu’ils sont conçus et mis en œuvre de manière réfléchie, offrent une compréhension plus nuancée des capacités des apprenants. D’un autre côté, la technologie peut exacerber l’accent mis sur l’apprentissage instantané par le biais de systèmes d’évaluation automatisés et d’évaluations basées sur des algorithmes qui privilégient l’efficacité à la profondeur.

Par exemple, les plateformes technologiques utilisent souvent les données pour optimiser l’enseignement en fonction des résultats aux tests, en identifiant les lacunes et en les ciblant directement. Bien qu’efficace, cette approche peut aggraver la marginalisation de l’apprentissage holistique, car elle limite souvent l’exploration au-delà des limites du test. Le danger réside dans le fait de confondre l’alignement basé sur les données avec la réussite aux tests avec une véritable croissance éducative. Dans de tels cas, la technologie devient un complice involontaire du renforcement de l’illusion de la maîtrise.

Scénario de solution pratique. Dans les juridictions où la transparence de l’administration des examens et la communication rapide des résultats sont prioritaires dans le contexte de la responsabilité publique et politique, la validité devient souvent une préoccupation secondaire. Le manque de preuves de validité dans les évaluations conduit à des discussions ouvertes limitées sur la validité des évaluations entre les parties prenantes. Cette hésitation, à son tour, découle en grande partie de l’absence d’un mécanisme réglementaire d’assurance qualité et d’une allocation insuffisante de ressources pour mener des études de validité. L’utilisation de la technologie, y compris les tests sur le terrain d’éléments avec un échantillon d’étudiants plus petit et l’application de l’IA pour obtenir une représentativité de l’échantillon, pourrait permettre de générer des preuves de validité des évaluations et de promouvoir des discussions ouvertes entre les parties prenantes sur les effets secondaires des évaluations basées sur des instantanés. En outre, la conduite d’examens internationaux volontaires des évaluations et la mise en œuvre d’audits gouvernementaux obligatoires pourraient favoriser une culture de responsabilité plus forte, avec une liste de mesures de conformité, de qualité et d’innovation disponible ici.

Au-delà de l’illusion de l’apprentissage

La prédominance de l’enseignement en fonction des tests continue de susciter de vives inquiétudes quant à la validité des évaluations et à la qualité de l’apprentissage des élèves. Si la préparation spécifique aux tests peut améliorer les résultats aux évaluations ciblées, elle ne parvient souvent pas à cultiver les connaissances plus vastes du sujet et les compétences de réflexion critique nécessaires à une application concrète. L’illusion de la maîtrise, renforcée par des pratiques pédagogiques étroites, sape le véritable objectif des évaluations et reflète des problèmes systémiques tels que l’absence de cadres réglementaires, l’insuffisance des études de validité et l’importance excessive accordée aux mesures de responsabilisation. Cette situation est encore exacerbée par les tendances sociétales, comme la culture de la rapidité et de la gratification instantanée, qui privilégient les résultats à court terme au détriment d’un apprentissage approfondi et durable.

En fin de compte, la responsabilité de « l’enseignement en fonction des tests » et des illusions qui en découlent est partagée. Les éducateurs, les décideurs politiques, les développeurs de technologies et les apprenants eux-mêmes doivent reconnaître les limites de cette approche et travailler en collaboration pour créer des systèmes qui privilégient la profondeur, le contexte et les compétences transférables. En gardant ces modalités à l’esprit, les juridictions peuvent se rapprocher d’un modèle qui prépare les étudiants aux tests et soutient l’apprentissage tout au long de la vie, en les dotant des compétences et des connaissances nécessaires pour réussir dans un monde en évolution rapide.

Pour relever ces défis, il est essentiel de passer à des pratiques d’apprentissage holistiques. L’intégration d’évaluations intermédiaires et formatives à une préparation spécifique aux tests peut contribuer à combler les lacunes d’apprentissage et à fournir des informations exploitables sur les progrès des élèves. L’exploitation de la technologie, comme les outils d’IA pour les tests sur le terrain, les systèmes de rétroaction personnalisés et les plateformes d’apprentissage adaptatif, offre des solutions prometteuses pour améliorer la validité et favoriser la pensée critique. En outre, la mise en œuvre d’évaluations internationales et d’audits gouvernementaux peut promouvoir la responsabilisation et encourager des discussions ouvertes entre les parties prenantes. En adoptant ces mesures, nous pouvons évoluer vers un modèle éducatif qui privilégie la profondeur, le contexte et les compétences transférables, en formant des apprenants véritablement préparés à la réussite tout au long de leur vie.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapports rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plate-forme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez un aperçu de l’avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

Jesse a eu la gentillesse de partager les commentaires suivants avec l’équipe Vretta lors de sa visite.

Depuis plus de dix ans, le district scolaire de Lethbridge a connu sa part de défis avec les anciens systèmes technologiques d’évaluation qui ont été déployés dans tout le district auprès d’environ 12 000 élèves dans 24 écoles. Il y a un peu plus d’un an, le ministère de l’Éducation de l’Alberta nous a présenté la solution d’évaluation électronique de Vretta comme option de transition à partir de l’ancien système.

Bien que nous ayons abordé le projet pilote avec prudence, nous avons été agréablement surpris par l’expérience que nous avons eue avec la solution. Le déploiement de la plateforme dans nos écoles s’est déroulé sans heurts, grâce au soutien proactif de Vretta et de l’équipe du ministère de l’Éducation de l’Alberta. Les conseils et le soutien fournis à nos directeurs et à nos enseignants ont été inestimables tout au long de la transition.

La mise en œuvre sans heurts de la solution d’évaluation moderne et dynamique pour les tests d’évaluation provinciaux (PAT) a certainement dépassé nos attentes. Nous testons actuellement la solution pour les examens du diplôme et sommes ravis d’étendre son utilisation à toutes nos écoles.

Pour répondre à cette question, il faut d’abord imaginer les évaluations dans le processus d’apprentissage. Cette approche peut aider les décideurs politiques et les éducateurs à visualiser et à identifier les points optimaux d’intervention, y compris les décisions sur la mise en œuvre de mesures volontaires ou obligatoires. L’objectif ici serait de construire un système unifié qui prend en charge le retour d’information continu, le suivi des progrès et les évaluations finales grâce à l’utilisation d’évaluations tout au long de l’année, qui intègre des aspects d’évaluations formatives, intermédiaires et sommatives.

Cet article explore l’utilisation pratique des types d’évaluation au sein du système éducatif d’une juridiction, en abordant les politiques complexes derrière chaque option politique d’intégration de l’évaluation tout en offrant des éclairages aux décideurs politiques et aux éducateurs pour développer une politique d’évaluation éclairée et localisée qui favorise les résultats d’apprentissage et soutient la croissance des élèves.

Construire le système : les types d’évaluation en bref

Les évaluations, qu’elles soient formatives, intermédiaires ou sommatives, soutiennent collectivement un système éducatif en fournissant une rétroaction pour guider l’enseignement (évaluation formative), des contrôles périodiques des progrès pour éclairer les ajustements (évaluations intermédiaires) et des évaluations systémiques pour mesurer les réalisations nationales (évaluations sommatives).

Actuellement, selon le degré de préparation de la juridiction à la numérisation des évaluations et sa maturité en matière de prise de décision fondée sur des données probantes, l’accent au sein d’un système éducatif peut se déplacer vers des évaluations formatives, sommatives et intermédiaires au niveau provincial, dirigé par l’école ou au niveau de la classe, visant à soutenir les politiques et pratiques pédagogiques.

Vous trouverez ci-dessous un tableau de répartition des types d’évaluation présenté par Crane en 2010, basé sur des idées initialement développées par Perie, Marion et Gong (2007) et ultérieurement affinées par Perie et ses collègues (2009), avec des exemples pratiques pour clarifier la terminologie, les applications et les points d’intervention potentiels :

Les évaluations formatives, intégrées aux pratiques pédagogiques quotidiennes, sont de plus en plus reconnues pour leur potentiel à fournir un retour d’information en temps réel qui améliore les stratégies d’enseignement et soutient l’apprentissage personnalisé des élèves, bien qu’elles soient souvent confrontées à des défis en termes d’évolutivité et de cohérence entre les classes.

Les évaluations intermédiaires, menées périodiquement tout au long de l’année, sont appréciées pour suivre les progrès et prédire les résultats, mais leur mise en œuvre continue nécessite un alignement avec les objectifs pédagogiques, les normes et des investissements substantiels.

Les évaluations sommatives, telles que les tests nationaux et internationaux standardisés à grande échelle et les examens de fin d’année, sont prioritaires pour la modernisation en raison de leur rôle dans la mesure des résultats éducatifs nationaux, bien qu’elles n’offrent qu’un aperçu limité des performances et qu’elles soient politiquement motivées pour mettre en valeur les niveaux de réussite.

En résumé, le paysage actuel des évaluations éducatives reflète une évolution vers la modernisation des évaluations sommatives, la transition vers des évaluations intermédiaires et l’intégration des évaluations formatives dans le cadre d’une approche évolutive de la modernisation de l’évaluation.

Modernisation de l'évaluation de la conduite : profiter de l'élan

Dans le domaine de l’éducation, la volonté de changement par un réorganisation de direction politique est une force persistante, en particulier dans un contexte politique où la responsabilisation est de mise. Forts de cette dynamique de changement, les responsables politiques doivent relever le défi de mener des réformes à long ou à court terme, en fonction de leur style de leadership, de leur vision, de la pression publique, des ressources disponibles et de la volonté politique. Les efforts à court terme peuvent consister à utiliser les résultats d’évaluations sommatives pour identifier des interventions potentielles en fonction des ressources disponibles. La planification à long terme, en revanche, nécessiterait de se concentrer sur l’élaboration et la mise en œuvre de programmes d’évaluation formative. Une solution intermédiaire possible pourrait consister à mettre en œuvre des évaluations intermédiaires, ce qui permettrait d’équilibrer les efforts de réforme, d’éviter les deux extrêmes des approches à court et à long terme, tout en maintenant la dynamique en faveur de changements significatifs dans le système éducatif.

Webinaire à venir : Meilleures pratiques pour la mise en œuvre des évaluations intermédiaires

À travers cet article, je souhaite encourager les discussions autour des évaluations intermédiaires, qu’elles soient initiées à partir d’une base de référence sommative ou formative, en tenant compte des complexités inhérentes à chaque scénario. Pour poursuivre cette conversation, j’organiserai une discussion virtuelle sur ce sujet afin de partager les meilleures pratiques suivies à l’échelle internationale. Si vous souhaitez participer à cette discussion à venir et entendre l’avis de nos pairs du secteur de l’évaluation, n’hésitez pas à m’envoyer un message sur LinkedIn. Je vous fournirai les détails du webinaire.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapports rapides et sécurisés le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plate-forme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l’avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

L’utilisation d’outils de dépistage n’est pas un concept nouveau. Ils sont utilisés depuis de nombreuses années dans diverses disciplines, y compris l’éducation. Les outils de dépistage de la lecture dans les premières années sont des outils rapides, informels et fondés sur des données probantes qui peuvent fournir des informations sur les éventuelles difficultés de lecture des élèves. De brèves évaluations (outils de dépistage) ont été utilisées pour identifier les élèves qui ont besoin d’un soutien supplémentaire. L’éducation de la petite enfance (c.-à-d. de la maternelle à la 3e ou 4e année) est une période importante pour le développement des compétences sociales, émotionnelles et comportementales des enfants, ainsi que pour leurs premières aptitudes scolaires. Si un enfant présente des déficits dans certaines compétences, cela peut entraîner des résultats négatifs dans sa vie future. Par conséquent, l’identification précoce est d’une importance cruciale pour fournir à l’enfant un soutien approprié. "L’évaluation des élèves dans leurs premières années fournit des informations essentielles aux enseignants, aux écoles, aux parents… sur les problèmes et les besoins potentiels des élèves en matière d’apprentissage et garantit que les élèves à risque obtiennent l’aide dont ils ont besoin dès le début de leur scolarité."^[1] L’approche de dépistage des compétences en lecture varie selon les juridictions. Cet article vise à fournir une compréhension de haut niveau des pratiques de dépistage de l’alphabétisation (lecture) au Canada et dans certaines autres juridictions.

Pratiques de dépistage au Canada

Le dépistage universel n’est pas obligatoire dans la plupart des provinces et territoires. À l’heure actuelle, l’Alberta, le Nouveau-Brunswick et l’Ontario sont les seules juridictions à avoir mis en œuvre un dépistage universel obligatoire des enfants en bas âge. Bien que le dépistage ne soit pas encore obligatoire dans la plupart des provinces et territoires, certains conseils scolaires, reconnaissant les avantages, ont mis en œuvre un dépistage universel de manière indépendante. Les pratiques d’évaluation peuvent varier selon la juridiction, la commission scolaire ou l’école. Par exemple, les juridictions peuvent acheter des outils de dépistage spécifiques et/ou fournir des listes d’outils de dépistage approuvés si les conseils scolaires/écoles choisissent de les utiliser, et certains conseils scolaires/écoles peuvent également utiliser des instruments d’évaluation développés en interne. De nombreux outils de dépistage précoce de la lecture sont disponibles et ils ont tendance à être assez similaires. En général, ils évaluent les compétences universelles en lecture et ne sont généralement pas liés à un programme d’études spécifique. Parmi les ressources canadiennes disponibles dans le commerce, l’instrument de développement de la petite enfance, développé par l’Offord Centre^[2], l’Early Years Evaluation-Teacher Assessment (EYE-TA), l’Early Years Evaluation-Direct Assessment (EYE-DA) et l’évaluation Phonics Advantage Reading Assessment (PARA), développées par le Learning Bar^[3], sont largement utilisées. Un autre exemple de ressource canadienne intéressante et précieuse est l’évaluation dynamique basée sur le curriculum, développée par Tricoast Education^[4]. L’évaluation dynamique basée sur le curriculum fait appel aux récits des enfants pour évaluer leur potentiel d’apprentissage, ce qui permet d’identifier leurs points forts et leur niveau de risque de trouble du développement du langage, ce qui permet aux éducateurs et aux cliniciens d’adapter le soutien à l’intérieur et à l’extérieur de la classe. Vous trouverez ci-dessous des descriptions de haut niveau des initiatives de dépistage de l’alphabétisation (lecture) mises en œuvre en Alberta, au Nouveau-Brunswick et en Ontario, ainsi que des pratiques de dépistage dans certaines autres juridictions.

Alberta^[5]

En 2022-2023, le dépistage universel de l’alphabétisation (lecture) pour les enfants de la 1re à la 3e année est devenu obligatoire en Alberta. Pour l’année scolaire 2024-2025, les autorités scolaires sont tenues de procéder à un dépistage de l’alphabétisation auprès de tous les élèves dans leur langue d’enseignement principale (anglais ou français) de la maternelle à la 3e année. Le dépistage obligatoire est requis en septembre et en janvier pour tous les élèves de la 1re à la 3e année. Le dépistage obligatoire pour tous les élèves de la maternelle est requis en janvier, à compter de janvier 2025. Les éducateurs sont tenus de réévaluer tous les élèves de la 1re à la 3e année, identifiés comme étant à risque, en janvier. Les élèves jugés à risque en janvier sont réévalués à la fin de l’année scolaire (mai/juin). Les élèves jugés non à risque en janvier ne sont pas réévalués à la fin de l’année. Les autorités scolaires doivent administrer des tests de dépistage fournis ou approuvés par le gouvernement. Le ministère de l’Éducation de l’Alberta met gratuitement à la disposition de toutes les autorités scolaires de la province les outils d’évaluation des compétences en littératie suivants. Ces outils ont été élaborés séparément pour être utilisés par les élèves anglophones, francophones et en immersion française :

• Test de dépistage de la conscience phonologique (PAST)

• Test de dénomination automatisée rapide (RAN)

• Test de nommage des lettres et des sons (LeNS)

• Castles and Coltheart 3 (CC3)

Pour compléter les évaluations de dépistage de l'alphabétisation fournies par le gouvernement, les outils supplémentaires suivants sont également disponibles :

• Chaînes de mots

• Correspondance d'images de phrases

En partenariat avec des universitaires de l’Université Macquarie d’Australie (qui ont ensuite fondé le Centre australien pour l’avancement de l’alphabétisation à l’Université catholique australienne), l’Alberta a adopté, puis adapté, le test de lecture Castles and Coltheart 2 (CC2) et le Letter-Sound Test (LeST) pour devenir le test de lecture Castles and Coltheart 3 (CC3) et le Letter Name and Sound Test (LeNS). Le Castles and Coltheart 3est une évaluation de la lecture de mots qui teste "le fonctionnement des processus clés de la lecture d’un seul mot – le décodage phonologique et la reconnaissance de mots entiers. De cette façon, le Castles and Coltheart 3est conçu pour identifier la nature des difficultés de lecture d’un enfant et fournir des directives pour l’enseignement et l’intervention… Le Letter Name and Sound Test … évalue la connaissance par l’enfant des noms des lettres, des sons des lettres et des graphèmes communs à plusieurs lettres. …Il est conçu pour s’assurer que l’enfant possède les compétences phonétiques fondamentales pour devenir un lecteur indépendant."^[6] Étant donné que les processus d’acquisition du langage varient selon la langue, le ministère de l’Éducation de l’Alberta a engagé un consultant externe de l’Université d’Ottawa pour adapter les instruments de langue anglaise à une utilisation en français. Par conséquent, bien que les outils de dépistage anglais et français soient similaires, ils ne sont pas identiques. L’Australian Centre for the Advancement of Literacy, Australian Catholic University détient les droits d’auteur des outils de dépistage en anglais ; le ministère de l’Éducation de l’Alberta détient les droits de la version en français.

Une liste d’évaluations de dépistage de l’alphabétisation approuvées par le gouvernement est disponible si une autorité scolaire choisit de les utiliser à la place des outils fournis par le gouvernement. Ces outils de dépistage sont reconnus par la province comme fournissant des scores valides et fiables pour le dépistage des enfants. Tous les coûts associés à l’utilisation des outils approuvés par le gouvernement sont à la charge de l’autorité scolaire. Les évaluations actuelles de l’alphabétisation approuvées par le gouvernement pour la petite enfance comprennent les outils suivants par niveau scolaire : 

Administration pour la maternelle (janvier) et la 1re année (septembre) :

• Évaluation de la petite enfance - Évaluation pré-lecture (EYE-PR)

• Acadience Reading K-6 (anglais)

• L’Acadience Reading Français (français)

Administration de la 1re année (janvier) à la 3e année :

• Acadience Reading K-6 (anglais)

• Test of Silent Reading Efficiency and Comprehension® (TOSREC)

• Test of Word Reading Efficiency-Second Edition (TOWRE-2)

• Wechsler Individual Achievement Test®-Third Edition (WIAT-111) (pour l’alphabétisation et le calcul)

• Wide Range Achievement Test-Fifth Edition (WRATS5™) (pour l’alphabétisation et le calcul)

Les autorités scolaires qui choisissent d’utiliser les outils de dépistage fournis par le gouvernement ont l’avantage de pouvoir accéder à un portail personnalisé développé par l’Alberta pour télécharger les données de leurs élèves. L’équipe de données de la province analyse de façon psychométrique les données et génère des rapports qui sont fournis aux élèves, aux classes, aux écoles et aux autorités scolaires. (À l’heure actuelle, le ministère ne communique pas les résultats provinciaux globaux.) Dans le cadre de son initiative de modernisation, la province de l’Alberta prévoit travailler avec son partenaire en technologie d’évaluation, Vretta, pour numériser et moderniser la collecte, l’analyse et la communication des données, rendant ainsi les processus provinciaux de dépistage de la petite enfance plus efficaces.

Nouveau-Brunswick^[7]

Le ministère de l’Éducation du Nouveau-Brunswick est structuré en deux secteurs distincts, anglophone et francophone, chacun fonctionnant de manière indépendante dans le cadre de la Loi sur l’éducation et des paramètres de politique du ministère. Le dépistage et le suivi des progrès des premières années d’études sont menés de manière quelque peu différente pour chaque secteur linguistique. Par exemple, le secteur anglophone administre l’EYE-DA en octobre de l’année précédant l’entrée des élèves à la maternelle. En plus de l’EYE-DA, un instrument obligatoire de suivi des progrès et d’évaluation formative des premières années d’études (conçu pour tous les élèves anglophones de la maternelle à la 2e année, ainsi que pour les élèves d’immersion française (IF) de la 1re à la 3e année) a été développé à l’interne avec le soutien de chercheurs en éducation. Cet instrument d’évaluation a été testé dans les salles de classe au cours de l’année scolaire 2022-2023. L’évaluation de la littératie des premières années d’études (EGLA) aide les enseignants à évaluer et à suivre l’acquisition des cinq compétences fondamentales de la lecture : la conscience phonologique, la phonétique, la fluidité, le vocabulaire et la compréhension. La structure et le contenu de l’EGLA ont été alignés sur le nouveau cadre pédagogique holistique de la province pour les arts du langage anglais de la maternelle à la 2e année et sur le cadre pédagogique holistique des arts du langage en immersion française de la 1re à la 3e année. L’EGLA pour l’immersion française a été élaboré à partir de recherches sur l’acquisition d’une langue seconde ; il ne s’agit pas d’une traduction. L’outil a été conçu pour aider les éducateurs à suivre les progrès des élèves en lecture. Grâce au matériel normalisé et au processus d’administration de l’EGLA, l’agrégation des résultats des élèves au niveau de l’école, du district scolaire et de la province est rendue possible à des fins d’amélioration et de reddition de comptes. Les commentaires des utilisateurs au cours de l’année pilote ont fourni des informations pour soutenir les améliorations apportées à l’évaluation, qui a été mise en œuvre en 2023-2024. Les responsables provinciaux de l’alphabétisation, les spécialistes des départements et les chercheurs en éducation continuent d’être consultés sur l’élaboration de l’EGLA.

Les enseignants saisissent leurs résultats dans ESS Connect. ESS Connect est un composant de PowerSchool, un système d’information sur les élèves de la maternelle à la 12e année qui permet le transfert et le suivi des données des élèves d’une année à l’autre à mesure que les élèves et les enseignants travaillent sur plus de 80 compétences en lecture surveillées via l’EGLA. L’évaluation est un outil de classe formatif, destiné à être utilisé de manière continue. Comme il s’agit de la deuxième année de mise en œuvre, le ministère continue de se concentrer sur le suivi des données pour assurer l’utilisation appropriée de l’outil et des systèmes d’évaluation, en augmentant les ressources développées pour aider les enseignants à utiliser les outils de manière appropriée et en aidant les enseignants à intégrer le dépistage des premières années dans leur pratique quotidienne en classe. L’EGLA est le seul outil de dépistage obligatoire pour l’alphabétisation dans le secteur anglophone.

Le secteur francophone n’administre pas de version française de l’EGLA. Au lieu de cela, l’EYE-DA du Learning Bar est l’outil de dépistage des premières années utilisé pour la préparation à la maternelle, et l’EYE-TA est utilisé pour surveiller les progrès des élèves une fois que l’élève est à la maternelle. Une pré-évaluation de l’EYE-TA est administrée chaque année aux élèves de maternelle pendant la période de la mi-octobre au début décembre ; Les évaluations postérieures sont administrées au mois de mai. Les questionnaires ne sont utilisés qu'à la maternelle; les évaluations provinciales de lecture sont administrées en 2e et 3e année.

Ontario

En octobre 2019, la Commission ontarienne des droits de la personne (CODP) a annoncé une enquête publique sur les questions de droits de la personne qui touchent les élèves ayant des troubles de lecture dans le système d’éducation publique de l’Ontario. L’enquête a notamment révélé que la province n’administrait pas de dépistage universel, systématique et fondé sur des données probantes en matière d’alphabétisation dans la petite enfance pour identifier les élèves à risque. De plus, l’enquête a révélé que les pratiques de dépistage variaient selon les conseils scolaires, les écoles et les enseignants.^[8]

En réponse au rapport final de l’enquête publique, en juillet 2023, le ministère de l’Éducation de l’Ontario a publié la note Politique/Programme (NPP) 168 pour répondre aux conclusions de cette enquête.^[9] En ce qui concerne la qualité des outils de dépistage, la NPP 168 stipule que « selon les recherches contemporaines, un outil de dépistage précoce de la lecture fondé sur des données probantes est un outil qui permet d’identifier les élèves qui pourraient avoir des difficultés futures en lecture. Les outils efficaces de dépistage précoce de la lecture sont complets et évalueront chaque compétence fondamentale en lecture par rapport à un point de référence, auront de bonnes propriétés psychométriques (c.-à-d. fiabilité et validité), regrouperont les données des élèves et fourniront des informations immédiates afin qu’elles puissent être utilisées par les enseignants pour éclairer l’enseignement. »

La PPM 168 (qui est entrée en vigueur le 1er septembre 2023 et a dû être mise en œuvre intégrale et obligatoire à compter de septembre 2024) exige que les conseils scolaires examinent tous les élèves du système scolaire financé par l’État en deuxième année de maternelle, en première et en deuxième année pour la lecture à l’aide d’un outil de dépistage fondé sur des données probantes approuvé par le Ministère. Le dépistage obligatoire est requis deux fois par année scolaire, le deuxième étant facultatif pour les élèves qui atteignent le point de référence lors du premier dépistage. Le dépistage précoce garantit que les élèves qui ont besoin d’un soutien supplémentaire en lecture sont identifiés tôt et qu’ils sont soutenus en classe en recevant le soutien pédagogique approprié et ciblé nécessaire pour prévenir ou résoudre les difficultés de lecture. La note de politique/programme stipule également que le dépistage doit être utilisé en conjonction avec des évaluations en classe, y compris des observations et des conversations avec les élèves sur leur apprentissage. De plus, elle stipule que « les enseignants maintiennent une communication continue, régulière et significative avec les parents/tuteurs afin de fournir une explication claire des points forts et des besoins des élèves, de discuter des stratégies en classe et de partager des exemples de croissance et de progrès au fil du temps. » La PPM 168 décrit également l’obligation pour les conseils scolaires d’allouer du temps protégé de la 1re à la 3e année à un enseignement explicite et systématique de la lecture fondamentale pendant au moins 150 minutes par cycle de cinq jours.

Les conseils scolaires sont tenus d’utiliser des outils approuvés par le ministère pour le dépistage obligatoire des compétences en lecture. Les conseils scolaires peuvent se procurer les outils de dépistage suivants approuvés par le ministère par l’intermédiaire de l’entente de fournisseur officiel (VOR) du Marché collaboratif en éducation de l’Ontario (OECM) pour l’entente sur les outils de dépistage des compétences en lecture:

Anglais:

• Acadience Learning Inc. (outil de lecture Acadience)

• NCS Pearson Inc. (outil AimsWebplus)

• Nelson Education Ltd. (outil easyCBM)

Français:

• Acadience Learning Inc. (Acadience Reading Français)

Pour l’année scolaire 2024-2025, le Ministère continue de financer le dépistage précoce de la lecture fondé sur des données probantes pour les élèves de la maternelle, de la 1re et de la 2e année en investissant dans des licences d’intervention en lecture et dans des outils de dépistage de la lecture. Cet investissement fournira aux conseils scolaires les fonds nécessaires pour acheter des licences, des ressources et des formations professionnelles afin de soutenir la prestation de programmes et d’interventions de lecture systématiques et fondés sur des données probantes pour les lecteurs en difficulté, y compris, mais sans s’y limiter, les élèves ayant des troubles de lecture. Le Ministère continue également de financer des enseignants supplémentaires dotés d’une expertise spécialisée dans l’enseignement systématique et explicite fonder sur des données probantes axé sur les compétences de base en lecture pour soutenir les élèves de la maternelle à la 3e année. Les conseils scolaires recevront un financement pour ces enseignants supplémentaires, qui peuvent travailler individuellement ou en petits groupes avec des élèves de la maternelle à la 3e année qui bénéficieraient d’un soutien accru en lecture. De plus amples renseignements sur le financement de ces initiatives sont disponibles dans le communiqué de presse du 26 avril 2024.^[10]

Pratiques de dépistage dans certains pays

Royaume-Uni

Dépistage de la phonétique en première année

Le Royaume-Uni exige un dépistage universel depuis plusieurs années. En 2012, le pays a adopté une loi qui exige un dépistage de la phonétique pour tous les enfants en première année (équivalent à la maternelle au Canada). Les élèves qui ne répondent pas aux normes d'âge attendues sont à nouveau examinés en deuxième année (équivalent à la première année au Canada) ; ceux qui ne répondent pas aux normes bénéficient d'interventions et d'un soutien. Le test de dépistage de la phonétique en première année a été testé dans environ 300 écoles en juin 2011, et chaque école participant au projet pilote a administré une version du test à ses enfants en première année.

Le projet pilote de dépistage de la phonétique a été évalué de manière indépendante par des universitaires de l’université Sheffield Hallam, une université publique de recherche en Angleterre. L’évaluation a pris en compte tous les aspects de l’outil, y compris les processus d’administration (si l’évaluation était gérable pour les écoles et appropriée pour les enfants de première année) et la mesure dans laquelle l’outil prouvait qu’il fournissait des résultats valides et fiables. L’outil de dépistage existe dans le contexte d’un programme national qui décrit explicitement les composantes de l’enseignement de la lecture de mots: décodage, compétences en lecture de mots et enseignement de la phonétique.

Le Royaume-Uni impose également des exigences spécifiques en matière de rapports pour tenir les parents/tuteurs informés des progrès d’apprentissage de leurs enfants. Cela comprend des informations sur les résultats par rapport aux élèves du même âge dans leur école, ainsi qu’au niveau national. Le Royaume-Uni compile également des données nationales sur le pourcentage d’élèves qui ont atteint la norme attendue en phonétique, ventilées par classifications démographiques telles que le niveau de revenu, l’origine ethnique, les besoins éducatifs spéciaux et la première langue autre que l’anglais.

Évaluation de base de l’accueil

L’administration de l’évaluation de base de l’accueil est devenue une exigence légale en septembre 2021. (Au Canada, l’accueil correspond à la première année de maternelle, lorsque les élèves ont généralement quatre ou cinq ans.) Alors que le dépistage de la phonétique de la première année se concentre sur l’élève individuel, l’évaluation de base de l’accueil est un outil d’évaluation qui fournit une évaluation initiale des acquis des enfants qui peut être utilisée comme base à partir de laquelle les progrès au niveau de la cohorte peuvent être mesurés jusqu’à la fin de l’étape clé 2. (L’équivalent canadien approximatif de l’étape clé 2 comprend les élèves âgés de sept à onze ans de la deuxième à la cinquième année.) L’évaluation de base de l’accueil est une courte évaluation basée sur des tâches qui est administrée dans les six premières semaines de l’accueil (la première année d’école primaire de l’année scolaire où ils atteignent l’âge de cinq ans) et évalue les points de départ des élèves en matière de langue, de communication et d’alphabétisation, ainsi qu’en mathématiques. L’évaluation n’est pas destinée à fournir des informations diagnostiques détaillées à utiliser pour améliorer l’apprentissage des élèves. Au lieu de cela, les résultats/données sont utilisés pour compiler des mesures de progrès au niveau de l’école. Les enseignants reçoivent cependant de brèves descriptions narratives des performances des élèves qui peuvent être utilisées pour éclairer la pratique pédagogique.

En plus des évaluations statutaires mentionnées ci-dessus, l’Agence des normes et des tests du ministère de l’Éducation élabore et fournit du matériel et des conseils pour les tests facultatifs de fin de la première étape clé, notamment la lecture en anglais, la grammaire anglaise, la ponctuation et l’orthographe, ainsi que les mathématiques. (L’équivalent canadien approximatif de la première étape clé comprend les élèves âgés de cinq à sept ans de la maternelle à la 2e année.) Le but de ces tests est de fournir aux écoles des instruments qui peuvent mesurer les résultats des élèves et de fournir des informations sur les domaines dans lesquels ils peuvent avoir besoin d’un soutien supplémentaire lorsqu’ils passent à la deuxième étape clé. Bien que cela ne soit pas obligatoire, le gouvernement encourage les écoles à administrer les évaluations facultatives, mais il n’y a aucune obligation de communiquer les résultats (par exemple, aux parents/tuteurs, aux autorités locales).^[11]

Australie

L’Australie comprend six États (la Nouvelle-Galles du Sud, Victoria, Queensland, Australie-Occidentale, Australie-Méridionale et Tasmanie) et deux territoires (le Territoire du Nord et le Territoire de la capitale australienne [ACT], qui comprend la capitale du pays, Canberra). La plupart des juridictions ont instauré un dépistage obligatoire des compétences en littératie au cours de la première année. En 2017, le ministère de l’Éducation d’Australie-Méridionale a mené un projet pilote de test de phonétique au Royaume-Uni et a ensuite rendu obligatoire son utilisation pour tous les élèves de première année. Les enseignants et les chefs d’établissement ont reçu une formation et le test a été mis à la disposition des éducateurs et des familles. En 2021, la Nouvelle-Galles du Sud a également rendu obligatoire l’utilisation de l’outil de dépistage pour tous les élèves de première année^[12], et par la suite, la Tasmanie, Victoria et l’Australie-Occidentale ont annoncé que le dépistage obligatoire commencerait en 2023. L’outil de dépistage phonétique est une évaluation courte (5 à 7 minutes) au cours de laquelle les élèves lisent à voix haute jusqu’à 40 mots réels et inventés. L'évaluation, réalisée auprès des élèves individuellement et réalisée par l'enseignant de la classe, informe les éducateurs de la progression des élèves en phonétique. Les résultats sont disponibles immédiatement et après analyse des résultats, les enseignants peuvent planifier tout soutien supplémentaire dont les élèves pourraient avoir besoin. D'autres outils de dépistage de l'alphabétisation (lecture) et initiatives pédagogiques sont utilisés sur une base statutaire ou volontaire dans les États/territoires australiens. Par exemple, en Tasmanie, en plus du contrôle phonétique obligatoire en première année, l'État utilise le Test de Grammaire et Phonologie (de l’anglais : Grammar and Phonological Screen test ou GAPS), un outil conçu pour identifier, dès le début de leur scolarité, les enfants qui présentent un risque de troubles du développement du langage et/ou de l'alphabétisation. De plus, de la maternelle à la 8e année, d'ici 2026, toutes les écoles publiques adopteront un outil de dépistage connu sous le nom de DIBELS (Indicateurs dynamiques des compétences de base en lecture et en écriture, de l’anglais: Dynamic Indicators of Basic Early Literacy Skills) pour évaluer les progrès des élèves dans les sous-compétences de lecture que sont la phonétique, la fluidité et la compréhension.^[13]

En plus des initiatives menées par l'État, le gouvernement australien a mis au point un test de phonétique gratuit et volontaire destiné aux élèves de première année. En plus de ce test, un centre d'alphabétisation en ligne est à la disposition des enseignants et des chefs d'établissement, qui propose un apprentissage professionnel et des ressources pour aider les enfants à développer leurs compétences en lecture. Le centre offre également aux familles un accès à un test de phonétique et de sensibilisation à la lecture qui peut être effectué à domicile, et de nombreuses autres ressources sont également disponibles.^[14]

États-Unis

Plus de 30 États américains ont adopté des lois qui imposent le dépistage de la dyslexie chez les élèves au cours de leurs premières années d’éducation. De nombreuses juridictions fournissent des listes recommandées/approuvées d’outils de dépistage de la littératie (lecture) ou fournissent des conseils pour éclairer leur sélection, tandis que d’autres imposent l’utilisation d’outils de dépistage spécifiques.^[15] Par exemple, le Département de l’éducation primaire et secondaire du Massachusetts exige qu’au moins deux fois par année scolaire, les écoles et les districts scolaires évaluent la capacité de lecture de chaque élève de la maternelle jusqu’à la troisième année au moins. Des outils de dépistage de la littératie approuvés par le Département de l’éducation primaire et secondaire du Massachusetts, valides et adaptés au développement, doivent être utilisés ; ceux sélectionnés par le Département de l’éducation primaire et secondaire du Massachusetts comprennent :

• Dépistage de la dyslexie Amira

• Évaluation de l'alphabétisation DIBELS 8e édition

• EarlyBird

• mCLASS

• Acadience Reading k-6

• FastBridge

• Dépistage de la dyslexie i-Ready

• Maîtrise de la lecture MAP

• STAR (Early Literacy, Reading & Curriculum-Based Measurement)^[16]

Au cours de la dernière décennie, l’approche du dépistage précoce de l’alphabétisation dans l’État du Wisconsin a évolué. De 2012-2013 à 2015-2016, le ministère de l’Instruction publique a exigé que tous les élèves de maternelle de 5 ans, puis éventuellement tous les élèves de maternelle de 4 ans, ainsi que les élèves de première et de deuxième année, se soumettent au test PALS (Test d'alphabétisation et de Conscience phonologique, de l’anglais : Phonological Awareness Literacy Screener). ("Le Test d'alphabétisation et de Conscience phonologique est un outil de dépistage, de diagnostic et de suivi des progrès basé sur la recherche. Les enseignants du Wisconsin ont utilisé le Test d'alphabétisation et de Conscience phonologique pour identifier les élèves à risque de développer des difficultés de lecture, diagnostiquer les connaissances des élèves en matière de base de l’alphabétisation, suivre les progrès et planifier un enseignement qui cible les besoins des élèves.")^[17] À compter de l’année scolaire 2016-2017, les écoles et les districts scolaires n’étaient plus tenus d’administrer le Test d'alphabétisation et de Conscience phonologique; à la place, les districts étaient autorisés à choisir le test qu’ils souhaitaient administrer. Cependant, en juin 2024, le Département de l’administration du Wisconsin a annoncé qu’à partir de l’année scolaire 2024-25, le test de préparation à la lecture AimswebPlus de NCS Pearson serait proposé dans tout l’État aux élèves de quatre ans de la maternelle à la troisième année. Le test doit être administré aux élèves à plusieurs moments au cours de l’année scolaire.^[18] En plus du test de lecture universel, l’État approuve des évaluations diagnostiques supplémentaires pour l’alphabétisation.^[19]

Tous les États ont des politiques et des programmes qui soutiennent/promeuvent les compétences en lecture des élèves ; cependant, certains n’ont pas adopté de tests de dépistage courts et universels de l’alphabétisation (lecture). Par exemple, les écoles et les conseils scolaires de l’Ohio ont la possibilité d’utiliser des évaluations diagnostiques de lecture approuvées par l’État ou développées par l’État, qui doivent être administrées au cours des 20 premiers jours d’enseignement pour les élèves de maternelle et avant le 30 septembre pour ceux de la 1re à la 3e année.^[20] Trois fois par année scolaire, les écoles et les conseils scolaires du Michigan doivent administrer des évaluations « de référence », telles que l’évaluation de référence en alphabétisation et en mathématiques de l’État (ou une autre évaluation approuvée/qualifiée), aux élèves de la maternelle à la 2e année. L’administration d’automne est un pré-test, et les sessions d’hiver et de printemps sont administrées pour évaluer les progrès de l’apprentissage et pour obtenir des informations pour soutenir l’apprentissage des élèves.^[21]

Conclusion

Tous les territoires reconnaissent l’importance de l’acquisition des compétences en lecture des élèves et disposent de politiques et de programmes qui favorisent ce développement. Cet article démontre que les territoires adoptent diverses approches pour soutenir le développement précoce des compétences en lecture des élèves. Certains territoires imposent l’utilisation d’outils de dépistage de la lecture ou encouragent leur utilisation (et fournissent des listes d’outils d’évaluation approuvés/qualifiés). D’autres imposent l’utilisation de tests diagnostiques et d’instruments de suivi des progrès. Il est essentiel de pouvoir identifier le plus tôt possible les élèves qui risquent d’éprouver des difficultés en lecture, et les outils de dépistage de la lecture ont un rôle clé à jouer. L’auteur est d’avis que le dépistage universel de la lecture devrait être obligatoire dès la maternelle, afin que les enfants ne passent pas entre les mailles du filet en ce qui concerne leur développement langagier. Une identification et une intervention précoces sont essentielles.

À propos de l’auteur

Le Dr Richard Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique à grande échelle et de l’évaluation de programmes et travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de direction à l’Office de la qualité et de la responsabilité en éducation (OQRE) en Ontario, ainsi qu’aux ministères de l’Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces rôles, il était responsable des initiatives liées à l’évaluation des élèves, des programmes et des cursus, aux indicateurs de qualité de l’éducation, à la planification de l’amélioration des écoles et des conseils scolaires, à l’accréditation des écoles et aux tests provinciaux, nationaux et internationaux.

Richard a commencé sa carrière en tant qu’éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une multinationale américaine fournissant des services de conseil au Moyen-Orient.

N’hésitez pas à contacter Richard « Rick » à richard.jones@rmjassessment.com (ou via LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d’évaluation à grande échelle et/ou d’évaluation de programmes.

Remerciements

L’auteur tient à remercier les membres des unités d’évaluation et d’évaluation du ministère de l’Éducation et du Développement de la petite enfance du Nouveau-Brunswick (anglophone et francophone), le secteur de la réussite provinciale du ministère de l’Éducation de l’Alberta et la Direction des politiques sur les programmes d’études, l’évaluation et la réussite des élèves du ministère de l’Éducation de l’Ontario pour leur précieuse contribution à cet article. Pour de plus amples renseignements sur ces approches de dépistage des jeunes enfants, vous êtes invité à faire des demandes de renseignements à l’adresse suivante : edcommunication@gnb.ca (Nouveau-Brunswick), litnumscreening@gov.ab.ca (Alberta) et casspb@ontario.ca (Ontario).

Référence

[1] Alberta Education. (2024). Évaluations de dépistage des premières années : Informations sur les évaluations de dépistage en littératie et en numératie pour tous les élèves de la 1re à la 3e année. Récupéré le 9 janvier 2024 à l'adresse suivante : https://www.alberta.ca/early-years-assessments#:~:text=Assessing%20students%20in%20their%20early,need%20early%20in%20their%20education.

[2] https://edi.offordcentre.com.

[3] https://thelearningbar.com.

[4] https://tricoasteducation.com.

[5] Les informations de cette section proviennent des sources suivantes :

Alberta Education. (juin 2023). Alberta Education Approved Literacy and Numeracy Assessments Grades 1-3. Récupéré le 9 janvier 2024 à l'adresse suivante : https://www.alberta.ca/system/files/custom_downloaded_images/edc-approved-literacy-and-numeracy-assessments-grades-1-3.pdf.

Alberta Education. (2024). Early Years Screening Assessments. Récupéré le 9 janvier 2024 à l'adresse suivante : https://www.alberta.ca/early-years-assessments#:~:text=In%202022%2F23%20literacy%20and,on%20New.LearnAlberta.ca.

Alberta Education. (2024). Bulletin d'information générale 2024-2025 : Évaluations de dépistage de la littératie et de la numératie. Récupéré le 27 septembre 2024 sur : https://www.alberta.ca/system/files/educ-general-information-bulletin-literacy-and-numeracy-screening-assessments.pdf.

[6] Kilpatrick, D., Georgiou, G. et Parrila, R., Castles, A. et Kohnen, S. (2024). Alberta Government-Provided Kindergarten to Grade 3 Literacy Screening Assessments, p. 2. Récupéré le 28 septembre 2024 sur : https://www.alberta.ca/system/files/custom_downloaded_images/edc-lens-cc3-interpretation-guide.pdf#search=edc%2Dlens%2Dcc3%2Dinterpretation%2Dguide%2Epdf.

[7] Une grande partie des informations contenues dans cette section provient de la source suivante :

Jones, R.M. (2024, mars). Évaluations de dépistage de la petite enfance au Canada. Article publié en ligne à l'adresse https://rmjassessment.com/2024/03/13/evaluations-de-depistage-de-la-petite-enfance-au-canada/.

[8] Commission ontarienne des droits de la personne. (28 février 2022). Le droit de lire : Enquête publique sur les questions de droits de la personne touchant les élèves ayant des troubles de lecture. Récupéré le 13 septembre 2024 à l'adresse suivante : https://www.ohrc.on.ca/fr/rapport-de-l-enquete-sur-le-droit-de-lire/depistage-precoce.

[9] Ministère de l'Éducation de l'Ontario. (23 juillet 2023). Note politique/programme 168 : Enseignement de la lecture et dépistage précoce de la lecture. Extrait le 30 septembre 2024 de : https://www.ontario.ca/document/education-ontario-policy-and-program-direction/policyprogram-memorandum-168.

[10] Ministère de l'Éducation de l'Ontario. (26 avril 2024). L'Ontario augmente le financement pour stimuler la lecture, l'écriture et les mathématiques. Extrait le 15 octobre 2024 de : https://news.ontario.ca/fr/release/1004488/ontario-augmente-le-financement-pour-stimuler-la-lecture-l-ecriture-et-les-maths.

[11] Les renseignements contenus dans cette section proviennent des sources suivantes :

Commission ontarienne des droits de la personne. (28 février 2022). Right to Read : Enquête publique sur les questions de droits de la personne touchant les élèves ayant des troubles de lecture. Récupéré le 13 septembre 2024 à l’adresse suivante : https://www.ohrc.on.ca/fr/rapport-de-l-enquete-sur-le-droit-de-lire/depistage-precoce.

Department for Education, Standards & Testing Agency. (février 2012). Cadre d’évaluation pour l’élaboration du test de dépistage de la phonétique de la première année. Récupéré le 2 octobre 2024 à l’adresse suivante : https://www.gov.uk/government/publications/assessment-framework-for-the-development-of-the-year-1-phonics-screening-check/assessment-framework-for-the-development-of-the-year-1-phonics-screening-check.

Department for Education, Standards & Testing Agency. (février 2020). Cadre d'évaluation : Évaluation de base de la réception. Récupéré le 2 octobre 2024 à l'adresse suivante : https://assets.publishing.service.gov.uk/media/5e550579e90e074dcf842ab3/2020_Assessment_Framework_Reception_Baseline_Assessment.pdf.

[12] Commission ontarienne des droits de la personne. (28 février 2022). Droit de lire : Enquête publique sur les questions de droits de la personne touchant les élèves ayant des troubles de lecture. Récupéré le 13 septembre 2024 à l'adresse suivante : https://www.ohrc.on.ca/en/right-to-read-inquiry-report/early-screening.

[13] Les informations de cette section proviennent des sources suivantes :

Department for Education, South Australia. (avril 2024). Phonics Screening Check for Students Understanding of Letters and Sounds. Récupéré le 4 octobre 2024 sur : https://www.education.sa.gov.au/parents-and-families/curriculum-and-learning/literacy-and-numeracy/phonics-screening-check-student-understanding-letters-and-sounds.

Département de l'éducation de la Nouvelle-Galles du Sud. (septembre 2024). Contrôle de dépistage de la phonétique de la première année. Récupéré le 4 octobre 2024 sur : https://education.nsw.gov.au/teaching-and-learning/curriculum/literacy-and-numeracy/assessment-resources/phonics-screening-check.

Gouvernement de Tasmanie. ((septembre 2024). Un nouveau test d'alphabétisation aide les élèves à lire. Récupéré le 4 octobre 2024 sur : https://www.premier.tas.gov.au/latest-news/2024/september/new-literacy-screening-helps-students-with-reading.

Carey, A. (13 septembre 2022). The Age. Un test de compétences en phonétique sera obligatoire pour les élèves de première année de l'État de Victoria. Récupéré le 4 octobre 2024 sur : https://www.theage.com.au/national/victoria/phonics-skills-test-to-be-mandated-for-victorian-grade-1-students-20220913-p5bhlb.html.

Fogarty EDvance. (24 mai 2022). Nouveau test de phonétique pour les élèves de première année en Australie occidentale. Récupéré le 4 octobre 2024 sur : https://fogartyedvance.au/new-phonics-test-for-year-1-students-in-wa/.

[14] Ministère de l'Éducation, Gouvernement australien. (mai 2023). Year 1 Phonics Check. Récupéré le 7 octobre 2024 sur : https://www.education.gov.au/australian-curriculum/year-1-phonics-check.

[15] Commission ontarienne des droits de la personne. (28 février 2022). Right to Read : Enquête publique sur les questions de droits de la personne touchant les élèves ayant des troubles de lecture. Récupéré le 13 septembre 2024 sur : https://www.ohrc.on.ca/en/right-to-read-inquiry-report/early-screening.

[16] Massachusetts Department of Elementary and Secondary Education. (juin 2024). Évaluations universelles de dépistage de l'alphabétisation précoce : Guide de dépistage de l'alphabétisation précoce. Récupéré le 9 octobre 2024 sur : https://www.doe.mass.edu/instruction/screening-assessments.html.

[17] Département de l'instruction publique du Wisconsin. (juillet 2024). PALS Early Literacy Screener. Récupéré le 9 octobre 2024 sur : https://dpi.wi.gov/assessment/historical/pals.

[18] Département de l'instruction publique du Wisconsin. (juillet 2024). Le Wisconsin DOA sélectionne un fournisseur pour les évaluations des compétences fondamentales et de la lecture universelle à l'échelle de l'État. Récupéré le 9 octobre 2024 sur : https://dpi.wi.gov/news/releases/2024/reading-screener-wisconsin-act-20.

[19] Notez que les tests de dépistage universels sont de brèves évaluations qui permettent de déterminer si les enfants peuvent être à risque en lecture et les soutiens dont ils peuvent avoir besoin. Les évaluations diagnostiques, en revanche, sont plus approfondies et identifient les performances des élèves dans des domaines de compétences spécifiques.

[20] Département de l'éducation et de la main-d'œuvre de l'Ohio. (juillet 2024). Orientations sur la garantie de lecture en troisième année. Récupéré le 9 octobre 2024 sur : https://education.ohio.gov/getattachment/Topics/Learning-in-Ohio/Literacy/Third-Grade-Reading-Guarantee/Third-Grade-Reading-Guarantee-Guidance-Manual-July-2024.pdf.aspx?lang=en-US.

[21] Département de l'éducation du Michigan. (août 2024). Évaluations de référence : alphabétisation et mathématiques précoces, Manuel d'administration des tests (TAM) 2024-2025. Récupéré le 9 octobre 2024 sur : https://www.michigan.gov/mde/-/media/Project/Websites/mde/OEAA/Early-Literacy-and-Mathematics/Early_Lite racy_and_Mathematics_TAM.pdf?rev=9a71a6f7485e45ff82ba07e077b281aa&hash=3C6C7A97A127916F45C682ECEA49934F.

De plus, comme beaucoup peuvent maintenant être enclins à utiliser Microsoft Copilot ou d'autres solutions similaires basées sur GPT dans la prise de décision pour la notation automatisée de l'écriture et la génération de rétroaction, il pourrait être utile de fournir un résumé des compromis impliqués dans la phase de mise en œuvre des solutions d'évaluation automatisée de l'écriture dans la pratique.

Cet article offrira une orientation à ceux qui explorent les options disponibles, en comparant Copilot ou des produits similaires basés sur GPT qui pourraient être plus adaptés, en fournissant une comparaison approfondie des ressources pour les décideurs dans le contexte de l'évaluation pédagogique.

Un pas en avant: l’évolution de l’écriture automatisée

Pour commencer, tout type de réponse construite par l'étudiant relèverait de la catégorie des stimuli (c'est-à-dire des invites présentées aux étudiants) des niveaux supérieurs de la taxonomie de Bloom (1956) qui analyse, évalue et crée. Les réponses construites par les étudiants sont généralement utilisées pour répondre à des questions ouvertes et varient en longueur en fonction du nombre de mots. Dans ce contexte, le terme « écriture » est utilisé pour désigner toutes les formes de réponses des étudiants, y compris les réponses à réponse courte et les rédactions de texte.

L'évaluation des réponses des étudiants, en particulier dans les textes plus longs comme les essais, comporte un risque plus élevé de subjectivité par rapport aux questions à réponses sélectionnées (comme les questions à choix multiples, le glisser-déposer ou la correspondance). Bien que les grands modèles linguistiques soient formés sur des textes humains, qui contiennent intrinsèquement des biais et de la subjectivité, l'utilisation de la technologie dans la notation peut aider à atténuer les problèmes de biais et de subjectivité. De plus, l'évaluation des écrits sans support technologique exige des ressources importantes. Ces deux facteurs: réduire la subjectivité et améliorer l'efficacité opérationnelle sont les principales raisons de l'intérêt croissant pour l'utilisation de la technologie pour l'évaluation automatisée de l'écriture.

L’évolution de l’évaluation automatisée de l’écriture a commencé avec la notation automatisée des dissertations, qui n’incluait pas de composante de rétroaction à l’époque, lancée par le Dr Ellis Batten Page à l’Université Duke dans les années 1960 avec le Project Essay Grade (PEG). Plus tard, des applications pratiques transformatrices ont émergé dans l’éducation en ligne à grande échelle grâce à la collaboration du MIT sur la plateforme EdX en 2012, faisant progresser l’utilisation de l’apprentissage automatique pour la notation des dissertations dans les cours en libre accès et augmentant l’accent sur la génération automatisée de commentaires dans l’industrie au sens large, ce qui a conduit à une demande croissante du marché. De nos jours, les développements pilotés par l’IA dans le secteur de l’évaluation de l’éducation, en particulier dans la notation et la création de rapports de rétroaction, tels que Microsoft Copilot ou tout outil basé sur OpenAI GPT, sont considérés comme des assistants intégrés pour répondre au besoin de notation.

Par ailleurs, certaines organisations d’évaluation peuvent préférer aller au-delà de l’utilisation d’assistants intégrés et opter plutôt pour des solutions d’évaluation automatisée de l’écriture spécialisées disponibles sur le marché dédié au niveau Maternelle à 12^e année conçues spécifiquement à cet effet, avec des algorithmes d’évaluation entièrement contrôlés. La raison d'être de ces organisations est de conserver un contrôle total sur les algorithmes, les modèles d'évaluation et le traitement des données, ainsi que de réaliser d'autres gains d'efficacité opérationnelle. Contrairement à Microsoft Copilot ou à des outils similaires basés sur GPT, qui proposent des modèles propriétaires, les systèmes spécialisés offrent un accès direct aux algorithmes d'apprentissage automatique et à l'architecture du modèle de base, ce qui permet une spécialisation ciblée, une plus grande personnalisation et une transparence et une confidentialité accrues - des fonctionnalités qui sont particulièrement importantes dans les contextes d'évaluation à enjeux élevés pour les fonctionnaires gouvernementaux.

Dans un exemple plus pratique, avec des modèles propriétaires, la propriété du modèle reste entre les mains du tiers (par exemple, Microsoft/OpenAI). Les organismes d'évaluation peuvent affiner ces modèles et accéder à leurs versions affinées, mais uniquement via les systèmes du tiers, car ils ne sont pas entièrement propriétaires du modèle affiné, même s'il est formé sur leurs propres données.

Analyse comparative: Faire un choix de politique institutionnelle

Pour mener une analyse de haut niveau que les décideurs peuvent facilement comprendre, une analyse comparative des tendances dans le contexte de l'industrie de l'évaluation et de la technologie éducatives utilise le cadre SOAR (Forces, Opportunités, Aspirations, Résultats; de l’anglais: Strengths, Opportunities, Aspirations, Results), qui se concentre sur l'innovation, la croissance et les aspirations, qui s'alignent bien avec les organisations d'évaluation qui donnent la priorité à la modernisation des évaluations à grande échelle.

L'analyse comparative suivante de Microsoft Copilot ou de tout autre système d'assistant intégré similaire basé sur GPT au sein d'un système principal d’évaluation d’écriture automatisée, qu'il s'agisse d'un système avec assistants intégrés ou d'un système spécialisé, est présentée à l'aide du cadre SOAR:

En fin de compte, l'aperçu comparatif du tableau ci-dessus, ainsi que les considérations techniques fournies ci-dessous, peuvent aider les organismes d'évaluation à évaluer les compromis entre la vitesse et l'évolutivité (Copilot/GPT) et le contrôle, la confidentialité et la personnalisation (systèmes spécialisés) en fonction des besoins spécifiques de l'institution. Un aperçu explicatif est fourni ci-dessous pour explorer les considérations techniques impliquées dans le choix de la voie de création de systèmes d’évaluation d’écriture automatisée spécialisés.

Considérations techniques: création de systèmes d’évaluation d’écriture automatisée spécialisés

L’entraînement d’un modèle avec des données est une étape technique importante lors du développement de systèmes d’évaluation d’écriture automatisées spécialisés, en particulier lorsque l’on considère la sécurité des données. L’utilisation d’une plateforme open source pour ce processus d’entraînement peut garantir la sécurité totale des données, car elle évite le stockage par des tiers. Au lieu de cela, les données restent entièrement gérées dans l’environnement de l’organisation, que ce soit dans son cloud ou sur des serveurs internes. Les scientifiques de données peuvent également choisir de travailler avec des plateformes comme Kaggle, qui fournit une large gamme d’ensembles de données accessibles au public pour l’expérimentation, qui prennent en charge des projets tels que l’analyse des réponses des étudiants sans nécessiter l’utilisation de données internes sensibles. La section suivante explique plus en détail les processus et les méthodes impliqués dans l’entraînement des données pour l’expérimentation ou l’utilisation dans des cas réels.

Processus et méthodes de formation

La formation et l'ajustement d'un modèle linguistique (par exemple, GPT/BERT/Llama) peuvent être comparés à l'apprentissage du langage chez un bébé: commencer par les lettres, comprendre leur signification et les utiliser dans des conversations de base. En pratique, la formation d'un modèle implique généralement l'utilisation de ressources telles qu'un grand corpus - Google Books ou des pages Web pour créer un vocabulaire de base, ainsi que des données antérieures initiales utilisées pour former le modèle, suivies d'un peaufinage (ajustement) supplémentaire du modèle pour l'objectif spécifique.

Une autre tâche importante consiste à décider quelle méthode de formation utiliser: une approche généralisée, qui s'appuie sur des principes ou des règles tels que des grilles d'évaluation et dépend moins des données, ou une approche basée sur les données, qui s'appuie sur des données réelles pour les modèles d'apprentissage et est plus couramment utilisée dans le traitement du langage naturel en raison de son pouvoir prédictif plus élevé par rapport à l'approche guidée par des principes. Ces deux approches ne s'excluent pas mutuellement ; en fait, il est souvent préférable de combiner des grilles d'évaluation avec les réponses des élèves, car cela crée un modèle qui bénéficie à la fois des principes fondamentaux et des modèles de données du monde réel. La section suivante développe plus en détail l’équilibre entre divers facteurs permettant de définir la qualité d’un modèle formé.

Modèle d'équilibrage pour une notation efficace

Pour obtenir un modèle linguistique à grande échelle agentique (ou d'apprentissage en une seule fois) pour évaluer les réponses des étudiants, la qualité du modèle et la qualité des points de connexion (la façon dont les composants du modèle fonctionnent ensemble) sont considérées comme des critères importants pour l'évaluation de la qualité du modèle. De plus, le compromis entre un bon format et une notation précise survient souvent parce qu'un modèle optimisé pour le format peut privilégier l'exactitude structurelle et linguistique par rapport à la profondeur du contenu, tandis qu'un modèle axé sur une notation précise peut négliger les problèmes de formatage plus petits dans la poursuite d'une précision basée sur le contenu. Bien que la plupart des modèles linguistiques à grande échelle formés pour la notation automatisée visent uniquement à prédire les scores plutôt qu'à fournir un format de réponse, comme le font les modèles GPT, un modèle linguistique à grande échelle agentique bien conçu doit équilibrer les deux en incluant une forte prise en compte des points de connexion qui permettent à l'évaluation du format et du contenu de fonctionner harmonieusement. Conformément aux critères de qualité pour la mise en œuvre de l'une ou l'autre option, des décisions importantes doivent être prises concernant l'allocation des ressources et la prise en compte des gains stratégiques discutés plus loin.

Considérations sur les investissements et la stratégie

Les organismes d'évaluation sont de plus en plus confrontés au défi de décider s'ils doivent investir dans la création et la maintenance de systèmes d’évaluation d’écriture automatisées spécialisés, adaptés aux exigences spécifiques de l'évaluation de l'écriture, ou opter pour des systèmes avec assistants intégrés, qui offrent un contrôle limité et une évolutivité indépendante. L'intégration des seules rubriques dans le grand modèle linguistique peut s'avérer insuffisante pour sélectionner un exemple - une réponse idéale d'un élève de haute qualité qui illustre concrètement les normes de référence, une tâche qui peut être fastidieuse pour les enseignants lors de la notation du travail des élèves et nécessiter l'utilisation de la technologie.

En outre, il est très important pour les organismes d'évaluation de décider soigneusement de leur stratégie de dépendance aux scores des machines par rapport aux scores humains sur leur chemin de modernisation à mesure qu'ils avancent. Par exemple, le moteur de notation peut recommander aux évaluateurs humains le score suggéré avec un niveau de confiance, et les évaluateurs humains peuvent décider d'adopter ou non le score. Une autre décision clé à prendre en compte est de savoir si la solution fournie serait indépendante du cloud, aidant les institutions à basculer entre des fournisseurs de cloud spécifiques à la région pour la résidence des données, ce qui s'accompagne de flexibilité et de conformité aux réglementations locales sur les données.

En résumé, Microsoft Copilot ou tout autre système d’assistant intégrateur similaire basé sur GPT sont excellents pour les institutions à la recherche de solutions rapides et évolutives, bien qu’ils offrent une approche moins spécialisée. En revanche, les systèmes d’évaluation d’écriture automatisées spécialisés offrent un contrôle total, une flexibilité et un alignement avec les objectifs d’évaluation institutionnels, ainsi qu’une confidentialité et une transparence des données améliorées, bien qu’ils nécessitent plus de temps et de ressources pour être développés et maintenus dans une optique à long terme.

Créer une culture de notation électronique: les voies d'une évaluation d’écriture automatisée 

L'évolution de la notation électronique offre aux organismes d'évaluation de multiples voies pour intégrer des systèmes d'évaluation automatisée de l'écriture dans leurs processus. Par conséquent, les organismes d'évaluation doivent trouver un équilibre entre la rapidité, l'évolutivité et la facilité d'intégration, que proposent des solutions telles que Microsoft Copilot ou des systèmes similaires basés sur GPT, et le besoin de contrôle, de confidentialité, de spécialisation personnalisée et de sécurité des données, que fournissent les systèmes d’évaluation d’écriture automatisées spécialisés. Si les options de déploiement rapide peuvent être attrayantes pour leur commodité, investir dans des systèmes entièrement personnalisés et spécialisés permettrait de s'aligner sur les objectifs institutionnels et d'offrir une plus grande transparence. En fin de compte, la bonne voie dépend des besoins spécifiques de chaque organisation, de ses ressources et de sa vision à long terme pour moderniser ses pratiques d'évaluation. Au fur et à mesure qu'elles construisent une culture de notation électronique, les organismes d'évaluation doivent peser de manière stratégique les compromis entre une mise en œuvre rapide et la flexibilité nécessaire pour façonner leurs processus de notation afin de répondre aux demandes futures.

Webinaire à venir: Meilleures pratiques en matière d'évaluation d’écriture automatisée 

À travers cet article, j'ai cherché à encourager les discussions autour des pratiques et des solutions d'évaluation d'écriture automatisée. Pour poursuivre cette conversation, j'organiserai une discussion virtuelle sur ce sujet afin de partager les meilleures pratiques suivies à l'échelle internationale. Si vous souhaitez participer à cette discussion à venir et entendre nos pairs du secteur de l'évaluation, n'hésitez pas à m'envoyer un message sur LinkedIn. Je vous fournirai les détails du webinaire.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapports rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plate-forme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études: il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez les pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

Au sein du ministère de l’Éducation de l’Alberta, le Secteur provincial des évaluations élabore, administre et rend compte des évaluations à grande échelle des élèves dans des classes données de la maternelle à la 12e année. Actuellement, ces évaluations comprennent les examens de diplôme, les tests de rendement provinciaux (TRP), les évaluations de l’apprentissage des élèves (EAE) et les évaluations de dépistage de la littératie et du calcul des premières années (de la maternelle à la 3e année). Chaque année, ce secteur administre environ 700 000 examens dans le cadre des programmes d’évaluation provinciaux actuels. Bien que la plupart des examens aient été élaborés et administrés sous format papier, à compter de l’année scolaire 2023-2024, les autorités scolaires et les écoles ont la possibilité de passer l’examen de diplôme en sciences humaines (composante à réponses construites) et les TRP en ligne^[3]. De plus, en raison du grand nombre d’évaluations, la province a dû développer de vastes systèmes de bases de données pour suivre tous les aspects des évaluations, ce qui a donné lieu à une constellation de composants déconnectés qui étaient difficiles à gérer et à mettre à niveau au fil du temps. Par conséquent, le ministère était prêt à se lancer dans un effort de modernisation pour résoudre ses problèmes d’efficacité. À la suite d’un processus d’approvisionnement concurrentiel, le ministère de l’Éducation de l’Alberta a choisi Vretta comme partenaire technologique pour le projet de modernisation.

Étant donné que les TRP sont destinés à fournir des informations sur les résultats des élèves à des étapes particulières de leur scolarité et à aider les écoles, les autorités scolaires et la province à surveiller et à améliorer l’apprentissage des élèves, ce programme d’évaluation a été choisi pour être le sujet du présent article. (Un prochain article décrira comment les données des TRP sont utilisées pour améliorer l’apprentissage des élèves.) Le but de cet article est de fournir une description de haut niveau des TRP, ainsi que des principes et des approches adoptés par le ministère de l’Éducation de l’Alberta pour encourager la mise en œuvre complète du programme numérique à l’échelle de la province.

À propos des tests de rendement provinciaux

Sujets et années évalués

Les TRP sont administrés en mai et juin chaque année aux élèves de sixième et neuvième année. (Certains élèves de neuvième année passent leurs TRP en janvier.) Les sujets évalués sont : l’art de la langue anglaise (et la littérature), le français/l’Art de la langue française, les mathématiques, la science et les études sociales. "Des tests d’aptitude pédagogique de neuvième année basés sur les programmes d’études Connaissances et Employabilité en arts du langage anglais, en mathématiques, en sciences et en études sociales sont également administrés. Des versions françaises de tous les tests d’aptitude pédagogique de mathématiques, de sciences et d’études sociales sont disponibles pour les élèves de 6e et de 9e année des programmes francophones et d’immersion française."^[4] Étant donné que de nouveaux programmes d’études sont en cours d’introduction, en 2023-2024, les tests d’aptitude pédagogique de 6e année en arts de la langue anglaise et littérature et en mathématiques n’ont pas été administrés. Au lieu de cela, les écoles ont eu la possibilité de participer à des tests sur le terrain d’items qui correspondent au nouveau programme d’études (dans les autres matières, les tests d’aptitude pédagogique de 6e année reflétaient le programme d’études/les cursus existants) ou de mettre en œuvre les nouveaux programmes d’études, auquel cas l’administration des tests de rendement provinciaux n’était pas requis.

Description des tests

Les TRP sont référencés par critère et basés sur les résultats d'apprentissage attendus pour les élèves de 6e et de 9e année. Les tests comprennent des items/tâches à réponse construite, ainsi que des items/questions à réponse sélectionnée.^[5] Les tableaux suivants fournissent des informations sur les tests de 6e et de 9e année et leurs attributions de temps respectives.^[6]

Le ministère de l’Éducation de l’Alberta a fourni une description des TRP pour l’année scolaire 2021-2022. Depuis il y a de nombreux tests, voici les descriptions générales de trois d'entre eux, sélectionnés à titre d'exemple. (Les ressources du domaine, y compris les informations sur les plans de test, l'analyse statistique des réponses sélectionnées, les exemples de travaux d'étudiants, les guides de notation et les documents connexes sont accessibles ici.^[9])

Mathématiques de sixième année: Le test de mathématiques de sixième année était composé de deux parties. La partie A comprenait 15 questions, valant 10 % de la note finale. Sur les 15 questions, il y avait trois questions d'addition, quatre de soustraction, quatre de multiplication et quatre de division. Le format était une réponse numérique, dans laquelle les élèves devaient générer une réponse sans utiliser de calculatrice. La partie B comprenait 40 questions à choix multiples représentant 90 % de la note globale totale. Les questions du test demandaient aux élèves d'appliquer leur compréhension des concepts mathématiques dans et entre les quatre volets de nombres, de modèles et de relations, de formes et d'espace, et de statistiques et de probabilités.^[10]

Arts de la langue anglaise de sixième année : Le test d'arts de la langue anglaise de sixième année comprenait deux parties également pondérées. La partie A (Écriture) impliquait la rédaction d'un récit, ainsi qu'une composante d'écriture fonctionnelle. La tâche narrative impliquait une image en couleur à laquelle les élèves répondaient sous forme narrative. La tâche d'écriture fonctionnelle demandait aux élèves de générer un article de journal en utilisant des informations spécifiques. La partie B (Lecture) impliquait que les élèves lisent des sélections informatives, narratives ou poétiques et répondent à 50 questions à réponses sélectionnées.^[11]

Connaissance et Employabilité Arts de la langue anglaise de neuvième année : Ce test était en deux parties : la partie A (Écriture) dans laquelle les élèves devaient écrire un texte persuasif. Les élèves reçoivent une situation (contexte) et une collection de matériaux de référence comme utilisation optionnelle. La partie B (Lecture) comprenait 50 questions à réponses sélectionnées portant sur des sélections de lectures de fiction, de non-fiction, de théâtre, de poésie et de médias visuels.^[12]

Administration des tests

Les TRP ont été conçus pour être délivrés numériquement et, bien que certains tests sur le terrain associés aux TRP soient délivrés en ligne, de nombreux tests sont actuellement délivrés sous forme papier-crayon. Comme mentionné précédemment, l'Alberta est en train de moderniser sa plateforme numérique pour améliorer les évaluations provinciales des élèves. Les TRP numériques, délivrés sur la nouvelle plateforme numérique en juin 2024, comprenaient certains items améliorés par la technologie (environ la moitié, selon la matière). Au cours de la première année du projet de modernisation, les TRP ont été transférés vers la plateforme d'évaluation électronique en utilisant un modèle de livraison linéaire à forme fixe. Pour obtenir des informations sur le processus de navigation dans les tests, les outils et les types d'items associés à la plateforme en ligne, visitez le site des tests pratiques^[14].

Notation et communication

La plupart des questions d’examen sont notées par machine. Toutefois, les réponses construites dans des matières particulières sont notées de manière centralisée à Edmonton par des enseignants (qui répondent à des critères d’admissibilité spécifiques) nommés par leur autorité scolaire. Les enseignants de classe sont encouragés à noter les écrits des élèves localement (à l’aide de guides de notation et d’exemples fournis par le ministère de l’Éducation de l’Alberta) avant de renvoyer le matériel de test au ministère. Les notes attribuées localement, soumises au ministère de l’Éducation de l’Alberta, sont considérées comme la première lecture des réponses des élèves. Les réponses sont ensuite lues une deuxième fois ; les deux notes contribuent à la note finale des élèves. (En cas de divergence, une troisième lecture peut être requise.) Les réponses des élèves qui ne sont pas notées localement sont notées une fois de manière centralisée. Les réponses écrites, soumises via la nouvelle plateforme numérique, sont notées de manière centralisée à l’aide de l’interface de notation intégrée. Pour la version papier des TRP, les enseignants de 6e et de 9e année doivent noter localement tous les items notés par machine à l’aide des grilles de réponses fournies par le ministère et communiquer les résultats préliminaires aux parents/tuteurs des élèves. Pour ceux qui administrent les évaluations sur la nouvelle plateforme numérique, les items à réponses sélectionnées sont notés par machine et les enseignants ont accès aux résultats de leurs élèves via le tableau de bord numérique intégré de l'enseignant.

Les résultats des élèves sont rapportés en référence à deux normes : la "norme acceptable" et la "norme d’excellence". Les notes de passage servent à déterminer si l’élève a atteint ou non la norme donnée. Pour garantir que les normes sont équivalentes d’une année à l’autre, les notes de passage peuvent devoir être ajustées en conséquence à l’aide de procédures d’égalisation.

À l’automne, les profils individuels des élèves (PIE) sont mis à la disposition des écoles sur le système Provincial Approach to Student Information (PASI) et des élèves et des parents/tuteurs sur myPass (un site Web en libre-service du ministère de l’Éducation de l’Alberta). Fin août, les résultats détaillés sont fournis aux écoles et aux autorités scolaires pour qu’elles les examinent afin de détecter d’éventuelles erreurs et omissions, et des rapports récapitulatifs pluriannuels sont publiés sur le site Web du ministère de l’Éducation de l’Alberta à l’automne.^[15]

Approche de mise en œuvre : tests en ligne TRP

Dans le cadre de la transition vers une nouvelle plateforme numérique pour la prestation des évaluations provinciales des élèves, le ministère de l’Éducation de l’Alberta utilise une approche progressive et mesurée qui permet aux autorités scolaires, aux écoles, aux éducateurs et aux élèves de se familiariser avec la nouvelle plateforme et d'interagir avec elle. Cette approche a été adoptée en reconnaissance du fait que certaines écoles ne disposent pas de la technologie (appareils informatiques et/ou accès à Internet) et que les élèves, ainsi que les éducateurs, ont besoin de temps et d'opportunités pour se familiariser avec le système de tests en ligne. La mise en œuvre facultative était initialement prévue pour 2023-2024. « Pour l'année scolaire 2023-2024, le ministère de l’Éducation de l’Alberta est en contact direct avec les autorités scolaires pour leur offrir la possibilité de participer à diverses activités de mise en œuvre facultatives. Les enseignants, les parents et les élèves peuvent naviguer sur la plateforme d'évaluation et accéder à des examens pratiques et à des ressources. Les questions et commentaires peuvent être adressés à online.assessment@gov.ab.ca."^[16] La phase de mise en œuvre facultative a depuis été prolongée aux années scolaires 2024-2025 et 2025-2026, la mise en œuvre complète étant prévue pour 2026-2027. On s’attend à ce qu’au fil du temps, de plus en plus d’autorités scolaires et d’écoles choisissent d’administrer les tests provinciaux à l’aide de la nouvelle plateforme numérique. L’abandon progressif de la mise en œuvre complète et l’octroi de plus de temps aux acteurs du secteur pour se préparer ont été bien accueillis.

Conclusion

Le ministère de l’Éducation de l’Alberta est en train de passer à une nouvelle plateforme en ligne pour les évaluations provinciales des élèves, ce qui signifie que les élèves finiront par rédiger leurs tests de rendement provinciaux (et leurs examens de diplôme) dans un environnement numérique plutôt que sur papier. Le passage aux évaluations numériques se fait de manière progressive et mesurée afin d’assurer la transition la plus harmonieuse possible, et cette approche semble être bien accueillie sur le terrain. Le ministère de l’Éducation de l’Alberta publiera les résultats des TRP 2023-2024 au début de l’automne. Par la suite, l’auteur a l’intention de préparer un article de suivi sur l’utilisation des résultats des évaluations pour la planification de l’amélioration au niveau des autorités scolaires, des écoles et de la province.

À propos de l’auteur

Le Dr Richard Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique à grande échelle et de l’évaluation de programmes et travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de direction à l’Office de la qualité et de la responsabilité en éducation (OQRE) en Ontario, ainsi qu’aux ministères de l’Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces rôles, il était responsable des initiatives liées à l’évaluation des élèves, des programmes et des cursus, aux indicateurs de qualité de l’éducation, à la planification de l’amélioration des écoles et des conseils scolaires, à l’accréditation des écoles et aux tests provinciaux, nationaux et internationaux. Richard a commencé sa carrière en tant qu’éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une multinationale américaine fournissant des services de conseil au Moyen-Orient.

N’hésitez pas à contacter Richard "Rick" à richard.jones@rmjassessment.com (ou via LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d’évaluation à grande échelle et/ou d’évaluation de programmes.

Remerciements

L’auteur souhaite remercier les membres du secteur provincial des évaluations du ministère de l’Éducation de l’Alberta pour leur précieuse contribution à cet article. Pour toute demande de renseignements concernant le programme de tests de rendement provinciaux de l’Alberta pour les classes de 6e et de 9e année, veuillez contacter Provincial Assessment, ministère de l’Éducation de l’Alberta à l’adresse suivante : Téléphone : +1 (780) 427-1857 ; Courriel : exam.admin@gov.ab.ca

Références

[1] Karas, D. (22 février 2010). Présentation donnée au panel de tests en ligne de l’Office de la qualité et de la responsabilité en éducation (OQRE) à Toronto, en Ontario.

[2] Personnel de la St. Albert Gazette. (8 juillet 2017). Notes scolaires. St. Albert Gazette. Récupéré le 3 août 2024 à l’adresse suivante : https://www.stalbertgazette.com/local-news/school-notes-88-1295883.

[3] Gouvernement de l’Alberta. (2022). Demande de propositions négociée (NRFP), numéro SA-OCCIO-SVS-09-2022, Service d’examens numériques.

[4] Alberta Education. (2023). Bulletin d’information générale 2023-2024 Tests de rendement provinciaux de l’Alberta de 6e et 9e année, p. 2. Récupéré le 1er août 2024 à partir de : https://alberta.ca/system/files/custom-downloaded-images/edc-pat-general-information-bulletin.pdf.

[5] Aux fins du présent article, le terme « question à réponse choisie » est utilisé pour classer celles qui exigent que les candidats choisissent la ou les réponses les plus appropriées/les meilleures dans une liste fournie (formats d’items à sélection unique et multiple, ainsi que des items tels que le glisser-déposer, le menu déroulant, le point d’accès et les formats de commande).

[6] Ces tableaux ont été modifiés à partir d’Alberta Education. (2023). Bulletin d’information générale 2023-2024 6e et 9e année Alberta Provincial Achievement Testing, p. 4. Récupéré le 1er août 2024 sur : https://alberta.ca/system/files/custom-downloaded-images/edc-pat-general-information-bulletin.pdf.

[7] Les élèves peuvent utiliser jusqu’à deux fois le temps officiellement alloué.

[8] Les élèves peuvent utiliser jusqu’à deux fois le temps officiellement alloué.

[9] Ressources par domaine : Anglais : https://www.alberta.ca/provincial-achievement-tests#jumplinks-5

[10] Alberta Education. (2022). Faits saillants de l'évaluation de 6e année : Mathématiques (2021-2022). Récupéré le 11 août 2024 à l'adresse suivante : https://www.alberta.ca/system/files/custom_downloaded_images/educ-mathematics-6-assessment-highlights-2022.pdf

[11] Alberta Education. (2022). Faits saillants de l'évaluation de 6e année : Arts du langage anglais, 2021-2022. Récupéré le 11 août 2024 à l'adresse suivante : https://www.alberta.ca/system/files/custom_downloaded_images/educ-ela-6-assessment-highlights-2022.pdf

[12] Alberta Education. (2023). Faits saillants de l'évaluation de 9e année : Connaissances et employabilité, arts du langage anglais, 2021-2022. Récupéré le 11 août 2024 à l'adresse suivante : https://www.alberta.ca/system/files/custom_downloaded_images/educ-ke-ela-9-assessment-highlights-2022.pdf

[13] Conseil scolaire de Calgary. (2024). Évaluations et rapports provinciaux. Récupéré le 6 août 2024 à l'adresse suivante : https://cbe.ab.ca/about-us/provincial-tests-and-reports/Pages/default.aspx.

[14] Tests pratiques : https://abed.vretta.com/#/en/public-practice

[15] Les informations contenues dans cette section de l'article ont été consultées à l'adresse suivante : Alberta Education. (2023). Bulletin d'information générale 2023-2024 6e et 9e année Tests de rendement provinciaux de l'Alberta, pp. 41-45. Récupéré le 1er août 2024 à l'adresse suivante : https://alberta.ca/system/files/custom-downloaded-images/edc-pat-general-information-bulletin.pdf.

[16] Alberta Education. (2024). Tests de rendement provinciaux. Récupéré le 1er août 2024 à l'adresse suivante : https://alberta.ca/provincial-achievement-tests.

Récemment, Oxford, Cambridge et RSA Examinations (OCR) ont publié un rapport intitulé "Striking the Balance^[1]" (Trouver l’équilibre en Français) discutant de la nécessité d’une réforme des programmes et des examens, en mettant l’accent sur l’équilibre entre la charge d’apprentissage et l’intensité des examens et en préconisant des changements dans les formes d’évaluation. L’équilibre entre l’apprentissage et l’évaluation peut nécessiter une formation ciblée pour que les enseignants puissent adapter leurs méthodes d’enseignement et d’évaluation, et pour que les administrateurs d’évaluations puissent reconsidérer la meilleure façon de mesurer les compétences de réflexion de niveau supérieur par le biais des évaluations. De plus, l’utilisation accrue de la technologie dans les domaines de l’apprentissage et de l’évaluation, alimentée par les applications technologiques, accroît la nécessité pour les professionnels multidimensionnels et pour les organismes d’évaluation de se concentrer sur des programmes de formation qui aident à améliorer les compétences de leur personnel impliqué dans tous les aspects de la formation dans le contexte de l’évaluation.

Dans cet article, nous nous concentrons d’abord sur l’explication de ce qu’il faut pour créer une culture de formation, puis nous décrivons les processus qui illustrent le rôle de la formation à chaque étape du cycle d’évaluation (rédaction, enregistrement, administration, notation, analyse et rapport), dans le but de réaffirmer l’importance de la formation dans le domaine de l’évaluation.

Créer une culture de formation: une approche basée sur un modèle de compétences

Quelles compétences nécessitent une formation dans une organisation, qu'elles soient éducatives ou non ? La question est de savoir identifier les besoins d'apprentissage auxquels la formation peut répondre. Sur le plan institutionnel, un modèle de compétences est utilisé pour saisir divers facteurs qui déterminent les besoins de formation et façonnent la culture organisationnelle de l'apprentissage et de la progression pour une performance efficace. En bref, le modèle de compétences englobe un ensemble de connaissances, de compétences et d'aptitudes définies pour diverses compétences de base et spécifiques à un emploi requis aux niveaux de base, modéré ou avancé pour les rôles généraux et techniques au sein d'une organisation.

Dans le contexte de l'évaluation pédagogique, un tel modèle pourrait faciliter la mise en œuvre de programmes de formation intégrés dans la base des processus de recrutement, intégrés ultérieurement dans la gestion des performances et le développement professionnel, et finalement inclus dans les plans de planification de la relève au sein des politiques RH d'une organisation d'évaluation. Alternativement, les organisations d'évaluation axées sur la technologie, telles que les fournisseurs de technologie, peuvent adopter une approche agile de la gestion du personnel, en identifiant et en fournissant une formation sur place. Dans ce modèle, le cadre de compétences est intégré dans l'état d'esprit des responsables de supervision, qui effectuent des analyses ad hoc des écarts de compétences à mesure que les besoins évoluent. Le processus de formation est plus organique, les employés acquérant une expérience pratique lors de leur intégration et recevant des conseils continus de la part des cadres supérieurs ou des chefs de produit. Cela permet aux équipes de rester adaptables et dotées des compétences et des connaissances nécessaires pour répondre aux demandes changeantes.

Exigences comparatives (Extrait d'un modèle de compétences)

Le ton de la politique de recrutement peut déjà indiquer le type de modèle de compétences intégré dans les pratiques de formation de l’organisme d’évaluation.

Pour concevoir un modèle de compétences efficace, qu’il soit clairement documenté en termes d’entreprise ou implicitement compris dans la dynamique de l’équipe dans les équipes agiles, un organisme d’évaluation peut mener des entretiens et des groupes de discussion, ou favoriser une culture de partage lors de courtes réunions quotidiennes. Ces méthodes permettent d’identifier les scénarios difficiles dans lesquels les titulaires d’un poste ont rencontré des difficultés, en utilisant ces informations pour définir les comportements et les compétences nécessaires à la performance professionnelle et pour fournir des interventions ciblées si nécessaire. La mise en œuvre d’un modèle de compétences peut également aider à réduire les coûts associés aux programmes de formation générale en introduisant des évaluations des lacunes de compétences et en comparant les évaluations de performance actuelles aux indicateurs de performance ciblés du modèle^[2].

Récemment, le rapport du groupe de travail présidentiel du National Council on Measurement in Education^[3] a identifié un cadre de compétences fondamentales dans la mesure de l’éducation qui combine trois domaines de compétences (communication et collaboration, statistique technique et informatique, et mesure de l’éducation) avec cinq sous-domaines qui englobent ensuite les compétences, illustrées visuellement ci-dessous :

Un cadre pour les compétences fondamentales dans la mesure de l’éducation

À terme, la connaissance de ces tendances peut soutenir le développement de programmes de formation pour le personnel des organismes d’évaluation et également être fondamentale pour la conception des évaluations et la formation requise pour développer ces évaluations.

Cycle d'évaluation complet : besoins de formation spécifiques à chaque étape

Besoin de formation de l'équipe de rédaction d’items. Les auteurs d’items conçoivent et révisent quotidiennement de nouvelles questions, ce qui nécessite des instructions claires et des documents d'orientation pour s'assurer que les items couvrent le programme et adhèrent au format spécifié décrit dans le plan directeur. Si les auteurs d’items ne sont pas formés sur la manière d'intégrer l'évaluation des objectifs d'apprentissage dans le processus de conception, les items qu'ils créent risquent de ne pas mesurer ce qui est prévu, ce qui ne permet pas d'enrichir la banque d’items avec des items de réflexion sur le contenu. Dans le cadre d'une meilleure alphabétisation en matière d'évaluation, un auteur d’item doit également être formé aux techniques de rédaction d’items qui expliquent chaque composant structurel du processus de rédaction d’items. Dans les organisations où les rôles d'auteur d’item et de contenu sont distincts, les auteurs de contenu rédigeant les questions et les spécialistes d’items se concentrant sur la qualité des items quel que soit le contenu, une formation distincte peut être nécessaire pour les experts liés aux items.

Dans un contexte pratique, si l’item est conçu sur une plateforme technologique, la formation doit également couvrir l'utilisation efficace de la plateforme pendant le processus de rédaction de l’item, et divers rôles, notamment l'auteur d’item, divers types de réviseurs d’items et le superviseur ou l'administrateur supervisant l'assurance qualité, ont besoin d'une formation sur la manière d'améliorer la qualité du processus à chaque itération. De plus, les auteurs d’items/contenus devront être formés aux aspects d’accessibilité et d’inclusivité des évaluations pour s’assurer que les items tels que les stems, les distracteurs et les scénarios multimédias ne discriminent aucun candidat. Cette approche qui émerge dans la génération d’items dès le début du processus de création d’évaluation est importante pour s’assurer que le produit de contenu final avant la livraison est impartial envers tout groupe d’étudiants, quelles que soient les bonnes intentions des fournisseurs d’évaluation. Ensuite, à mesure que les plateformes basées sur l’IA génèrent de plus en plus d’items, les programmes de formation des auteurs d’items et de contenu incluront des terminologies liées à l’optimisation rapide et à la validation des résultats, qui impliquent l’examen du contenu généré pour la cohérence, la qualité et l’alignement avec les besoins d’évaluation afin de soutenir l’efficacité et la précision des équipes de création d’items tout en collaborant avec les assistants d’IA.

Enfin, la formation de l’équipe de développement des tests doit inclure une réflexion systémique qui prend en compte non seulement la création d’items mais aussi leur présentation sur la plateforme. Dans les solutions de bout en bout fournies par la technologie, cette approche systémique est soutenue par des ajustements des fonctionnalités de la plateforme unifiée.

Besoins de formation des équipes de test. La distribution des tests est la deuxième fonction principale des évaluations numériques, les organisations investissant massivement pour accroître l'accessibilité et l'inclusivité de l'environnement de test, ce qui nécessite un certain nombre de considérations dans les programmes de formation des équipes de distribution des tests. Tout d'abord, pour assurer une transition en douceur de la création des items à la distribution des évaluations, il est important que le format dans lequel les évaluations sont présentées favorise un style de présentation sur les plateformes technologiques qui n'introduit pas de préjugés. Deuxièmement, un autre problème urgent dans la phase de distribution des tests du cycle d'évaluation est la sécurité du processus, en particulier avec la possibilité accrue de passer les tests à domicile. La récente escroquerie impliquant les tests à domicile de Pearson VUE en Floride^[4] a rendu cet aspect du secteur plus prudent, ce qui souligne une fois de plus l'importance d'une formation approfondie pour l'équipe de distribution des tests, en particulier lorsque les tests prennent en charge la surveillance à distance.

Un élément particulièrement pertinent pour les équipes de distribution des tests est que chaque examen comprend des phases avant, pendant et après l'examen. Les instructions pour chaque phase sont répétées le jour de l'examen afin de garantir que chaque membre de l'équipe soit aligné, quelles que soient les instructions fournies précédemment. De plus, la réalisation des tests implique généralement la première interaction de l'équipe avec les clients, généralement les étudiants, soulignant la nécessité d'une approche axée sur le service client qui place l'étudiant au centre pour offrir une expérience de test fluide et conviviale, donnant le ton à la satisfaction des candidats. Enfin, la phase de réalisation des tests reçoit souvent le plus de commentaires des utilisateurs, ce qui conduit à des mises à jour et des améliorations des programmes de formation pour toutes les phases du cycle d'évaluation en fonction de ces commentaires.

Besoins de formation des correcteurs de réponse des étudiants. Le recrutement et la formation des correcteurs constituent une part importante du travail au sein du cycle d'évaluation, intégrant des éléments numériques importants car le travail des étudiants et la notation sont effectués numériquement, c'est pourquoi les exigences numériques de cette phase sont importantes, notamment en ce qui concerne la fourniture de formations. Par conséquent, la formation en face à face par rapport à la formation en ligne nécessite une formation supplémentaire sur la manière de mener des sessions à distance. Par conséquent, une condition préalable devrait être d'apprendre à organiser une formation en ligne efficace qui conserve les éléments essentiels des sessions en personne.

De plus, la formation pour cette phase doit commencer plus tôt que pour les autres membres de l'équipe, car les correcteurs sont confrontés à des délais plus stricts liés à la communication des résultats des étudiants, ce qui crée une pression plus forte pour évaluer avec précision les réponses construites des étudiants. Par conséquent, les programmes de formation pour ce groupe de professionnels doivent être prioritaires pendant la phase de préparation globale. La formation pour cette phase peut être classée en trois ensembles pour les nouveaux correcteurs : théorie générale et notation basée sur des échantillons pour la certification, formation en temps réel pendant les examens réels pour l'étalonnage et formation post-notation pour la certification, tandis que les correcteurs de retour peuvent commencer le processus à la deuxième série.

Un programme de formation pour cette phase doit intégrer des modules sur la navigation sur la plateforme numérique, la résolution de problèmes en temps réel et des méthodes pour améliorer l'engagement et la précision des correcteurs, en s'assurant que tous les participants sont parfaitement équipés pour gérer les complexités du processus de notation. La formation numérique pourrait être prise en charge par un tableau de bord comme celui présenté ci-dessous :

Formation des analystes de données et des développeurs de rapports : Le point de contact final du cycle d'évaluation est constitué par les données résultant de l'évaluation des capacités des étudiants au moyen de divers types de questions. Le traitement des données comporte deux aspects essentiels : la formation et l'analyse, et la communication au moyen de techniques de rapport. Tout d'abord, les analystes de données doivent être formés non seulement aux méthodes d'analyse et de réflexion sur la conception de la recherche, mais également familiarisés avec les types de questions et l'environnement de passation des tests qui constituent la base des activités de collecte de données dans le cycle d'évaluation. L'autre extrémité des données concerne la manière dont les données d'évaluation, traitées par les analystes psychométriciens, sont communiquées. Au cours de cette phase de rapport, l'équipe doit se mettre à la place des parties prenantes et fournir des rapports dans un langage et des formats accessibles, facilitant une compréhension commune de la manière dont les évaluations peuvent soutenir les progrès globaux des étudiants.

Pour cette étape, une formation est nécessaire sur l'interprétation des données d'évaluation, la communication efficace des résultats aux différentes parties prenantes et l'application des résultats pour éclairer les pratiques éducatives et la prise de décision.

Conclusion

En résumé, les programmes de formation dans le cycle d'évaluation jouent un rôle important dans la construction d'une culture d'éveil et d'un état d'esprit de croissance à chaque phase du processus d'évaluation, même si parfois ces programmes sont tenus pour acquis et simplement documentés. En intégrant un élément de formation dans chaque processus d'évaluation, les organisations peuvent combler les lacunes découlant de divers défis sectoriels ou institutionnels. Différentes organisations peuvent adopter une approche plus corporative ou plus agile de la formation. Quelle que soit l'approche, le fait de disposer d'une liste claire des compétences attendues pour la performance permet de définir des attentes définitives pour une prestation d'évaluation efficace.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapport rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plate-forme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez les pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

References

[1] Trouver l'équilibre : https://www.cambridge.org/news-and-insights/news/Striking-The-Balance

[2] Un livre blanc, 2022, Society for Industrial and Organizational Psychology : https://www.infocop.es/wp-content/uploads/2024/05/CompetencyModeling.pdf

[3] Rapport du groupe de travail présidentiel du National Council on Measurement in Education : https://higherlogicdownload.s3.amazonaws.com/NCME/4b7590fc-3903-444d-b89d-c45b7fa3da3f/UploadedImages/NCME_Task_Force_on_Foundational_Competencies_-_Final_Report_v08.pdf

[4] Tests à domicile de Pearson VUE en Floride : https://www.local10.com/news/local/2024/06/27/south-florida-trio-accused-of-insurance-license-cheating-scheme-820-exams-were-subverted/

Lorsqu’un organisme d’évaluation (ministère de l’Éducation, agence d’évaluation, département d’éducation d’État, etc.) décide de moderniser son programme d’évaluation des élèves à grande échelle, l’une des premières questions à se poser est de savoir s’il faut développer et maintenir la solution d’évaluation numérique (c’est-à-dire la plateforme) en interne ou utiliser la solution et les services d’un fournisseur de services externe.

Au cours des cinq dernières années, cinq provinces canadiennes (la Colombie-Britannique, l’Alberta, l’Ontario, le Nouveau-Brunswick et Terre-Neuve-et-Labrador), deux territoires (le Yukon et les Territoires du Nord-Ouest) et le Conseil des ministres de l’Éducation du Canada [CMEC] ont choisi d’externaliser, en faisant appel à un partenaire technologique externe pour moderniser leurs programmes d’évaluation des élèves à grande échelle.

La décision d’internalisation ou d’externalisation peut être difficile à prendre, car de nombreux facteurs doivent être pris en compte. Cet article fournit un résumé des avantages et des inconvénients (pour et contre) de chaque approche et fournit le raisonnement qui sous-tend les décisions prises par les organismes d’évaluation au Canada.

Internalisation et externalisation^[1]

L'internalisation (ou le développement en interne) signifie que l'organisme d'évaluation s'appuie sur son propre personnel, son temps et ses ressources pour concevoir, développer et mettre en œuvre sa propre solution d'évaluation numérique. L'externalisation est un processus par lequel l'organisme d'évaluation engage un prestataire de services externe (un fournisseur) pour effectuer le travail au lieu d'utiliser ses propres employés et d'autres ressources. La décision de recourir à l'internalisation ou à l'externalisation dépend d'un certain nombre de variables, notamment les exigences du projet, les compétences nécessaires pour créer et livrer le produit, les contraintes de temps potentielles, ainsi que le budget. Voici quelques-uns des avantages et des inconvénients de chaque approche.

Avantages de l’internalisation

• Contrôle du projet : lorsqu’un projet est développé en interne, l’organisation a un contrôle total sur tous les aspects du processus de développement. L’accès direct à l’équipe de développement facilite le suivi des progrès, la résolution des problèmes au fur et à mesure qu’ils surviennent, les ajustements de processus nécessaires et la garantie du respect des normes de qualité. L’internalisation peut garantir que le temps et l’argent sont alloués de manière appropriée.

• Collaboration et communication : une communication régulière entre la direction d’une organisation et l’équipe de développement, ainsi qu’une communication et une collaboration continues et efficaces entre les membres de l’équipe peuvent contribuer au bon fonctionnement d’un projet. En règle générale, les développeurs internes sont à proximité les uns des autres (physiquement et/ou virtuellement), ce qui peut contribuer à des lignes de communication claires et ouvertes. De plus, en tant qu’employés d’une organisation, les membres de l’équipe de développement sont susceptibles d’avoir une bonne compréhension du projet et d’avoir un intérêt direct dans sa réussite.

• Développement de l’expertise : des connaissances et/ou des formations spécialisées peuvent être nécessaires lors de la conception et du développement d’un programme. Prendre en charge un projet en interne peut offrir des opportunités d’apprentissage aux personnes impliquées. Si le temps et le coût ne sont pas un problème, il peut être dans l’intérêt de l’organisation de renforcer les connaissances et l’expertise de l’équipe, qui peuvent s’avérer très utiles à l’avenir.

• Économies de coûts potentielles : le coût est souvent la première préoccupation lorsqu’on envisage des approches optionnelles pour le développement de projets. Si l’organisation dispose déjà de personnel possédant l’expertise requise, opter pour une équipe interne peut être moins coûteux que de faire appel à un ou plusieurs fournisseurs externes pour effectuer le travail.

Inconvénients de l’internalisation

• Variété de talents insuffisant : bien qu’une équipe de développement interne puisse avoir une compréhension plus approfondie des activités, des objectifs et des exigences de l’organisation, il se peut qu’il y ait une pénurie, parmi le personnel existant, des compétences nécessaires pour mener à bien le projet. Dans le cas du développement de plateformes d’évaluation numérique, des experts sont nécessaires dans des domaines tels que : la connaissance des meilleures pratiques actuelles en matière d’évaluation à grande échelle et numérique, les technologies de l’information, la sécurité des tests et des données et la psychométrie. En raison de la nature spécialisée de nombreux rôles, il peut ne pas être rentable ou pratique de fournir au personnel interne la formation spécialisée nécessaire.

• Défis de mise à l’échelle : la mise à l’échelle d’une équipe interne peut être difficile pour les organisations qui doivent embaucher du personnel pour un projet ou s’adapter aux changements des exigences du projet. Les processus de recrutement peuvent être longs et peuvent mettre à rude épreuve les équipes et les ressources existantes. Les difficultés à augmenter ou à réduire les équipes de développement peuvent entraîner des inefficacités et des retards dans le processus de développement.

• Coût accru : le personnel interne peut être affecté de manière appropriée à certains projets ; Cependant, étant donné la complexité et la nature spécialisée des évaluations numériques à grande échelle des étudiants, il est probable que des spécialistes devront être embauchés pour remplir des rôles spécifiques dans le projet. De plus, des équipements et des systèmes spécialisés peuvent être nécessaires pour accomplir la tâche. Compte tenu de ces facteurs, les coûts peuvent être plus élevés que prévu et le projet peut ne pas être économiquement viable.

• Inefficacité : lors de la réalisation de travaux de projet en interne (en particulier des travaux complexes spécialisés tels que la création d'une plateforme d'évaluation numérique), il est plus probable que les membres de l'équipe rencontrent des problèmes, qui nécessiteront des recherches, une formation et des conseils externes. De tels problèmes peuvent entraîner des inefficacités dans le processus de développement. De plus, idéalement, l'équipe de développement interne sera dédiée uniquement au projet. Cependant (comme c'est souvent le cas), si les membres de l'équipe continuent d'avoir d'autres responsabilités ou peuvent être appelés à aider dans d'autres domaines, des ralentissements peuvent se produire et un délai d'achèvement plus long peut en résulter.

Avantages de l'externalisation

• Variété de talents supérieur : l'externalisation élimine la nécessité pour les organisations de s'appuyer sur des ressources humaines internes qui peuvent manquer de connaissances et de compétences spécialisées dans des domaines critiques du développement de projets. En revanche, lors de l'externalisation, les organisations ont la possibilité d'émettre des demandes de propositions afin de sélectionner des fournisseurs qui ont dans leurs effectifs des professionnels expérimentés possédant les compétences et l'expertise requises.

• Évolutivité et flexibilité améliorées : l'approche d'externalisation fonctionne comme un service à la demande. Dans ce modèle, les clients peuvent ajuster les exigences du contrat (par exemple, le personnel, les ressources, les produits, le calendrier) en fonction des besoins changeants du projet. Par conséquent, de nombreuses organisations préfèrent externaliser le travail du projet en raison de l'évolutivité et de la flexibilité offertes par cette approche.

• Rentabilité : le budget est toujours un problème majeur lors du lancement d'un nouveau projet. Fréquemment, les projets rencontrent des problèmes imprévus, qui peuvent avoir un impact négatif sur le budget prévu, en particulier si le travail est effectué en interne. Les coûts associés à la dotation en personnel, à la formation et aux autres ressources impliquées dans la réalisation du travail peuvent être affectés. Pour les projets spécialisés, l'externalisation offre souvent une meilleure rentabilité. Le fait de s'appuyer sur un partenaire technologique externe sous contrat signifie qu'il y aura une plus grande prévisibilité du coût du projet. Le recours à une entreprise externe pour créer une plateforme numérique d’évaluation des étudiants à grande échelle peut potentiellement permettre d’obtenir le résultat souhaité à un coût inférieur à celui d’une réalisation interne.

• Efficacité accrue : l’externalisation peut rendre l’ensemble du processus de développement du projet plus fluide et plus efficace. En faisant appel à un fournisseur externe expérimenté qui dispose des experts requis dotés de compétences spécialisées, ainsi que de l’expertise et de l’expérience dans le domaine, il y a moins de risques que des problèmes graves et inattendus surviennent. Et même s’ils surviennent, ils peuvent être résolus plus rapidement. De plus, comme le fournisseur est externe à l’organisation, l’équipe de développement peut se concentrer exclusivement sur le projet en cours, réduisant ainsi la probabilité que le produit final ne réponde pas aux attentes du client et augmentant la probabilité que le projet soit terminé dans les délais.

Inconvénients de l’externalisation

• Moins de contrôle et de communication : l’embauche d’un prestataire de services externe signifie que l’organisation doit travailler avec un nouvel ensemble de professionnels qualifiés qui sont désignés pour assumer d’importantes responsabilités. Bien que cette approche permette à l’équipe de direction et aux employés internes de se concentrer sur l’activité principale de l’organisation, elle crée des défis liés à la garantie de procédures de supervision et de contrôle de la qualité appropriées pour le projet. En outre, une communication efficace entre l’organisation et le prestataire de services peut être plus difficile à maintenir lors de l’externalisation que lors de l’internalisation du projet. Ces défis peuvent toutefois être résolus en instaurant des procédures efficaces de communication et de suivi/surveillance du projet.

Prise de décision

La décision de choisir l’internalisation ou l’externalisation pour moderniser les programmes d’évaluation à grande échelle implique plusieurs facteurs, notamment :

• Les exigences du programme d’évaluation,

• Le niveau de complexité du projet,

• Le personnel interne et l’expertise associée,

• Le budget du projet,

• Le calendrier prévu

• La stratégie et les objectifs à long terme de l’organisation.

L’expérience canadienne

Justification de l’externalisation

Comme nous l’avons déjà mentionné, au cours des cinq dernières années, cinq provinces canadiennes, deux territoires et le CMEC ont décidé de moderniser leurs programmes d’évaluation à grande échelle, soit en améliorant leurs évaluations numériques existantes, soit en passant leurs évaluations d’un format papier-crayon à un format numérique. Dans chaque cas, l’administration ou l’organisation a adopté une approche d’externalisation en concluant un contrat avec son partenaire technologique privilégié, Vretta.

Pour comprendre la justification de l’externalisation, l’auteur a mené une enquête en ligne auprès de représentants des autorités susmentionnées. (Quatre des huit répondants potentiels ont rempli l'enquête.) En référence à une échelle à trois points (sans importance, assez importante, très importante) :

Tous les répondants ont identifié le facteur suivant comme étant très important dans la prise de décision d'externalisation :

• Expertise du fournisseur (la variété de talents et l'expertise surpassent ceux du personnel interne)

Tous les répondants ont identifié le facteur suivant comme étant soit très important, soit assez important dans la prise de décision d'externalisation :

• Manque de ressources internes (par exemple, personnel, connaissances, technologie)

Trois répondants sur quatre ont considéré les facteurs suivants comme étant soit très importants, soit assez importants dans la prise de décision d'externalisation :

• Délais (les délais du projet étaient serrés ; on s'attendait à ce que le fournisseur livre le produit dans les délais)

• Rentabilité (l'externalisation devrait coûter moins cher que le développement de la plateforme en interne)

• Efficacité améliorée (le fournisseur peut se concentrer exclusivement sur le projet ; on s'attend à ce que l'expertise du fournisseur se traduise par un déroulement fluide et rapide du projet)

• Expérience d'autres juridictions (expériences positives d'externalisation observées/signalées dans d'autres juridictions)

Types d’externalisation et pratique canadienne

En général, l’externalisation vient en deux types : "prête à l’emploi" et "personnalisée". Généralement développées par des entreprises de technologie d’évaluation pour répondre à des besoins courants, les solutions d’évaluation numériques prêtes à l’emploi sont préfabriqués et peuvent être utilisées telles quelles par l’organisme d’évaluation (l’acheteur). En revanche, les solutions d’évaluation numériques personnalisées sont conçues pour répondre aux besoins spécifiques et uniques de l’organisme d’évaluation. Il s’agit de personnalisations apportées, selon les exigences uniques de l’organisme d’évaluation, à une solution d’évaluation numérique existante et largement utilisée.

Dans le contexte canadien, chaque organisme d’évaluation a des exigences uniques, ce qui fait que la solution d’évaluation numérique nécessite une certaine forme de personnalisation. La solution d’évaluation numérique de Vretta a donc été configurée et personnalisée en fonction des exigences uniques de chaque organisme d’évaluation.

Les personnalisations sont généralement assez étendues, impliquant des parcours utilisateur uniques (l’expérience de l’utilisateur lorsqu’il navigue à travers les différentes étapes d’interaction avec la solution d’évaluation numérique). Des environnements et des processus utilisateur personnalisables sont associés à toutes les étapes et à tous les aspects du cycle d’évaluation numérique, notamment :

• La création d’items et la livraison d’évaluations ;

• Le processus d'inscription et d'administration,

• La correction et la notation ;

• L’analyse des données ; et

• Les rapports.

Après la personnalisation de la solution d'évaluation numérique, les organismes d'évaluation canadiens exploitent la solution d'évaluation numérique selon leurs besoins en partenariat avec leur partenaire technologique qui fournit des conseils de développement et d'exploitation pour soutenir selon les besoins.

Conclusion

Lorsqu’une administration décide de moderniser son programme d’évaluation à grande échelle des élèves, une question importante se pose : doit-on mener le travail de développement à l’interne ou le confier à un sous-traitant ? Cet article fournit une description sommaire des avantages et des inconvénients de chaque approche et explique pourquoi le CMEC, ainsi que les provinces et territoires canadiens qui ont récemment modernisé leurs programmes d’évaluation à grande échelle des élèves, ont choisi d’externaliser le travail de développement. Étant donné que chaque organisme d’évaluation a des exigences uniques, un nombre important de personnalisations ont été nécessaires. De plus, une fois les personnalisations mises en œuvre, elles effectuent les fonctions d’évaluation avec le soutien du fournisseur, au besoin. Dans un avenir pas trop lointain, d’autres administrations canadiennes iront de l’avant avec la modernisation de leurs programmes d’évaluation, et il sera intéressant d’observer les approches qu’elles adopteront pour élaborer et mettre en œuvre leurs projets.

À propos de l’auteur

Le Dr Richard Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique à grande échelle et de l’évaluation de programmes et travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de direction au sein de l'Office de la qualité et de la responsabilité en éducation (OQRE) de l'Ontario, ainsi qu'aux ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces fonctions, il était responsable des initiatives liées à l'évaluation des élèves, des programmes et des cursus, aux indicateurs de qualité de l'éducation, à la planification de l'amélioration des écoles et des conseils scolaires, à l'accréditation des écoles et aux tests provinciaux, nationaux et internationaux.

Richard a commencé sa carrière en tant qu'éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une multinationale américaine fournissant des services de conseil au Moyen-Orient.

N'hésitez pas à contacter Richard "Rick" à richard.jones@rmjassessment.com (ou via LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d'évaluation à grande échelle et/ou d'évaluation de programme.

Références

[1] Les sources d'information de cette section sont les suivantes : Duran, N. (2024). Développement de logiciels en interne ou en externe : avantages et inconvénients. Récupéré le 24 août 2024 sur : https://www.isucorp.ca/blog/in-house-vs-external-software-development-pros-and-cons et l'équipe éditoriale d'Indeed. (24 juin 2024). Avantages du développement interne par rapport à l'externalisation (avec définitions). Récupéré le 24 août 2024 sur : https://ca.indeed.com/career-advice/career-development/in-house-vs-outsourcing.

Quelle que soit l'ampleur des évaluations (évaluations internationales d'étudiants, évaluations nationales à grande échelle ou rapports individuels d'étudiants), chaque rapport généré contient des données qui peuvent aider à mieux comprendre ce qui se passe dans le domaine de l'apprentissage et quels systèmes doivent être mis en place pour soutenir l'apprentissage des étudiants à plusieurs niveaux. En particulier aujourd'hui, avec l'utilisation accrue de l'apprentissage virtuel et des évaluations informatisées, le besoin de retours d'information continus et rapides, ainsi que l'accès aux données en temps réel générées par les performances des étudiants, sont devenus un atout de plus en plus précieux.

Dans cet article, nous explorerons les stratégies et les technologies autour de la génération de rapports personnalisés et les méthodes utilisées pour communiquer ces rapports aux parties prenantes spécifiques au domaine.

Aperçu de la génération de rapports : stratégies et technologies

En termes simples, la génération de rapports implique la transformation de données brutes en informations significatives. Dans la feuille de route de la modernisation de l’évaluation, la génération de rapports évolue avec l’utilisation d’outils de gestion des données tels que l’analyse de données, l’intelligence artificielle et l’apprentissage automatique, offrant une précision accrue et une approche plus détaillée. Un aperçu d’un pipeline dédié à la modernisation de la gestion des données d’évaluation, tiré de notre article vedette d’octobre 2023, est illustré ci-dessous:

Clairement, la technologie rassemble une collection vaste et détaillée de données à chaque étape, incluant l’heure de connexion, le temps mis sur une tâche, le nombre de clics de souris, le temps d’inactivité, la quantité de touche appuyé, le nombre d’essai, des itinéraires d’apprentissage adaptatifs, des statistiques de score/notation et même des téléchargements de rapports d’étudiants, offrant des informations personnalisées précieuses sur les parcours de progression de chaque étudiant.

Un autre aspect de la gestion de données avec la technologie est la capacité de personnaliser les rapports en lien avec les besoins de chaque partie prenante en supportant le programme global d'accessibilité. Les rapports soulignés plus bas fournissent un aperçu des différents aspects du processus de génération du rapport d'évaluation, en alignement avec les attentes des parties prenantes pour des données accessibles dirigés vers la compréhension et l’amélioration des résultats d’apprentissage des élèves à différents niveaux.

Rapports individuels des étudiants. Dans un environnement d'évaluation à la pointe de la technologie, les rapports de performance des étudiants sont générés en deux phases : un rapport instantané immédiatement après l'évaluation (fournissant les performances sur les éléments de réponse sélectionnés) et un rapport différé une fois la notation terminée (fournissant les performances sur les éléments de réponse construits). Ce processus de génération de rapports intègre des algorithmes d'apprentissage automatique pour analyser les réponses en temps réel pour le rapport immédiat, tandis que des modèles d'apprentissage profond sont utilisés pour évaluer les réponses construites pour le rapport détaillé et différé.

Ce type de rapport comprend généralement le résultat scolaire sous forme de pourcentage, affiché en couleur avec une ligne de progression, ainsi qu'un commentaire explicatif détaillé sur les performances de l'élève dans les domaines du programme et les catégories de compétences. En outre, le rapport fournit également un retour d'information individuel sur les points forts de l'élève et les domaines à améliorer, présenté dans des tableaux clairs et détaillés, et peut inclure des données des années précédentes, des conseils pour les parents et un résumé des niveaux de performance en un coup d'œil.

Rapport d’aperçu du rendement. Dans la pratique, les rapports sur le rendement des élèves générés pour les décideurs doivent généralement inclure des statistiques et des tendances clés qui les aident à comprendre le paysage éducatif pour planifier et approuver les programmes d’intervention. Pour soutenir cet objectif de visualisation des tendances et de mise en évidence des impulsions dans les décisions, les outils de visualisation des données sont très utiles pour illustrer le rendement dans différents domaines et juridictions dans le besoin. Par exemple, au niveau de la juridiction, les données comprennent le nombre d’élèves, leur participation aux évaluations, leur rendement dans divers domaines et leur respect des normes provinciales. Conformément aux besoins spéciaux et aux politiques inclusives en éducation, des données similaires sur les élèves sont également présentées pour les élèves ayant des besoins spéciaux et ceux dont la langue d’enseignement est différente.

Les décideurs politiques s’intéressent généralement à l’analyse et à la promotion des performances des élèves en comparant les résultats actuels avec ceux des années précédentes, justifiant ainsi leur rôle par des améliorations démontrées des résultats des élèves au fil du temps. Ainsi, ces rapports d’aperçu des performances fournissent une interprétation claire des données d’évaluation, aidant les décideurs politiques à améliorer les performances des élèves en comprenant en temps opportun si les performances s’améliorent ou diminuent, et en prenant des décisions éclairées en conséquence.

Rapport d'engagement des élèves. L'apprentissage étant au centre des préoccupations, la génération d'un tel rapport nécessite l'utilisation de techniques avancées d'intégration de données pour intégrer les réponses aux enquêtes aux données sur les résultats des élèves, y compris l'analyse des sentiments pour mieux comprendre les niveaux de confiance et d'engagement des élèves. Ainsi, les questionnaires destinés aux élèves et aux enseignants aident à comprendre les points de vue des apprenants et l'environnement d'enseignement, en complétant les données sur les performances des élèves pour fournir une vue plus systémique des expériences d'apprentissage des élèves dans les contextes de gestion de l'école et de la classe.

Le questionnaire peut évaluer l'intérêt des élèves et leur niveau de confiance en eux-mêmes dans des compétences telles que la lecture, l'écriture et les mathématiques, ainsi que leur état d'esprit de croissance dans chaque domaine d'évaluation. Le domaine de l'état d'esprit de croissance comprend des indicateurs tels que le nombre d'élèves qui pensent pouvoir réussir en mathématiques s'ils font suffisamment d'efforts. En outre, ces rapports peuvent également couvrir l'accès et la maîtrise de la technologie, ainsi que les efforts d'apprentissage autodirigé et de collaboration des élèves dans leur apprentissage perçu.

Rapport sur la confiance en l’enseignement. La production de ce rapport nécessite l’utilisation de modèles d’apprentissage supervisés et de réseaux neuronaux, afin d’analyser comment divers aspects de la confiance d’un enseignant influencent les résultats d’apprentissage des élèves dans différentes matières et environnements, en identifiant des domaines spécifiques dans lesquels l’amélioration de la confiance de l’enseignant pourrait accroître les performances des élèves et en fournissant des informations sur les besoins futurs en matière de formation et les ajustements du programme.

Finalement, un rapport sur la confiance en l’enseignement complète toutes ces données axées sur les élèves grâce à des informations sur la confiance de l’enseignant dans l’enseignement des compétences transférables et sur l’utilisation des données par la direction de l’école pour comprendre dans quelle mesure les attentes du programme sont respectées. En outre, le rapport comprend des informations sur la manière dont les données éclairent la planification des programmes, l’allocation des ressources et les pratiques d’enseignement, devenant ainsi un moteur objectif pour des décisions concrètes qui soutiennent les directeurs d’école et les enseignants.

En conclusion, dans un environnement d’évaluation modernisé, les rapports détaillés ci-dessus sont intégrés dans un document PDF unifié fourni aux parties prenantes. Un exemple d’un tel rapport complet est illustré ici.

Construire des ponts: communiquer les rapports aux parties prenantes

Conformément à sa stratégie d’engagement des parties prenantes, une fois les rapports générés au sein de l’organisme d’évaluation, l’étape suivante consiste à créer un canal de communication convivial des conclusions aux parties prenantes. Pour s’assurer que les informations sont présentées sous une forme claire et accessible à toutes les parties prenantes concernées, la technologie peut aider de plusieurs manières. Par exemple, les plateformes numériques, les tableaux de bord interactifs et les rapports personnalisés sont des outils qui présentent les données de manière conviviale, ce qui permet aux étudiants, aux enseignants et aux décideurs politiques d’appliquer facilement les informations dans leurs activités quotidiennes et de prendre des décisions éclairées qui ont un impact positif sur les résultats scolaires.

Bien que nous puissions confirmer que les rapports sont envoyés et, dans le meilleur des cas, reçus (comme l'indiquent les statistiques de téléchargement), la question de savoir si ces rapports sont compris et deviennent exploitables, en particulier avec le rôle de la technologie, est une question majeure que cette section abordera.

Diffusion des rapports des élèves. Les élèves utilisent plus fréquemment des applications mobiles et l'intégration des rapports dans des portails Web conviviaux favoriserait l'accès des élèves et des parents en temps réel. De plus, les élèves préfèrent personnaliser leur propre interface et leur propre menu pour visualiser les informations, de sorte que l'utilisation de tableaux de bord interactifs leur permet de personnaliser leur vue des différentes mesures et de recevoir des explications automatisées de leurs scores.

Finalement, être informé sert d'invitation à vérifier les mises à jour, de sorte que les élèves et les parents apprécieraient de recevoir des notifications qui les avertissent lorsque de nouveaux rapports sont disponibles. Nous devons simplement nous assurer que pour la confidentialité des données, des courriels cryptés et des portails Web sécurisés sont utilisés.

Présentation du rapport de synthèse. Les décideurs politiques préfèrent généralement des résumés concis qui offrent une vue d’ensemble. Ainsi, les logiciels de visualisation de données tels que Tableau et Microsoft Power BI peuvent grandement simplifier les ensembles de données complexes, en les transformant en graphiques et diagrammes compréhensibles pour les décideurs politiques. En outre, les systèmes d’information géographique peuvent cartographier les données de performance par région, aidant ainsi les décideurs politiques dans leur analyse et une prise de décision plus rapide. De plus, grâce à une ligne de communication proactive, des résumés de rapports automatisés peuvent également être envoyés par courrier électronique directement aux décideurs politiques et aux autres parties prenantes pour faciliter l’élaboration des politiques. Enfin, la planification de webinaires ou de réunions numériques où les décideurs politiques peuvent interagir directement avec les analystes de données pour discuter des rapports est un moyen efficace de créer des ponts.

Communiquer l'engagement des apprenants. Plus un élève est pris en compte, plus les données collectées sont nombreuses, non seulement à partir des évaluations, mais aussi de l'ensemble du paysage d'apprentissage. L'intégration avec les systèmes de gestion de l'apprentissage facilite les mises à jour et l'accès, tandis que les outils d'analyse des sentiments résument les commentaires qualitatifs des enquêtes, faisant du rapport d'engagement des apprenants un pont essentiel. De plus, l'organisation de forums interactifs ou de sessions de rétroaction pourrait favoriser un dialogue direct entre les élèves, les enseignants et les parents sur les niveaux d'engagement et les stratégies d'amélioration.

Partage du rapport sur la confiance dans l'enseignement. Des plateformes collaboratives peuvent être utilisées pour permettre aux enseignants d'accéder à leurs rapports, de consulter les repères de leurs pairs et de participer à des discussions communautaires, ce qui contribuerait à accroître l'engagement et à partager les meilleures pratiques pour soutenir la réussite des élèves. De plus, dans le cadre du plan d'engagement, nous pourrions fournir des recommandations basées sur les résultats du rapport qui soutiennent les stratégies d'enseignement des compétences transférables, personnalisant davantage l'enseignement et l'apprentissage. Finalement, des ateliers ou séminaires virtuels réguliers, où les informations tirées des rapports sur la confiance dans l'enseignement sont discutées et des stratégies élaborées en collaboration, sont essentiels pour un engagement direct.

Vers des rapports informatifs et une communication engagée

En conclusion, cet article vise à réaffirmer l'importance des rapports et de la communication, en présentant des solutions technologiques qui soutiennent ces deux aspects essentiels du domaine de la responsabilisation en matière d'évaluation, en tenant les étudiants et les parties prenantes informés et habilités à agir. Des rapports individuels des étudiants aux aperçus des performances systémiques, nous avons démontré comment l'utilisation d'informations basées sur les données et de technologies avancées telles que l'apprentissage automatique et l'analyse de données peut transformer les données brutes en connaissances exploitables.

Nous pouvons également conclure que la communication contribue à améliorer la qualité des rapports grâce aux commentaires reçus lors des opportunités d'engagement des étudiants et des enseignants, c'est pourquoi, sans outils de communication numérique proactifs, les rapports risquent de devenir statiques et moins percutants. Ainsi, l'intégration de l'analyse des données en temps réel et des plateformes de communication dynamiques - des tableaux de bord numériques aux forums interactifs - facilite une compréhension plus approfondie de l'apprentissage et de l'engagement des étudiants, permettant aux parties prenantes de prendre des décisions éclairées plus rapidement et de conduire efficacement des changements significatifs. En fin de compte, ces outils améliorent non seulement le processus d'évaluation, mais renforcent également les canaux de communication entre les étudiants, les éducateurs et les décideurs politiques.

Finalement, en développant des plateformes de création de rapport axées sur la technologie et en employant des techniques de communication ouvertes et réactives visant à favoriser un corps étudiant informé, inclusif, engagé et performant, nous pouvons garantir que nos systèmes éducatifs non seulement suivent le rythme des avancées technologiques, mais soient également à la pointe de pratiques d’enseignement et d’apprentissage innovantes, pleinement équipées pour faire face aux défis futurs.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapports rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plate-forme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez un aperçu de l’avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

The ISO 9001 certification validates that our large-scale e-assessment and learning solutions meet stringent criteria for consistent product and service quality. It covers the comprehensive scope of our processes, from design and development to implementation and ongoing operation.

The ISO 9001 standard is built upon several key principles, including:

• Customer Satisfaction: Ensuring that our products and services meet and exceed customer expectations.

• Leadership Involvement: Fostering a culture where leadership drives quality management throughout the organization.

• Process-Based Approach: Managing and optimizing processes to effectively achieve desired outcomes.

• Continuous Improvement: Committing to the ongoing enhancement of our systems and practices to elevate quality standards.

Jacob Pucar, Head of Operations at Vretta, remarked, “Achieving the ISO 9001 certification is a testament to our dedication to quality management principles and continuous improvement. This achievement reflects our commitment to delivering products and services that meet the highest quality standards for our partners.”

To learn more about how Vretta's certified processes can support your assessment modernization goals, feel free to contact us at info@vretta.com.

Additionally, countries like India, China, South Korea, England, and Canada, have experienced incidents such as burnout during higher education admissions exams and, tragically, a high number of student suicides. In fact, in India alone, an average of 35 students per day faced such severe university admission exam-related anxiety in 2021 that it led to tragic outcomes. Governments have taken more serious steps to address public concerns about what some researchers say has become almost an international epidemic, promoting student well-being as a way forward. Furthermore, cases such as the University of Bristol incident, where a 20-year-old physics student with chronic social anxiety disorder tragically took her own life on the day she was to present in a large lecture theatre, remind us of the particular importance of having proper procedures in place for assessing students with special needs.

Consequently, I have decided to write about student well-being in the context of high-stakes assessments in the midst of exam season, exploring how technology applications could help reduce anxiety, promote accessibility, and facilitate a smoother transition, ultimately transforming stress into student success. Additionally, National Disability Independence Day on July 26th, which commemorates the signing of the Americans with Disabilities Act (ADA) on July 26, 1990, aligns well with the theme of accessibility that impacts on student well-being in learning and assessment.

This article focuses on the role of technology and support strategies in reducing factors that contribute to student anxiety and supporting accessibility and well-being during the exam season.

The Pre-Exam Buildup

This section explores various strategies in exam design and planning aimed at reducing student anxiety, from incorporating principles of Universal Test Design (UTD) to carefully scheduling exams for consideration of accommodations.

Exam Design and Preparation

From the student's perspective, exam preparation marks the initial stage where anxiety can begin to build prior to the actual exam. Starting from the preparatory phase and continuing through to the exam itself, students may feel overwhelmed and struggle to maintain focus for extended periods. To ensure accessibility and minimize distractions, exam regulators provide candidates with practice tests, either new versions or retired exams, to become familiar with both the item types and the technology platform, reducing pre-exam anxiety. To support these objectives, assessment developers strive to create items that welcome students to demonstrate their potential, incorporating principles of the UTD in the context of digitally enhanced assessments. According to the Operational Best Practices (2013) provided by the Council of Chief State School Officers & Association of Test Publishers, UTD is defined as “a set of construction principles that seeks to maximize the accessibility of an assessment for all students by developing items and content without distractions or irrelevancies” (p. 216).

Another way assessment developers can cut down on student anxiety during tests is to consider the order of the questions within an assessment. For example, if the most difficult questions in the assessment are placed at the beginning, a student might experience heightened levels of anxiety early on in the writing process, which could impact their ability to perform on subsequent questions. This has negative impacts on student well-being as well as on the accuracy of the assessment’s measurement of the student’s knowledge. As such, assessment developers may choose to place the easier questions of the assessment at the beginning to mitigate this. 

In computerized testing, adaptive test design is another related tool which can be utilized by assessment developers to adjust the difficulty of questions on the fly based on how the test taker is doing. If a student is struggling, an adaptive assessment can give the student easier questions, but if a student is performing well, the questions can become tougher. By collecting information on items that indicate whether students struggle or feel comfortable, test developers can identify the characteristics that make an item difficult or easy and manage adaptive testing programs. This approach taken by test developers can help students feel more at ease and provides a clearer picture of the students’ abilities.

In summary, while difficult questions may overwhelm low-performing students by highlighting their knowledge gaps, adaptive testing can mitigate this by avoiding a one-size-fits-all approach, thereby improving formative assessments and supporting student learning, which not only reduces students’ anxiety levels but also increases assessment accuracy.

Exam Planning

​​Another important aspect of pre-exam planning that can alleviate student anxiety is the thoughtful scheduling of exam dates and times, taking into account weather conditions and public transportation access to venues. For instance, if extreme heat or strong winds are forecasted, adjustments such as modifying the room temperature or considering a change in exam dates might be necessary. The location of the testing venue should be easily accessible, ideally with a waiting area for parents or guardians and available parking. Additionally, regulators or assessment bodies must ensure that exam schedules do not coincide with other significant events, culturally sensitive observances, or public holidays that might affect students. 

On the other hand, for online or digital exams, we need to make sure that all students have access to reliable internet and appropriate devices, select a secure and user-friendly assessment platform capable of handling a large volume of students, and consider time zone differences to maintain fairness. Systemic technical support should be readily available to resolve issues promptly, and digital accessibility must be prioritized to accommodate students with disabilities through adaptive technologies or alternative formats.

During Registration and Test Administration

Right after the practice test experience, students may feel overwhelmed by the registration, check-in, and test administration processes, which are explained in more detail below.

Registration

Like in other stages, clear communication is quite important at the start of the actual exam journey, to make sure we are being heard. The registration process, serving as the gateway to the ship that is setting sail, requires a detailed step-by-step manual and student-oriented FAQ to eliminate any confusion about what to expect next until registration is fully completed. Once registration is complete, it is necessary to send notifications with instructions for the next steps, which would ensure that students are fully informed about how to prepare for the logistics of the exam and what to expect during it.

Check-in Process

From the moment students enter the tunnel with a light at the end, they may be influenced at every step throughout their assessment journey to demonstrate their full potential. Let's begin with the check-in process. Here, we face the dual challenge of being considerate of student well-being while guarding against malpractice through digital devices that may be brought in. This is similar to airport check-ins, which are serious and sometimes unpleasant, but necessary for passenger safety and, in our case, objectivity of the exam. So, a welcoming smile in the waiting area is a great way to start, followed by checking the student’s ID against the roster details at the registration desk to complete the check-in process. Then, the student can be kindly guided to the testing room. Similarly, in a digital testing environment, the interface should include content and visuals that positively guide students and clearly indicate what comes next, ensuring they feel supported throughout the process.

Test Administration

From a technology standpoint, 'zero interruption' is a standard set by established technology providers to ensure that students are not overwhelmed by unexpected issues, such as spikes in internet connectivity in test administration. For instance, should an internet disruption occur, the student assessment process should continue uninterrupted through the use of offline capabilities, including preloaded content and other solutions. No technology disruption should be felt by students, even though some unexpected circumstances may happen.

In practice, if there is any suspicion during the monitoring of students, an alert system should guide the appropriate response to prevent the situation from escalating to the potential dismissal of a student suspected of malpractice. Additionally, as time is often of the essence during an exam, actionable communication plans should be organized in advance of the administration to ensure that any requests or issues that arise during the administration can be reported and resolved promptly.

With the recent transition of the SAT to a digital format, a 'bring your own device' policy has been implemented. One technical challenge is the use of various operating systems and web browsers that may not have been accounted for in the design of the testing application. Therefore, it is necessary to ensure that the application is adaptable to different operating systems and web browsers.

Post Assessment Process

This section below focuses on the critical roles of student feedback, accurate and timely score reporting, and the management of expectations to improve the educational experience and support student well-being.

Student Feedback 

At the end of the exam, offering students the opportunity to reflect on their immediate experience of taking the assessment in the form of a feedback survey demonstrates the test delivery body's openness. This transparency allows students to release any emotions accumulated during the assessment journey and contributes to the public quality assurance process. Subsequently, student score reporting is the next step, where feedback included in the score report has potential to promote a positive association with their performance and progress. 

Score Reporting

The timing of score report releases is critical, as the wait after exams can increase student anxiety and appear as wasted time. Additionally, it's important to minimize scoring errors to reduce the number of student appeals, which add to anxiety and prolong waiting times. The strategic use of resources, including AI-enabled solutions, can help prevent scoring subjectivity and bias, resulting in fewer mistakes and, consequently, fewer appeals and shorter wait times for students. Earlier access to results would allow students to more quickly decide whether to retake the exam or explore other academic options.

Managing Expectations 

Given the incidents of burnout occurring at the release of scores and the realization of university admission chances, this period of pre and post student reporting is the most pressing time to engage in public campaigns and student counseling, to in some cases counterbalance the deep-rooted expectations of parents and societal structures established long beforehand. However, these efforts could only aim to manage public perception and prevent any escalation of issues following the release of score reports. To shift the deeply rooted socio-cultural belief that exam results are the only measure of success, long-term planning of stakeholder engagement programs must be implemented to gradually reduce such tendencies each year.

Special Needs Considerations

Pre-Exam Buildup. Students with special needs should be able to access tailored preparations, including personalized practice tests and modified exam materials, to reduce pre-exam anxiety and promote a culture of equitable access.

Exam Design and Preparation. Upon request, students with special needs should be granted accommodations in exam design, such as extra time, alternative formats, and the use of assistive technologies provided by assessment developers, to ensure they feel fully supported.

Exam Planning. Provisions for special needs accommodations must be integral in planning both in-person and online exams, making sure that all venues and digital platforms are fully accessible.

Registration and Test Administration. The registration process should facilitate clear options for students to request necessary accommodations, making sure all students start their exam experience with the support they need.

Test Administration. Physical and digital testing environments must be structured to support students with special needs, with staff trained to assist effectively.

Post-Assessment Process. Special care should be taken to address the feedback of students with special needs post-exam, using it to continually refine and improve accessibility and inclusivity in assessment processes.

Taking a Holistic Approach: Student Wellness Resources

In conclusion, the distressing cases of burnout and suicide in India and the UK underscore the urgent need for a holistic, student-centered approach that integrates learning and assessment with technology-based wellness support to reduce student stress. At the policy level, a decision should be made to organize exams over an extended period rather than just one day, using technology to facilitate ongoing assessments. This approach, which reduces student anxiety associated with one-time tests, promotes a culture of assessment that prioritizes student well-being and includes a supportive system throughout the assessment period.

Generally, stressful elements should be identified and succeeded with supportive measures such as breathing exercises, reminders to skip difficult questions, success checklists, and practice tests prior to the assessment. Embedding student wellness resources into every phase, including accessing and interacting with content, producing responses, and navigating interfaces before, during, and after assessments, supports a positive student experience in technology-driven assessments. Recognizing the importance of mental health alongside academic achievements marks a progressive shift towards more holistic educational systems that support fair assessments and empower students to succeed in all facets of life.

About the Author

Vali Huseyn is an educational assessment specialist, recognized for his expertise in development projects of various aspects of the assessment cycle. His capability to advise on the improvement of assessment delivery models, administration of different levels of assessments, innovation within data analytics, and creation of quick, secure reporting techniques sets him apart in the field. His work, expanded by collaborations with leading assessment technology firms and certification bodies, has greatly advanced his community's assessment practices. At The State Examination Centre of Azerbaijan, Vali significantly contributed to the transformations of local assessments and led key regional projects, such as unified registration and tracking platform of international testing programs, reviews of CEFR-aligned language assessments, PISA-supported assessment literacy trainings, and the institutional audit project, all aimed at improving the assessment culture across the country and former USSR region.

Discover guided practices in modernizing assessments and gain insights into the future of educational assessments by connecting with Vali on LinkedIn.

Large-scale student assessments have been administered in Canadian provinces and territories (jurisdictions) for many decades, some dating back almost a century. Most student-assessment-related initiatives have originated at the jurisdictional level, and it was not until 1989 that steps were undertaken to establish a Pan-Canadian assessment program. The purpose of this article is to describe the rationale for, and provide a high-level description of, the evolution of Canada’s pan-Canadian student assessment program, including its transition to e-assessment, but first a little context.

Responsibility for Education in Canada

Canada is a confederation of ten provinces and three territories. Areas of responsibility are divided between the federal and provincial/territorial governments. The federal level is responsible for portfolios such as national defence, foreign affairs, fisheries, telecommunications, immigration and citizenship, and the banking and monetary systems, while the provinces and territories are responsible for areas such as social services, health, forestry, highways and education. Since there is no national department of education, each province and territory enacts its own policies related to aspects such as curriculum, teacher certification and assessing and reporting on student learning progress. School boards and districts establish their own local policies within the framework of policies enacted by their provincial/territorial ministries of education.^[1]

Council of Ministers of Education, Canada (CMEC)

As a result of the federal/jurisdictional distribution of powers in Canada, there was no organized effort to examine educational issues on a pan-Canadian basis until the Council of Ministers of Education, Canada (CMEC) was established. Founded in 1967 by the jurisdictional ministers of education, the CMEC was meant to serve as:

• a forum to discuss policy issues;

• a mechanism through which to undertake activities, projects and initiatives in areas of mutual interest;

• a means by which to consult and cooperate with national education organizations and the federal government; and

• an instrument to represent the education interests of the provinces and territories internationally.^[2]

In Canada, like in most other countries, the content and approaches used by education systems, as well as their respective performance, are increasingly under the microscope. Education stakeholders (e.g., educators, parents/guardians, the business community and taxpayers) ask questions such as “How well is our education system preparing students to be successful in a rapidly changing world in which global economic competition, swift technological advancements, and the necessity for flexibility and lifelong learning shape the environment?” In response to these kinds of questions, provincial and territorial ministries of education have taken measures to assess students in various subjects and at different stages of their schooling. Additionally, jurisdictions have participated in international assessment initiatives such as the Organisation for Economic Co-operation and Development’s (OECD) Programme for International Student Assessment (PISA) and the International Association for the Evaluation of Educational Achievement’s (IEA) Trends in International Mathematics and Science Study (TIMSS) and Progress in International Reading Literacy Study (PIRLS). Given their common interest in maximizing the effectiveness and quality of education systems in Canada, the ministers of education, through the CMEC, saw the need to establish a program to assess education system performance in each jurisdiction, and which would also yield information at the country level. The result was the design and development of a pan-Canadian assessment program, the School Achievement Indicators Program (SAIP), to evaluate student performance.

Overview of the School Achievement Indicators Program (SAIP)^[3]

In 1989, the CMEC, in collaboration with all participating Canadian jurisdictions, initiated development of the SAIP, which was a criterion-referenced assessment tool designed to determine student achievement in relation to pan-Canadian standards. “The original intent of SAIP assessments was to describe what students knew and what they were capable of in each of the three designated subject areas: reading and writing, mathematics and science. This information would then be used to compare student performance from one jurisdiction to another, to report to the public about the efficiency and equity of each system on a pan-Canadian basis, and to provide information that would improve instruction in the participating jurisdictions.^[4]

The SAIP was administered annually to random samples of 13- and 16-year-old students in English and in French. (These age groups were selected to include students at the end of elementary/beginning of secondary school and those at the end of compulsory schooling.) The same paper-based assessment instruments were administered to the two age groups in order to study the change in student knowledge and skills following the additional years of instruction. Administered in the spring of each year, the assessments were conducted on a cyclical basis, as shown in the table below.

Each assessment comprised two components: a two-and-one-half-hour knowledge- and skills-based test, as well as questionnaires administered to students, teachers and principals (school questionnaire). The student questionnaire gathered information such as the language spoken at home, parents’ education level, extracurricular activities, attitudes regarding the subject-matter being tested and school in general. The teacher questionnaire provided information about their professional background and instructional practices. The principal (school) questionnaire allowed for the gathering of information about school and community characteristics, staffing, resources and services. The SAIP did not provide performance information for individual students, schools or school boards. Instead, it provided a measure/estimate of how well each jurisdiction’s education system was performing. Information on performance was reported on a five-point scale with Level 1 being the lowest and Level 5 being the highest. In terms of standards, it was expected that most 13-year-olds/Grade 8 students should achieve at least at Level 2, and most 16-year-olds should achieve at least at Level 3. Two kinds of reports were disseminated after each administration: a public report on student performance at the jurisdictional and pan-Canadian levels and a technical report, providing a detailed description of all aspects of the assessment (e.g., test development, administration, scoring, test reliability and validity), meant for researchers and the jurisdictions. Jurisdictions had the option to provide summary reports to their education stakeholders.

The SAIP assessments were conducted nine times; however, over the decade, the CMEC came to recognize that the pan-Canadian assessment program needed to evolve in order to:

• reflect changes in jurisdictional curriculums;

• integrate the increased jurisdictional interest and emphasis on international assessments; and

• allow for the testing of the “core” subjects of mathematics, reading and science at the jurisdictional level.

Consequently, the SAIP was replaced by the Pan-Canadian Assessment Program (PCAP) in 2007.

Overview of the Pan-Canadian Assessment Program (PCAP)

In 2003, the CMEC approved the development of the PCAP, which was designed to gather achievement data attained by 13-year-old students in both official languages. (Originally, the program focused on 13-year-olds, but this was changed to Grade 8 students in intact classrooms to minimize disruption to school systems.) Administration was to occur every three years and would involve assessing a major domain (academic subject), as well as minor domains, mirroring the approach taken by the OECD PISA project. (Since Canada is an OECD member country, among international assessments, the CMEC and its federal partner, Human Resources Development Canada (HRDC) emphasized participation in the PISA project.) The intention was to identify PCAP’s major domain that would coincide with the major domain for the PISA (assessment of 15-year-olds) that would be administered two years after the PCAP. So, for example, the first PCAP, scheduled for 2007, involved reading as the major domain and mathematics and science as the minor domains. Since the same cohort of students would be assessed again in 2009, the CMEC and jurisdictions would be able examine the PCAP reading results of Canadian students and then investigate results/trends from the PISA two years later at age 15. The following table shows the planned cycle for the PCAP.^[5]

Like its predecessor, SAIP, the PCAP is administered to random samples of students from across Canada. Within each jurisdiction, a randomly selected sample of publicly funded schools is drawn followed by randomly selected classrooms. Test forms (versions of the test) are randomly distributed within the selected intact classrooms. Students participating in PCAP, as well as their teachers and school principals, complete questionnaires designed to provide contextual information to support the interpretation of performance results. Also, like SAIP, PCAP was initially administered in a paper format; however, in recognition that students were using technology extensively in their everyday lives both inside and outside of the classroom, the CMEC took the decision to begin the transition to digital assessments beginning in 2019. To facilitate the transition from paper-based to online assessment, and to allow for the preservation of comparative trend achievement data over time, in 2019, some schools completed the PCAP on paper (the administration mode for each school was randomly allocated by the sampling contractor), and minimal changes/edits were made to the digital version. Essentially, the paper-based assessment was simply transferred to a computer-based platform. A mode study was conducted to control for any effects between the paper and online versions of the test.

For the 2019 PCAP assessment, groups of assessment units were distributed within four booklets in order to minimize the assessment burden on any one student. Booklets were designed such that students required approximately 90 minutes to complete any one booklet (60 minutes allocated to the items of the major domain and 30 minutes to the minor-domain items). A student questionnaire was included at the end of each booklet. Students were given an additional 30 minutes to complete the test if needed. As mentioned previously, the four booklets were randomly distributed to students within selected classes. Regarding the balance of item types within student booklets, approximately 70 to 80 percent were selected-response and 20 to 30 percent were constructed-response items.

PCAP reports student achievement data for all three learning domains, and there are two performance measures used to report assessment results: average/mean scores and proficiency levels. Mean scores allow for the comparison of jurisdictional results to the pan-Canadian mean. In addition, benchmarks or performance levels have been developed to provide more detailed information regarding what students know and can do with regard to the major domain. (Standard-setting activities, involving educators from each jurisdiction, set cut scores from standard/scale scores [derived from the test’s raw scores], which align to the PCAP performance levels.) Three levels have been identified for reading; four have been identified for mathematics and science. The performance-level descriptors provide for a deeper understanding of student performance beyond the average/mean scores. Level 2 has been designated the minimum expected level of performance for 13-year-olds. Like with SAIP, results are not reported at the student, school or school board levels. PCAP results are meant to complement classroom-based and jurisdictional assessments not replace them. “On a program level, jurisdictions can validate the results of their own assessments against PCAP results as well as those of the Programme for International Student Assessment (PISA).^[7] More detailed information on topics such as assessment design; development; blueprint/specifications; sampling strategy; field testing; administration; coding, data capture and analysis; standard setting; performance descriptors; questionnaire foundations; student, teacher, classroom and school characteristics; equating and reporting can be accessed in the 2019 PCAP Assessment Framework, Contextual Report and Technical Report.^[8]

Modernizing PCAP

The first step toward modernizing the PCAP was taken in 2019, when it was first administered online. Looking ahead, however, the CMEC conceived of a plan/project to transform the assessment to meet current and future needs and released a Request for Proposals (RFP) for a pan-Canadian assessment program online platform. Regarding project benefits and rationale, the RFP stated that “The project will continue the online delivery of the PCAP assessment, keeping pace with evolving trends in educational assessment. Moving forward, CMEC and the PCAP assessment team look to expand the use of various technology-enhanced items for access to a greater pool of item formats, both to remain current in the types of assessment items used in online assessments and to enhance student engagement during assessments.^[9] The RFP provided specific features required of the platform related to the following topics:^[10]

• System Capabilities (e.g., operational on a variety of modern operating systems and web browsers; supportive of modern accessibility software; preventive measures against cheating);

• Availability in English and French (e.g., fully functional in all aspects of test development; practice and operational tests; on-screen system messages; labelling of report templates);

• Assessment Design and Item Bank (e.g., robust item bank to manage cognitive items for reading, math and science, as well as student, teacher and school administrator questionnaires; procedures for distributed, remote item development; access to online expert advice related aspects such as graphic design and layout; solution that can accommodate selected- and constructed-response items, as well as a variety of alternative item types, including technology-enhanced items);

• Field- and Operational-Test Features/Activities (e.g., provision of technical support during administration times; allow students to move backward as well as forward during the assessment; allow students to identify unanswered questions before submission; provide for student accommodations [e.g., extra time]; provide alternate formats [e.g., coloured background, dyslexia font, large print]; enable text/image enlargement; capture all student-response-related data, as well as metadata such as the amount of time spent on each item; provide daily reports, including completion-rate data for each class/school; allow the CMEC to download daily completion reports);

• Coding of Constructed-Response Items (e.g., platform to support the selection of student exemplars for coder training and reliability purposes; support any coding method [e.g., single, double or multi-coding] selected by CMEC; allow for the inclusion of any support materials for coders, such as the assessment item, coding rubric and training exemplars; permit coders to send difficult-to-code responses to the coding leader; allow coding leaders to review all coded responses and make changes if necessary; provide reports that capture coder statistics [e.g., number of items coded in an hour], item statistics [all marks given to an item], student statistics [all marks given for a student], reliability results for all coders on reliability items, and multi-coding reports [i.e., coding agreement of all coders across selected multi-coded items]);

• Data and Data Transfer (e.g., work with CMEC psychometricians and sampling team to clarify/refine data templates; use CMEC templates (and variable names) for all data exports; allow CMEC to download data files related to selected- and constructed-response cognitive data, as well as student, teacher and school questionnaires).

Following the competitive RFP process, the CMEC selected Vretta to serve as its technology partner for the modernizing project. Work has begun with CMEC to develop online items and passages for field-test purposes; field testing is planned for the spring of 2026; and administration of the next, modernized PCAP online is scheduled for the spring of 2027.

Conclusion

For more than three decades, the CMEC has collaborated with its jurisdictional partners to conceptualize, develop and deliver pan-Canadian student assessment programs. In keeping with best practices, the CMEC has continuously monitored and reviewed its assessment processes and made adjustments as necessary. In addition, with changing times comes changing needs, and so the pan-Canadian assessment program has continually evolved over the years. The three-year project to modernize the PCAP has just begun. Future articles will describe the challenges, opportunities and outcomes of this ambitious initiative.

About the Author

Dr. Richard Jones has extensive experience in the fields of large-scale educational assessment and program evaluation and has worked in the assessment and evaluation field for more than 35 years. Prior to founding RMJ Assessment, he held senior leadership positions with the Education Quality and Accountability Office (EQAO) in Ontario, as well as the Saskatchewan and British Columbia Ministries of Education. In these roles, he was responsible for initiatives related to student, program and curriculum evaluation; education quality indicators; school and school board improvement planning; school accreditation; and provincial, national and international testing.

Richard began his career as an educator at the elementary, secondary and post-secondary levels. Subsequently, he was a researcher and senior manager for an American-based, multi-national corporation delivering consulting services in the Middle East.

Feel free to reach out to Richard “Rick” at richard.jones@rmjassessment.com (or via LinkedIn) to inquire about best practices in large-scale assessment and/or program evaluation.

Acknowledgement

The author would like to acknowledge and thank Dr. Pierre Brochu, President of Consultation MEP Consulting Inc., a company that provides psychometric and other large-scale assessment services in the public and private sectors, for his valuable input to this article. Pierre served for 15 years as the Director of Learning Assessment Programs with the CMEC during which time he oversaw the final years of the SAIP, as well as the conceptualization, design and implementation of the PCAP program.

References

[1] Jones, R.M. (2003). Canada – The School Sector in Educational Evaluation Around the World. The Danish Evaluation Institute, p.43.

[2] Council of Ministers of Education, Canada. (2024). What is CMEC? Retrieved June 19, 2024 from: https://cmes.ca/11/About_Us.html.

[3] Council of Ministers of Education, Canada. (2024). Over 50 Years of Pan-Canadian Leadership in Education: Overview. Retrieved June 30, 2024 from: https://cmec.ca/544/SAIP_1996-2004.html.

[4] Fournier, G. (n.d.). School Achievement Indicators Program: Bridging the Gap to Jurisdictional Assessments, p.3. Retrieved June 29, 2024 from: https://econ.queensu.ca/pub/jdi/deutsch/edu_conf/Fournier.pdf.

[5] Information in this section is derived from the following source: Council of Ministers of Education, Canada. (2007). Pan-Canadian Assessment Program for 13-Year-Olds (PCAP-13 2007): Fact Sheet. Retrieved July 5, 2024 from: https://www.cmec.ca/docs/pcap/pcap2007/PCAP2007-FactSheet.en.pdf

[6] PCAP was postponed by one year due to the COVID-19 pandemic.

[7] Council of Ministers of Education, Canada. (2024). Pan-Canadian Assessment Program (PCAP) – Overview. Retrieved June 18, 2024 from: https://cmec.ca/240/Pan-Canadian_Assessment_Program_(PCAP).html#:~:text=The%20first%20PCAP%20assessment%20took,16%2Dyear%2Dold%20students.

[8] Council of Ministers of Education, Canada. (2019). Pan-Canadian Assessment Program PCAP 2019: Assessment Framework. Retrieved July 5, 2024 from: https://www.cmec.ca/docs/pcap/pcap2019/PCAP-2019-Assessment-Framework-EN.pdf; Council of Ministers of Education, Canada. (2022). Pan-Canadian Assessment Program PCAP 2019: Technical Report. Retrieved July 11, 2024 from: https://cmec.ca/Publications/Lists/Publications/Attachments/430/PCAP_2019_Technical_Report.pdf and Council of Ministers of Education, Canada. (2022). Pan-Canadian Assessment Program PCAP 2019: Contextual Report on Student Achievement in Mathematics. Retrieved July 15, 2024 from: https://www.cmec.ca/Publications/Lists/Publications/Attachments/429/PCAP2019_Contextual-Report_EN.pdf.

[9] Council of Ministers of Education, Canada. (2024, January 29). Request for Proposals for Pan-Canadian Assessment Program Online Platform, p.8.

[10] Council of Ministers of Education, Canada. (2024, January 29). Request for Proposals for Pan-Canadian Assessment Program Online Platform, pp.10-12.

Inspiré par les discussions lors du 7e événement annuel FLIP+, sur le thème "Le rôle de l’IA dans les évaluations nationales et en classe" au Portugal en juin 2024, j’ai décidé d’écrire sur la façon dont le fait de ne pas communiquer efficacement les avantages des intégrations technologiques aux parties prenantes du domaine de l’évaluation, ainsi qu’une focalisation excessive sur les développements technologiques et qualitatifs des évaluations elles-mêmes, peut conduire à un examen public. En mettant l’accent sur la communication avec les parties prenantes du domaine plus tôt, nous pourrions potentiellement réduire les critiques liées au public et favoriser un esprit de collaboration, ce qui améliorerait en fin de compte l’engagement du public et l’acceptation des solutions technologiques dans les évaluations à enjeux élevés.

Cet article explore le rôle essentiel de la communication dans les évaluations à enjeux élevés, en présentant quatre cas pratiques de mauvaise communication et en suggérant des stratégies réactives et préventives.

Mauvaise communication fréquente : scénarios d’évaluations à enjeux élevés

Chaque cas ci-dessous illustre l’importance cruciale de maintenir une communication claire, transparente et opportune entre toutes les parties impliquées dans le processus d’évaluation. Qu’il s’agisse de coordination d’équipe interne, de confiance ou de méfiance activée par l’IA ou d’interactions avec des clients externes, ces exemples mettent en évidence les conséquences des échecs de communication et les stratégies employées pour atténuer ces défis afin d’obtenir de meilleurs résultats dans les milieux éducatifs et professionnels.

Incertitude réglementaire dans les évaluations à enjeux élevés

Nous avons tous rencontré des situations dans la gestion d'évaluations à enjeux élevés où des lacunes en matière de communication sont apparues en raison de l'incertitude, en particulier en raison d'un manque d'informations de la part des régulateurs sur la manière dont les évaluations évolueraient au fil des ans. Cette incertitude rend difficile la préparation stratégique d'un cycle complet d'évaluations et affecte également les candidats qui les passent à long terme.

Stratégies réactives

Lorsque vous êtes confronté à une incertitude réglementaire dans le cadre d’évaluations à enjeux élevés, la première mesure à prendre est d’établir une communication directe avec les régulateurs afin d’obtenir des éclaircissements et des mises à jour sur les changements attendus. Vous pouvez également engager un dialogue continu pour mieux comprendre le domaine réglementaire et plaider en faveur d’un partage d’informations en temps opportun. Pour plus de sécurité, il serait préférable de fournir une communication transparente à toutes les parties prenantes, y compris les candidats, sur les facteurs connus et les changements potentiels, en expliquant comment ils pourraient avoir un impact sur les évaluations. En outre, il est nécessaire de mettre en œuvre des modèles d’évaluation flexibles qui peuvent s’adapter aux changements réglementaires avec un minimum de perturbations. Enfin, il peut être utile de mettre en place un plan d’urgence qui comprend la planification de scénarios pour réagir rapidement aux changements réglementaires soudains, en veillant à ce que des stratégies de préparation et de réponse soient en place pour minimiser l’impact sur le cycle d’évaluation et les candidats.

Stratégies de prévention

La première approche générale pour atténuer l’impact futur des changements réglementaires consiste à suivre les tendances réglementaires et les changements potentiels qui pourraient affecter les évaluations à enjeux élevés, notamment en examinant les mises à jour et en participant activement aux forums du secteur où ces changements sont discutés. De plus, l’établissement de relations solides avec les organismes de réglementation peut faciliter une meilleure communication et fournir des alertes précoces sur les changements, aidant ainsi à anticiper et à s’adapter aux changements attendus. Ensuite, vous pouvez élargir cette sensibilisation en formant vos équipes à la gestion de l’incertitude réglementaire en comprenant le processus et en créant des cadres adaptables, et en favorisant l’agilité organisationnelle pour s’adapter rapidement aux changements réglementaires. Enfin, l’engagement avec d’autres parties prenantes du secteur pourrait aider à former une voix collective capable d’influencer les développements réglementaires, en promouvant des normes et des pratiques qui apportent stabilité et clarté aux procédures d’évaluation.

Transparence et confidentialité dans les évaluations à enjeux élevés

Il existe toujours un dilemme quant à la manière dont nous pouvons être ouverts au public tout en préservant la confidentialité. Prenons un cas impliquant des évaluations à enjeux élevés où les notes limites légales préétablies indiquent qu'environ 70 % des candidats échoueront. Ce niveau d'échec pourrait augmenter considérablement la charge de travail du client en raison d'une augmentation des recours formels, qui font partie de la politique de rapport de l'évaluation.

Une stratégie pour gérer cette surcharge consiste à rendre publiques les questions d'évaluation, ce qui augmente la transparence et réduit potentiellement le nombre de recours de 50 %. Cependant, cette approche signifie également sacrifier la confidentialité des items d'évaluation de haute qualité. En fin de compte, une telle décision dépend du niveau de connaissance et de familiarité des candidats avec les types d’items et leurs pratiques de notation. Un aspect positif de cette politique transparente est qu'elle encourage les anciens et les nouveaux candidats à discuter et à clarifier l'exactitude des questions sur les médias sociaux, ce qui peut être utile pour la compréhension et l'acceptation du public.

Stratégies réactives

En réponse au nombre croissant de recours et d’insatisfactions parmi les candidats, la première étape consiste à améliorer la communication avec toutes les parties prenantes, notamment en organisant des séances d’explications détaillées, des webinaires ou des forums de questions-réponses publics où les candidats peuvent poser des questions et recevoir des éclaircissements directement de la part d’experts. Parallèlement, il est très important de mettre en place une équipe de réponse dédiée pour traiter les recours en temps opportun, en veillant à ce que chaque cas soit examiné rapidement et minutieusement afin de maintenir la confiance. En outre, il est nécessaire d’envisager une diffusion contrôlée de certains items d’examen ou de contenu partiel afin d’équilibrer la transparence avec la nécessité de protéger l’intégrité de l’évaluation, en répondant aux préoccupations spécifiques soulevées par les candidats tout en préservant la confidentialité de la plupart des items.

Stratégies de prévention

La première étape préventive consiste à établir un plan de communication clair décrivant les objectifs de l'évaluation, la méthodologie de notation et la justification des notes de passage bien avant la date de l'examen. Ce plan doit inclure des documents d'information, des ateliers et des simulations qui aident les candidats à comprendre la structure de l'évaluation et le système de notation. En outre, la mise en œuvre d'une politique de communication unifiée qui comprend des mécanismes de rétroaction préventive - où les candidats peuvent exprimer leurs inquiétudes concernant le contenu de l'examen ou la notation avant les appels formels par le biais d'enquêtes préliminaires ou de canaux de rétroaction informels immédiatement après l'examen - pourrait aider à prévenir la pression du public après l'examen. En outre, des révisions et des ajustements réguliers des items et des processus d'évaluation, en fonction des commentaires des candidats et de l'évolution des normes éducatives, démontrent l'adéquation avec les besoins du public, soutiennent la pertinence et l'équité continues, et réduisent ainsi les motifs d'appel. Enfin, chaque événement public doit impliquer les communautés éducatives et les parties prenantes pour promouvoir une compréhension plus large des normes et des pratiques d'évaluation, en utilisant les médias sociaux et les forums professionnels pour faciliter un dialogue ouvert tout en préservant la confidentialité des contenus à enjeux élevés.

Mauvaise communication dans la mise en œuvre de l’évaluation et son impact sur la notation et les délais

Dans notre dernier cas, considérons le scénario dans lequel l’équipe de conception de l’évaluation d’un organisme d’évaluation travaille en étroite collaboration avec le client, comme le ministère ou une institution d’entreprise, et accepte de concevoir les types d’item demandés par l’organisme de réglementation. Cependant, l’équipe de conception de l’évaluation a oublié d’informer l’équipe de réalisation du test du nouveau type d’item demandé par le client, ce qui a fait que l’équipe de réalisation du test n’a pas su que ce nouveau type d’item avait été inclus dans le format du test. Par conséquent, la plateforme de réalisation n’a pas été ajustée pour s’adapter à ce changement, ce qui a conduit à l’administration du test sans les mises à jour nécessaires pour ce nouveau type d’item, ce qui a eu un impact pour l’équipe de notation.

En conséquence, l'examen a été organisé, mais la plateforme de test, non adaptée au nouveau type d'item, n'a pas pu noter les réponses des candidats comme l'exigeait le client. Ce manque de communication a entraîné des retards et un temps supplémentaire consacré à la résolution du problème. Finalement, le problème a été résolu dans un contexte de fortes tensions entre les équipes de conception et de réalisation du test, ce qui a entraîné un retard du côté de l'équipe de notation et les candidats ont dû attendre plus longtemps que le délai initialement annoncé pour obtenir leurs résultats d'examen.

Stratégies réactives

Une fois qu'une erreur est identifiée, l'équipe de réalisation du test doit immédiatement ajuster la plateforme pour prendre en charge le nouveau type d’item, si possible, et communiquer ces changements et tout retard prévu de manière transparente à toutes les parties prenantes. En outre, formez une équipe de résolution composée de membres des équipes de conception, de réalisation et de notation pour traiter et corriger rapidement les écarts de notation. Enfin, ajustez le système de traitement des résultats pour gérer avec précision le nouveau type d’item et présentez des excuses officielles aux candidats, en détaillant les raisons du retard et les mesures correctives prises.

Stratégies de prévention

Pour éviter que de tels cas ne se produisent, il est préférable d’élaborer et de mettre en œuvre un plan de communication complet qui garantit que toutes les équipes sont régulièrement informées de tout changement via des plateformes numériques partagées et des briefings inter-équipes obligatoires. En outre, il serait utile d’établir des protocoles clairs de gestion des changements avec une liste de contrôle pour notifier tous les services concernés et exiger l’approbation des principales parties prenantes avant la mise en œuvre de tout changement. En outre, il serait judicieux d’organiser des sessions de formation régulières pour toutes les équipes afin d’améliorer la compréhension du processus d’évaluation et de ses interdépendances.

Confiance ou méfiance du public envers les solutions basées sur l'IA pour les évaluations à enjeux élevés

Un cas issu de discussions récentes dans les cercles d'évaluation, à la fois lors de la Conférence internationale et des Prix 2024 de l'eAA à Londres et du 7e événement annuel FLIP+ au Portugal, porte sur la perception du public des solutions basées sur l'IA, en particulier sur la question de savoir si les parents sont à l'aise avec le fait que leurs enfants soient surveillés en direct dans des environnements de test à distance lors d'évaluations à enjeux élevés. Cette préoccupation s'étend à la rédaction ou à la notation assistées par l'IA, qui peuvent introduire des biais. Bien que la surveillance humaine dans les décisions finales puisse atténuer les risques associés, le public peut encore ne pas comprendre pleinement le rôle de l'IA dans le processus et s'il est entièrement sûr de faire confiance à l'IA pour des décisions à enjeux élevés affectant l'avenir des enfants. Les régulateurs se demandent désormais comment équilibrer l'exploitation de l'efficacité facilitée par l'IA dans le processus d'évaluation avec les préoccupations concernant la confidentialité, les biais et les risques associés.

Stratégies réactives

Dans le cas décrit ci-dessus, les actions immédiates doivent se concentrer sur l'engagement du public par le biais de forums centrés sur les étudiants, de FAQ détaillées et de séances d'information ciblées pour clarifier le rôle et les processus de l'IA pour les parties prenantes, en particulier les parents et les enseignants. Pour apaiser davantage les inquiétudes, il est utile de présenter des études de cas et des preuves de l'exactitude de l'IA dans la notation et la surveillance, ainsi que de vérifier et d'ajuster rapidement les algorithmes de l'IA, en particulier lorsque des biais sont détectés ou signalés dans des évaluations à enjeux élevés. Enfin, pour une réponse plus systématique, les régulateurs et les organismes d'évaluation doivent collaborer pour garantir que tout traitement des données soit conforme aux lois strictes sur la confidentialité et aux meilleures pratiques.

Stratégies préventives

De manière similaire au mode réactif expliqué ci-dessus, mais en impliquant plus systématiquement les parties prenantes, notamment les éducateurs, les parents et les régulateurs, dès les premières étapes du développement de solutions d’IA, nous pourrions éviter toute méfiance future et tout problème réglementaire. Sur le plan institutionnel, l’établissement de directives très détaillées pour l’utilisation de l’IA dans les évaluations, axées sur les normes éthiques, la transparence et la responsabilisation, peut établir un cadre clair pour les opérations quotidiennes. Parallèlement, investir dans une formation continue pour les créateurs et les utilisateurs d’outils d’évaluation de l’IA sur le renforcement des compétences en IA à différents niveaux favorise une compréhension plus approfondie et une utilisation plus responsable des deux côtés dans les environnements d’évaluation.

Solutions axées sur la technologie : combler les lacunes en matière de communication dans l'évaluation

Les scénarios que nous avons examinés jusqu'à présent nécessitent des solutions systémiques au sein des équipes d'évaluation et de responsabilisation qui peuvent être traitées efficacement avec des approches fusionnées avec la technologie, notamment en termes de communication d'informations à différentes étapes du cycle d'évaluation, qu'il s'agisse de données d'évaluation, de matériel de conception de tests ou de demandes des clients. Le concept de considérer l'évaluation à la fois comme une culture et une structure de responsabilisation, qui a fait écho à la présentation sur le thème de l'évaluation à la responsabilisation lors de la Conférence nationale sur l'évaluation des étudiants 2024, pourrait servir de bonne introduction à cette solution. Ainsi, le flux d'informations bien pensé avec la solution est facilité par des systèmes intuitifs qui minimisent le chevauchement technologique et les complexités d'intégration entre les fonctions opérationnelles. Ces systèmes, construits sur une culture de visualisation des données, une infrastructure de pipeline de données modernisée et des systèmes de gestion des données évolués, ce dernier étant notre objectif principal en raison de son impact systématique sur le cycle d'évaluation.

Évolution de la gestion des données

Les entrepôts de données traditionnels deviennent obsolètes en raison des coûts de maintenance élevés, de la prise en charge limitée de la Business Intelligence (BI) et de la création de rapport, et des capacités limitées de prise en charge des cas d'utilisation modernes de l'apprentissage automatique. En fait, ils manquent de l'évolutivité et de la flexibilité nécessaires pour gérer divers types de données, en particulier avec l'avènement de l'IA générant des données non structurées comme du texte, des images, de la vidéo et de l'audio.

Transition vers les systèmes Lac de Données (Data Lake) et Lakehouse

Les Lacs de Données permettent de traiter des données à grande échelle et d'analyser rapidement des données non structurées. Cependant, ils sont confrontés à des défis tels que l'application de la qualité et de la cohérence des données, ce qui peut rendre difficile l'ajout et la modification des données.

Le Lakehouse apparaît comme une solution qui combine les avantages des lacs de données et des entrepôts. Il facilite l'unification des équipes de données, empêche les données de devenir obsolètes et brise les silos de données, intégrant efficacement les équipes d'évaluation et de données. Ce modèle hybride prend en charge les prévisions, le traitement des données en temps réel, l'évolutivité flexible et la gestion des données brutes dans n'importe quel format, ouvrant la voie à un environnement d'évaluation plus intégré et plus efficace.

Enfin, en tirant parti de ces solutions technologiques, les organisations peuvent combler les lacunes de communication au sein du processus d'évaluation, favorisant ainsi un environnement plus collaboratif et plus efficace pour toutes les parties prenantes impliquées.

L'avenir des lignes de communication dans le contexte de l'évaluation

En conclusion, nous pouvons reconnaître que les lignes de communication – les stratégies et les plans entourant la communication des résultats d’évaluation et l’entretien d’une culture de communication autour de création de rapport– sont devenues plus importantes qu’il y a cinq ans, lorsque la confiance du public était moins perturbée par l’absence de technologie dans les processus d’évaluation. Étant donné que les progrès technologiques remettent en question les méthodes traditionnelles d’évaluation, nous devons appliquer la technologie pour répondre à ces défis. Par conséquent, l’intégration de la technologie, y compris les systèmes de gestion de données avancés tels que les lacs de données et les maisons de lacs qui prennent en charge le traitement complet des données tout au long du cycle d’évaluation, et l’utilisation de pipelines de données modernisés ainsi que le développement de solutions intuitives et axées sur la technologie, peuvent contribuer directement à établir une communication claire, opportune et efficace au sein du cycle d’évaluation. De telles solutions technologiques avancées non seulement rationalisent les processus, apportent de la transparence et favorisent la collaboration, mais permettent également une adaptation continue aux changements éducatifs et technologiques, surmontant les obstacles traditionnels pour créer un système d’évaluation plus intégré, efficace et transparent qui profite à toutes les parties prenantes.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapport rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Découvrez des pratiques guidées pour moderniser les évaluations et obtenez des informations sur l'avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

Voici un bref aperçu des approches utilisées par certains pays:

• En France, par exemple, le Diplôme d’accès aux études universitaires est un diplôme délivré par une université française qui permet aux adultes n’ayant pas obtenu le baccalauréat de poursuivre des études universitaires.

• En Australie, l’éducation des adultes est proposée par les établissements d’enseignement professionnel et de formation (VET) et d’enseignement technique et complémentaire (TAFE) qui proposent une formation à des compétences spécifiques pour des lieux de travail particuliers et la possibilité d’obtenir un certificat équivalent à un niveau d’études secondaires. La qualité de ces programmes universitaires est contrôlée par l’Australian Skills Quality Authority (ASQA).

• En Allemagne, les adultes peuvent suivre un cours d’éducation pour adultes pour obtenir le niveau " Abitur ", qui est le certificat de fin d’études secondaires allemand, afin d’accéder à l’enseignement postsecondaire/à la formation professionnelle.

• Les centres provinciaux d’éducation scolaire pour adultes (CPIA) d’Italie proposent une certification pour l’acquisition de compétences de base liées à l’enseignement élémentaire obligatoire, des diplômes d’études secondaires professionnelles, techniques et artistiques, et une certification en langue italienne/alphabétisation à différents niveaux.

• Au Royaume-Uni, les adultes peuvent obtenir le General Certificate of Secondary Education (GCSE) par le biais de programmes d'éducation pour adultes ou de cours du soir. En outre, des qualifications en compétences fonctionnelles, couvrant des matières telles que l'anglais, les mathématiques et les technologies de l'information et de la communication (TIC), peuvent être obtenues à différents niveaux par le biais de programmes d'enseignement et de formation techniques et professionnels.

La transition canadienne

Le service de test du GED était chargé de distribuer les examens aux centres d'examen partout au Canada depuis de nombreuses années. Cependant, en 2023, le fournisseur de services a informé les juridictions canadiennes qu'il n'offrirait plus les examens GED® dans le pays, à compter du 3 mai 2024. La principale raison invoquée par le service de test du GED pour l'arrêt du service était que la version canadienne du GED® (série 2002) nécessitait la maintenance de l'infrastructure technologique existante (par exemple, le système de notation et la plateforme de livraison), et que le coût de cette opération était prohibitif.

Il est toutefois intéressant de noter qu'il y a plusieurs années, le Caucus canadien du GED (un groupe autonome composé d'administrateurs du GED® dans chaque province/territoire où le GED® était administré) avait identifié la nécessité de mettre à jour ou de remplacer la série de tests canadiens de 2002. Les principales raisons étaient les suivantes :

• Les concepts évalués n’étaient plus pertinents dans l’environnement de travail actuel (p. ex., certaines questions étaient trop axées sur les connaissances; il fallait mettre davantage l’accent sur les compétences de réflexion de niveau supérieur).

• La prémisse ou le contexte de certaines questions ne correspondaient plus aux perspectives des groupes ou communautés autochtones, francophones et multiculturelles.

• Il y avait une volonté de moderniser l’évaluation et de tirer parti de la technologie pour administrer des évaluations plus authentiques, interactives et inclusives qui incluent des outils et des supports numériques (p. ex., synthèse vocale).

Le Caucus GED a contacté le Conseil des ministres de l’Éducation du Canada (CMEC) pour lancer un appel de propositions afin de mener à bien ces travaux. Alberta Education a soumis une proposition, qui a été sélectionnée par le CMEC, et le développement actif des tests a commencé il y a trois ans. L’acquisition par l’Alberta d’une plateforme numérique (qui a débuté en 2021-2022) comprenait des exigences pour l’administration d’une évaluation pancanadienne destinée aux adultes.

À propos du CCÉA^[1]

Accréditation et perfectionnement

Tout comme le GED®, le CCÉA est conçu pour les adultes qui n’ont pas de diplôme d’études secondaires et qui souhaitent obtenir un diplôme d’études secondaires provincial équivalent, alors qu’ils cherchent à accéder à des possibilités d’emploi, d’éducation et/ou de formation. Les nouveaux tests/diplômes seront offerts aux candidats francophones et anglophones. Pour les adultes qui ont déjà réussi le GED®, le diplôme continue d’être reconnu, et les candidats qui ont réussi certaines des cinq matières du test GED® peuvent demander que leurs résultats soient pris en compte pour les tests du CCÉA dans les mêmes matières pendant une période allant jusqu’à trois ans (jusqu’en mai 2027).^[2] En collaboration avec des partenaires provinciaux et territoriaux nationaux (c.-à-d. les Territoires du Nord-Ouest, l’Alberta, la Saskatchewan, le Manitoba, l’Ontario, le Nouveau-Brunswick, la Nouvelle-Écosse, l’Île-du-Prince-Édouard et Terre-Neuve-et-Labrador), l’Alberta a dirigé l’élaboration de ce système de certification de l’éducation des adultes de haute qualité, fabriqué au Canada. Les questions du test ont été élaborées et validées par les membres de groupes de travail pour chaque matière. Le travail est coordonné par l’équipe du CCÉA d’Alberta Education, mais complété par des contributions en nature d’autres administrations pour des services tels que la traduction et la validation de l’adéquation culturelle. Le service de tests du CCÉA, qui relève du secteur provincial de l’évaluation d’Alberta Education, et en collaboration avec le partenaire technologique de la province, Vretta, assure la prestation et la maintenance des examens dans tout le pays. Plus précisément, le service de tests du CCÉA est responsable de :

• Élaboration et notation des tests du CCÉA

• Fourniture d'analyses continues

• Exploitation de la plateforme de tests numériques, y compris le portail de gestion des données pour les juridictions participantes et

• Rapports sur les résultats des tests

Les services comprennent :

• Administration des tests prenant en charge les formats informatiques et papier

• Notation des questions à réponse écrite

• Notation et rapport

• Maintenance du système informatique du CCÉA

Contenu et administration

Le Guide d'administration des tests du CCÉA^[3] fournit des renseignements sur les politiques et les procédures du service de tests du CCÉA qui offre les tests à toutes les provinces et territoires participants (énumérés précédemment). Les tests ont notamment été élaborés pour être :

Adapté aux besoins des adultes canadiens

Reflète les diverses cultures et perspectives des Canadiens, y compris celles des communautés autochtones, anglophones et francophones, ainsi que des communautés multiculturelles

Formation informatisée, avec option papier

Le CCÉA comprend les mêmes cinq tests thématiques que le GED®. Le nombre de questions et le temps alloué sont indiqués pour chaque test dans le tableau ci-dessous :

Le service de tests du CCÉA administre les examens dans des centres de test juridictionnels, qui peuvent être exploités par la province ou le territoire participant ou sous contrat avec des organismes privés. Les tests de mathématiques, de sciences, de sciences sociales et de lecture sont à choix multiples et notés par machine, et tous les résultats de ces tests sont considérés comme définitifs. Les candidats peuvent accéder à leurs résultats de test environ deux jours ouvrables après avoir soumis leurs réponses au test. La tâche d’écriture est notée manuellement; les candidats peuvent accéder à leurs résultats dans les 20 jours ouvrables suivant la rédaction d’un test. Les candidats peuvent demander que leur test d’écriture du CCÉA soit renoté, moyennant des frais. Les frais de rédaction des tests du CCÉA varient selon les juridictions et les centres de test. Par exemple, en Ontario, le CCÉA sera administré par le Centre d’apprentissage indépendant (ILC) de TVO, et le coût pour les candidats sera de 100$^[4].

Des mesures de soutien universelles, des dispositions spéciales et des aménagements sont disponibles pour les examens du CCÉA. Les aides universelles sont des outils intégrés à la plateforme d'évaluation électronique numérique et sont accessibles à tous les candidats qui passent les tests sur un ordinateur (le principal format d'administration). Il s'agit notamment de la superposition de couleurs à l'écran, du surligneur de texte à l'écran, du lecteur de lignes et d'une fonction de zoom. (Ces aides ne sont pas disponibles pour l'option papier.) Les aménagements spéciaux sont des conditions environnementales qui permettent aux candidats de se sentir plus à l'aise lorsqu'ils passent le test, sans affecter la validité et l'intégrité du test. Les aménagements spéciaux comprennent des pauses supplémentaires, la dictée (parole en texte), l'audio (texte en parole), un espace d'écriture séparé/privé, des écrans de confidentialité, des bloqueurs de bruit et des copies en gros caractères des tests papier. La fourniture d'aménagements spéciaux est la responsabilité du centre de test du CCÉA; les candidats doivent demander des aménagements spéciaux avant de passer un test ; et la disponibilité de ces aménagements varie selon les centres de test. Les aménagements sont des aides disponibles pour les candidats qui ont des conditions diagnostiquées médicalement ou des circonstances atténuantes particulières. Les aménagements comprennent un assistant de saisie/scribe et le format Braille. L'approbation des aménagements est la responsabilité des administrateurs juridictionnels du CCÉA.

Fréquence de rédaction

Selon le guide d'administration des tests CCÉA mentionné ci-dessus, les candidats qui n'obtiennent pas de résultat de passage pour une matière CCÉA peuvent la repasser. Ils ne peuvent tenter un test de matière qu'une seule fois par mois civil et jusqu'à un maximum de trois fois par année civile.

Notation

Les soumissions des candidats à l'écriture sont notées indépendamment par au moins deux correcteurs du service de test CCÉA. Si la fourchette de notes est comprise entre deux points, la moyenne des deux notes est prise comme résultat final. Si les correcteurs fournissent une fourchette de notes supérieure à deux points, la tâche d'écriture est notée une troisième fois et les deux notes les plus élevées sont moyennées pour calculer le résultat final.

Échelle de rapport

L'échelle suivante est utilisée pour rapporter les résultats des matières du CCÉA.

Évaluation des acquis

L'évaluation et la reconnaissance des acquis est un processus qui reconnaît les apprentissages équivalents obtenus en dehors du processus CCÉA. Deux sources potentielles de reconnaissance des acquis pour le CCÉA sont les résultats antérieurs des tests GED® et les équivalences de cours d'enseignement secondaire ou d'éducation des adultes, selon le cas. La reconnaissance des acquis permet aux candidats d'être exemptés de passer jusqu'à un maximum de quatre tests de matières du CCÉA.

Test pratique

Les tests pratiques du CCÉA sont accessibles ici : https://caec.vretta.com/#/en/candidate-public-practice.

Conclusion

Bien que le GED® soit largement utilisé pour démontrer l’équivalence des études secondaires, les pays ont développé une variété de programmes et de parcours pour aider les adultes à obtenir les diplômes d’études dont ils ont besoin pour accéder à l’enseignement supérieur, à la formation et à la recherche d’emploi. Développé pour remplacer le GED® abandonné, le Diplôme d’études canadiennes pour adultes (CCÉA) est un nouveau certificat d’éducation pour adultes de haute qualité, fabriqué au Canada, destiné aux adultes qui n’ont pas obtenu de diplôme d’études secondaires. Les candidats des juridictions participantes qui réussissent le CCÉA recevront des certificats d’équivalence d’études secondaires. Ce programme de test sera d’une importance cruciale pour les adultes qui cherchent à accéder à des possibilités d’emploi, d’éducation et/ou de formation, à mesure qu’ils progressent dans leur carrière. À mesure que le CCÉA sera mis en œuvre plus largement dans tout le pays, un prochain article décrira dans quelle mesure les candidats au test, et toutes les parties prenantes d’ailleurs, perçoivent le degré de réussite du programme, y compris l’utilisation/la valeur de la technologie numérique pour offrir le programme.

À propos de l'auteur

Le Dr Richard Jones possède une vaste expérience dans les domaines de l'évaluation pédagogique à grande échelle et de l'évaluation de programmes et travaille dans le domaine de l'évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de direction à l'Office de la qualité et de la responsabilité en éducation (OQRE) en Ontario, ainsi qu'aux ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces rôles, il était responsable des initiatives liées à l'évaluation des élèves, des programmes et des cursus, aux indicateurs de qualité de l'éducation, à la planification de l'amélioration des écoles et des conseils scolaires, à l'accréditation des écoles et aux tests provinciaux, nationaux et internationaux.

Richard a commencé sa carrière en tant qu'éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une multinationale américaine fournissant des services de conseil au Moyen-Orient.

N'hésitez pas à contacter Richard "Rick" à richard.jones@rmjassessment.com (ou via LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d'évaluation à grande échelle et/ou d'évaluation de programmes.

Remerciements

L’auteur tient à remercier les membres du secteur provincial de l’évaluation d’Alberta Education pour leur précieuse contribution à cet article. Pour toute question concernant le site Web du CCÉA, le format, le contenu, les règles et les informations du test, n’hésitez pas à contacter le service de tests du CCÉA au +1 (780) 238-7116 ou par courriel à edc.caec@gov.ab.ca.

Références

[1] Alberta Education. (2024). Canadian Adult Education Credential: About the CAEC Testing Service. Récupéré le 13 juin 2024 sur : https://www.alberta.ca/information-for-testing-centres.

[2] TVO Independent Learning Centre. (2024). The Canadian Adult Education Credential (CAEC) : remplacement du GED® à venir à l’été 2024. Récupéré le 12 juin 2024 sur : https://ged.ilc.org,

[3] Canadian Adult Education Credential/Certificat canadien d’éducation des adultes. (2024). Diplôme d'études canadiennes pour adultes : Guide d'administration des tests. Récupéré le 12 juin 2024 à l'adresse suivante : https://www.alberta.ca/system/files/caec-test-administration-guide.pdf

[4] Ministère du Travail, de l'Immigration, de la Formation et du Développement des compétences de l'Ontario. (14 mai 2024). Note de service de : Sous-ministre adjoint, Division des politiques et de l'innovation en matière de main-d'œuvre et Sous-ministre adjoint, Division de l'emploi et de la formation, À : Réseau Emploi Ontario. Récupéré le 12 juin 2024 à l'adresse suivante : https://www.tcu.gov.on.ca/eng/eopg/publications/lbs-memo-caec-en.pdf.

L'application des procédures d'établissement de normes varie selon les juridictions en raison de plusieurs facteurs, notamment le niveau de transparence de la responsabilité éducative, les sensibilités politiques telles que la nécessité de classer une proportion « appropriée » d'étudiants en fonction de leurs compétences, l'affaiblissement des procédures par des notes limites légales préétablies et la technicité de l'explication des méthodologies d'établissement de normes. Par conséquent, la connaissance et la familiarité pratique avec cette méthodologie peuvent être limitées au sein de la communauté d'évaluation et au-delà. Indépendamment de ces défis, une compréhension claire de la procédure d'établissement de normes par toute personne intéressée par l'éducation lui permettrait de maximiser les avantages associés à cette méthode unique dans le secteur de l'évaluation.

Cet article vise à simplifier la compréhension du processus d’établissement de normes et à aider nos lecteurs de la communauté éducative à voir son rôle dans le contexte plus large du cycle d’évaluation et du système éducatif.

101: Les bases de l’établissement de normes

La méthodologie d’établissement de normes dans le domaine de l’évaluation permet de qualifier les données d’évaluation quantitatives avant la prise de décision pédagogique grâce à une classification fiable des élèves en catégories. Une telle classification apporte de la clarté dans l’interprétation des capacités des élèves à différents niveaux de compétence. Ainsi, l’établissement de normes établit des limites claires pour les niveaux de capacité des élèves, apportant cohérence et alignement avec les politiques éducatives nationales et les évaluations à grande échelle. Ainsi, comprendre et valoriser ce processus peut améliorer votre dialogue et votre prise de décision dans votre contexte et vos responsabilités spécifiques.

Selon les normes pour les tests éducatifs et psychologiques de l'American Educational Research Association, de l'American Psychological Association et du National Council on Measurement in Education (2014), l'établissement de normes est défini comme « le processus d'établissement de notes de passage pour les normes de réussite scolaire ». L'établissement de normes fait partie intégrante de l'apprentissage et de l'évaluation, c'est pourquoi nous explorerons ces perspectives en tant que types de normes pour promouvoir une réflexion systématique sur la culture de l'établissement de normes. En fait, les normes de contenu du programme, appelées descripteurs de réussite pour chaque niveau dans notre contexte, sont comparées aux normes de performance au cours du processus d'établissement des normes. Étant donné que les changements apportés au programme ou aux évaluations entraînent des modifications des pratiques d'enseignement, ces changements doivent se refléter dans les évaluations, ce qui nécessite la réalisation d'études d'établissement de normes, tandis que des études de validation sont menées à d'autres moments pour étayer les affirmations formulées à partir des données d'évaluation et de leur interprétation.

Dans les évaluations linguistiques, le Cadre européen commun de référence pour les langues (CECRL) sert à la fois de référentiel de contenu et de référentiel de performance, en définissant des objectifs d’apprentissage linguistique spécifiques et des résultats de compétence mesurables à chaque niveau. De même, les juridictions peuvent fixer des niveaux de compétence en langues étrangères (comme B1) pour l’obtention du diplôme d’études secondaires, tandis que des examens comme l’IELTS, le TOEFL ou le test d’anglais de Duolingo mènent des études de définition de normes pour aligner leur notation sur les niveaux de compétence du CECRL. De tels efforts d’alignement facilitent la comparaison des résultats entre différents examens grâce à des études de concordance.

Établir des limites : perspectives des enseignants et des décideurs

J'expliquerai l'établissement de normes à partir de deux perspectives familières aux praticiens - les enseignants et les décideurs. Du point de vue d'un enseignant, l'établissement de normes peut être expliqué par une tâche quotidienne en classe. Les enseignants peuvent considérer leur classe comme une carte, chaque élève étant positionné à différents points en fonction de ses besoins d'apprentissage. Grâce aux interactions, les enseignants évaluent les capacités et les niveaux de connaissances de leurs élèves, ce qui les aide à planifier les étapes d'enseignement ultérieures ou à déterminer les services de soutien appropriés. Tout simplement, les enseignants catégorisent les parcours d'apprentissage et établissent des normes de performance des élèves au sein de ces catégories, ce qui façonne à son tour le système de soutien qu'ils mettent en œuvre pour l'apprentissage ultérieur.

De même, les décideurs politiques responsables de la prise de décisions dans le domaine des politiques affectant les résultats des apprenants doivent d'abord comprendre ce qui constitue une performance adéquate des élèves à chaque niveau et où se situe chaque groupe d'élèves dans la carte éducative, dans le but de classer les apprenants en fonction de leurs capacités. Cette approche aide à l'allocation des ressources en identifiant des systèmes de soutien appropriés pour divers groupes d'élèves dans des matières spécifiques, améliorant ainsi le parcours de progression de chaque apprenant. De même, nous faisons souvent référence aux évaluations adaptatives comme étant bien adaptées pour couvrir un large éventail de capacités des apprenants, en évaluant chacun en fonction de son niveau de compétence ; de la même manière, l’établissement de normes facilite la prise de décision adaptative.

Études de définition de normes : méthodes et approches

Dans le contexte de l'évaluation pédagogique, les méthodes de définition de normes les plus couramment utilisées sont la méthode Angoff, initialement introduite par Angoff en 1971, et la méthode Bookmark, développée et perfectionnée par les chercheurs du CTB/McGraw-Hill en 1996. Chacune de ces méthodes est brièvement décrite ci-dessous :

* un individu juste au seuil de compétence.

** Illustrations du livret d'items classés. Adapté de Mitzel et al. (2001), p. 256.

Il existe d'autres méthodes utilisées dans la pratique de l'établissement des normes que je n'ai pas incluses dans le tableau ci-dessus, mais j'en ai brièvement décrit deux autres ci-dessous, car elles couvrent des méthodes et des approches pertinentes pour divers contextes :

Méthode Angoff modifiée: cette variante de la méthode Angoff traditionnelle consiste à ajuster les estimations de probabilité pour tenir compte des différentes complexités des items du test, offrant une approche plus nuancée de l'évaluation des compétences des candidats.

Méthode Ebel: la méthode Ebel catégorise chaque item du test par pertinence et difficulté avant de recommander des notes de coupure, structurant ainsi le processus d'évaluation pour garantir que tous les aspects de l'importance et du défi d'un item sont pris en compte.

Compte tenu des différents points forts et des applications spécifiques de chaque méthode, ma recommandation finale est d'évaluer soigneusement les exigences et le contexte uniques de chaque évaluation pédagogique. Pour les évaluations à enjeux élevés nécessitant des preuves objectives, la méthode Bookmark est fortement recommandée en raison de son approche complète et systématique.

Le cycle d'établissement des normes

Le processus d'établissement des normes peut être considéré comme un cycle (comme illustré ci-dessous) d'étapes importantes telles que la sélection du panel, la formation, l'examen des questions, l'analyse des données et les recommandations finales sur les notes de passage pour deux niveaux de compétence (« réussite » et « échec ») ou quatre (en dessous du niveau de base, de base, compétent et avancé). Au début du cycle, l'objectif de l'évaluation est identifié et la méthode d'établissement des normes est décidée.

Le tableau ci-dessous illustre les étapes pratiques d'une procédure d'établissement de normes dans son ensemble, avec les étapes principales suivantes : Nous avons la note de passage sous forme de score absolu unique, qui est généralement utilisé dans les examens de certification à enjeux élevés, par opposition à une plage de scores qui est souvent utilisée pour fournir un retour d'information à des fins d'apprentissage continu. De plus, certaines étapes, telles que la conduite de cycles itératifs pour reconfirmer la décision finale, la documentation du processus, la communication des décisions finales aux parties prenantes, le suivi de la mise en œuvre du score de coupure et la collecte de preuves pour une validation continue, ont été fusionnées ou abrégées pour plus de clarté. Il peut être judicieux que le jury fasse passer le test et lui fournisse des données d'impact - détaillant le nombre d'étudiants concernés et à quel niveau - pour donner pleinement le ton de la responsabilité requise pour les décisions résultant de la recommandation de la note de passage. Indépendamment de toute mesure supplémentaire adaptée aux besoins contextuels spécifiques, chaque étape doit respecter les normes décrites dans les " Normes pour les tests éducatifs et psychologiques " mentionnées plus haut dans notre introduction.

Surmonter les obstacles dans l’élaboration des normes : recommandations pratiques

À chaque étape du processus d’élaboration des normes, des défis liés à l’interaction humaine ou à l’environnement de travail peuvent survenir. Vous trouverez ci-dessous un tableau qui décrit certains de ces défis et fournit des stratégies d’atténuation pour garantir que le résultat final du processus remplisse son objectif de la meilleure façon possible :

Modernisation de l'évaluation : l'IA dans l'établissement des normes

L'utilisation accrue de la technologie dans l'évaluation pédagogique, en particulier l'intégration de l'IA dans le cycle d'évaluation, nous encourage à considérer également le rôle futur de l'IA dans le processus d'établissement des normes. Bien que l'établissement des normes, comme la conduite des évaluations sur papier, se fasse principalement en face à face, les réalités actuelles nécessitent une approche différente : évaluer la maturité des processus d'établissement des normes exécutés dans le cadre du pipeline de solutions proposé par les fournisseurs de technologie. Dans le parcours de modernisation des évaluations pédagogiques, les plateformes de gestion des données sont très importantes pour gérer le flux d'informations et l'aligner systématiquement sur les besoins des parties prenantes. Dans ce contexte, le processus d'établissement des normes pourrait bénéficier de fonctionnalités supplémentaires dans les plateformes d'évaluation pilotées par la technologie en permettant l'extraction de données au niveau des items à partir d'un pipeline de gestion des données et en facilitant l'organisation des activités d'établissement des normes avec des experts au sein de la même plateforme.

Dans le cadre de l'évolution de la gestion des données, les entrepôts de données (lieux où les données structurées sont stockées et facilement interrogées) et les base de données (grands pools de données brutes non structurées) ont traditionnellement été utilisés pour les rapports opérationnels, l'analyse et le soutien à l'exploration avancée des données et à l'innovation grâce aux technologies du Big Data et de l'IA. Aujourd'hui, nous entrons dans une nouvelle ère avec le « lakehouse » (un système moderne qui combine la récupération rapide des données des entrepôts de données avec la grande capacité de stockage des bases de données), une architecture de gestion des données moderne qui combine les fonctionnalités des bases de données et des entrepôts de données sur des plateformes de données cloud.

L’avenir de l'établissement des normes : collaboration et technologie

À l'avenir, l'établissement des normes passera de plus en plus à un format numérique, s'intégrant pleinement dans le cycle d'évaluation numérique, tout en étant soutenu par des rapports de données avancés, des analyses et des innovations grâce aux technologies du big data et de l'IA. Pour soutenir la mise en œuvre virtuelle continue de l'établissement des normes, qui manque de l'interaction personnelle que l'on trouve dans les environnements en face à face, la fonctionnalité collaborative et les capacités avancées d'exploration des données des plateformes d'évaluation pourraient être améliorées. Une approche systématique des normes de contenu et de performance, accompagnée d'efforts de validation continus entre les exercices d'établissement des normes, soutiendra une mise en œuvre cohérente et favorisera une culture holistique autour de l'évaluation.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapport rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre national d'examen d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que les examens des évaluations linguistiques conformes au CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l'avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

La première fois que j'ai entendu l'expression développement durable, c'était en 2015, lorsque les Nations Unies ont lancé leurs 17 objectifs de développement durable (ODD), le quatrième objectif (ODD 4) étant consacré à la fourniture d'une éducation de qualité et à la promotion de l'apprentissage à vie pour tous (UNESCO, 2017). Au départ, ce concept me semblait abstrait, mais plus tard, l'importance croissante des rôles de spécialistes de la gouvernance sociale environnementale dans les entreprises et l'attention portée à des événements comme la Conférence des Nations Unies sur les changements climatiques de 2024 (COP29) ont commencé à faire prendre conscience à l'échelle mondiale et au paysage réglementaire des entreprises.

À mesure que la sensibilisation et la réglementation des entreprises se sont accrues, j'ai exploré diverses perspectives et identifié trois domaines clés dans lesquels la durabilité et l'évaluation se croisent : l'évaluation durable axée sur les futurs besoins d'apprentissage, l'évaluation de la durabilité elle-même et la poussée vers la numérisation pour réduire les déchets opérationnels, le premier étant mon principal intérêt. Ensuite, j'ai commencé à me poser des questions : comment devrions-nous aligner notre travail en matière d'évaluation pédagogique sur ces discussions et initiatives en constante évolution en matière de développement durable ?

Cet article fournit une perspective sur la durabilité et explore comment nous, en tant qu’évaluateurs pédagogiques, pouvons contribués. Cela inclut une matrice du cycle d’évaluation et de réflexion durable, propose des solutions durables et fournit  un aperçu des développements futurs.

Production et développement durables dans le cycle d’évaluation

Explorons le cycle d'évaluation éducative dans le cadre de la production et du développement durables, en examinant comment un auditeur de gouvernance sociale environnementale vérifierait les pratiques d'évaluation à chaque étape. Ci-dessous, chaque phase du cycle d'évaluation est analysée sur la base de critères ESG, en mettant l'accent sur l'impact environnemental, l'équité sociale et la gouvernance :

Cadre du cycle d’évaluation durable

Remarque : Chaque fois que la « numérisation » ou les « solutions numériques » sont mentionnées dans le tableau, elles font référence à l'utilisation de technologies basées sur le cloud, sauf indication contraire. De plus amples détails sont fournis plus loin dans la section « Innovations en matière d'infrastructure numérique »

Avec une telle matrice en main, les organismes d’évaluation peuvent commencer à réfléchir et à développer des stratégies axées sur la conception durable des évaluations, la promotion de la sensibilisation à l’impact environnemental, l’amélioration de l’inclusion sociale et le respect de normes de gouvernance strictes.

Fondements des pratiques d’évaluation durable

La définition de développement durable, selon l’Institut international du développement durable, se traduit par un concept holistique : « développement qui répond aux besoins du présent sans compromettre la capacité des générations futur de répondre à leurs propres besoins. » Si nous prenons cette définition de développement durable et l’appliquons au contexte d’évaluation, le développement durable pourrait être perçu comme une évaluation « qui répond aux besoins présents et (également) prépare les étudiants à répondre à leurs propres besoins d’apprentissage futurs » (Boud 2000, 151).

Défis et opportunités en matière d’évaluation durable

Le domaine de l’évaluation durable est mieux compris grâce à l’analyse comparative. Cela peut guider les stratégies de transition des pratiques d’évaluation numérique traditionnelles vers des pratiques d’évaluation durables utilisant des instruments appropriés. Vous trouverez ci-dessous une matrice qui détaille les caractéristiques comparatives pour une compréhension plus claire, accompagnée d'un tableau qui présente la réflexion conceptuelle derrière les problèmes traditionnels basés sur des situations ainsi que des évaluations avec une pensée durable appliquée, à la fois en mathématiques et en littérature:

Évaluations durables non durables et modifiées : exemples mathématiques et littéraires

Le concept de pensé durable dans la création implique d'intégrer le contexte environnemental dans divers sujets sans nécessairement concentrer le contenu sur des thèmes environnementaux. Cette approche peut nécessiter différents types de travail de la part de l'étudiant ; par exemple, alors que les exemples non durables sont plus simples et plus directs, les questions conçues de manière durable peuvent sembler intrinsèquement plus complexes. Comme alternative, les éducateurs pourraient utiliser des textes comparatifs sur la nature – un plus ancien et un plus récent, abordant les préoccupations environnementales modernes. Bien que cette méthode soit centrée sur des sujets environnementaux, son application cohérente dans tous les domaines de contenu peut s'avérer difficile.

Orientations futures pour des évaluations éducatives durables

L'évaluation pédagogique durable devient une considération largement répandue parmi les décideurs dans la vague de numérisation pour relever les défis non seulement de nos réalités actuelles mais aussi de l'avenir. Alors que la durabilité est déjà une préoccupation majeure dans des secteurs tels que le pétrole et le gaz, qui traitent directement de la consommation d'énergie et des impacts environnementaux, le domaine de l'évaluation pédagogique continuera à reconnaître l'importance de favoriser des pratiques durables en raison de la nature de l'évaluation pédagogique pour conduire un changement dans système éducatif.

Ce passage de la simple numérisation à une numérisation durable de l’évaluation vise à fournir une vision futuriste de nos atouts dans le secteur numérique de l’évaluation pédagogique en promouvant un état d’esprit de durabilité. Cette approche intègre des concepts de durabilité dans divers domaines, enrichissant les évaluations avec des situations réelles contextualisées qui se concentrent sur la pensée durable, quel que soit le domaine. À cette fin, les principales avancées en matière d’évaluations éducatives numériques au sein des sociétés durables peuvent être classées en deux groupes principaux :

Innovations technologiques

Cette catégorie présente les avancées des nouvelles technologies conçues pour améliorer la fonctionnalité, l'accessibilité et l'efficacité des évaluations numériques, les rendant ainsi adaptées aux exigences d'un cycle d'évaluation contemporain et durable. Récemment, les innovations technologiques dans le domaine de l’évaluation pédagogique ont été principalement motivées par l’utilisation accrue des systèmes d’IA et le développement d’une infrastructure numérique moderne, comme détaillé ci-dessous :

Intégration accrue de l'IA dans les évaluations : les systèmes d'IA seront largement utilisés dans le contexte de l'évaluation pédagogique pour utiliser des techniques avancées de traitement du langage naturel afin d'évaluer à la fois le contenu et les aspects créatifs des réponses des élèves. De tels systèmes d'IA utiliseront également l'analyse prédictive pour prévoir les besoins d'apprentissage des étudiants, en fournissant des conseils et un soutien personnalisé, favorisant ainsi un accès égal à une éducation de qualité. De plus, l’IA aidera les équipes de conception d’évaluation à créer des évaluations sur mesure et inclura des fonctions permettant d’auto-corriger les biais dans les éléments. À terme, la technologie de reconnaissance des émotions pourrait améliorer ces systèmes d’IA en ajustant les évaluations en temps réel pour réduire le stress des étudiants, favorisant ainsi un environnement d’évaluation favorable aux candidats.

Adoption de l'infrastructure numérique : l'une des réformes numériques clés dans le domaine de l'évaluation pédagogique est l'utilisation accrue de la technologie cloud, qui élargirait l'accessibilité et l'évolutivité des plateformes d'évaluation dans les organismes d'évaluation tout en contribuant également à la diminution de l'empreinte carbone associée à infrastructures de serveurs traditionnelles. De plus, l'administration d'évaluations via des appareils mobiles pour des évaluations à faible enjeu permet d'apprendre à tout moment et en tout lieu, en minimisant le besoin d'infrastructure physique et en promouvant un environnement d'apprentissage flexible, adaptable à divers modes de vie et conditions. Enfin, l’utilisation de la technologie blockchain soutiendrait la gestion et la vérification systémiques des diplômes d’évaluation tout au long du cycle d’évaluation et au-delà, y compris les certifications et toute décision prise sur la base de tout type de données d’évaluation contribuant au suivi numérique et à la reconnaissance de l’apprentissage tout au long de la vie.

Améliorations en matière de durabilité et d'accessibilité

L’inclusivité peut être considérée de manière holistique comme une condition préalable à la durabilité, s’alignant sur des objectifs sociaux et environnementaux plus larges. Ainsi, en s’appuyant sur les principes d’inclusivité et en tenant compte des besoins futurs d’une société durable, voici quelques stratégies qui illustrent la manière dont la durabilité et l’accessibilité peuvent être intégrées dans les cycles d’évaluation numérique :

Mesures de durabilité dans la conception de l'évaluation : l'intégration de critères matriciels tels que l'impact environnemental, l'efficacité des ressources et la responsabilité sociale tirés du tableau ci-dessus dans la conception de l'évaluation peut encourager les élèves à donner la priorité à ces questions dès leur plus jeune âge, favorisant une attitude qui intègre les pratiques de durabilité dans leur vie de manière cohérente.

Accessibilité et inclusion numériques : les étudiants qui passent aux évaluations numériques doivent être assurés que leur accès aux évaluations n'est en aucun cas limité par des problèmes d'accessibilité, et ils doivent se sentir inclus dans l'environnement de test établi. Cet engagement de l’organisme d’évaluation en faveur de l’équité en matière d’éducation encourage la culture selon laquelle tous les élèves, y compris ceux ayant des besoins spéciaux, ont des chances égales d’apprendre et d’être évalués.

Réflexions finales : vers un modèle d’évaluation durable

En conclusion, l'intégration de la durabilité dans les évaluations éducatives représente un domaine nouveau et potentiellement sous-développé dans la capacité des organismes d'évaluation à s'adapter à nos processus d'évaluation traditionnels et statiques dans le domaine numérique. En comblant ce fossé d'inconnu grâce à une réflexion conceptuelle durable dans le cycle d'évaluation, en utilisant la technologie, nous ouvrons la porte à de nouvelles possibilités pour traduire des situations réelles dans l'environnement de test virtuel et nourrir une réflexion durable pour les générations à venir. Nous espérons que les matrices pratiques, l’analyse comparative et les exemples fournis dans cet article serviront de première étape pour considérer les évaluations durables comme réalisables avec des ajustements mineurs dans les approches utilisées dans le cycle d’évaluation. Grâce à de telles contributions de la communauté de l’évaluation, nous pouvons avoir le sentiment que nous avons également contribué à la cause de la durabilité dans notre parcours professionnel.

A propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans l'amélioration de divers aspects du cycle d'évaluation. Sa capacité à donner des conseils sur le développement de modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation en matière d'analyse de données et la création de techniques de rapports rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des sociétés de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative à la transformation des évaluations locales et a dirigé des projets régionaux clés, tels que des révisions d'évaluations linguistiques alignées sur le CECR, des formations d'alphabétisation en matière d'évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l’évaluation à travers le pays et la région post-soviétique. En tant qu'animateur bénévole, Vali organise également des sessions pour les jeunes sur la protection de l'environnement et l'utilisation d'une pensée durable dans des programmes européens tels qu'Erasmus Plus.

Découvrez des pratiques pionnières en matière de modernisation des évaluations et obtenez un aperçu de l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

Les évaluations à grande échelle peuvent être fastidieuses et stressantes pour les candidats, mais les développeurs de tests peuvent changer cela en créant des évaluations engageantes, efficaces et fournissant des informations plus approfondies sur la capacité de réflexion supérieure des étudiants. Dans un article précédent, j’ai exposé les raisons justifiant la réalisation d’évaluations d’élèves à grande échelle et proposé un résumé de haut niveau des nombreux avantages de les réaliser au format numérique. Cet article explique comment les évaluations peuvent être améliorées pour les rendre plus attrayantes et efficaces pour les candidats. Mais d’abord un peu de contexte.

Il y a plusieurs années, lorsque l'Office de la qualité et de la responsabilité en éducation (OQRE) a testé l'évaluation informatisée dans les écoles de la province, les premiers tests étaient composés de tests à choix multiples typiques, ainsi que de tests à réponse courte et de réponses ouvertes plus longues. Essentiellement, les questions présentées sur papier ont été directement converties pour être répondues sur ordinateur. Au cours de plusieurs mois, le personnel de l'OQRE a visité des écoles pour observer les essais d'administration des évaluations informatisées et faire des conversations de suivi avec le personnel scolaire et les étudiants pour connaître leurs réactions à la nouvelle approche. Même avec ces tests rudimentaires sur ordinateur, les étudiants étaient très motivés. Je me souviens d'un cas où un enseignant a pointé du doigt un élève avec étonnement. Le garçon, généralement désengagé par l’école, était complètement absorbé par l’expérience de passer le test. Dans l’ensemble, les étudiants étaient enthousiastes à l’idée de passer une évaluation sur ordinateur, et beaucoup d’entre eux ont été déçus lorsqu’ils ont appris que nous ne reviendrions pas le lendemain pour administrer à nouveau les évaluations!

Depuis ces débuts, l’initiative de modernisation des évaluations de l’OQRE a considérablement évolué. En passant aux évaluations informatisées en ligne, l'Agence a pu s'éloigner des questions simples, unidimensionnelles, à choix multiples et à réponse ouverte. Cette transition a donné l'opportunité d'élargir la gamme de types d'items, qui sont non seulement intéressants pour les étudiants, mais peuvent également améliorer l'efficacité des évaluations en permettant aux candidats de mieux démontrer ce qu'ils savent et ce qu'ils peuvent faire. Les options multimédias telles que des cartes, des diagrammes, des photographies, des animations, des vidéos et des fichiers audios, ainsi que des items améliorés par la technologie, y compris des simulations de type jeu, améliorent encore l'engagement et peuvent présenter aux étudiants des situations du monde réel à partir desquelles ils peuvent montrer leurs connaissances, leurs compétences et leurs capacités. 

Évaluation Formative multilingue pour le succès des étudiants

Plusieurs autres juridictions ont transitionné aux évaluations numériques pour rendre leurs tests plus efficaces et effectifs et pour renforcer l’engagement des étudiants. En réponse à une population scolaire hétérogène et multilingue croissante et à une volonté de promouvoir la sensibilisation au numérique, le ministère de l'Éducation nationale, de l'Enfance et de la Jeunesse (MENJE) du Luxembourg a lancé un programme appelé MathemaTIC en collaboration avec son partenaire technologique, Vretta. L’éducation numérique avait pour but de préparer les étudiants à apprendre, à vivre et à travailler dans le monde global du 21^e siècle, caractérisé par une utilisation croissante de nouvelles technologies, et d’explorer les façons d’utiliser la technologie en tant que partie intégrale d’un enseignement et apprentissage de qualité.

Le programme est un environnement d'apprentissage personnel qui offre aux élèves de 10 et 11 ans (5e et 6e années) une expérience d'apprentissage engageante, comprenant des ressources mathématiques numériques en allemand, français, portugais et anglais, pour développer une base solide et confiance en les mathématiques. Ce système d'évaluation intégré, adapté aux besoins individuels des étudiants, offre aux étudiants un retour d'information continu, immédiat et à faibles enjeux ainsi qu'un soutien de rattrapage alors qu'ils travaillent sur une carte de module personnalisée (comme indiqué dans le diagramme) à leur propre rythme.

MathemaTIC contient des items/tâches mathématiques interactifs, visuels, audio et vidéo. Ces items/tâches sont divisés en modules d'apprentissage du programme, où chaque module commence par une évaluation diagnostique de 10 minutes pour déterminer les connaissances et les capacités de l'étudiant en ce qui concerne le contenu. Les résultats de l’évaluation diagnostique déterminent la séquence d’items/tâches présentés à l’apprenant (modèle adaptatif). (Des activités supplémentaires peuvent également être proposées par l'enseignant.) Le programme peut être utilisé en groupe/en classe, ou les élèves peuvent travailler individuellement sur le programme à leur propre rythme. Après chaque module d'apprentissage, le système présente une évaluation sommative de 10 minutes que l'enseignant peut administrer à l'ensemble de la classe. Le suivi des résultats et des progrès des élèves au fil du temps permet aux enseignants, aux élèves et aux parents de comprendre où en sont les élèves par rapport à leur parcours d'apprentissage.

MathemaTIC possède un large éventail d’outils, incluant l’efface standard, un surligneur, zoomer/dézoomer, une calculatrice et un cahier de note. Voici quelques exemples d’autres outils utiles :

Une large variété de types d’item sont offert pour les mathématiques, en plus du standard glisser/déposer, items à choix multiples, et items de réponse à saisie numérique et ouverte. Voici quelques autres exemples de format innovant :

Un assortiment d’item de commentaires sont disponibles en mathématiques. Voici quelques exemples :

Il est également intéressant de noter qu’à compter de l’année scolaire 2024-25, les enfants du préscolaire (3 à 5 ans) seront initiés à un nouveau programme appelé MATHI. Les éducateurs du pays reconnaissent qu’à partir de 8/9 ans, les déficits en mathématiques, acquis dans les premières années, sont difficiles à combler. MATHI, qui prendra initialement la forme d’activités et de ressources sur papier, vise à susciter des attitudes positives des élèves à l’égard des mathématiques, alors qu’ils n’ont pas peur/entravés par la matière. Le programme sera à terme étendu aux élèves de 10/11 ans et les applications numériques seront progressivement introduites.

Quand la didactique rencontre la science des données : France

Face à l'intérêt croissant pour les items améliorés par la technologie, la Direction de l'évaluation, de la prospective et de la performance (DEPP) du ministère français de l'Éducation nationale a mené une étude incluant l'analyse des données de journal capturées lors de l'utilisation d'un items améliorés par la technologie qui a été développée en collaboration entre leur partenaire technologique, Vretta, et SCRIPT du ministère luxembourgeois pour l'évaluation CEDRE. Il s’agissait d’identifier comment les items améliorés par la technologie fournissent un aperçu des approches des étudiants pour résoudre les problèmes et de leurs stratégies de processus.

Pour leur étude, ils ont choisi l’items améliorés par la technologie « Croissance des arbres » (comme indiqué dans le diagramme) avec un échantillon de 3 000 élèves de 9e année, où les élèves entrent l'âge de l'arbre en mois dans le tableau. Un outil de calcul renvoie les hauteurs d'arbre correspondantes et un outil graphique repère les points dans le graphique.

Le résultat de l'étude a montré que les informations sur des compétences de niveau supérieur telles que la résolution de problèmes, l'élaboration d'une stratégie et la réalisation d'une réflexion mathématique, recueillies à partir des données du journal de réponses des élèves, aideraient les enseignants à mieux soutenir les élèves dans leur apprentissage. Ce profil qualitatif, basé sur le modèle stratégique des élèves dans la résolution des items améliorés par la technologie, ajouterait de la valeur au retour d’information national qui peut être fourni aux enseignants qui seraient en mesure de différencier l’enseignement en classe en fonction du profil cognitif de chaque élève.

Conclusion

L'utilisation d'une gamme élargie de types d’items (y compris les options multimédias et les items améliorés par la technologie) présente aux étudiants des situations authentiques et réelles à partir desquelles les éducateurs et les administrateurs peuvent acquérir un aperçu plus approfondi de nombreuses compétences du 21e siècle qui sont traditionnellement difficiles (ou impossibles) à recueillir à partir de types d’items standard (ou de tests sur papier). De plus, les évaluations peuvent être développées de manière qu’elles soient engageantes pour l’apprenant. Dans le cas de MathemaTIC, des indications ont montré que les étudiants et les enseignants luxembourgeois sont enthousiastes et gagnent en valeur dans la compréhension des compétences de haut niveau de leurs étudiants, qui incluent la pensée critique et la capacité d'évaluer et d'analyser des problèmes du monde réel ; cela est de bon augure pour la réussite du projet. À mon avis, on peut dire la même chose des projets de modernisation de l'évaluation récemment mis en œuvre dans les provinces canadiennes de la Colombie-Britannique, de l'Alberta, de l'Ontario et du Nouveau-Brunswick.

A propos de l'auteur

Le Dr Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique et de l’évaluation de programmes à grande échelle et travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de haute direction au sein de l'Office de la qualité et de la responsabilité en éducation (OQRE) en Ontario, ainsi qu'au sein des ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces rôles, il était responsable des initiatives liées à l'évaluation des étudiants, des programmes et du curriculum ; indicateurs de qualité de l'éducation ; planification de l'amélioration des écoles et des conseils scolaires; accréditation scolaire; et des tests provinciaux, nationaux et internationaux.

Le Dr Jones a débuté sa carrière comme éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une société multinationale basée aux États-Unis fournissant des services de conseil au Moyen-Orient.

N'hésitez pas à contacter Rick à richard.jones@rmjassessment.com (ou via LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d'évaluation à grande échelle et/ou d'évaluation de programme.

[1] Jones, RM (2023, août). Valeur des évaluations en ligne à grande échelle des étudiants. Article préparé pour l'International e-Assessment Association (eAA), consulté sur https://www.e-assessment.com/news/value-of-large-scale-online-studentassessments/#:~:text=For%20education %20autorités%20et%20parties prenantes,responsabilité%20et%20système%20amélioration%20objectifs.

[2] Des exemples d'évaluations pour la 3e année sont accessibles à l'adresse : https://d3d9vqrpii4nuo.cloudfront.net/#/en/student/primary-assessment ; pour la 6e année : https://d3d9vqrpii4nuo.cloudfront.net/#/en/student/junior-assessment ; pour la 9e année : https://dwod99k06nyqh.cloudfront.net/#/en/test-auth/g9-sample/340/adaptive ; et pour la 10e année : https://d1c1qqn86e6v14.cloudfront.net/#/en/student/osslt-assessment/sample/573.

[3] Kafai-Afif, A. et Bertemes, J. (novembre 2016). Évaluation des élèves à faibles enjeux pour la réussite des élèves : un environnement d'apprentissage personnalisé en mathématiques pour améliorer les résultats et lutter contre les inégalités. Extrait le 1er avril 2024 de : https://www.researchgate.net/publication/309858388_LOWSTAKES_STUDENT_ASSESSMENT_FOR_STUDENT_SUCCESS_A_PERSONALISED_LEARNING_ENVIRONMENT_IN_MATHEMATICS_TO_RAISE_ATTAINMENT_AN D_TACKLE_INEQUITY/link/5825864008aeebc4f8 a194e9/download?_tp=eyJjb250ZXh0Ijp7ImZpcnN0UGFnZSI6InB1YmxpY2F0aW9uIiwicGFnZSI6InB1Y mxpY2F0aW9uIn19

[4] Modules d'apprentissage du programme MathemaTIC : https://mathematic.org/curriculum

[5] L'auteur tient à remercier Vretta pour avoir partagé des informations sur les exemples d'outils, de types d'éléments et de types de commentaires utilisés dans le programme MathemaTIC, qui est un projet collaboratif avec SCRIPT (Service de Coordination de la Recherche et de l'Innovation pédagogiques et technologiques), ministère de l’Éducation Nationale, de l'Enfance et de la Jeunesse du Luxembourg.

[6] Ministère luxembourgeois de l'Éducation nationale, de l'Enfance et de la Jeunesse (19 mars 2024). MATHI – une nouvelle série d'enseignement des mathématiques. Communiqué de presse. Consulté le 13 avril 2024 sur : https://gouvernement.lu/en/actualites/toutes_actualites/communiques/2024/03-mars/19-meisch-mathi.html

[7] Salles, F., Santos, RD et Keskpaik, S. (2020, décembre). Quand la didactique rencontre la science des données : traiter l’analyse des données dans l’évaluation des mathématiques à grande échelle en France. Extrait le 1er avril 2024 de : https://www.researchgate.net/publication/341738713_When_didactics_meet_data_science_process_data_analysis_in_largescale_mathematics_assessment_in_France.

[8] CEDRE (cycle d’évaluation par échantillon lié à une matière) est une évaluation à grande échelle par sondage qui vise à mesurer les capacités des élèves en mathématiques à la fin de la 9e année, tous les cinq ans en France.

Pendant ce temps, les juridictions locales en matière d’évaluation considèrent ces résultats internationaux comme des indicateurs de l’évolution des tendances éducatives, qui peuvent également se refléter dans les évaluations locales de fin d’année et même servir de preuve de la validité concurrente de leurs instruments d’évaluation nationaux. Compte tenu du rôle important que jouent ces initiatives d'évaluation, il est essentiel qu'elles soient conçues avec clarté et impartialité pour refléter fidèlement le contexte éducatif de chaque juridiction, permettant ainsi aux étudiants de démontrer leur véritable potentiel et d'atteindre les divers objectifs décrits.

Initiatives mondiales d’évaluation : programmes de l’OCDE et de l’AIE

Sous l’égide d’organisations internationale, tels que l'Organisation de coopération et de développement économiques (OCDE) et l'Association internationale pour l'évaluation du rendement scolaire (AIE), une variété d’initiatives mondiales d’évaluation ont été établis pour surveiller les résultats pédagogiques à travers différent groupe d’âge et disciplines dans différents pays, et influencer significativement les politiques et pratiques pédagogique et de main-d’œuvre. 

L'OCDE a développé le Programme international pour le suivi des acquis des élèves (PISA) afin d'évaluer les systèmes éducatifs du monde entier en surveillant les compétences et les connaissances des élèves de 15 ans en lecture, en mathématiques et en sciences. Parallèlement, l'AIE gère les tendances de l'étude internationale sur les mathématiques et les sciences (TIMSS) et l'étude internationale sur les progrès en matière de lecture (PIRLS), en se concentrant sur les résultats des élèves en mathématiques, en sciences et en lecture.

De plus, l'AIE mène l’Étude Internationale de maîtrise de l'informatique et de l'information (ICILS), évaluant les compétences informatiques et informationnelles des étudiants. Enfin, l'OCDE supervise également le Programme pour l'évaluation internationale des compétences des adultes (PIAAC), qui évalue les aptitudes et compétences des adultes à l'échelle mondiale. Une couverture résumée de ces programmes est présentée dans l’illustration ci-dessous :

Les pays intéressés à participer à ces évaluations doivent allouer des fonds pour leur administration, en ayant accès aux données exploitables et aux références fournies par ces programmes pour améliorer les résultats éducatifs aux niveaux national et mondial.

Impact des initiatives mondiales d’évaluation sur les pratiques et politiques.

Les initiatives d’évaluation mondiale sont censées éclairer les pratiques et les politiques éducatives, mais en raison de leur référence répandue au contexte de classement, elles sont souvent considérées comme des évaluations externes, ce qui suscite des hésitations chez les enseignants et les directeurs, conduisant à un sentiment de désappropriation. Cette perception pourrait être modifiée en alignant plus étroitement ces programmes sur les évaluations sommatives internes, en les présentant non seulement comme des mesures de qualité mais aussi comme des outils de rétroaction informative.

Une façon de promouvoir une appropriation authentique parmi les éducateurs concernant les initiatives d'évaluation mondiale consiste à organiser des sessions de formation sur les pratiques de rédaction d'évaluations de ces programmes afin de permettre leur appréciation au sein de la communauté des enseignants en fonction de la manière dont elles sont développées. Cette approche aide non seulement les auteurs d'articles locaux à se familiariser avec les nouvelles pratiques de conception pour leur développement professionnel, mais encourage également la diffusion de ces compétences de création au sein de la communauté enseignante locale. Deuxièmement, dans le contexte plus large des réformes des politiques éducatives, y compris l’alignement des programmes et des manuels scolaires, l’alignement des évaluations de suivi locales sur les cadres des programmes internationaux d’évaluation des étudiants démontre un engagement à la fois à construire une culture qui valorise les évaluations et à internationaliser le système éducatif, renforçant ainsi sa compétitivité mondiale.

Histoire européenne de succès: le triomphe de l'Estonie dans les données PISA

L’analyse des réussites issues des évaluations éducatives aide à identifier des stratégies efficaces, permettant aux pays de reproduire ces approches et d’obtenir de meilleurs résultats éducatifs. Le rapport de la Commission européenne sur les réussites PISA dans l'UE, axé sur sept pays, détaille comment les facteurs individuels, scolaires et systémiques ont amélioré les résultats des élèves au fil du temps, même si l'UE n'a pas atteint son objectif de 2020 de moins de 15 % de faibles résultats dans les matières clés. L’Estonie a également dépassé la moyenne de l’OCDE dans l’enquête PISA 2022. Les facteurs de réussite pour les pays qui ont dépassé l’objectif comprennent l’augmentation de l’autonomie des écoles, la lutte précoce contre les inégalités et l’amélioration des systèmes de formation des enseignants.

Indicateurs d'habileté des étudiants estoniens. Selon les résultats de PISA en 2022, les étudiants estoniens de 15 ans démontrent de fortes compétences en lecture, avec 86% atteignant le niveau de compétence 2 (tier de haute qualité), indiquant qu’ils peuvent comprendre et analyser des textes modérés, et 11% ont atteint le niveau 5, démontrant des compétences en lecture critique avancé et des habiletés évaluatives.

Source : OCDE, base de données PISA 2022, tableaux I.B1.3.1, I.B1.3.2 et I.B1.3.3.

En Estonie, 90 % des élèves ont atteint le niveau 2 ou plus en sciences, dépassant la moyenne de l'OCDE en démontrant leur capacité à comprendre et à appliquer des connaissances scientifiques dans des scénarios de base, tandis que 12 % ont excellé aux niveaux de compétence les plus élevés, démontrant des compétences avancées dans l'application de concepts scientifiques de manière créative à des situations familières et nouvelles.

Qu'est-ce qui fait le succès de l'Estonie ?

Si nous examinons l'histoire récente de l'éducation en Estonie, nous constaterons qu'en 2019, l'Estonie a investi 15,5 % de son budget dans l'éducation, ce qui représente 6 % de son PIB, deux chiffres supérieurs aux moyennes de l'UE de 9,9 % et 4,7 %. % respectivement. Cependant, la qualité de l'éducation en Estonie n'est pas uniquement due à un apport financier, mais également à des facteurs tels que des traditions établies en matière d'éducation préscolaire, des enseignants hautement qualifiés, l'importance accordée par la société à l'éducation et une infrastructure éducative avancée (Commission européenne, 2022).

En outre, les évaluations nationales en Estonie sont accueillies positivement, avec une large participation aux évaluations de suivi locales au-delà des seules écoles échantillonnées, reflétant l'autonomie des écoles et leur approche proactive de l'évaluation des progrès des élèves. En outre, la numérisation avancée de l'éducation en Estonie a entraîné des perturbations minimes de l'apprentissage pendant la pandémie de Covid, facilitant ainsi une transition en douceur vers l'enseignement à distance.

Ces facteurs ont collectivement contribué à une amélioration constante et progressive au cours de la dernière décennie des performances moyennes en mathématiques et en lecture, à une réduction de l’écart entre les sexes dans les performances moyennes en lecture et à une diminution de l’écart de performance en fonction de la langue parlée à la maison. Malgré son succès, l’Estonie est également confrontée au défi d’une potentielle pénurie d’enseignants à l’avenir et doit résoudre les problèmes d’équité, qui provoquent une ségrégation scolaire dans la mesure où les élèves des écoles de langue estonienne obtiennent systématiquement de meilleurs résultats que ceux des écoles russophones.

La critique des initiatives mondiales d’évaluation 

Les initiatives mondiales d'évaluation sont critiquées pour leur promotion excessive des tests standardisés et leur référence excessive aux classements, ce qui met la pression sur les ministères et les éducateurs, conduisant à un changement d'orientation vers un enseignement axé sur les tests, négligeant potentiellement l'approche holistique de l'éducation et ayant un impact négatif sur la qualité et l'étendue de l'apprentissage. De plus, les initiatives mondiales d’évaluation peuvent avoir des préjugés culturels puisqu’elles sont administrées à l’échelle mondiale, limitant potentiellement leur pertinence et leur applicabilité à divers systèmes éducatifs. En fin de compte, cette approche met l’accent sur les normes internationales plutôt que sur les réalités éducatives locales, ce qui risque de fausser les priorités et les pratiques éducatives.

Regarder vers l’avant : le futur des initiatives mondiales d’évaluation 

Améliorer l’accessibilité et l’équité avec la numérisation

L’impact des initiatives d’évaluation mondiale varie en fonction du domaine éducatif du pays et principalement du niveau local d’engagement avec un large éventail de parties prenantes pour garantir l’accessibilité et l’équité dans la conversation, l’administration et l’utilisation des initiatives mondiales.

La numérisation joue un rôle crucial dans ce contexte, en améliorant la portée, l’accessibilité, l’interaction ainsi qu’en améliorant la précision de la mesure des initiatives mondiales d’évaluation. Un exemple particulier explique un tout nouvel engagement des étudiants après l’utilisation de la technologie dans des évaluations à grande échelle. Par exemple, en France, l’introduction d’items améliorés par la technologie (TEI) dans une évaluation locale à grande échelle a accru l’engagement des étudiants, en particulier dans les stratégies de résolution de problèmes, démontrant l’impact positif de la numérisation sur l’expérience d’évaluation.

L’IA et les initiatives mondiales d’évaluation

En regardant le futur de l’intégration de l’IA dans les initiatives mondiales d’évaluation avec le potentiel de l’IA pour personnaliser l’apprentissage, notation automatisée et fournir des commentaires en temps réel contribueraient surement à un domaine d’évaluation pédagogique plus accessible, inclusif et de meilleure qualité. Cette intégration s'étendra probablement à la création d'items et à l'administration des évaluations, conduisant à une expérience plus personnalisée et plus accessible pour les utilisateurs et les administrateurs. Par exemple, étant donné que les administrateurs disposeraient de davantage de fonctionnalités de création d'items et de surveillance à distance, les utilisateurs pourraient obtenir une évaluation et des commentaires personnalisés.

Élargir cet engagement au-delà des professionnels de l'éducation pour inclure les étudiants, les familles, les dirigeants communautaires et les décideurs politiques intersectoriels approfondit non seulement l'impact et la pertinence de ces évaluations, mais favorise également une approche plus équitable et plus globale de l'élaboration des politiques éducatives, soutenue par les avantages de la technologie numérique. Cet engagement inclusif peut améliorer la qualité de l’apprentissage et garantir que les avantages des initiatives mondiales d’évaluation sont largement compris, acceptés et utilisés, contribuant ainsi à un système éducatif plus juste.

Conclusion

En conclusion, les initiatives mondiales d’évaluation comme PISA ont démontré leur capacité à fournir des informations exploitables dans le domaine pédagogique, influençant les politiques et pratiques à travers le monde. L’histoire de succès de l’Estonie, souligné par son investissement solide en éducation et des réformes politiques stratégiques, illustre à quel point un engagement efficace dans ces évaluations peut conduire à des progrès pédagogiques significatifs. Cependant, le voyage ne s'arrête pas là. À l’avenir, les initiatives mondiales d’évaluation intégreront de plus en plus la technologie, répondant ainsi au besoin de différents niveaux d’engagement et réduisant la fracture numérique-sociale. De plus, ce virage numérique mettra également l’accent sur la sécurité des données, car la numérisation des évaluations nécessite la sauvegarde des données anonymisées soumises à l’analyse.

A propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans l'amélioration de divers aspects du cycle d'évaluation. Sa capacité à donner des conseils sur le développement de modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation en matière d'analyse de données et la création de techniques de création de rapports rapides et sécurisés le distingue dans le domaine. Son travail, enrichi par des collaborations avec des sociétés de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative à la transformation des évaluations locales et a dirigé des projets régionaux clés, tels que des révisions d'évaluations linguistiques alignées sur le CECR, des formations d'alphabétisation en matière d'évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l’évaluation à travers le pays et la région post-soviétique.

Découvrez des pratiques pionnières en matière de modernisation des évaluations et obtenez un aperçu de l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

Partageant la même conviction, Seneca - l'un de nos partenaires de longue date - soutient depuis des années une initiative louable visant à fournir une aide financière aux étudiants dans le besoin et a contribué à la mission plus vaste de promotion de l'accessibilité à l'éducation grâce à son initiative Campagne pour les Étudiants, qui se compose de divers projets et activités de collecte de fonds.

Vretta-Lyryx a eu l'honneur de soutenir cette cause en collaborant à la vente aux enchères en ligne de Seneca , dont tous les bénéfices sont destinés à aider financièrement les étudiants. Nous saluons cette initiative qui aide de nombreux étudiants à poursuivre leurs études et à viser l’excellence dans leur développement professionnel.

En partenariat avec Seneca sur cette noble cause, nous continuons de nous efforcer de faire une différence dans la vie des aspirants apprenants. Ensemble, nous nous engageons à favoriser leur succès grâce à des initiatives telles que la vente aux enchères en ligne de Seneca.

Universal screening is not a new concept; it has been utilized for many years in a variety of disciplines, including education. Brief assessments (screeners) have been used to identify children who may be gifted in an area of interest or who may be experiencing difficulties. Early childhood education (i.e., kindergarten to Grades 3 or 4) is an important period for children’s development of social, emotional and behavioural, as well as early academic skills. If a child displays deficits in particular skills, this may result in negative outcomes in their future lives; therefore, early identification is critically important in order to provide the child with appropriate supports. “Assessing students in their early years provides essential information to teachers, schools, parents…about potential student learning issues and needs and ensures students at risk get the help they need early in their education.”^[1] The use of observations, portfolios and standard assessments are some of the methods educators may use to assess children’s early learning development.

Among Canadian jurisdictions (provinces and territories), literacy (reading) appears to be the most common focus of assessment/screening in terms of academic readiness, although some jurisdictions also assess numeracy/mathematics. Assessment practices may vary by jurisdiction, school board and school. For example, jurisdictions may purchase specific screeners and/or provide lists of approved screening tools should school boards/schools choose to use them, and some school boards/schools may also use assessment instruments developed in-house. Many screening tools are available for educator use. Among the commercially available Canadian resources, the Early Development Instrument (EDI), developed by the Offord Centre, and the Early Years Evaluation Teacher Assessment (EYE-TA) and Early Years Evaluation-Direct Assessment (EYE-DA), developed by The Learning Bar, are in wide use. Nevertheless, in Canada, many children are not being screened using effective, evidence-based screening tools, since at this time, universal screening is not mandatory in most jurisdictions.

Currently, Alberta and New Brunswick are the only provinces/territories that have implemented or are in the process of implementing mandatory universal screening of children in their early years. (In July 2023, the Ontario Ministry of Education announced [via Policy/Program Memorandum 168^[2]] the roll-out of mandatory screening but subsequently decided that the early reading screening tool would not be required for the 2023-2024 school year.^[3]) In addition to providing educators with assessments that can help them evaluate and track children’s progress in developing key skills, consistent use of screening tools can provide comparable data that can allow for the aggregation of students’ results for improvement purposes at the school, school board and provincial levels and for reporting to various stakeholder groups. The following sections provide high-level overviews of early years screening approaches employed in the provinces of New Brunswick and Alberta.

Early Years Screening in New Brunswick^[4]

The New Brunswick Department of Education is structured into two distinct sectors, Anglophone and Francophone, with each sector operating independently within Department policy parameters. Early grades screening and progress monitoring is conducted somewhat differently for each language sector. For instance, the Anglophone Sector administers the EYE-DA in October of the year prior to students’ entry into kindergarten. In addition to the EYE-DA, a mandatory early grades progress monitoring and formative assessment instrument (designed for all English-language students in kindergarten to Grade 2, as well as French Immersion students in Grades 1 to 3) was developed in-house with support from educational researchers. This assessment instrument was pilot tested in classrooms during the 2022-2023 school year. “The Early Grades Literacy Assessment (EGLA) supports teachers in evaluating and tracking the acquisition of the five foundational skills of reading: phonological awareness, phonics, fluency, vocabulary and comprehension. The structure and content of the EGLA has been aligned with the province’s new K-2 ELA Holistic Curriculum Framework and the current l’art du langage en immersion précoce 1e et 2e année.” The tool was designed to support educators in monitoring student reading progress. Because the EGLA is a standardized instrument, aggregation of student results at the school, school district and provincial levels is made possible for improvement and accountability reporting purposes. User feedback during the pilot year provided information to support enhancements to the assessment, which is being implemented in 2023-2024. Provincial literacy leaders, department specialists and educational researchers continue to be consulted on the development of the EGLA.

Teachers enter their results into ESS Connect. ESS Connect is a component of PowerSchool, a K-12 student information system that allows for the transfer and tracking of student data from grade to grade as students and educators work through the 82 reading skills monitored via the EGLA. The assessment is a formative classroom tool, intended to be used on an ongoing basis. Since this is the first year of implementation, the Department is focused on monitoring data to ensure the proper use of the assessment tool and systems, augmenting resources developed to help teachers use the tools appropriately, and supporting educators to integrate early years screening into their daily classroom practice.

The Francophone Sector does not administer a French-Language version of the EGLA. Instead, the Learning Bar’s EYE-DA is the early years screening tool used for kindergarten readiness, and EYE-TA is used to monitor student progress once the student is in kindergarten. A pre-evaluation of EYE-TA is administered annually to kindergarten students during the period mid-October to early December; post evaluations are administered during the month of May. Screeners are only used in kindergarten; provincial reading assessments are administered in Grades 2 and 3.

Apart from the mandatory screening tools, there are no other Department-approved early years assessment instruments that school boards may opt to use.

Early Years Screening in Alberta^[5]

In 2022-2023, universal literacy (reading) and numeracy screening for children in Grades 1 to 3 became mandatory in Alberta. The initial assessments for Grades 2 and 3 are conducted at the beginning of the school year and for Grade 1 in January. Educators are required to re-assess all students, identified as being at-risk, at the end of the school year in order to monitor their progress. “Assessing students in their early years provides essential information to teachers, schools, parents and Alberta Education about potential student learning issues and needs and ensures students at-risk get the help they need early in their education.” In addition to using the assessment information to support student learning, schools and school boards are required to share group level results with their stakeholders. “This approach helps the province, school authorities and schools track successes and continuously improve the quality of education for students. It also supports a transparent, accountable and responsive education system.”

Literacy

The early reading literacy screeners, used in Alberta, are the English Letter Name-Sound (LeNS) assessment and the Castles and Coltheart Reading Test 3 (CC3). A set of literacy intervention lesson plans, aligned to these screeners, is available as an educator resource. (The Ministry engaged a consultant from the University of Ottawa to adapt the reading instruments for use in French.) Other commercially available, Ministry-approved literacy assessments are as follows:

• Acadience Reading K-6

• The Test of Silent Reading Efficiency and Comprehension® (TOSREC)

• The Test of Word Reading Efficiency Second Edition (TOWRE-2)

• Wechsler Individual Achievement Test® Third Edition (WIAT-III)

• Wide Range Achievement Test-Fifth Edition (WRAT5™): The WRAT5™

Numeracy

Alberta Education provides school authorities with Provincial Numeracy Screening Assessments for Grades 1 to 3. These screening assessments were developed by academics with the Department of Cognitive Science, Carleton University Centre for Applied Cognitive Research. These instruments, available in English and French, include a collection of tasks designed to help educators identify and address gaps in their students’ underlying knowledge of the basic number system and operations. A set of numeracy intervention activities for each grade level is available as an educator resource. Other commercially available, Ministry approved numeracy assessments are as follows:

• Canadian Achievement Test 4 (CAT•4)

• KeyMath™ 3 Diagnostic Assessment: Canadian Edition (KeyMath™ 3 DA)

• Number Sense Screener™ (NSS™) Set, K-1, Research Edition

• Test of Early Mathematics Ability-Third Edition (TEMA-3)

• Wide Range Achievement Test-Fifth Edition (WRAT5™)

School authorities that choose to use the provincially provided screeners have the advantage that teachers can access an Alberta-developed custom portal to upload their students’ data. The province’s data team psychometrically analyzes the data and generates reports that are provided for individual students, classes, schools, and school authorities. (At this time, the Ministry does not report overall provincial results.)

Conclusion

The use of mandatory, universal early years screening assessments is relatively new in Canada, and at this time only New Brunswick and Alberta have implemented screening initiatives. Currently, New Brunswick educators enter the results of their assessment interactions with students directly into an online platform (although some collect information on paper and enter the data later) for progress tracking and reporting purposes. As part of its modernization project, the province of Alberta plans to work with its technology partner, Vretta, to introduce digital technology for data collection, analysis and reporting, thereby making the provincial early years screening processes more effective and efficient. A future article will elaborate on developments in the use of digital technology for early years screening and progress monitoring of students.

About the Author

Dr. Jones has extensive experience in the fields of large-scale educational assessment and program evaluation and has worked in the assessment and evaluation field for more than 35 years. Prior to founding RMJ Assessment, he held senior leadership positions with the Education Quality and Accountability Office (EQAO) in Ontario, as well as the Saskatchewan and British Columbia Ministries of Education. In these roles, he was responsible for initiatives related to student, program and curriculum evaluation; education quality indicators; school and school board improvement planning; school accreditation; and provincial, national and international testing.

Dr. Jones began his career as an educator at the elementary, secondary and post-secondary levels. Subsequently, he was a researcher and senior manager for an American-based multi-national corporation delivering consulting services in the Middle East.

Feel free to reach out to Rick at richard.jones@rmjassessment.com (or via LinkedIn) to inquire about best practices in large-scale assessment and/or program evaluation.

Acknowledgement

The author would like to acknowledge and thank members of the New Brunswick Department of Education and Early Childhood Development’s Assessment and Evaluation units (Anglophone and Francophone) and Alberta Education’s Provincial Achievement sector for their valuable input to this article. For further information about these early years screening approaches, you are invited to make inquiries via: edcommunication@gnb.ca (New Brunswick) and/or LitNumScreening@gov.ab.ca (Alberta)

References

[1] Alberta Education. (2024). Early Years Screening Assessments: Information about literacy and numeracy screening assessments for all students in Grades 1 to 3. Retrieved January 9, 2024 from: https://www.alberta.ca/early-years-assessments#:~:text=Assessing%20students%20in%20their%20early,need%20early%20in%20their%20education.

[2] Ontario Ministry of Education. (July 28, 2023). Policy/Program Memorandum 168. Retrieved January 9, 2024 from: https://www.ontario.ca/document/education-ontario-policy-and-program-direction/policyprogram-memorandum-168.

[3] CBC News. (September 3, 2023). Early reading screening, sure – but give us more resources, say parents and teachers; Province was to roll out mandatory screening tool this year but pulled back. Retrieved January 9, 2024 from: https://www.cbc.ca/news/canada/ottawa/early-reading-screening-sure-but-give-us-more-resources-say-parents-and-teachers-1.6954565.

[4] Information in this section was derived from: New Brunswick Department of Education and Early Childhood Development (2024). Assessment and Evaluation (Anglophone Sector).Retrieved February 2, 2024 from: https://www2.gnb.ca/content/gnb/en/departments/education/k12/content/anglophone_sector/assessment_evaluation.html#:~:text=Assessment%20and%20Evaluation%20(Anglophone%20Sector)&text=The%20responsibilities%20within%20Evaluation%20and,the%20educational%20system’s%20general%20health, as well as communication with members of the Department’s Assessment and Evaluation units (Anglophone and Francophone).

[5] Information in this section was derived from the following sources: Alberta Education (June, 2023). Alberta Education Approved Literacy and Numeracy Assessments Grades 1-3. Retrieved January 9, 2024 from: https://www.alberta.ca/system/files/custom_downloaded_images/edc-approved-literacy-and-numeracy-assessments-grades-1-3.pdf and Alberta Education (2024). Early Years Screening Assessments. Retrieved January 9, 2024 from: https://www.alberta.ca/early-years-assessments#:~:text=In%202022%2F23%20literacy%20and,on%20New.LearnAlberta.ca.

Dans l’esprit de collaboration éducative global, ELI a récemment conclu une mission triomphante au Népal, marquant l’évolution de 7 ans de dure travail avec les éducateurs de cette région. ELI-Népal, né de l’engagement, est l’apogée de longs efforts pour autonomiser les éducateurs et améliorer l’éducation au Népal.

À travers les ans, ELI-Népal s’est transformé en programme complet de plusieurs jours, en mettant l'accent sur le soutien de la capacité des éducateurs à développer des compétences globales, en particulier en matière de pensée critique, de créativité, de collaboration et de communication, en mettant l'accent sur l'application pratique des connaissances.

Vretta est un fier collaborateur et partenaire des initiatives ELI depuis plusieurs années déjà, ce partenariat signifie un engagement commun à favoriser des changements positifs global en éducation, et s’assurer que chaque enfant ait l’opportunité de réussir sa vie académique et au-delà. 

Après un bref hiatus causé par la pandémie, Judy Halpern, coordinatrice pour ELI-Népal, a été capable de relancer le projet en ateliers en présentiel durant le printemps de 2023, les résultats ont créé le chemin pour la reprise complète d’ELI-Népal. Cela inclut la distribution des sacs Vretta pour éducateurs – un geste symbolisant l’appréciation et le support pour le rôle vital qu’ils jouent en façonnant le futur.

Un Diaporama partagé par Judy fournit une preuve visuelle de l’impact de la mission d’ELI, soulignant le succès de l’initiative: Regardez le diaporama ici.

Vretta est fier d’avoir joué un rôle dans cette initiative transformative, contribuant à la mission d’ELI au Népal. Nous avons hâte de aux prochaines collaborations qui transcende les frontières et qui ont un impact positif sur la vie des gens grâce au pouvoir de l’éducation.

Cliquez ici pour en savoir plus sur le travail percutant d'ELI : ELI Collaboration

De plus, l’évaluation pédagogique, comme tout autre domaine, subit des fluctuations dues à des pressions politiques, financières, institutionnelles et sociales, encore aggravées par les défis liés à la numérisation croissante. Malgré des luttes de pouvoir et des défis en cours dans ces domaines, le travail essentiel des évaluations doit se poursuivre sans interruption. Par conséquent, une tâche cruciale pour la haute direction des organismes d’évaluation dans un environnement aussi exigeant est de garantir que les opérations non seulement se poursuivent de manière transparente, mais qu’elles évoluent également, laissant un héritage de progression constante.

Cet article simplifie les concepts et les pratiques de respect des réglementations, des normes, de l'efficacité et de l'engagement dans le parcours de modernisation de l'évaluation afin de favoriser une culture de conformité, de qualité et d'innovation au sein des organisations d'évaluation.

Comprendre la conformité en évaluation pédagogique

Nous comprenons mieux les concepts nouveaux ou complexes lorsque nous faisons des associations familières. Avec cette stratégie en tête, explorons la conformité en évaluations pédagogique à travers l’œil de la sécurité, le bonheur et l’espoir. Dans ce contexte, sécurité est synonyme avec conformité, se concentrant sur l’adhérence aux exigences légal. Le bonheur démontre les standards de qualité des évaluations, s’assurant qu’ils soient juste et efficace, alors que l’espoir personnifie la dynamique d’innovation, repoussant les barrières pour de meilleures évaluations pédagogiques.

Généralement, l’attitude d’un employé envers la conformité est influencée par leur compréhension de sa signification et de son impact pratique dans leur travail. De façon plus pratique, la conformité consiste à respecter les réglementations – comparable à avoir une bonne serrure et s’assurer que l’on barre bien sa porte avant de quitter la maison pour prévenir le vol. Par conséquent, la conformité réglementaire nécessite souvent l’élaboration de normes ou de directives internes, semblables à l’utilisation de notes autocollantes sur un réfrigérateur, pour garantir que l’organisation fonctionne légalement et conformément aux meilleures pratiques. Plus précisément, dans le cadre des opérations quotidiennes des organismes d'évaluation pédagogique, la conformité implique le respect à la fois des réglementations gouvernementales et des normes recommandées par l'industrie, qui guident les processus et procédures tout au long du cycle d'évaluation.

Sur le plan institutionnel, lorsque les normes industrielles sont adoptées dans le cadre réglementaire ou deviennent partie intégrante des règlements internes d'une organisation, elles passent du statut de recommandations à celui d'exigences obligatoires. Alors que les réglementations de conformité constituent la base juridique essentielle des exigences minimales, les normes spécifiques à l'industrie nous encouragent à dépasser ces exigences de base et à viser l'excellence. Cette ambition nourrit une culture de conformité progressive parmi les employés au sein d’un organisme d’évaluation pédagogique, visant l’amélioration continue et l’innovation.

Rôle des organismes externes dans la conformité

Les organismes externes fonctionnent de la même manière que les membres de la famille existants et invités, comme un parent qui s'assure que son enfant se brosse les dents avant de se coucher ou, comme dans les cultures orientales, une belle-mère visitant la maison de son fils pour superviser la situation du ménage. Catégorisons les audits/examens et les organisations en fonction de leur autonomie et de leur impact en trois catégories distinctes : les autorités de conformité obligatoires, les organismes d'évaluation volontaires et les fournisseurs de lignes directrices. Cette classification aidera à clarifier les rôles et l’influence de chaque entité externe dans le domaine de la conformité des évaluations pédagogiques.

Autorités de conformité obligatoires: dans cette catégorie, il peut y avoir une organisation comme OFQUAL - The Office of Qualifications and Examinations Regulation qui établit des réglementations pour les jurys d'examen dans le contexte du Royaume-Uni à des fins de conformité réglementaire, ou des ministères de l'Éducation dans les pays où le ministère gère les fonctions d’élaboration des politiques et de réglementation, ou une commission relevant du bureau du président/premier ministre conçue pour garantir que l'organisme d'évaluation reste impartial dans ses interactions avec les fonctions ministérielles. Les autorités de protection des données de chaque pays exigent le respect de réglementations telles que le RGPD, tandis que des lois telles que l'Americans with Disabilities Act (ADA) aux États-Unis imposent l'accessibilité numérique et interdisent la discrimination à l'égard des personnes handicapées dans tous les domaines de la vie publique.

Organismes d'évaluation volontaires: les organismes d'évaluation pédagogique ont la possibilité de collaborer avec des organismes d'audit ou d'examen de produits professionnels pour des contrôles volontaires adaptés à leurs besoins spécifiques, que ce soit pour un produit, un processus ou l'ensemble du cycle d'évaluation, en fonction des objectifs de l'évaluation.

Évaluations thématiques: les organisations peuvent demander des audits spécialisés axés sur des aspects spécifiques de leurs opérations, menés par des entités possédant une expertise spécialisée. Par exemple, ALTE - l'Association des organismes certificateur en Europe, propose des audits de produits en matière d'évaluation linguistique et décerne le « Q-Mark » en cas de réussite. Avec la récente montée en puissance de la numérisation, certaines organisations pourraient également envisager de procéder à un examen de la numérisation. S'engager dans les deux types d'évaluations constitue une démarche stratégique pour élaborer un plan de développement organisationnel.

Évaluations de la qualité et des certifications: les organisations qui s'efforcent d'améliorer la gestion de la qualité, de garantir l'intégrité des certifications et de valider la compétence de leurs processus d'évaluation de la conformité, ainsi que celles qui fournissent des services d'audit, sont encouragées à adopter les normes ISO 9001 (Systèmes de gestion de la qualité), ISO 17067 (Principes fondamentaux de certification des produits et lignes directrices pour les systèmes de certification des produits) et les normes ISO 17065 (Exigences pour les organismes de certification des produits, des processus et des services).

Certifications de technologie et de données: les fournisseurs de technologies visant à améliorer la sécurité des informations, à protéger les données basées sur le cloud et à gérer la confidentialité dans le contexte de l'évaluation pédagogique devraient envisager d'acquérir des normes telles que ISO 27001 (gestion de la sécurité de l'information), ISO 27017 (sécurité du cloud), ISO 27018 ( Protection des informations personnelles identifiables dans les cloud) et ISO 27701 (gestion des informations de confidentialité). De plus, l'obtention des certifications SOC 2 Type 2 et SOC pour la cybersécurité peut améliorer considérablement la transparence et la cybersécurité des fournisseurs de technologies au sein du secteur de l'évaluation.

Conseils d'accréditation: Les conseils nationaux d'accréditation sont comme les gardiens de l'excellence du service. Par exemple, le RvA (Conseil néerlandais d'accréditation) et l'UKAS (l'organisme national d'accréditation du Royaume-Uni) évaluent et accréditent les organismes de certification, vérifiant la compétence et l'impartialité de leurs services. Lorsqu'un organisme de certification en évaluation pédagogique délivre un certificat de conformité, qu'il soit accrédité ou non, cela souligne sa fiabilité institutionnelle et son dévouement à l'excellence, renforçant ainsi la confiance entre les clients.

En s'engageant dans des évaluations volontaires avec ces organismes, les organismes d'évaluation pédagogique identifient les besoins d'un plan de développement organisationnel stratégique, garantissant que leurs opérations sont modernisées conformément aux normes internationales.

Fournisseurs de lignes directrices. Ces entités fournissent des lignes directrices et des meilleures pratiques sans procéder à des évaluations, servant de ressources aux organismes d'évaluation pédagogique pour aligner volontairement leurs opérations sur les normes de l'industrie.

• Le Conseil national sur la mesure dans l'éducation (NCME), la Commission internationale des tests (ITC) et l'Educational Testing Service (ETS) fournissent des lignes directrices pratiques pour les tests éducatifs et psychologiques. Ces lignes directrices aident les organismes d'évaluation, en particulier dans les étapes initiales de l'élaboration d'un cycle d'évaluation, quel que soit le mode de délivrance des tests.

• Conseil de l’Europe (CdE) et son Cadre européen commun de référence pour les langues (CECR) sert de guide pour améliorer les compétences linguistiques à la fois à des fins d’apprentissage et d’évaluation. De même, l’UNESCO fournit des lignes directrices pour l’utilisation éthique de l’IA dans l’éducation et l’évaluation.

• Le World Wide Web Consortium (W3C) publie des lignes directrices pour l'accessibilité des contenus Web (WCAG) pour garantir que les plateformes numériques sont développées de manière inclusive et sont accessibles à tous les candidats, y compris ceux ayant des besoins particuliers, encourageant ainsi les entreprises à rédiger des politiques d'accessibilité.

• L’Association internationale pour l’évaluation de l’éducation (IAEA) et son Comité de reconnaissance a testé les Normes internationales d’évaluation de l’éducation de l’AIEA avec certaines organisations membres de l’AIEA. Cette initiative devrait servir de référence en matière de bonnes pratiques pour les organismes d’évaluation pédagogique.

L’adoption de directives émanant des fournisseurs constitue une base solide pour mener des audits externes volontaires, complétée par une surveillance réglementaire omniprésente. De plus, la participation à ces évaluations peut potentiellement accroître l’éligibilité à divers appels d’offres gouvernementaux.

Assurer la conformité, la qualité et l’innovation : défis et stratégies

Atteindre un équilibre entre un travail quotidien ininterrompu et la recherche de solutions innovantes face aux défis spécifiques à l'industrie en matière d'évaluation pédagogique nécessite de développer des stratégies appropriées qui favorisent une culture de conformité, de qualité et d'innovation au sein d'une organisation d'évaluation. Pour relever la diversité des défis, il faut les classer en domaines distincts, chacun doté de stratégies adaptées. Ce cadre, divisé en quatre domaines clés : défis et stratégies axés sur la réglementation, axés sur les normes, axés sur l'efficacité et axés sur l'engagement dans les évaluations éducatives. Cette approche de catégorisation garantit une répartition équilibrée des défis actuels et des stratégies futuristes, facilitant une compréhension globale de la nature multiforme de la conformité, de la qualité et de l'innovation.

1. Axé sur la réglementation. Cette catégorie se concentre sur le respect des exigences légales et la mise en œuvre des réglementations:

• Sécurité et confidentialité des données

Défi : Protéger les données sensibles conformément aux lois et normes.

Stratégie : mettre en œuvre des mesures de protection des données conformes au RGPD et à la norme ISO 27001 et effectuer des audits de sécurité réguliers.

• Modifications et mises à jour réglementaires

Défi : Suivre l'évolution des réglementations juridiques.

Stratégie : procéder à des examens périodiques des réglementations et améliorer la formation du personnel sur les principaux domaines de conformité.

• Droits de propriété intellectuelle et conformité aux droits d'auteur

Défi : Respecter les lois sur la propriété intellectuelle dans le contenu des évaluations.

Stratégie : appliquer les politiques de conformité aux droits d'auteur et effectuer des audits de contenu lors de la création d'éléments.

• Conformité en matière d'accessibilité

Défi : Rendre les évaluations accessibles à tous les élèves, y compris ceux ayant des besoins particuliers.

Stratégie : adhérez aux directives de l'ADA et des WCAG et donnez la priorité aux solutions technologiques en fournissant les aménagements nécessaires.

• Conformité internationale et localisation

Défi : Se conformer aux lois internationales et aux considérations linguistiques et culturelles.

Stratégie : Recherchez les exigences légales et localisez les évaluations par région.

2. Axé sur les normes. Cette catégorie englobe l’application de principes scientifiques et le respect des normes industrielles en matière de qualité et d’intégrité éthique :

• Alignement des programmes

Défi : S'assurer que les évaluations correspondent au contenu des manuels et des programmes.

Stratégie : Développer des processus de révision pour garantir que les évaluations correspondent aux objectifs du programme et aux résultats d'apprentissage

• Assurance qualité

Défi : Maintenir des normes élevées dans les évaluations.

Stratégie : Utiliser une approche d’amélioration continue guidée par des normes de tests pédagogiques.

• Dilemme éthique

Défi : Remédier aux préjugés dans les évaluations basées sur l'IA non couverts par la réglementation actuelle.

Stratégie : Élaborer des lignes directrices éthiques basées sur les meilleures pratiques de l’industrie et les recommandations disponibles.

• Diversité culturelle et linguistique

Défi : Créer des évaluations impartiales pour diverses populations.

Stratégie : Incorporer les lignes directrices de normes telles que les normes ETS pour la qualité et l'équité pour les évaluations inclusives.

3. Axé sur l’efficacité. Cette catégorie se concentre sur l’optimisation de la mise en œuvre technologique, de la gestion des ressources et de la durabilité environnementale pour soutenir les normes juridiques et scientifiques globales:

• Les avancées technologiques

Défi : Veiller à ce que les nouvelles technologies soient conformes aux normes de sécurité et de confidentialité des données.

Stratégie : Collaborer avec le service informatique pour adopter des technologies conformes à la norme ISO pour des plateformes de test en ligne sécurisées.

• Contraintes de ressources

Défi : allouer efficacement les ressources pour répondre aux exigences de conformité dans un contexte de contraintes budgétaires.

Stratégie : Concentrez-vous sur les domaines de conformité critiques, en tirant parti d'une allocation optimale des ressources.

• La durabilité environnementale

Défi : Réduire l’impact environnemental des tests de matériaux et des opérations.

Stratégie : adopter des pratiques durables et encourager les méthodes d'évaluation numériques lorsque cela est possible.

4. Axé sur l’engagement. Cette catégorie met l'accent sur l'engagement des parties prenantes, la gestion des données de manière responsable, la résolution des incidents de sécurité et la promotion du développement professionnel continu pour renforcer la culture de croissance et de conformité de l'organisation :

• Engagement des parties prenantes

Défi : Assurer l’engagement des parties prenantes envers la conformité et les normes.

Stratégie : Lancer des programmes d'engagement mettant l'accent sur l'importance du respect des lois sur l'accessibilité et la confidentialité.

• Gestion et conservation des données des étudiants

Défi : Gérer de manière responsable les données sensibles des étudiants.

Stratégie : Établir des politiques de gestion des données conformes aux lois sur la protection des données.

• Réponse aux incidents et gestion des violations

Défi : Gérer efficacement les incidents et les violations de sécurité.

Stratégie : Élaborer un plan de réponse aux incidents comprenant des actions immédiates et une analyse post-incident.

• Développement professionnel continu

Défi : Tenir les professionnels informés de la conformité, de l'éthique et des meilleures pratiques.

Stratégie : Promouvoir l'apprentissage continu au moyen d'ateliers, de séminaires et de programmes de formation.

Excellence basée sur l'IA dans les évaluations pédagogiques

Conformité et assurance-qualité basées sur l'IA

Étant donné que l’IA s’appuie sur des données pour s’entraîner via un modèle, la première étape de la préparation des données consisterait à automatiser les mesures de protection des données et les contrôles de conformité réglementaire, ce qui garantirait le respect par l’IA des normes juridiques. De plus, l’IA pourrait améliorer l’assurance qualité en réduisant les biais dans les évaluations et en garantissant une couverture représentative du contenu. Ceci est réalisé en employant des algorithmes et des outils d'audit dans les processus d'examen des éléments ou d'assemblage de tests, respectivement. Dans l’ensemble, cette application d’IA rationalise non seulement les processus de conformité, mais améliore également la qualité des évaluations pédagogiques, les rendant plus inclusives et équitables.

Efficacité et engagement améliorés par l'IA

L'IA améliore considérablement l'efficacité opérationnelle tout au long du cycle d'évaluation, en améliorant la génération d’items, la surveillance des tests, l'analyse des données et les rapports sur les étudiants. Alors que les décideurs politiques promeuvent l’intégration de l’IA dans l’éducation – une démarche illustrée par l’approche des Émirats arabes unis en matière d’apprentissage et d’évaluation personnalisés – l’impératif de garantir la confiance du public s’intensifie. La priorité absolue est d’établir la confiance dans les applications d’IA, réalisable grâce à un engagement actif des parties prenantes et à une transparence accrue. Des exemples tels que l’alignement automatisé des évaluations sur les objectifs curriculaires et l’accessibilité des données d’évaluation et des tests eux-mêmes soulignent l’importance de la transparence, de la confiance et de la responsabilité dans l’éducation. Par conséquent, pour mettre en œuvre efficacement l’IA dans les évaluations pédagogiques, il faut favoriser une culture de dialogue et de feedback continus entre les éducateurs, les évaluateurs et les apprenants.

Construire une culture de conformité pour l’excellence

En conclusion, des incidents d’ampleur internationale mettent en évidence la nécessité cruciale d’un respect inébranlable de la conformité, de la qualité et de l’innovation. En mettant en œuvre un cadre complet qui comprend des stratégies axées sur la réglementation, les normes, l'efficacité et l'engagement, les organismes d'évaluation pédagogique peuvent garantir que les évaluations sont à la fois innovantes et maintiennent les plus hauts niveaux d'intégrité et de qualité. La collaboration avec des organismes externes pour l'alignement sur les normes de l'industrie renforce encore cet engagement, en intégrant les principes de conformité, de qualité et d'innovation profondément dans la culture organisationnelle. Cette position proactive répond non seulement aux défis actuels, mais établit également une référence en matière d'excellence en matière d'évaluation pédagogique.

À propos de l'auteur

Vali Huseyn est un spécialiste estimé de l'évaluation pédagogique, largement reconnu pour son expertise dans l'amélioration de chaque aspect du cycle d'évaluation. Sa capacité à conseiller sur le développement de modèles de prestation d'évaluation, à gérer différents niveaux d'évaluation, à innover dans l'analyse des données et à concevoir des techniques de rapports rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des sociétés de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative à la transformation des évaluations locales et a dirigé des projets régionaux clés, tels que des révisions d'évaluations linguistiques alignées sur le CECR, des formations d'alphabétisation en matière d'évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l’évaluation dans la région post-soviétique.

Découvrez des pratiques pionnières en matière de modernisation des évaluations et obtenez un aperçu de l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

Malgré des efforts continus pour sécuriser les évaluations, des entités externes continuent d’exploiter l’exposition d’item pour obtenir des avantages injustes. Un bon exemple est la fuite de la question SAT sur le marché asiatique, un incident direct d'exposition d’item qui a compromis l'intégrité d'un test mondialement reconnu. Même si de telles violations sont souvent gérées discrètement, des affaires très médiatisées comme le scandale des Varsity Blues, marquées par le complot et le recours à des imposteurs, ont attiré l’attention du public sur l’intégrité plus large du système d’admission dans les universités américaines. Ces incidents soulignent la nécessité urgente de protéger l’intégrité des évaluations, que ce soit en tant que mesures indépendantes ou systémiques, renforçant ainsi l’importance d’une structure d’évaluation solidement sécurisée.

Cet article vise à faire la lumière sur les complexités de l’exposition d’item dans le contexte des évaluations pédagogiques et à explorer des stratégies potentielles pour maintenir l’équité et l’intégrité du processus d’évaluation.

Rédaction et publication des évaluations : un aperçu de l'exposition des éléments

Dans les opérations quotidiennes des équipes de création d’items et d’administration des tests, accorder une grande priorité à la sécurité d’items est très fondamental. Cette protection peut provenir soit des bureaux de sécurité nationale, soit des services de sécurité interne au sein des organismes d'évaluation, selon les enjeux de l'évaluation et les juridictions. Avant d'explorer les stratégies de rédaction et de publication des évaluations, examinons des incidents du monde réel qui mettent en évidence l'importance pratique de l'exposition d’items:

Cas 1: La fuite d'un test standardisé: Imaginez une violation dans laquelle un ensemble complet de questions de test standardisées a été divulgué en ligne quelques jours avant le test prévu. Cet incident a conduit à une injustice généralisée et a nécessité la réadministrations coûteuse et complexe du test.

Cas 2: Le compromis sur la certification professionnelle: Dans ce scénario, l'intégrité d'un examen de certification professionnelle a été compromise lorsque des items de test spécifiques ont été obtenus et distribués illégalement. Cette violation a considérablement porté atteinte à la crédibilité de l'examen et à l'intégrité de la profession associée.

Comme vous l'avez peut-être remarqué, les deux scénarios, probablement liés à un accès interne non autorisé ou à des cyberattaques sophistiquées, mettent en évidence la nécessité de conceptions d'évaluation avant-gardistes et résilientes qui protègent contre l'exposition d’items à chaque étape du processus.

Création d'items : stratégies de prévention de l'exposition d’item

Conception et développement d'items. Il existe deux stratégies clés dans ce domaine. La première, reconnue parmi les développeurs d’items sous le nom de diversification des domaines d'items, implique la création d'un grand nombre d'items différents pour mesurer le même sujet ou domaine de compétence. La deuxième stratégie, la génération d'éléments dynamiques, utilise des algorithmes avec des règles et des paramètres de contenu prédéfinis pour produire un ensemble unique de questions en temps réel pendant le processus de test.

Stratégies de structure de test (également appelées modèles de publication de tests).

Conceptions d'évaluation linéaire : cette approche utilise des formes d'évaluation variées pour chaque itération de test, incorporant trois méthodes clés : modifier l'ordre des questions, remplacer les questions par des alternatives équivalentes et équilibrer la difficulté des questions. Par exemple, modifier l'ordre des questions signifie que deux étudiants discutant ensuite du test pourraient faire référence à des questions différentes lorsqu'ils mentionnent la « question 10 », par exemple, réduisant ainsi le risque d'exposition d’item.

Conceptions basées sur des groupes : cette approche ajoute une couche de sécurité supplémentaire par rapport au format de conception linéaire en regroupant les questions en fonction de critères spécifiques, tels que des thèmes, des niveaux de difficulté ou des compétences, fournissant ainsi des questions liées au contexte - des mini-examens au sein d'un examen pour chaque candidat. Ce regroupement spécifique au contexte signifie que l'exposition d'une question ne compromet pas nécessairement les questions des autres groupes, car chaque questionnaire sont généralement indépendants les uns des autres. À l’inverse, dans un format de conception linéaire, même si une question divulguée n’offre généralement pas d’informations sur d’autres questions, le modèle global de l’examen peut néanmoins être plus prévisible qu’avec une conception basée sur des groupes.

Conceptions de tests adaptatifs par ordinateur: cette approche ajuste dynamiquement la difficulté des questions en fonction des performances du candidat, en utilisant des méthodes telles que la variation du niveau de difficulté initial, l'ajustement des pondérations du contenu et l'utilisation d'algorithmes de branchement adaptatifs. Cette adaptation garantit que même si les candidats discutent de l'examen par la suite, ils ne peuvent pas partager efficacement des questions ou des réponses spécifiques en raison de la nature individualisée de leurs expériences de test.

Bien que chacun de ces modèles de publication de tests présente ses avantages et ses inconvénients en fonction du contexte, lorsqu'ils sont appliqués de manière appropriée, ils peuvent jouer un rôle essentiel dans l'amélioration de la sécurité et de l'équité des évaluations, atténuant ainsi efficacement le risque d'exposition d’item.

Validation et essais avant publication. Le processus d'évaluation préalable à la publication, intégrant des tests pilotes et une analyse statistique d’items, utilise des techniques telles que l'échantillonnage représentatif, les cycles d'examen itératifs et les environnements de test simulés, à la fois pour renforcer la validité des tests et atténuer les risques d'exposition d’item. Par exemple, bien que le test pilote aide à valider les items de test, il peut exposer les items prématurément. Néanmoins, des révisions ou des ajustements ultérieurs basés sur l'analyse des données peuvent réduire le risque d'exposition d’items lors du test réel.

Mesures de sécurité d’item: l'une des mesures de sécurité dans la conception d’item est l'actualisation régulière d’item, visant à mettre à jour fréquemment les items pour garantir que les candidats qui reviennent ne rencontrent pas les mêmes questions. De plus, la mise en œuvre du cryptage d’item protège les items numériques contre tout accès non autorisé. Par exemple, une fois les items testés et inclus dans le groupement d’item, ils sont cryptés et seul un système autorisé peut les déchiffrer. Cela garantit que l’intégrité des items reste intacte, même en cas de faille de sécurité.

Réalisation de l’évaluation : stratégies d’atténuation de l’exposition d’item

Mesures de sécurité sur les sites de tests informatisés. Des protocoles de sécurité stricts, notamment des contrôles d'identité rigoureux, des méthodes de vérification biométrique (telles que la reconnaissance des empreintes digitales et du visage) et une surveillance complète, sont mis en œuvre sur les sites de test informatisés pour garantir un environnement de test sécurisé.

Contrôles de sécurité et de surveillance des tests à distance. Dans les scénarios de tests à distance, une surveillance avancée est essentielle. Des outils de surveillance basés sur l'IA avec reconnaissance faciale, navigateurs sécurisés, surveillance d'écran, journaux d'activité, surveillance audio et logiciels de verrouillage sont utilisés pour créer un environnement contrôlé. De plus, l'investigation et l'analyse des données examinent les modèles de tests à la recherche de signes de collusion ou d'exposition d’item, garantissant ainsi l'intégrité des tests effectués à distance.

Mesures de cybersécurité et de défense numérique. Les équipes de cybersécurité utilisent un cryptage avancé pour protéger le contenu des examens et les données des étudiants, effectuent régulièrement des audits de sécurité pour détecter les vulnérabilités et effectuent des tests d'intrusion pour identifier une tentative de cyberattaque. De plus, des défenses à plusieurs niveaux, notamment une authentification multifacteur, des pares-feux et des systèmes d'intrusion, sont mises en œuvre pour créer un bouclier robuste contre les menaces numériques.

Mesures de sécurité et analyse post-test. Les mesures post-test, telles que le report de la publication des résultats, contribuent à minimiser les risques de rétro-ingénierie en rendant plus difficile pour les candidats de se souvenir et de partager les détails précis du test au fil du temps, empêchant ainsi la reconstruction et la diffusion du contenu du test. De plus, l'analyse d’item post-test utilise des méthodes statistiques pour détecter les failles de sécurité, et des protocoles complets de réponse aux incidents sont en place pour gérer toute violation ou exposition d'item, gardant ainsi l'intégrité de l'évaluation.

Sécuriser les évaluations de demain contre l'exposition des éléments

En conclusion, gérer l’exposition d’item dans les évaluations requiert des stratégies innovantes et des mesures de sécurité solides, depuis la création d’item jusqu’à leur publication et leur analyse. Les innovations en matière d’IA ajoutent des items automatisés et imprévisibles à la conception des tests, renforçant ainsi les défenses contre l’exposition. Des protocoles de sécurité stricts, une cybersécurité avancée et une surveillance vigilante garantissent un environnement de test sécurisé, que ce soit en personne ou en ligne. Alors que nous sommes confrontés à des contraintes changeantes en matière d'évaluation à l'ère numérique, ces stratégies globales sont essentielles pour maintenir la crédibilité de l'évaluation et préserver les opportunités des candidats dans le monde entier. L’adaptation et le perfectionnement continus de ces approches sont essentiels dans notre domaine éducatif en évolution.

A propos de l'auteur

Vali Huseyn est un spécialiste estimé de l'évaluation pédagogique, largement reconnu pour son expertise dans l'amélioration de chaque aspect du cycle d'évaluation. Il est bien placé pour conseiller dans le développement de modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et l'identification de méthodes de rapports rapides et sécurisées. Son travail, enrichi par des collaborations avec des sociétés de technologies d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative à la transformation des évaluations locales et a dirigé des projets régionaux clés, améliorant l'apprentissage et l'évaluation dans la région post-soviétique.

Découvrez des pratiques pionnières en matière de transitions d'évaluation en ligne et obtenez un aperçu de l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

Naviguer les deux facettes de l’IA en évaluation pédagogique

Comprendre les capacités de l’IA dans la conception d’évaluation

Le rôle primaire de l’IA, particulièrement les IA génératives comme démontré par des outils tel que ChatGPT, est sa capacité de création de contenu remarquable. Cette technologie a aussi transformé la conception d’évaluation, permettant la génération de divers items et la construction de scénarios de résolution de problèmes complexes, ainsi élargissant considérablement la portée de la création d’évaluations innovantes. En revanche, alors que l’IA améliore grandement les possibilités de créations d’items, elle introduit aussi des défis uniques. L’un de ces défis est le risque de collusion dans les réponses aux questions d’évaluations lorsque ces outils sont utilisés par les candidats dans des contextes d’évaluations.

Faire face à la collusion en évaluation

La collusion est depuis longtemps un défi en évaluation, particulièrement quand les étudiants coopèrent illégalement lors de devoir censés être accomplis de manière indépendante,ce qui se produit souvent en raison d’un manque de préparation. Cette méthode de collusion s’adapte a l’environnement d’évaluation, qu’il soit sur papier, par ordinateur ou contrôlé à distance. En évaluation en ligne, même avant que la pandémie est emporté une montée en puissance de la surveillance à distance, une forme commune de collusion était l’utilisation de moteur de recherche en ligne tel que Google pour trouver des réponses. Récemment, cependant, les moteurs de recherche ont souvent été remplacé par des plateformes d’IA comme ChatGPT. Les étudiants peuvent utilisés ces plateformes pour générer des réponses à travers la collaboration humain-IA, qu’ils copient ensuite comme réponses pour l’examen conduit à distance. Ce problème affecte à la fois les examens à enjeux faibles et élevés dans diverses juridictions.

Détecter et prévenir la collusion grâce à l'IA

La détection et la prévention de la collusion constituent un objectif clé pour les décideurs politiques responsables de la politique d’évaluation à l’échelle mondiale. Diverses méthodes sont explorées et expérimentées sur le terrain. Il existe différentes solutions actuellement à l'essai, l'une d'entre elles étant l'analyse des frappes au clavier (ou les contrôles copier/coller) et la surveillance du comportement (ou softlock). La première approche implique le suivi des combinaisons de touches (telles que Ctrl-C et Ctrl-V) et les actions de collage par clic droit, ainsi que l'insertion de gros caractères, pour surveiller les modèles de frappe. Cette dernière approche se concentre sur la détection du moment où un utilisateur quitte l'environnement d'évaluation, par exemple en changeant d'onglet ou de navigateur, ou en quittant le mode plein écran, ainsi que le moment choisi pour ces activités. Les activités suspectes identifiées par ces méthodes sont signalées pour une enquête plus approfondie, contribuant ainsi à garantir l'intégrité du processus d'évaluation. De plus, la mise en œuvre d'une fonctionnalité de blocage du navigateur au sein de l'environnement d'évaluation peut restreindre l'utilisation de ressources non autorisées sur le même appareil pendant un examen, en particulier dans les évaluations à enjeux élevés.

Équilibrer confidentialité, équité et surveillance

L’intégration de l’IA dans les environnements d’évaluation soulève naturellement d’importantes questions concernant la confidentialité et l’équité. Lors de la détection de comportements tels que les insertions de texte à grande échelle, il est important de prendre en compte des facteurs tels que la vitesse de frappe d'un candidat et le moment de son activité. Cette approche permet d’éviter les préjugés à l’encontre des personnes maîtrisant la saisie et garantit que les réponses sont authentiquement générées et ne proviennent pas d’outils d’IA générative. Il est donc essentiel que les systèmes de surveillance assistés par l’IA soient conçus de manière impartiale, dans le plus grand respect des droits des étudiants. L’équilibre entre leur efficacité à identifier les collusions potentielles et le respect des normes éthiques est crucial. Relever ces défis éthiques sera la clé de l’intégration durable de l’IA dans le domaine des évaluations pédagogiques.

Recommandations pratiques : équiper les parties prenantes pour un domaine transformé

Une fois la collusion identifiée et détectée dans les évaluations à distance, les décisions doivent être alignées contextuellement sur les enjeux et la nature de l’évaluation. Diverses parties prenantes, notamment les décideurs politiques en matière d’éducation au plus haut niveau, le personnel administratif des organismes d’évaluation, les tuteurs responsables des élèves, ainsi que les directeurs d’école et les enseignants supervisant l’apprentissage, doivent aborder les scénarios spécifiques suivants :

• Modèles inhabituels détectés dans les réponses des étudiants Recommandation : Mettre en œuvre une formation complète pour le personnel et les éducateurs sur les technologies d'IA afin de reconnaître ces tendances et d'y répondre. Développer des canaux de communication clairs avec les tuteurs pour informer les étudiants du potentiel et des limites de l’IA dans les évaluations.

• Un étudiant admet avoir utilisé l’assistance de l’IA Recommandation : Créer des cadres politiques solides qui définissent les conséquences de l'utilisation de l'IA à des fins de mauvaise pratique et des lignes directrices pour son utilisation équitable. Offrir des conseils et des commentaires constructifs à l’élève pour aborder les raisons sous-jacentes de ses actions.

• Augmentation de l'accessibilité des outils d'IA parmi les étudiants Recommandation : Investir dans des garanties technologiques telles que des solutions de surveillance avancées pour surveiller l'intégrité des évaluations. Examiner et mettre régulièrement à jour ces outils pour suivre l’évolution des capacités de l’IA.

• Confusion parmi les gardiens sur le rôle de l'IA dans les évaluations Recommandation : organiser des séances de formation à l'intention des tuteurs, clarifiant la manière dont les outils d'IA sont utilisés dans les évaluations et l'importance de l'intégrité académique. Collaborer avec les enseignants et les administrateurs pour garantir une approche unifiée.

• Nécessité d’une amélioration continue de la conception des évaluations Recommandation : Concevoir des évaluations pour évaluer les compétences de pensée créative et critique favorisées par une utilisation appropriée de l'IA peut garantir qu'elles reflètent véritablement la compréhension et les efforts des élèves, favorisant ainsi à la fois le progrès pédagogique et l'intégrité des évaluations.

• Préoccupations éthiques concernant la surveillance de l’IA dans les évaluations Recommandation : Plaider en faveur de l'utilisation éthique de l'IA dans l'éducation à travers des ateliers, des séminaires et des débats publics, en mettant l'accent sur l'équilibre entre le progrès technologique et les considérations éthiques.

• Apprentissage assisté par l’IA et collusion facilitée par l’IA Recommandation : Encourager les enseignants à intégrer des outils d'IA générative comme ChatGPT dans le processus éducatif pour des tâches telles que la réflexion et l'organisation, tout en étant également conscients de leur rôle potentiel dans la facilitation de la collusion. Guider les enseignants et les étudiants à travers une formation qui met l’accent sur la distinction entre l’apprentissage assisté par l’IA et la collusion facilitée par l’IA, garantissant une utilisation éthique et l’importance de l’originalité dans le travail des étudiants.

Les innovations en matière d’IA offrent de nouvelles opportunités pour améliorer les évaluations, mais elles nécessitent également que les enseignants et les étudiants soient dotés des compétences et de la sensibilisation nécessaires pour naviguer efficacement dans ce domaine transformé.

Réflexion sur le parcours et regard vers l'avenir

Alors que nous examinons la dynamique de l’administration des tests dans un domaine saturé d’IA, il devient clair qu’il est crucial d’équilibrer le potentiel de l’IA avec des pratiques d’évaluation équitables et fiables. Cet article visait à mettre en lumière les défis et les opportunités tant au niveau du intérieur qu’extérieur de l’administration des tests, offrant des informations pratiques pour un avenir où la collaboration humain-IA est la norme. L’objectif est d’inspirer une vision d’intégration responsable de l’IA dans les évaluations pédagogiques, en favorisant un avenir qui exploite les capacités de l’IA tout en respectant les normes les plus élevées d’intégrité et d’équité.

A propos de l'auteur

Vali Huseyn est une spécialiste de l'évaluation pédagogique possédant une vaste expérience dans l'amélioration des phases clés du cycle d'évaluation, notamment la création d'items (banque d'items), l'enregistrement, l'administration, la notation, l'analyse des données et la création de rapport. Son travail implique une collaboration stratégique avec une gamme de fournisseurs de technologies d'évaluation, d'autorités de certification et d'instituts de recherche, contribuant ainsi à l'avancement de la communauté de l'évaluation. Au Centre d'examen d'État d'Azerbaïdjan, Vali a joué un rôle crucial dans la modernisation des évaluations locales à grande échelle. En tant que chef des partenariats stratégiques et responsable de l'unité de gestion de projet, il a co-mis en œuvre plusieurs projets de développement régional axés sur l'apprentissage et l'évaluation dans la région post-soviétique.

N'hésitez pas à vous connecter avec Vali sur LinkedIn pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

Un domaine profondément touché par ce changement est la rédaction de questions, qui joue un rôle central dans la transformation numérique des évaluations. La décision d’adopter des méthodes numériques influence à la fois les étapes initiales du cycle d’évaluation et l’expérience finale des utilisateurs finaux. Par conséquent, la mise en œuvre de pratiques numériques dans la rédaction des items est cruciale pour développer une culture d’évaluation moderne au sein des organisations. De plus, l'évolution vers des services numérisés sera probablement mise en avant dans les initiatives gouvernementales, car elle constitue un marqueur clair de la progression d'une organisation vers la numérisation et la modernisation.

Dans cet article, nous approfondirons l'évolution historique du développement d'items, explorerons l'évolution vers des évaluations personnalisées et adaptatives, et examinerons la diversification et l'intégration de divers types d'items ainsi que leur interopérabilité. Nous discuterons également des tendances émergentes en matière de création collaborative d’items, présenterons des cas pratiques et analyserons le rôle important de l’IA dans ces développements.

Création d'items : comprendre et naviguer dans l'évolution technologique

Le 21e siècle a en effet été témoin d’une profonde intégration de la technologie dans l’éducation, transformant tout, des méthodes pédagogiques aux pratiques d’évaluation. Parallèlement à ces changements, le besoin d'une différenciation claire de certains termes est apparu, en particulier avec des termes tels que « rédaction d'items », le domaine de travail au sein du cycle d'évaluation qui est fortement influencé par la numérisation, entre autres, qui représentent différents aspects du cycle d'évaluation et peut également nécessiter un examen comparatif. Le tableau suivant contient un bref aperçu de ces termes, fourni pour élucider le concept de « création d'items » dans le processus d'évaluation pédagogique :

Par souci de clarté, cet article se concentrera sur la « création d'items », compte tenu de sa nature exhaustive et de son intégration avec la technologie.

Historiquement, la rédaction des questions était principalement manuelle, limitée à des formats tels que les questions à choix multiples ou les questions vrai ou faux. La révolution numérique actuelle a toutefois élargi le champ des possibilités en matière de conception d’évaluations. L'intégration de la technologie dans l'évaluation pédagogique introduit des types de questions innovants, rationalise le processus de rédaction et favorise la collaboration. Les plates-formes de création modernes permettent la création, la révision et la gestion des métadonnées d'items et de formulaires de test, répondant ainsi aux exigences évolutives de l'apprentissage et de l'évaluation modernes. Au fur et à mesure que nous progressons dans cet article, nous explorerons comment la technologie révolutionne la création d'items pour mieux répondre aux demandes changeantes de l'apprentissage et de l'évaluation modernes.

Passage à la personnalisation : l'essor des évaluations adaptatives

L'évolution de la rédaction d'items dans les évaluations pédagogiques a été considérablement influencée par la nature adaptative des évaluations et les progrès technologiques, conduisant à une nouvelle ère dans les cultures d'évaluation. Ce changement est particulièrement évident dans les régions à l’avant-garde des réformes d’évaluation. À mesure que les organismes d’évaluation évoluent, l’accent est de plus en plus mis sur le développement d’éléments d’évaluation adaptatifs et personnalisés, les techniques avancées de rédaction d’éléments devenant un indicateur clé de réformes innovantes. La rédaction traditionnelle d'items, autrefois limitée à la création de questions uniformes, s'est transformée en un processus dynamique dans lequel les évaluations s'ajustent en temps réel aux réponses de l'élève, garantissant que les questions correspondent aux capacités actuelles de l'élève. Cette adaptabilité est rendue possible grâce à des algorithmes sophistiqués qui analysent les réponses pour déterminer l’élément suivant le plus approprié. De plus, les outils modernes de création d'items permettent aux enseignants de créer des questions non seulement adaptatives, mais également adaptées aux styles d'apprentissage, aux contextes culturels et aux intérêts individuels, conduisant à des évaluations plus engageantes et plus résonantes. À mesure que nous approfondissons l’évaluation moderne, la variété et la complexité croissantes des types d’items mettent en évidence l’importance de la diversité dans la conception de l’évaluation et la nécessité d’une interopérabilité technologique.

Diversification et intégration : types d'items et interopérabilité

L'impact des types d'items et de l'interopérabilité sur la qualité de l'évaluation

La nature de toute évaluation est étroitement liée à la diversité de ses types d’items et à l’étendue de leur interopérabilité dans divers contextes éducatifs. S'appuyer uniquement sur des formats d'items traditionnels ou monotones limite la capacité de capturer des données riches et multiformes sur les performances des élèves. De même, une interopérabilité restreinte peut limiter l’adaptabilité des évaluations dans différents environnements d’apprentissage. Dans cette section, nous explorons le large éventail de types d’items et le rôle essentiel de l’interopérabilité, en dévoilant comment ils améliorent collectivement la profondeur et l’efficacité du processus d’évaluation. Voici une liste des types d’items courants avec leurs principales caractéristiques et leur impact :

• Items à réponse sélectionnée : ces items exigent que les élèves sélectionnent la ou les réponses correctes parmi un ensemble d'options, notamment des questions à choix multiples, vrai ou faux, glisser-déposer et correspondantes.

  • Avantages : Efficace pour la notation, réduit les préjugés et couvre rapidement divers sujets.

  • Défis : peut encourager l’apprentissage par cœur et est limité dans l’évaluation de compétences complexes

• Items à réponse construite : ces types d’items exigent que les étudiants construisent leurs réponses, englobant des formats tels que des réponses courtes, des dissertations et des tâches de résolution de problèmes.

  • Avantages : Évaluer la pensée critique et la compréhension, offrir un aperçu de l'application des connaissances.

  • Défis : La notation prend du temps et comporte un risque de subjectivité, bien que l'utilisation de rubriques claires puisse aider à atténuer ce problème.

• Items améliorés par la technologie (IAT) : les IAT utilisent des formats interactifs tels que des simulations et des points chauds, améliorant ainsi l'expérience d'évaluation numérique.

  • Avantages : augmentez l'engagement et évaluez un plus large éventail de compétences grâce à des analyses approfondies.

  • Défis : Peut nécessiter des ajustements d'interopérabilité et une expertise dans la création d'articles complexes.

Interopérabilité. L'interopérabilité fait référence à la capacité des différentes plateformes et technologies d'évaluation à partager et interpréter de manière transparente les éléments et les données d'évaluation.

• Avantages : garantit des expériences d'évaluation cohérentes, simplifie le partage de données et améliore l'intégration avec divers outils pédagogiques.

• Défis : risque de problèmes techniques sans mise en œuvre précise et nécessite des mises à jour continues pour correspondre aux normes technologiques en évolution.

Nouvelle ère de collaboration : création en temps réel et à distance

La collaboration est la pierre angulaire du cycle d'évaluation, particulièrement pendant ses premières étapes lors de la définition de la construction et de l'objectif de l'évaluation. Traditionnellement, la collaboration entre les auteurs d’items et les experts se déroulait dans les espaces confinés des organismes d’évaluation. Cette centralisation a souvent posé des défis aux auteurs d'items provenant de régions éloignées, limitant la représentation diversifiée de la culture de création d'items d'une juridiction entière. Cependant, la hausse des outils de collaboration virtuelle a marqué le début d’une nouvelle ère pour la création d'items. Ces plates-formes numériques permettent la création et la collaboration en temps réel depuis n'importe quel endroit, améliorant considérablement les capacités des organismes d'évaluation technologiquement avancés. D’un autre côté, les établissements disposant de ressources technologiques limitées pourraient se retrouver obligés de rattraper leur retard. Sans une approche stratégique pour l’adoption d’évaluations modernes, ces organisations risquent de rester à la traîne dans un domaine éducatif de plus en plus numérique. L'article "Analyse numérique" est utile pour développer une vision stratégique sur ce parcours de modernisation.

De la théorie à la pratique : applications pratiques de la création d’items modernes

Les plates-formes modernes de rédaction d’évaluations sont dotées d’une gamme de fonctionnalités conçues pour améliorer et transformer le processus d’évaluation pédagogique. Ces plates-formes apportent un nouveau niveau d'efficience et d'efficacité à la création d’items, comme le démontrent les domaines suivants :

1. Conception d'évaluation personnalisée et interactive

Le tableau banque d’item et les capacités de filtrage facilitent la création d’expériences d’apprentissage personnalisées. Avec différents types de comptes (lecture seulement, éditeur, superviseur), les utilisateurs peuvent adapter le contenu aux besoins d'apprentissage individuels. La vue de création prend en charge la création de contenu interactif via des modèles, permettant la conception d’items améliorés par la technologie tels que des simulations et des activités de glisser-déposer.

2. Commentaires améliorés et examen collaboratif

Des fonctionnalités telles que « Simuler la soumission » sur la plateforme fournissent un retour instantané sur l'exactitude des réponses et l'efficacité de la pondération des notes, facilitant ainsi le processus d'apprentissage et permettant des ajustements rapides dans les stratégies d'enseignement. De plus, les groupes de rédaction et les fonctionnalités de commentaires de la phase d'aperçu de l'évaluation prennent en charge un processus collaboratif d'examen des items, garantissant à la fois la qualité et l'équité des évaluations.

3. Intégration technologique et informations basées sur les données

L'intégration par la plateforme d’items de synthèse vocale et multimédia dans les blocs d’items améliore l'accessibilité et la profondeur du contenu d'évaluation. Des outils tels que la sauvegarde automatique, l'historique des versions et la construction de formulaires de test dans le cadre contribuent à une approche basée sur les données, permettant un suivi et une analyse complets des processus de développement et de révision des items.

4. Standardisation et évolutivité

Le cadre de ces plates-formes prend en charge différents types d'évaluation et conceptions de tests, contribuant ainsi à la standardisation des évaluations dans différentes régions et cultures. Des fonctionnalités telles que les évaluations composites et la capacité de gérer des items provenant de plusieurs banques d’items démontrent l'évolutivité de ces plates-formes, facilitant une administration efficace des évaluations à un large public.

Améliorer l'efficacité : IA et automatisation dans la création d’items

L'intégration de l'IA et de l'automatisation dans la rédaction d’items transforme considérablement la façon dont les enseignants créent des évaluations. Les outils basés sur l'IA, tels que les copilotes de création, facilitent le processus de rédaction des questions en suggérant du contenu, en affinant les structures et en identifiant les idées fausses potentielles des étudiants. Cette innovation améliore l'efficacité, la précision et la cohérence dans la création de questions, même si elle soulève des inquiétudes quant à une confiance excessive et à un éventuel décalage avec les intentions des éducateurs.

De même, la génération automatisée de formulaires de test remodèle l’assemblage des tests. En utilisant des algorithmes pour créer des formulaires de tests personnalisés basés sur des critères tels que les objectifs d'apprentissage et les niveaux de difficulté, cette technologie permet une création de tests personnalisés et complets, permettant de gagner du temps. Cependant, les défis incluent d’éventuels problèmes techniques et un manque de jugement nuancé de la part des éducateurs.

Copilote de création :

• Avantages : augmente l'efficacité, améliore la précision des questions et garantit une qualité constante.

• Défis : risque de dépendance excessive à l'égard de l'IA et d'inexactitudes occasionnelles dans la suggestion de contenu.

Génération automatisée de formulaires de test :

• Avantages : Propose des tests personnalisés, fait gagner du temps et garantit un équilibre entre les sujets et les difficultés.

• Défis : Nécessite une assurance qualité rigoureuse pour aligner la technologie sur les connaissances des enseignants.

En explorant ces avancées, nous approfondissons les implications plus larges du rôle de l’IA dans la modernisation des évaluations pédagogiques, en équilibrant ses avantages et ses inconvénients potentiels.

Conclusion

Tout au long de cet article, nous avons constaté à quel point la numérisation n’est pas seulement une tendance mais un changement fondamental dans la culture de l’évaluation – des méthodes traditionnelles vers des approches plus dynamiques, adaptatives et personnalisées. L'intégration de l'IA et de l'automatisation dans la rédaction d’items, la hausse de la collaboration en temps réel et à distance, ainsi que les défis et opportunités liés à l'interopérabilité et aux items améliorés par la technologie, dressent tous un tableau frappant d'un écosystème d'évaluation de plus en plus sophistiqué et adapté aux besoins de l’apprenant du 21e siècle. Ce voyage vers la modernisation de la rédaction d'items reflète un récit plus large d'adaptation de l'éducation à une ère numérique, où la fusion de la technologie et de la pédagogie promet d'améliorer l'exactitude, l'équité et l'efficacité des évaluations. Les connaissances acquises ici démontrent non seulement l’état actuel de la technologie éducative, mais fournissent également des orientations pour les innovations futures dans le domaine de l’évaluation et de l’apprentissage.

A propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique possédant une vaste expérience dans l'amélioration des phases clés du cycle de l'évaluation, notamment la création d’items (banque d'items), l'enregistrement, l'administration, la notation, l'analyse des données et la création de rapport. Son travail implique une collaboration stratégique avec une gamme de fournisseurs de technologies d'évaluation, d'autorités de certification et d'instituts de recherche, contribuant ainsi à l'avancement de la communauté de l'évaluation. Au Centre d'examen d'État d'Azerbaïdjan, Vali a joué un rôle crucial dans la modernisation des évaluations locales à grande échelle. En tant que chef des partenariats stratégiques et responsable de l'unité de gestion de projet, il a co-mis en œuvre plusieurs projets de développement régional axés sur l'apprentissage et l'évaluation dans la région post-soviétique.

N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

To state the obvious, assessing and evaluating student learning progress has always been an integral part of teaching. Over the years, Saskatchewan has implemented various forms of large-scale provincial assessment, but the Ministry of Education has continuously emphasized supporting formative and summative classroom assessment. Recently, the province introduced a new, innovative approach and resources to support student assessment, which is the focus of this article.

A Little Context

For decades, Saskatchewan has administered provincial examinations to Grade 12 students, who are taught by non-accredited teachers^[3] or are homeschooled, and adults seeking to attain a Grade 12 standing by completion of required credits. To address the calls for information about the relative success of the education system (public accountability), in the early 1990’s, the Department of Education, Training and Employment (as the Ministry was called at that time) implemented a Provincial Learning Assessment program (PLAP), designed to provide reliable information to the Department and education stakeholders about students’ knowledge and skills in reading and writing. The annual assessments were administered to samples of students in Grades 5, 8, and 11.

The province has designed and implemented several other innovative programs over the years. For instance, at around the same time, the Department initiated a Curriculum Evaluation Program, a unique program to evaluate the effectiveness of provincial curriculum with regard to relevancy, appropriateness of content, level of knowledge and skills required of students, and supporting resource materials. The purposes for evaluating the curriculum were to improve curriculum and instruction. Curriculum was viewed in the broadest possible context, including the document itself, the resource materials used by teachers, the instructional strategies used to give life to the curriculum, and how students and teachers perceived the curriculum. The Learning Assessment and Curriculum Evaluation Programs, described above, were discontinued during the late 1990’s and early 2000’s.

Following conceptual work with teachers and other sector leadership stakeholders, and following pilot years in 2003 and 2004, the Assessment for Learning (AFL) program was implemented and ran from 2005 to 2012, involving participation from all school divisions. The program assessed students in a selected elementary, middle and secondary grade level, cycling through mathematics and language arts in different years. Its goal was to improve learning and achievement for all students in Saskatchewan schools. The rich set of data, gathered via this program, supported school divisions in system-level planning and providing professional development opportunities for teachers and administrators.

Evaluation in Education: The Report of the Minister’s Advisory Committee on Evaluation and Monitoring (1989) recommended that “continuing education and professional development opportunities be provided for all teachers to support improvement of their capabilities in the evaluation of student achievement and progress and in the diagnosis of student learning needs.” (p. 12)^[4] As part of the action plan, the Committee recommended that the Ministry revise an existing student evaluation handbook and incorporate its use into in-service activities. The resulting resource, Student Evaluation: A Teacher Handbook (1991),^[5] provided a step-by-step process to refine educators’ student evaluation practices, including a variety of ready-to-use templates. Professional staff of the Assessment and Evaluation Branch of the Ministry provided in-service training opportunities (train-the-trainer model) within school divisions over the course of several months. All of the programs mentioned above were designed in collaboration with all stakeholder groups, including the teachers’ federations.

Currently, the Assessment Unit, Student Achievement and Supports Branch, provides support and oversight of student assessment from early childhood education to the secondary-school level.

The New Resource

According to Hebert and LeNouail (2023), “In Saskatchewan, school divisions have been largely tasked with creating classroom-based assessment policy, as until very recently, the province lacked a current Ministry-produced guiding document.”^[6] As was previously mentioned, Student Evaluation: A Teacher Handbook had been the province’s principal assessment guide for more than 30 years, and given that it was dated (e.g., it pre-dated the adoption of standards-based curriculum) a new assessment resource was needed. Supporting Student Assessment in Saskatchewan (SSAIS)^[7] and companion documents, was meant to serve that purpose. SSAIS includes a document containing an overview and four modules, a toolkit, implementation supports, as well as editable tools and templates. Together, they provide guiding principles for classroom assessment and research-based effective classroom assessment practices, reflecting the concept of continuous improvement and aligns with the province’s First Nations and Métis PreK to Grade 12 education policy.^[8] The resource provides a framework for effective classroom assessment by including:

• definitions of assessment and evaluation in the context of the classroom and describes the purposes and means of assessment for, as and of learning;

• descriptions of four guiding principles: Engaging and Empowering the Learner, Supporting Responsive Instruction and Inspiring Learning, Using Culturally Inclusive and Affirming Assessment Practices, and Clearly Informing Stakeholders;

• articulation of four dimensions that support student assessment: Intellectual, Physical, Emotional, and Spiritual; and

• descriptions of four essential assessment-related questions: Where am I Now? Where am I Going? How am I Doing? Where to Next?

Saskatchewan Supporting

Student Assessment Model

A series of modules is provided as educator supports to elaborate on the four guiding principles of assessment in the province. “Each module focuses on a guiding principle, examines current research that supports effective assessment practices, and describes how each principle is independent of each other, yet interdependent. In addition, practical tools and templates are provided, including key resources to support teachers in implementing effective and culturally inclusive and affirming assessment practices in their classroom.”^[9] Implementation supports for all four modules have been developed in collaboration with education sector partners.^[10] The modules provide outlines for professional development sessions of various lengths of time, PowerPoint presentations with speaking notes, various handouts and resources, and suggested interactive activities. School divisions determine themselves how they will use the supports for their own implementation of SSAIS.

The resource has been well received by teachers, education sector leaders and academics alike. For example, Léanne Marchand, Curriculum Coordinator of Chinook School Division writes, “The SSAIS document summarizes best practices in assessment and provides context and purpose for those best practices in a way that can be implemented in professional learning, and in the classroom with students to improve both teaching and learning….it provides an excellent resource to support PD that can impact practice…”^[11] Dr. Marc Spooner, Director, Centre for Educational Research, Collaboration, and Development, University of Regina writes, “The good news for parents, students, teachers and anyone else who cares deeply about student learning and achievement in Saskatchewan, is that the Ministry of Education has recently produced a thorough guide to assist and support student assessment. It is a stellar resource and it would be the envy of any educational district in North America. Supporting Student Achievement in Saskatchewan, is a province-leading, research-supported, comprehensive, and holistic approach to student assessment…moreover, it reaffirms the teacher as a professional, and that students are best served through teacher-led assessments that are for learning, as part of the learning, and of the learning.”^[12]

Conclusion

Although Saskatchewan administers large-scale student assessments in the form of Grade 12 credentialing exams, participates in national and selected international studies and is giving consideration to implementing learning assessments as part of the Provincial Education Plan, it continues to promote classroom-based assessment. The initiative, Supporting Student Assessment in Saskatchewan, is an innovative approach that emphasizes continuous improvement and assists educators to conduct culturally inclusive, valid, reliable and effective assessment and evaluation in the classroom in order to promote success for all students.

About the Author

Dr. Richard Jones

Dr. Jones has extensive experience in the fields of large-scale educational assessment and program evaluation. He has worked in the assessment and evaluation field for more than 35 years. Prior to founding RMJ Assessment, he held senior leadership positions with the Education Quality and Accountability Office (EQAO) in Ontario, as well as the Saskatchewan and British Columbia Ministries of Education. In these roles, he was responsible for initiatives related to student, program and curriculum evaluation; education quality indicators; school and school board improvement planning; school accreditation; and provincial, national and international testing.

Dr. Jones began his career as an educator at the elementary, secondary and post-secondary levels. Subsequently, he was a researcher and senior manager for an American-based multinational corporation delivering consulting services in the Middle East.

Feel free to reach out to Rick at richard.jones@rmjassessment.com (or on LinkedIn) to inquire about best practices in large-scale assessment and/or program evaluation.

Acknowledgement

The author would like to acknowledge and thank the Student Achievement and Supports Branch, Saskatchewan Ministry of Education, for their thorough review of and helpful input to this article.

References

[1] e-Assessment Supports School and System Improvement in Ontario: https://rmjassessment.com/2023/03/21/e-assessment-supports-school-and-system-improvement-in-ontario/

[2] Reimagining Assessment in British Columbia: https://rmjassessment.com/2023/10/12/reimagining-assessment-in-british-columbia/

[3] “A non-accredited teacher is a teacher who holds a valid Saskatchewan teaching certificate, but who does not meet the requirements for accreditation established by the Ministry and set out in the Ministry’s policy statement on accreditation” (The Education Regulations, 2019).

[4] Saskatchewan Education. (1989, January). Evaluation in Education: Report of the Minister’s Advisory Committee on Evaluation and Monitoring. Regina, Saskatchewan.

[5] Saskatchewan Education. (1991, December). Student Evaluation: A Teacher Handbook. Regina, Saskatchewan.

[6] Hebert, C., & LeNouail, K. (2023, May). Assessment in Saskatchewan: Examining Provincial Approaches to Contemporary Assessment Principles through School Division Administrative Policies (Abstract). Canadian Journal of Educational Administration and Policy (No. 202). Retrieved October 27, 2023: https://journalhosting.ucalgary.ca/index.php/cjeap/article/view/75529

[7] Government of Saskatchewan. (2022). Supporting Student Assessment in Saskatchewan. Retrieved October 29, 2023: https://www.edonline.sk.ca/webapps/blackboard/content/listContent.jsp?course_id=2869_1&content_ id=_721378_1&mode=reset

[8] Government of Saskatchewan. (2018). Inspiring Success: First Nations and Métis PreK-12 Education Policy Framework. Retrieved October 30, 2023: https://publications.saskatchewan.ca/#/products/90278 The resource, toolkit and editable tools: www.edonline.sk.ca/webapps/blackboard/content/listContent.jsp?course_id=_2869_1&content_id=_818742_1

[9] Government of Saskatchewan. (2022). Supporting Student Assessment in Saskatchewan. (p. 16).

[10] Access: https://www.edonline.sk.ca/webapps/blackboard/content/listContent.jsp?course_id=_2869_1&content_id=_818742_1

[11] Feedback on SSAIS provided via e-mail by Chinook School Division.

[12] Spooner, M. (2022, September). Sask. Students already do all the testing they need. Regina Leader-Post

L’héritage de Graham dans le domaine de l’éducation s’étend sur cinq décennies, un testament de sa passion et sa dédication ferme. Alors que ses réalisations professionnelles global son indéniablement impressionnante, c’est l’essence de l’homme que nous pleurons aujourd’hui. Graham n’était pas seulement un éducateur; il était un phare, un mentor et une source inébranlable de support. Son impact dans les vies qu’il a touché est inestimable.

Dans les couloirs de l’éducation, Graham a conçu des initiatives qui ont favorisé la réussite des élèves, laissant une marque indélébile sur le tissu même de l’apprentissage et de l’évaluation. Son esprit bienveillant s'est étendu au-delà de la salle de classe, où il a encadré et inspiré la prochaine génération d'éducateurs et de professionnels de l'évaluation. Sa sagesse, généreusement partagée, a illuminé le chemin de nombreuses personnes, rendant le parcours d’apprentissage plus riche et plus significatif.

Graham était plus qu'un collègue ; il était un phare de joie et de connaissance. Sa joie et sa vaste sagesse créaient une atmosphère d’apprentissage et de camaraderie partout où il allait. Nous avons eu la chance de partager des moments de rire, d'apprentissage et de croissance avec lui. Aujourd’hui, alors que nous nous souvenons de lui, nous célébrons non seulement ses réalisations professionnelles, mais aussi les innombrables souvenirs qui nous sont chers.

Son absence laisse un vide que les mots ne peuvent combler. Pourtant, nous trouvons du réconfort en sachant que l'esprit de Graham résidera pour toujours dans nos cœurs. Ses contributions au domaine de l’éducation et les amitiés profondes qu’il a nouées continueront de nous inspirer, nous rappelant l’impact extraordinaire qu’une âme peut avoir.

Alors que nous faisons nos adieux, nous nous accrochons aux leçons qu’il nous a transmises, à la gentillesse dont il a fait preuve et à l’amour qu’il a partagé. Gardons vivant son souvenir en chérissant les liens que nous avons noués avec lui et en poursuivant le travail auquel il croyait si passionnément.

Dans les semaines à venir, la famille de Graham se réunira pour de petits funérailles intimes. De plus, une page de souvenir en ligne sera créée, où nous pourrons partager collectivement nos expériences et photographies les plus chères, immortalisant les moments que nous avons partagés avec cette personne extraordinaire. Nous vous fournirons bientôt les détails pour honorer la mémoire de Graham de cette manière significative.

Nos pensées vont à la famille de Graham, à qui nous présentons nos plus sincères condoléances pendant cette période incroyablement difficile, alors que nous honorons l'héritage d'un homme qui a rendu le monde plus lumineux par sa présence.

Avec mes plus sincères condoléances,

Rick Jones, Emily Brown, Megan Borner, Jhonel Morvan, Laurel Schollen, Ovidiu Bagdasar, Paula Gouveia, Matt Wingfield, Pilar Cloud, Maria Sairoglou, Claudia Bickford-Smith, Eva Hartell, Amina Afif, Graham Hudson, Vali Huseyn, Anand Karat, Charles Anifowose et l'équipe de Vretta

Dans ce contexte, le suivi des progrès des élèves au moyen d’évaluations à des étapes éducatives cruciales est particulièrement important car il contient des informations précieuses et sensibles au sein des systèmes éducatifs. Les rapports et les décisions basés sur ces données, qui ont un impact sur diverses parties prenants, des étudiants aux enseignants, emmènent un examen minutieux s'ils ne sont pas gérés selon les meilleures pratiques et les protocoles établis.

La nécessité d’une gestion rigoureuse des données devient encore plus pertinente à mesure que les progrès technologiques affinent continuellement les pratiques de gestion des données sur le terrain. Même lors de crises mondiales, l’accès aux données et la capacité de les analyser aident à mieux comprendre les problèmes sociaux et à fournir des solutions fondées sur des données concluantes dans les domaines sociaux, comme l’éducation. Il est donc essentiel pour les organismes d’évaluation et les instances dirigeantes de suivre le rythme de ces évolutions technologiques. L'adaptation des outils modernes de gestion des données est cruciale pour maintenir la crédibilité et l'efficacité.

Cet article vise à décrire le paysage actuel de l'évaluation pédagogique, à discuter des tendances en matière de gestion des données et à élaborer sur les approches modernes, en présentant les meilleures pratiques dans le domaine.

État actuel de l’évaluation pédagogique

Historiquement, les évaluations étaient réalisées à l'aide de méthodes papier et crayon, que ce soit dans le cadre d'évaluations à grande échelle ou en classe. Cependant, l’adaptation à l’environnement dans lequel nous vivons, accélérée par la pandémie de 2020-2021, a conduit à un changement radical vers la réalisation d’évaluations par voie numérique. De nombreuses grandes organisations internationales de prestation de tests ont déjà décidé de proposer leurs évaluations et qualifications via des formats en ligne, variant en fonction des évaluations spécifiques et des juridictions dans lesquelles elles opèrent.

Dans notre parcours de transformation numérique, l’analyse des données devient encore plus essentielle, servant de pierre angulaire de l’évaluation pédagogique. Les mesures et analyses avancées rendues possibles par les plateformes numériques offrent non seulement un accès plus facile aux examens de la fiabilité et de la validité des évaluations, mais également des informations sans précédent sur les résultats d'apprentissage. Fortes de ces informations, les lignes directrices de 2022 de l’International Test Commission et de l’Association of Test Publishers ont émergé comme un premier cadre pour les meilleures pratiques en matière d’évaluations basées sur la technologie, mais elles ne marquent que le début.

Dans la section suivante, nous approfondirons pourquoi l’analyse des données est si essentielle et comment elle façonne le domaine de l’évaluation pédagogique.

Collecte et stockage de données : préparation et éléments de base

Préparer le terrain pour l’analyse

Les équipes de données et d’évaluation sont confrontées à une décision cruciale lors de la sélection des bons outils pour la collecte et l’analyse des données. Cette décision nécessite un examen approfondi de divers facteurs, notamment les ressources, la sécurité, l'exactitude et la valeur opérationnelle potentielle dans le contexte de la juridiction. Par conséquent, avant d’aborder les complexités de l’analyse des données, il est essentiel de comprendre l’importance fondamentale des méthodes et des plateformes utilisées pour la collecte de données. Les éléments suivants préparent le terrain pour une analyse précise et significative :

• Méthodes de collecte de données : à l'ère numérique, les méthodes en ligne et hors ligne sont précieuses pour collecter des données dans le cadre des évaluations pédagogiques. Si les plateformes en ligne offrent l’avantage de la rapidité et de la précision lorsqu’elles sont correctement conçues, les méthodes hors ligne restent essentielles dans des contextes où la connectivité est limitée pour certains étudiants dans certaines matières.

• Compatibilité, convivialité et intégrité : la compatibilité avec une gamme de navigateurs et de systèmes d'exploitation, la compatibilité multiplateforme, est essentielle pour garantir la facilité d'utilisation des données pour les administrateurs, les correcteurs et les candidats. Une telle compatibilité réduit le risque d’erreurs et améliore l’intégrité des données, ce qui est crucial dans toute évaluation. De plus, le fait que les plateformes incluent des fonctionnalités intégrées telles que le cryptage des données et l’authentification multifacteur minimise les erreurs de saisie des données et rationalise l’affectation et la planification des correcteurs, les rendant plus précis et efficaces.

• Plateformes de correction et conception : Les plates-formes de correction complètes sont souvent équipées d'outils avancés pour la gestion de la correction humaine. D'une part, des fonctionnalités telles que l'étalonnage continu des éléments aident à maintenir des normes de correction cohérentes, souvent aidées par des évaluations exemplaires prédéfinies. D’un autre côté, une plateforme mal conçue peut entraîner de nombreux problèmes, depuis des erreurs de saisie de données jusqu’à des procédures de planification complexes. Ainsi, l’interface utilisateur doit être intuitive et conçue en pensant aux utilisateurs finaux.

Éléments constitutifs de l’analyse

Au sens opérationnel, l'analyse des données menée par les psychométriciens et les statisticiens exige une réflexion algorithmique pour analyser de manière répétée les données disponibles et gérables, alignant finalement l'analyse des données sur une interprétation significative. Soulignant l’importance croissante de comprendre les subtilités du stockage et de la gestion des données. Les considérations suivantes servent de base à une analyse efficace et peuvent être résumées comme suit :

• Gestion des données : les évaluations en ligne posent de nombreux défis aux organisations éducatives et aux organismes d'évaluation, notamment des problèmes liés au stockage, au partage et au transfert des résultats des données. La gestion de ces vastes ensembles de données nécessite souvent un nettoyage et une préparation manuels approfondis en raison de leur volume, qui peut dépasser les capacités des logiciels de gestion de données couramment utilisés comme Excel ou SPSS.

• Comparabilité des résultats et perturbations : une documentation complète, englobant les sources de données, les échantillons, les méthodes et les analyses, est essentielle pour garantir la comparabilité ou l'équivalence des résultats, car elle est directement en corrélation avec l'étendue de la prévention des pertes de données. Ainsi, dans une telle documentation, fournir des informations détaillées sur les procédures de collecte de données, les descriptions des échantillons, les méthodes et analyses utilisées, ainsi que toutes les limitations ou notes d'alerte pour l'interprétation des résultats devient très essentiel. De plus, les systèmes de collecte de données doivent documenter rigoureusement toute perturbation technologique, y compris des enregistrements détaillés des interruptions d'évaluation pour chaque étudiant.

• Innovations en matière d'équation et d'étalonnage des éléments : dans l'évaluation pédagogique, les modèles de prédiction d'apprentissage automatique supervisé sont de plus en plus utilisés pour surmonter les limites des méthodes conventionnelles d'étalonnage des éléments. Alors que les méthodes traditionnelles nécessitent souvent de grandes tailles d'échantillons pour l'étalonnage des éléments, l'apprentissage automatique et le traitement de l'intelligence artificielle (IA) en langage naturel peuvent réduire le besoin de tests préalables et d'assimilations approfondis. En outre, ces innovations favorisent la comparabilité des résultats dans les systèmes d’évaluation adaptatifs par ordinateur et permettent des approches innovantes en matière de conception d’évaluation et de génération automatisée d’éléments.

• Procédure d'établissement des normes : Le processus d'établissement des normes est essentiel pour catégoriser les performances des étudiants en niveaux définis tels que "en dessous du niveau de base" ou "compétent". Pour établir ces niveaux et assurer un processus de contrôle de qualité, des panels d'experts et d'éducateurs emploient diverses méthodes, comme Angoff ou Bookmark, et procèdent à des révisions périodiques, notamment lorsque l'évaluation subit des changements. Dans ce contexte, les techniques psychométriques et d’apprentissage automatique émergentes jouent un rôle essentiel dans la mise à jour et l’affinement des procédures de normalisation, améliorant ainsi l’exactitude et la pertinence des critères de performance dans l’éducation.

• Test des rapports avec les parties prenantes : Enfin, avant le déploiement formel, il est nécessaire de tester les rapports avec les parties prenantes en utilisant diverses méthodes de collecte de données pour évaluer l'accessibilité, la convivialité et la compréhension globale des rapports. Toute révision nécessaire doit être éclairée par les commentaires reçus au cours de cette étape.

Analyse des données : la base d'une prise de décision éclairée

Accélération de la découverte des données

Les premières preuves de la validité de l'évaluation sont recueillies pendant la phase de conception, établissant des hypothèses sur les preuves à partir des réponses des étudiants. Les organismes d'évaluation envisagent d'accumuler des preuves à chaque phase du cycle et utilisent diverses analyses qualitatives et quantitatives en fonction des données collectées. En analyse psychométrique, différents logiciels peuvent effectuer diverses analyses, mais tous ne prennent pas en charge les cadres tels que la théorie classique des tests (CTT), la théorie de la réponse aux éléments (IRT) ou la théorie de la généralisation, et certains ne prennent pas en charge des tâches telles que l'étalonnage et l'équation. Pour naviguer dans ces complexités, nous avons compilé la liste suivante d’outils analytiques courants avec de brèves descriptions pour vous aider à comprendre leurs rôles dans l’évaluation pédagogique :

• SPSS Statistics for Education : ce logiciel est une référence pour l'analyse statistique, proposant des modules spécialisés pour les données éducatives, telles que la notation des évaluations et l'analyse des notes.

• Tableau for Education : cet outil permet aux enseignants et aux établissements de visualiser les données dans un format compréhensible, couvrant tout, des mesures de performance des élèves à l'allocation des ressources.

• BILOG : Logiciel spécialisé pour l'estimation des paramètres d'items dans l'évaluation pédagogique à l'aide de modèles IRT.

• MULTILOG : Logiciel avancé pour la modélisation IRT complexe, adapté aux évaluations multidimensionnelles.

• PARSCALE : outil polyvalent pour la modélisation des réponses aux éléments et la mise à l'échelle des tests, offrant divers modèles IRT pour les évaluations éducatives et autres.

• Winsteps ou Facets : ces outils logiciels sont généralement utilisés pour mettre en œuvre des modèles IRT afin d'analyser les données d'évaluation.

• Python : un langage de programmation open source avec une gamme polyvalente d'applications dans l'évaluation pédagogique, y compris l'étalonnage des éléments à l'aide de l'IRT et d'autres tâches d'analyse de données.

• SAS : une suite logicielle complète appliquée à l'évaluation pédagogique pour l'étalonnage des éléments, la notation des tests à l'aide de l'IRT et diverses tâches d'analyse de données.

• R for Educational Data Analysis : un langage de programmation open source qui offre une flexibilité dans la modélisation statistique avancée et la visualisation des données, largement utilisé pour l'analyse complexe des évaluations éducatives.

En résumé, ces approches d’analyse de données permettent de mesurer les changements et l’amélioration des performances des élèves au fil du temps avec différents degrés de précision, soutenant ainsi les pratiques décisionnelles éclairées par divers acteurs éducatifs, en fonction du contexte spécifique d’application.

Méthodes pour cultiver des connaissances

La conception de la recherche définit les méthodes de recherche à utiliser pour répondre à des questions d’intérêt, qu’elles concernent des décisions pratiques quotidiennes au sein du cycle d’évaluation ou des choix politiques stratégiques plus larges au sein du système éducatif. Dans n’importe quelle situation donnée, l’analyse des données fournit la qualité technique et la rigueur psychométrique essentielles pour améliorer la fiabilité et la validité des évaluations à toutes les étapes du processus, de la conception à l’interprétation. Une correction précise garantit des résultats cohérents et reproductibles, jetant les bases d'une prise de décision basée sur les données, tandis qu'une analyse robuste des données valide les évaluations en égalisant les résultats à des fins de comparabilité entre différentes versions ou méthodes de livraison. Dans le contexte de la complexité des données d’évaluation pédagogique, diverses approches analytiques, allant des statistiques conventionnelles aux méthodes d’apprentissage automatique de pointe, façonnent aujourd’hui le domaine. Voici une liste de ces approches :

• Statistiques descriptives : les statistiques descriptives constituent le fondement de toute analyse d’évaluation pédagogique. Ces statistiques résument et organisent les caractéristiques d'un ensemble de données, comme la moyenne, la médiane et l'écart type, offrant un aperçu rapide des principales caractéristiques de l'ensemble de données.

• Statistiques inférentielles : les statistiques inférentielles vont au-delà de la simple description pour faire des prédictions ou des inférences sur une population plus large sur la base d'un échantillon. Cela se fait généralement au moyen d'outils tels que les « tests T », l'ANOVA et l'analyse de régression.

• Théorie classique des tests (CTT) : La CTT est une approche classique de la théorie des tests dans laquelle les principaux paramètres utilisés sont la difficulté des éléments et la discrimination des éléments spécifiques à chaque élément de test.

• Théorie de la réponse aux items (IRT) : IRT est une approche moderne qui se concentre sur trois paramètres principaux : la difficulté des éléments, la discrimination des éléments et le paramètre de probabilité. Les stratégies d'optimisation des modèles IRT à l'aide d'outils open source tels que IRTPRO, JMetrik, la théorie des réponses aux éléments multidimensionnels (MIRT) et TAM peuvent inclure l'estimation des paramètres, la liaison et l'assimilation, ainsi que l'analyse de l'ajustement du modèle.

• Techniques d'apprentissage automatique et d'IA : la description de ces techniques aide à familiariser les spécialistes avec l'application potentielle de ces outils pour exécuter une analyse automatique de données complexes et multidimensionnelles, fournissant des informations qui ne sont pas facilement obtenues par les techniques statistiques conventionnelles :

  • Techniques d'apprentissage automatique : analyse de régression, méthodes d'ensemble, algorithmes de clustering (par exemple, K-means), machines à vecteurs de support, forêts aléatoires, arbres de décision.

  • Techniques d'IA : réseaux de neurones, traitement du langage naturel (NLP).

En résumé, ces approches d’analyse de données permettent de mesurer les changements et l’amélioration des performances des élèves au fil du temps avec différents degrés de précision, soutenant ainsi les pratiques décisionnelles éclairées par divers acteurs éducatifs, en fonction du contexte spécifique d’application.

Rapports de données : explorer les approches modernes

Garantir la convivialité, la qualité et la sécurité

La communication des résultats des étudiants est une étape clé du cycle d'évaluation, cruciale pour communiquer la valeur de l'évaluation aux parties prenantes. Lors de la communication des données, des procédures rigoureuses de qualité des données et des politiques clairement définies garantissent des scores précis et cohérents, adaptés à l'objectif de l'évaluation, au public cible et aux besoins d'accessibilité. La communication des données englobe une série d'aspects importants, à savoir la convivialité, le contrôle qualité, la sécurité, la confidentialité et la transparence dans l'analyse externe, qui sont détaillés ci-dessous :

• Convivialité : les outils de rapport en ligne doivent être conçus pour répondre aux besoins fonctionnels et aux attentes des utilisateurs en matière d'interface. Des tests d’utilisateur approfondis garantissent la fiabilité de l'outil et des ressources accessibles facilitent l'interprétation des résultats.

• Contrôle qualité : une liste de contrôle structurée pour le contrôle qualité est essentielle pour un rapport précis des résultats et doit être mise en œuvre et documentée. Les systèmes automatisés, soumis à l'examen d'experts, rationalisent le processus et des mesures de sécurité robustes, notamment des pistes d'audit, protègent contre les modifications non autorisées.

• Confidentialité et sécurité : L'accès aux résultats est réservé aux personnes autorisées, qui doivent accepter les conditions de confidentialité. Les portails de connexion sécurisés offrent un accès spécifique au rôle, tandis que les mécanismes de confidentialité des données et les normes ISO 27001:2013 sécurisent les rapports individuels et au niveau du groupe. Lorsque des données anonymisées sont partagées pour une analyse externe, les variables incluses et exclues doivent être clairement spécifiées.

• Visualisation et narration : l'utilisation de graphiques, de diagrammes et de tableaux de bord interactifs améliore la clarté et l'accessibilité des données, aidant ainsi les parties prenantes à saisir rapidement les informations clés et à prendre des décisions éclairées. Transmettre des informations à travers des récits et des visuels, inspirer l'action et garantir l'impact des données grâce à une communication efficace, nécessitant un mélange de compétences techniques et générales.

Applications d'IA dans la gestion des données

Dans l’évaluation pédagogique, l’intégration de la gestion des données basée sur l’IA améliore la façon dont nous collectons, traitons et utilisons les données des étudiants. De la rationalisation des processus de collecte de données au renforcement de la sécurité des données, les applications de l'IA offrent plusieurs avantages qui non seulement améliorent la précision et l'efficacité des évaluations pédagogiques, mais garantissent également la plus grande confidentialité et conformité. Examinons les multiples avantages de l'IA dans la gestion des données d'évaluation pédagogique, en explorant chaque catégorie :

• Collecte automatique de données de test : l'IA rationalise la collecte de données en collectant automatiquement les soumissions de tests numériques à partir de diverses sources et en les stockant en toute sécurité dans le cloud pour un accès facile et une protection des données.

• Outils d'assurance qualité : les outils basés sur l'IA identifient et corrigent les erreurs ou les incohérences dans les réponses des étudiants, garantissant ainsi l'exactitude et la fiabilité des données d'évaluation. De plus, grâce à l’analyse des métadonnées, la banque d’éléments peut être vérifiée pour identifier des éléments identiques, conduisant à la suppression d’évaluations similaires liées au contenu.

• Analyse des tendances par l'IA : en règle générale, la réalisation d'une analyse des tendances pour identifier des modèles dans des ensembles de données nécessite l'utilisation de méthodes statistiques et de techniques d'analyse de données. Cependant, l’IA peut améliorer considérablement l’efficacité et la précision de la révélation des tendances et des modèles de performance des élèves, en particulier lorsqu’il s’agit d’ensembles de données volumineux et complexes, et aider à générer des rapports dynamiques avec des visualisations, facilitant ainsi l’interprétation des résultats.

• Détection des intrusions et anonymisation des données : la cybersécurité basée sur l'IA utilise des systèmes de détection d'intrusion pour surveiller en permanence l'accès aux données, détectant ainsi les intrusions non autorisées et protégeant les dossiers sensibles des étudiants. De plus, il utilise des techniques d'anonymisation des données pour préserver la confidentialité des données, notamment en ce qui concerne les informations personnellement identifiables.

• Apprentissage automatique dans les tests adaptatifs : les algorithmes d'apprentissage automatique analysent les réponses précédentes pour proposer des éléments adaptés au niveau de capacité de chaque élève. Par exemple, si un élève excelle en mathématiques, l’algorithme pourrait présenter des éléments plus difficiles, rendant ainsi l’évaluation plus efficace.

• Deep Learning pour la notation automatisée des dissertations : les modèles Deep Learning (apprentissage profond) rationalisent l'évaluation pédagogique en offrant une notation instantanée des dissertations et une détection du plagiat. Ils évaluent efficacement les capacités de réflexion d’ordre supérieur tout en garantissant l’intégrité de l’évaluation.

• Systèmes experts en analyse psychométrique : les systèmes experts en évaluation pédagogique peuvent à la fois améliorer la validité et la fiabilité des tests grâce à une analyse psychométrique robuste et fournir une rétroaction personnalisée en temps réel pour identifier les forces et les faiblesses académiques des étudiants.

• Traitement du langage naturel pour les réponses à développement : ce peut traiter les données qualitatives des éléments à réponse à développement pour générer des informations sur l'efficacité du programme ou identifier les domaines potentiels d'amélioration de l'évaluation.

• La robotique dans l'évaluation pratique : les robots peuvent être utilisés pour effectuer des évaluations pratiques dans des domaines comme la médecine ou l'ingénierie, mesurant avec précision la capacité d'un étudiant à effectuer des tâches spécifiques.

• Logique floue pour les corrections ambiguës : dans les évaluations comportant des éléments subjectifs, tels que la performance artistique ou les tâches de raisonnement éthique, les algorithmes de logique floue peuvent offrir une notation nuancée qui reflète plus précisément la complexité du sujet.

• Unification et intégration des données : cette méthode implique des systèmes basés sur l'IA qui appliquent des politiques cohérentes de gestion des données en suivant méticuleusement le traçage des données et en intégrant de manière transparente les données provenant de diverses sources. Le résultat est le maintien de la qualité des données et une vue complète des performances des étudiants.

• Archivage basé sur des critères et contrôle d'accès sécurisé : grâce à l'archivage basé sur l'IA et adapté à des critères tels que les performances des étudiants ou le type d'évaluation, les organisations peuvent stocker et accéder efficacement aux enregistrements historiques et aux résultats des tests. L’utilisation de l’IA pour le cryptage et les contrôles d’accès adaptatifs garantit le partage sécurisé des données des étudiants et du matériel d’évaluation, facilitant ainsi la collaboration tout en préservant strictement la confidentialité des étudiants.

En résumé, la gestion des données basée sur l'IA dans l'évaluation pédagogique offre des avantages pratiques, notamment une collecte de données rationalisée, une assurance qualité améliorée, des informations basées sur les données, une sécurité robuste, une gouvernance et un archivage efficace. Cela transforme l’évaluation, au profit des enseignants et des étudiants, tout en garantissant une gestion efficace des données pour l’avenir.

Flux de travail modernisé

Les organismes d'évaluation modernisent activement leurs évaluations pour améliorer la précision, l'accessibilité et l'intégration transparente dans le domaine numérique. Il existe différents scénarios quant à la manière dont un organisme d’évaluation à enjeux élevés peut décider de moderniser le cycle d’évaluation ainsi que le processus de gestion des données. Dans ce contexte de prise de décision, atteindre des objectifs clés tels que la réduction du délai de rapports, la minimisation des erreurs et la gestion des coûts nécessite la mise en œuvre d'une solution complète de ligne de données basée sur les trois principes de conception fondamentaux suivants :

• Flux de travail séquentiel : selon ce principe, la ligne de données ressemble à une chaîne d'assemblage bien organisée, dotée de points de contrôle de validation à chaque étape, de l'extraction des données à l'analyse en passant par le rapport. Ces points de contrôle assurent un suivi en temps réel du processus, avec des étapes clés telles que la validation de l'importation, la validation de la transformation et la vérification finale avant le rapport.

• Flux de travail dynamique et polyvalent : Semblable à l'adaptabilité d'un caméléon, cette approche permet à la ligne de gérer efficacement les données de n'importe quelle évaluation sans nécessiter de réplication de code. Il fonctionne comme un système dynamique et automatisé, garantissant un traitement et une analyse transparents des données.

• Flux de travail automatisé : cet aspect de la solution s'apparente au concept d'une voiture autonome. Il fonctionne de manière autonome, comme des systèmes de conduite automatisés, tout en offrant aux utilisateurs la possibilité d’effectuer des ajustements via des scripts prédéfinis. Cet équilibre entre automatisation et personnalisation garantit un processus rationalisé et adaptable.

Une solution de flux de travail modernisée conçue avec les trois principes clés ci-dessus est présentée étape par étape, suivant un processus soigneusement orchestré dans l'ordre suivant :

1. Efficacité et amélioration : une solution construite sur les trois principes fondamentaux améliore l'efficacité, réduit les erreurs et gère les coûts de l'évaluation pédagogique. Ses fonctionnalités séquentielles, dynamiques et automatisées forment un cadre solide pour l'analyse psychométrique, les rapports techniques et l'assurance qualité, conduisant à des améliorations dans les évaluations à grande échelle.

2. Le parcours d'évaluation commence : Le processus d'évaluation commence lorsque les instruments d'évaluation sont méticuleusement conçus, rigoureusement validés et administrés de manière réfléchie. La notation est effectuée manuellement ou via des algorithmes automatisés.

3. Données dans le cloud : les données notées trouvent leur place sur une infrastructure cloud évolutive, garantissant l'accessibilité et la sécurité.

4. Transfert et transformation des données : les données embarquent dans un voyage vers un serveur de données dédié, où un script est utilisé pour extraire des données d'évaluation prédéfinies et les charger en mémoire. Ces données subissent ensuite des transformations, les transformant en une matrice d'éléments qui s'aligne sur les besoins opérationnels et politiques.

5. Analyser les données : Le voyage se poursuit avec la phase d'analyse. Une analyse de la théorie classique des tests (CTT) est effectuée, produisant des données au niveau des éléments, des rapports sur les distractions et une analyse de la fréquence de réponse.

6. Analyse IRT : les données d'évaluation sont ensuite soumises à une analyse IRT, englobant l'étalonnage initial des éléments, les procédures d'assimilation et les analyses de notation.

7. Vérification rigoureuse : avant l'activation du rapport, un processus de vérification méticuleux est effectué pour garantir la fiabilité et la validité des données.

8. Résumer les résultats : ce processus aboutit à la génération d'un rapport HTML qui résume succinctement les résultats de l'évaluation. Ce rapport est réintégré de manière transparente dans le système d’origine.

9. Rapports conviviaux : La dernière étape consiste à créer des rapports conviviaux, notamment des feuilles de calcul Excel et des représentations graphiques telles que les courbes caractéristiques des articles (ICC), les fonctions d'information sur les articles (IIF) et les courbes caractéristiques des tests (TCC).

10. Engagement des parties prenantes : ces rapports sont facilement accessibles aux parties prenantes qui peuvent les télécharger et les consulter. Ceci marque la conclusion du processus d’évaluation complet, y compris l’analyse des performances de divers groupes d’étudiants au fil du temps.

En résumé, l’adoption d’une solution complète de ligne de données guidée par les trois principes apporte efficacité, précision et économies de coûts à la modernisation des évaluations à enjeux élevés. Cette approche garantit la fiabilité et l'accessibilité des données, ce qui donne lieu à des rapports conviviaux qui permettent aux parties prenantes de prendre des décisions éclairées et d'améliorer le processus d'évaluation. L’adoption de ces principes fondamentaux fait progresser la précision et l’intégration de l’évaluation pédagogique à l’ère numérique.

Moderniser grâce à la technologie et à la collaboration

Le domaine de l’évaluation pédagogique se trouve à un tournant, transformé par la technologie et les initiatives mondiales. La gestion des données dans l’évaluation en éducation est plus cruciale que jamais, et l’IA accélère ce changement. L’IA et l’apprentissage automatique ne sont pas que des améliorations ; ils deviennent indispensables pour façonner les politiques, les pratiques et la recherche éducatives. Ces technologies enrichissent également la fiabilité psychométrique des évaluations, repoussant les limites des méthodes classiques. Cependant, les progrès technologiques entraînent des défis éthiques et pratiques, tels que garantir la sécurité, l’équité et l’intégrité des données. Par conséquent, un examen rigoureux des systèmes automatisés est impératif. Les organismes éducatifs, les décideurs politiques et les parties prenantes doivent collaborer et constamment mettre à jour les meilleures pratiques pour exploiter tout le potentiel des évaluations modernes. Une telle action collective s’aligne sur des objectifs mondiaux tels que les objectifs de développement durable et l’agenda Éducation 2030. À l’avenir, le mélange d’innovation technologique et de responsabilité éthique nous guidera vers l’excellence éducative au 21e siècle.

A propos de l'auteur

Vali Huseyn est une spécialiste de l'évaluation pédagogique qui fournit des conseils d'expert sur la modernisation des étapes clés du cycle de vie de l'évaluation, notamment la rédaction de l'évaluation (banque d'items), l'enregistrement, l'administration, la notation, l'analyse des données et la création de rapports. Il soutient et sert la communauté de l'évaluation par le biais de partenariats stratégiques avec diverses organisations de technologie d'évaluation, organismes de certification et centres de recherche. Il a également joué un rôle déterminant dans le soutien à la modernisation des évaluations à grande échelle au Centre d'examen d'État d'Azerbaïdjan en tant que chef des partenariats stratégiques et chef de l'unité de gestion de projet.

N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

Les références

1. Programme des Nations Unies pour le développement. (s.d.). Objectifs de développement durable : une éducation de qualité. Lien: https://www.undp.org/sustainable-development-goals/qualityeducation?gclid=CjwKCAjwmbqoBhAgEiwACIjzEL9w2cvF2X2Mp7SyGRVRDylV8g8jA8DgEiECYMD1MTEjyrWt0jXSOBoCGpAQAvD_BwE

2. Évaluation Asie-Pacifique. (2020). Déclaration et cadre d’action d’Éducation 2030 d’Incheon. Lien : https://apa.sdg4education2030.org/sites/apa.sdg4education2030.org/files/2020-12/Education2030%20Incheon%20Declaration%20and%20Framework%20for%20Action.pdf

3. Forum économique mondial. (2022). Voici comment la science des données peut aider à résoudre les crises mondiales. Lien : https://www.weforum.org/agenda/2022/05/impact-data-science-can-help-solve-global-crises-but-only-if-we-deploy-it-on-the- lignes de front/

4. Intestcom. (2022). Lignes directrices pour l’évaluation basée sur la technologie. Commission internationale d'essais. https://www.intestcom.org/upload/media-library/guidelines-for-technology-based-assessment-v20221108-16684036687NAG8.pdf

5. AlKhuzaey, S., Grasso, F., Payne, T.R., et al., « Prédiction de la difficulté des questions basée sur le texte : une revue systématique des approches automatiques », Journal international de l'intelligence artificielle dans l'éducation (2023). Lien : https://doi.org/10.1007/s40593-023-00362-1

6. La 47e Conférence annuelle de l’Association internationale pour l’évaluation pédagogique, Mexique (2022). Présentation sur les pipelines de données modernisés pour les évaluations électroniques à grande échelle par Vretta : Charles Anifowose, Ryan Schwarz et Cigdem Bulut : https://iaea2022.org/index.php/programme#monday-3rd

Responsabilité de l’éducation au Canada

Le Canada est une confédération de 10 provinces et 3 territoires. Les domaines de responsabilités sont divisés entre le gouvernement fédéral et les gouvernements provinciaux/territoriaux. Le niveau fédéral est responsable de domaines tels que la défense nationale, les affaires étrangères, la pêche, l’immigration et la citoyenneté, alors que les provinces et territoires sont responsable de domaines comme les services sociaux, la santé, les forêts, les routes et l’éducation. Puisqu’il n’y a pas de département national de l’éducation, chaque province et territoire établit ses propres politiques liés à des aspects tels que le programme d’étude, la certification des enseignants ainsi que l’évaluation et la communication des progrès d’apprentissages des élèves.

L’évaluation provinciale à travers le Canada

Les évaluations provinciales des étudiants ont été réalisés dans la plupart des provinces canadiennes depuis plusieurs années. En général, les évaluations sont sommatives en nature, fournissant des informations à tous (par exemple, les ministères, les conseils scolaires, parents/gardiens et le public) à propos de comment les étudiants performent par rapport aux standards provinciaux, et par extension, à quel point le système d’éducation performe. Néanmoins, comme déjà mentionné, le but général du programme d’évaluation provincial est de fournir des informations pour la responsabilisation et l’amélioration de l’apprentissage des étudiants. La plupart des programmes d’évaluations testent les étudiants en littérature (lecture et/ou écriture) et en mathématique, bien que d’autres sujets soient évalués dans certaines provinces.

Une brève histoire de l’évaluation provinciale en Colombie- Britannique.

La Colombie-Britannique a une longue histoire d’évaluations provinciales des étudiants, ayant administré des examens provinciaux standardisés depuis la fin des années 1800. L’angle/focus du programme d’évaluation, cependant, a évolué remarquablement au cours des années. Les examens de fin d’études en lecture, écriture et mathématique furent administrés jusqu’en 1973 et ensuite annulées à cause de préoccupations à propos de, ce qui était perçu comme, l’utilisation inappropriées des résultats. Un nouveau programme d’évaluation des étudiants fut introduit en 1975 pour remplir le vide d’informations résultant de l’annulation des examens de 12e année. Le nouveau programme, appelé le Programme Provincial d’Évaluation d’Apprentissage, a évalué les étudiants de 4e, 8e et 12e année pour plusieurs années. (Quand les examens de 12e année furent réintroduit en 1984, les années évaluées devinrent la 4e,7e et 10e.) Le but de ce programme était de surveiller le progrès des étudiants dans la province, et les résultats devaient être utilisés pour modifier le curriculum, choisir les ressources pédagogiques, et éclairer la formation et le perfectionnement des enseignants. En plus de l’anglais et des mathématiques, le programme a mesuré le progrès des étudiants dans d’autre sujets comme l’éducation physique et la santé, science et étude sociale. Typiquement, le programme était administré sur un sujet annuellement. Pour les sujets comme l’écriture et l’éducation physique qui demandaient une longue notation fait à la main, un échantillon d’étudiants provinciaux ont été utilisés. Sinon, un processus d’échantillonnage matriciel a été employé dans lequel chaque étudiant dans une année donnée répondait à un des trois ou quatre livrets qui, combinés, couvraient le curriculum. Initialement, les résultats étaient fournis seulement par les districts scolaires – aucun résultat des écoles ou d’étudiant individuel n’ont été rapporté. Cependant, en réponse aux requêtes des directeurs d’école, les résultats (particulièrement en lecture et mathématique) ont été éventuellement disponible au niveau des districts scolaires et des écoles. Depuis que ce programme a été administré sur un sujet annuellement, les informations reliées à n’importe quel sujet étaient disponible infréquemment. Conséquemment, le gouvernement provincial a pris la décision d’introduire les Évaluations de Compétences Fondamentales (ÉCF) en lecture, écriture et math en 4e, 7e, et 10e années qui furent introduit en 1999. Comme mentionné précédemment, en 1984, les examens de fin d’années ont été réintroduis, et éventuellement, plus de 20 examens de fin de cours basé sur le curriculum furent administrés. Tous les étudiants ont été requis de s’asseoir pour les examens provinciaux pour recevoir des crédits pour l’achèvement de cous d’étude dans le programme de graduation. Ces examens provinciaux valaient jusqu’à 50% de la note final, combinant le résultat de l’examen et les résultats en classe pour produire un score final. En addition aux rapports aux étudiants individuels, des informations sommaires étaient fournis au niveau provincial, des district scolaires et des écoles. Les étudiants diplômés avaient aussi l’option d’écrire un examen de bourse séparé dans des matières données pour se qualifier pour une bourse. En 2016, le gouvernement de Colombie- Britannique a annoncé que les examens provinciaux d’écoles secondaires seraient abandonnés; l’évaluation de fin d’études furent progressivement éliminés en 2016 et 2019.

Réforme de curriculum et d’évaluation

À travers de la dernière décennie, la Colombie-Britannique a entrepris une réforme substantielle de son programme d’études et de son cadre d’évaluation. Cette réforme visait à rendre l’éducation plus pertinente, plus engageante et plus adaptée à un monde moderne et en évolution. Même si la réduction des écarts de réussite entre les étudiants autochtones et non-autochtones était un objectif explicite du nouveau programme d’études, il y avait un désir d’intégrer les modes de pensée autochtones dans le programme et la culture scolaire d’une manière qui profiterait à tous les élèves. Au lieu d’être construit autour d’un grand nombre de résultats d’apprentissage prescrits axés sur le contenu, le programme révisé utilise une approche basée sur les concepts et axée sur les compétences qui équilibre les normes d’apprentissage du contenu (ce que les étudiants devraient savoir) avec les normes d’apprentissage des compétences du programme (ce que les étudiants devraient être capable de faire). Les examens provinciaux d’obtention du diplôme, passé de la 10e à la 12e année, ont été supprimés et remplacés par un nouveau programme d’obtention du diplôme axé sur l’application des connaissances. L’utilisation des notes à l’école primaire et des scores en pourcentage au secondaire a été abandonnée au profit d’une évaluation formative des compétences de base. Aujourd’hui, tous les élèves des 4e, 7e, 10e et 12e années (anglais et français) doivent passer des évaluations annuelles en mathématique et/ou en littérature (lecture et écriture) comme suit : 4e et 7e années, littérature et mathématique (programme ÉCF), évaluation en littérature et en mathématique en 10e année et en littérature en 12e année (programme de fin d’études). Les évaluations ne contribuent pas aux notes finales ni aux bulletins scolaires des élèves; les résultats sont rendus publics à l’échelle provinciale, ainsi que par école et district. Bien que les résultats d’évaluation ne soient pas pris en compte dans les notes finales des élèves, la participation des élèves de 10e et 12e années est requise pour l’obtention du diplôme.

Évaluation des compétences Fondamentale (ÉCF)

Les ÉCF, qui sont administrés chaque année à l’automne (du début octobre au début novembre), ne sont pas classés comme formatifs ou sommatifs. « Les résultats des ÉCF peuvent être utilisés de manière formative ou sommative pour :

• Soutenir chaque élève en fournissant des informations descriptives pour l’établissement d’objectifs (c’est-à-dire en utilisant les informations de l’échelle de compétence pour définir de nouveaux objectifs d’apprentissage).

• Fournir des informations supplémentaires au éducateurs, leur permettant d’identifier les points forts et les points faibles.

• Fournir aux écoles, aux districts et au ministère de l’Éducation et des principaux groupes d’intervenants.

• Décrire les niveaux de compétence de sous-groupes d’une population (par exemple, les étudiants autochtones) à l’intention des écoles, des districts, du ministère de l’Éducation et des principaux groupes d’intervenants.

• Aider à éclairer la prise de décision à tous les niveaux du système d’éducation concernant les performances en littérature et en mathématique.

• Fournir des informations aux écoles, aux districts et au ministère de l’Éducation concernant les tendances de performance au fil du temps » (p.2).

Les Composants du ÉCF

Les évaluations de la lecture, de l’écriture et de mathématique comportent à la fois des questions à réponse choisie et des questions à réponse construite. Les composantes à réponse écrite comprennent des tâches d’écriture et des tâches de résolution de problèmes en mathématique. Les évaluations durent environ quatre heures en classe. Il y a trois éléments principaux : l’activité de collaboration, le livret de l’élève et l’évaluation en ligne.

Activité collaborative

Avant l’évaluation de l’élève, une activité de collaboration de groupe de 15 minutes dirigée par l’éducateur a lieu. Cela donne aux élèves la possibilité de choisir l’un des deux thèmes sur lesquels ils aimeraient se concentrer pendant la partie littérature du livret de l’élève. Les élèves se préparent en travaillant ensemble en équipes ou en paires pour réfléchir et discuter des deux thèmes de littérature proposés comme choix.

Livret de l’élève

Les questions du livret de l’élève sont toutes des questions écrites à réponse construite, qui sont notés par les éducateurs en référence à des grilles de notation holistiques. Pour la partie littérature du livret, il y a trois questions. Les étudiants doivent sélectionner l’un des deux thèmes optionnels, et chaque thème contient deux textes associés (passages de lecture), avec une question sur chaque texte. La troisième question demande aux élèves de réfléchir profondément au thème et de communiquer leurs liens personnels avec celui-ci. La partie mathématique du livret de l’élève comprend trois questions à réponse construite associées à des contextes réels. Les élèves sont engagés dans la résolution de problèmes (application de concepts mathématiques pour interpréter et résoudre des problèmes) et communiquer leur réflexion.

Évaluation en ligne

La composante en ligne du ÉCF utilise une variété de questions à réponse sélectionnée engageantes et interactives pour évaluer les connaissances et la compréhension en littérature et en mathématique (30 questions dans chacun des domaines de littérature et de mathématique). Une variété de types d’éléments sont utilisés, notamment des questions à choix multiples, des points chauds, du glisser-déposer, des menus déroulants, de la saisie de réponses numériques, du séquençage et des questions graphiques interactives. Les questions à réponse choisie sont notées automatiquement.

Réflexion des étudiants

Une fois le livret de l’élève et les composants en ligne terminés, les étudiants répondent à des questions d’autoréflexion sur le processus d’évaluation (les questions d’autoréflexion ne sont pas notées). Un exemple de question est fourni à la fin du modèle de livret de réponses (lien fourni dans la note de bas de page).

Notation

Toutes les questions à réponse construite de la ÉCF sont notées au niveau de l’école ou du district; un financement est fourni pour soutenir les activités de notation. Le ministère fournit un soutien à la notation/à la formation qui comprend :

• Un ensemble d’exemples provinciaux pour les réponses des élèves aux questions écrites en littérature et en mathématique

• Informations pour aider à organiser la notation

• Guides de notation

• Assistance à la notation par courriel

Le ministère surveille la notation des écoles et des districts en réévaluant un échantillon de livrets de réponses des élèves de chaque district, ainsi que d’un certain nombre d’écoles indépendantes.

Rapports sur les résultats

Les rapports ÉCF sont produits au niveau individuel de l’élève, de l’école, du district scolaire et de la province. Sur la base d’une combinaison de toutes les réponses des élèves dans chaque matière, les scores globaux sont calculés pour la lecture, l’écriture et les mathématiques. Les résultats des étudiants sont ensuite classés dans l’un des trois niveaux de l’échelle de compétence : « Émergent », « En bonne voie » ou « En expansion », chacun avec son descripteur respectif. Une fois la saisie des pointages terminée, les rapports individuels des élèves, y compris leurs niveaux de compétence accompagnés de descriptions, sont prêts à être utilisés par les éducateurs et les élèves pour être partagés avec les parents. Ces rapports intermédiaires sont généralement disponibles en fin novembre. Les rapports finaux, traités et analysés par le ministère, sont mis à la disposition des districts scolaires d’ici la fin janvier. Ceux-ci incluent des rapports au niveau des élèves, ainsi que des rapports au niveau des écoles et des districts.

Évaluations provinciales des diplômes de 10e année

Au lieu d’évaluer des programmes de cours spécifiques, les évaluations provinciales de graduation de 10e année exigent que les élèves mettent en pratique les compétences en mathématique et en littérature, acquises grâce à leur apprentissage dans plusieurs matières, de la maternelle à la 10e année, dans des situations authentiques et réelles. Les évaluations évaluent la capacité des étudiants à appliquer leurs connaissances et compétences et à analyser, raisonner et communiquer efficacement tout en examinant, interprétant et résolvant des problèmes. Les évaluations ne sont pas classées comme formatives ou sommatives; les informations qui en résultent peuvent être utilisées aux deux fins. Les résultats des évaluations provinciales de graduation sont présentés à l’aide d’une échelle de compétence à quatre niveaux : « Émergent », « En développement », « Compétent » ou « En expansion ». En plus d’obtenir 80 crédits de cours pour l’obtention du diplôme, les étudiants doivent participer aux évaluations de mathématique de 10e année et de littérature de 10e et 12e années; les résultats n’ont pas d’impact sur la capacité des étudiants à obtenir leur diplôme. Les évaluations de fin d’études en littérature et en mathématique nécessitent généralement deux heures, bien que les étudiants puissent disposer d’une heure supplémentaire s’ils ont besoin de plus de temps.

Évaluation en mathématique

L’évaluation en mathématique de 10e année est administrée en ligne et comporte trois volets :

• Une section commune dans laquelle les étudiants répondent à un total de 24 questions en ligne à réponse choisie centrées sur quatre tâches (situations) différentes qui sont notées par ordinateur.

• Les élèves choisissent deux des quatre questions à réponse construite sur papier disponibles (en fonction des tâches des sections communes); les questions sont notées par les enseignants en référence à des rubriques.

• Section d’autoréflexion, dans laquelle les étudiants réfléchissent à leur expérience d’évaluation en répondant à quatre questions à réponse choisie (les réponses ne sont pas notées).

Évaluation en littérature

L’ensemble de l’évaluation s’articule autour d’une idée globale et chacune des deux parties de l’évaluation contient sa propre idée principale liée au concept global. L’évaluation en littérature de 10e année est administrée en ligne en trois parties :

• Partie A : Les élèves lisent une variété de textes (par exemple, des articles de journaux/magazines, des blogs, des infographies, des publications sur les réseaux sociaux) qui sont liés à l’idée principale de la partie A. Pour montrer qu’ils peuvent analyser et donner un sens aux textes, les élèves répondent à 15 points de questions à réponse choisie et rédigent deux questions à réponse construite : une question organisatrice graphique et une réponse détaillée liée aux textes

• Partie B : Cette partie est similaire à la partie A (mais avec un nouvel ensemble de textes liés à une nouvelle idée principale), sauf qu’une fois que les étudiants ont complété les 15 points des questions à réponse choisie, ils doivent choisir l’une des deux « voies » écrites associées à l’idée principale, puis préparés une réponse écrite détaillée pour communiquer leur interprétation personnelle et leurs idées concernant l’idée principale.

• Réflexion personnelle : Les élèves répondent à une série de quatre questions à réponse sélectionnée et de deux questions à réponse construite liées à leur expérience de l’évaluation (les réponses ne sont pas notées).

Évaluation des compétences en littérature pour les diplômés de 12e année

Tout comme les évaluations de 10e année, l’évaluation en littérature de 12e année n’est pas basée sur un cours particulier, mais évalue plutôt les connaissances et les compétences acquises par les élèves dans plusieurs matières, de la maternelle à la 12e année. L’évaluation mesure la capacité des élèves à utiliser leur pensée critique et réflexive et d’analyse pour donner un sens à une variété de types de textes continus et non-continus (par exemple, articles de journaux/magazines, blogs, publications sur les réseaux sociaux, instructions, sites Web, brochures, cartes, tableaux, graphiques) et pour communiquer leurs idées ou celles trouvées dans les textes. Comme pour la 10e année, l’évaluation en littérature de la 12e année est administrée en ligne en trois parties :

• Partie A : Cette partie est axée sur un scénario de pensée critique. Les élèves répondent à 10 points de questions à réponse choisie associées aux textes, puis répondent à deux questions de pensée critique à réponse construite : une question d’organisateur graphique et une réponse détaillée liée aux textes.

• Partie B : Les étudiants répondent à des questions à réponse choisie d’une valeur de 15 points liées aux textes donnés, puis génèrent une réponse construite dans laquelle ils établissent des liens personnels (exprimant leurs propres connaissances et expériences) associés à l’idée principale de la section. Comme en 10e année, les élèves choisissent l’une des deux « voies » d’écriture pour la réponse écrite détaillée. Une grille d’évaluation commune est utilisée pour noter les réponses des élèves.

• Autoréflexion : les étudiants répondent à quatre questions à réponse sélectionnée et à deux questions à réponse construite liées à leur expérience avec l’évaluation, à la manière dont ils pourraient améliorer leurs performances et aux commentaires que les développeurs d’évaluations pourront prendre en compte lors de l’élaboration de futures évaluations (les réponses ne sont pas notées).

Conclusion

Depuis 2021, le ministère de l’éducation de la Colombie-Britannique a collaboré avec son partenaire en technologie d’évaluation, Vretta, pour moderniser la solution de prestation d’évaluations en ligne de l’ÉCF et du programme de graduation, qui comprend l’évolution des fonctions de création, d’enseignement, d’administration, de notation, d’analyse des données et des rapports du cycle d’évaluation. La solution d’évaluation en ligne de l’ÉCF fournit de précieuses informations sommatives et formatives dans le cadre du programme d’évaluation provincial. Cependant, le ministère a également entrepris des plans innovants pour étendre l’utilisation de la solution d’évaluation en ligne à des fins de classe formative. « Bien que le système actuel ait été créé pour offrir des évaluations provinciales, la vision du ministère est d’incorporer des fonctionnalités permettant aux éducateurs d’accéder à des éléments du système afin de fournir des évaluations en classe liées au programme d’études. » La planification de cet outil d’évaluation formative est en cours et est très attendu. Une fois les plans plus définitifs, un prochain article développera cette importante initiative.

À propos de l’auteur

Dr Richard Jones

Le Dr Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique et de l’évaluation des programmes à grande échelle. Il travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de haute direction au sein de l’Office de la qualité et de la responsabilité en Éducation en Ontario, ainsi que dans les ministères de l’Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces rôles, il était responsable des initiatives liées à l’évaluation des étudiants, des programmes et du curriculum; indicateurs de qualité de l’éducation; planification de l’amélioration des écoles et des conseils scolaires; accréditation scolaire; et des tests provinciaux, nationaux et internationaux. Le Dr Jones a commencé sa carrière comme éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une société multinationale fournissant des services de conseil au Moyen-Orient. N’hésitez pas à contacter Rick à richard.jones@rmjassessment.com (ou sur LinkedIn) pour en savoir plus sur les meilleurs pratiques de transition vers un environnement d’évaluation en ligne.

Reconnaissance

L’auteur souhaite exprimer sa gratitude aux membres de la Student Learning Branch du ministère de l’éducation de la Colombie-Britannique, pour leur examen approfondi de cet article et pour leur suggestions et commentaires des plus utiles.

Références

[1] Short History of Standardized Testing in B.C., Vancouver Sun, retrieved on August 18, 2023: https://vancouversun.com/news/staff-blogs/short-history-of-standardized-testing-in-b-c

[2] British Columbia Department of Education (1990), Year 2000: A Framework for Learning, retrieved on August 18, 2023: https://files.eric.ed.gov/fulltext/ED357999.pdf

[3] Peterson, A. (February 2023). Education Transformation in British Columbia. Center for Universal Education, The Brookings Institution, retrieved on August 18, 2023: https://www.brookings.edu/articles/education-transformation-in-british- columbia/#:~:text=At%20the%20level%20of%20the,and%20personal%20and%20social%20competency

[4] Foundation Skills Assessment specifications, retrieved on August 29, 2023: https://www2.gov.bc.ca/assets/gov/education/administration/kindergarten-to-grade- 12/assessment/fsa_description_and_specs.pdf

[5] Sample Grade 4 collaboration activity: https://www2.gov.bc.ca/assets/gov/education/administration/kindergarten-to-grade- 12/assessment/grade-4-collaboration-activities-sample.pdf

[6] Sample Grade 4 student response booklet: https://www2.gov.bc.ca/assets/gov/education/administration/kindergarten-to-grade-12/assessment/gr4- fsa-sample-response-booklet.pdf

[7] Sample Grade 4 online assessment questions: https://bced.vretta.com/#/en/bced- landing/fsa/sample/grade-4

[8] Grade 10 Graduation Numeracy Assessment specifications, retrieved on August 29, 2023: https://curriculum.gov.bc.ca/sites/curriculum.gov.bc.ca/files/pdf/assessment/gna-10-specifications.pdf.

[9] Sample numeracy assessment: https://bced.vretta.com/#/en/bced-landing/grad/sample/numeracy10

[10] Grade 10 Literacy Assessment specifications, retrieved on August 29, 2023: https://curriculum.gov.bc.ca/sites/curriculum.gov.bc.ca/files/pdf/assessment/GLA_10_Specifications.pdf

[11] Sample literacy assessment: https://bced.vretta.com/#/en/bced-landing/grad/sample/literacy10

[12] Grade 12 Literacy Assessment specifications retrieved on August 29, 2023: https://curriculum.gov.bc.ca/sites/curriculum.gov.bc.ca/files/pdf/assessment/grade-12-literacy- specifications.pdf

[13] Sample Grade 12 literacy assessment: https://bced.vretta.com/#/en/bced- landing/grad/sample/literacy12

[14] BC’s assessment technology partner Vretta: www.vretta.com

[15] B.C. Ministry of Education Request for Proposals (RFP) Number 10961 (December 10, 2019)

Cet article vise à approfondir les subtilités de la notation à l’écran, en explorant ses origines, ses avantages et son rôle dans l’éducation contemporaine.

Aspects historiques et pratiques de la notation à l’écran

L'évolution des méthodes d'évaluation est naturellement liée aux types de questions - allant de la réponse sélectionnée à la réponse construite - et au mode d'évaluation, allant du format papier au format informatique. Alors que les évaluations informatisées des réponses sélectionnées éliminent la notation manuelle, les évaluations des réponses construites nécessitent une notation quel que soit le mode. Ces aspects historiques influencent également les choix faits par les juridictions cherchant à moderniser leurs systèmes d’évaluation. Prenons l’exemple d’un organisme d’évaluation aux enjeux élevés dans une juridiction numériquement jeune : la décision entre la méthode et le mode d’évaluation façonne la trajectoire d’adoption de la notation à l’écran. Les contextes aux ressources limitées peuvent donner la priorité à l’utilisation d’items à réponse sélectionnée, limitant potentiellement l’évaluation des capacités de réflexion d’ordre supérieur. À l’inverse, les juridictions matures sur le plan numérique pourraient affiner leurs méthodes d’évaluation pour les aligner sur les programmes d’études. En parallèle, les établissements d’enseignement comme les écoles et les universités pourraient adopter une numérisation complète, intégrant V de manière stratégique. Essentiellement, l’application pratique de la notation à l’écran est étroitement liée à la préparation au numérique, aux ressources disponibles et à l’alignement sur les objectifs pédagogiques d’une juridiction. Comprendre ces scénarios est essentiel pour exploiter le potentiel de la notation à l’écran et élever le domaine de l’évaluation.

Avantages et défis de la notation à l’écran

Différentes études ont été menées pour justifier l'utilisation de la notation à l’écran à différents niveaux d'organisations, comme les écoles ou les universités et les organismes d'évaluation à grande échelle. Par conséquent, différents documents d’orientation sont mis en pratique par diverses organisations. L’une d’entre elles est tout à fait pertinente pour les écoles produites par le système de notation des écoles européennes (2017) : des directives ^[iv] qui pourraient être utilisées pour aider les écoles et les enseignants à mettre en œuvre le système de notation de manière pratique, en les aidant à s’impliquer efficacement en fournissant des conseils avisés. L'une des études récentes sur le thème de l'engagement des étudiants^[v] souligne l'importance de soutenir les connaissances en matière d'évaluation et le développement du personnel tout en relevant les défis de la rétroaction efficace. De plus, l'Université d'Oxford (2017) a écrit un rapport sur les recherches et pratiques en matière d'examens électroniques^[vi] qui présente un ensemble de recommandations, notamment l'importance des compétences informatiques des correcteurs pour l'évaluation, qui cultivent un état d'esprit de la notation à l’écran et, à terme, améliorent la fiabilité et l’équité entre les évaluateurs simplement à partir de l'expérience de notation. Selon l’un des blogs publiés par le portail d’apprentissage IEP de l’UNESCO^[vii], la correction assistée par l’IA rationalise l’évaluation en réduisant la charge de travail des enseignants et les parti pris ou préjugés potentiels, tandis que la supervision humaine maintient l’équité.

Avantages

Efficacité et rapidité : la notation à l’écran a gagné en popularité, en particulier pendant la pandémie, révolutionnant l'éducation et l'évaluation. Cet outil accélère la correction, offrant une alternative plus efficace que les méthodes traditionnelles sur papier. Cette efficacité est cruciale pour des évaluations rapides et précises. Les données générées par la notation à l’écran permettent une analyse approfondie de facteurs tels que les taux de réponse et le temps passé sur chaque question, aidant ainsi les enseignants à prendre des décisions éclairées pour un meilleur enseignement.

Précision et cohérence : un avantage remarquable de la notation à l’écran est son processus de marquage standardisé. En suivant des critères prédéfinis, cette méthode garantit l’équité et la cohérence des évaluations. Cette approche réduit la subjectivité dans la notation manuelle, offrant ainsi des résultats plus justes aux étudiants. La notation à l’écran améliore également la transparence en suivant le processus de correction, renforçant ainsi la confiance dans les résultats.

Avantages environnementaux : la notation à l’écran est une méthode respectueuse de l'environnement en réduisant la consommation de papier. La correction traditionnelle sur papier génère du gaspillage de papier et un impact environnemental. L'approche sans papier de la notation à l’écran préserve les ressources et s'aligne sur les pratiques vertes, ce qui en fait un choix respectueux de l'environnement.

Accessibilité et flexibilité : la notation à l’écran est polyvalente et transcende les frontières géographiques. Les correcteurs peuvent travailler de n’importe où grâce à Internet, éliminant ainsi le besoin d’une présence physique. Cette accessibilité responsabilise les correcteurs et les éducateurs, ce qui rend cet outil inestimable dans l'apprentissage à distance.

Par essence, la notation à l’écran transforme les évaluations en améliorant l'efficacité, l'équité, le respect de l'environnement et l'accessibilité, au profit des étudiants, des éducateurs et des institutions.

Défis

Formation et adaptation : passer à la notation à l’écran nécessite des compétences numériques. La formation est cruciale pour garantir que les correcteurs utilisent efficacement les outils numériques et comprennent les nuances de la notation électronique.

Problèmes de sécurité : la sécurité des données est essentielle dans la notation à l’écran. La flexibilité peut créer des vulnérabilités, comme le partage de devoirs corrigés ou un accès non autorisé. Une diversité de correcteurs et de surveillance améliore l’anonymat et la qualité.

Pour relever les défis associés à la notation à l’écran, aborder les subtilités techniques, proposer une formation complète et donner la priorité à la sécurité des données deviennent des étapes impératives vers la mise en œuvre réussie de cette méthode d’évaluation transformatrice.

Mise en œuvre du la notation à l’écran

Dans cette section, nous examinerons des exemples pratiques qui illustrent comment la notation à l’écran est efficacement intégrée dans le cycle d'évaluation. Une étude de cas convaincante provient de Vretta^[viii], montrant comment leur système de notation électronique a révolutionné la gestion des réponses des étudiants et des équipes de correction sur plusieurs cycles d'évaluation.

Le système de correction intégré de Vretta, équipé de comptes autorisés, donne accès aux tableaux de bord des équipes de correcteurs et aux ensembles d'items désignés pour l'évaluation. Notamment, les correcteurs principaux jouent un rôle central dans l’utilisation d’une gamme de fonctionnalités, telles que :

• Envoyer des invitations aux correcteurs pour évaluer des ensembles spécifiques d’items d'examen, supervisant ainsi le processus de notation.

• Attribuer la formation nécessaire et valider les rôles des correcteurs.

• Surveiller et comparer les performances des correcteurs, à la fois individuellement et par rapport à leurs collègues, en mettant l'accent sur la notation au niveau des items.

• Évaluer de manière indépendante la notation des items et évaluer l'alignement des réponses avec les rubriques de notation établies.

Ces fonctionnalités polyvalentes fonctionnent dans divers contextes et génèrent des informations précieuses. Ils permettent l’analyse et l’amélioration fondée sur des preuves de performances de correction des correcteurs et des items tout au long du cycle de notation électronique. Cet ensemble d’outils à multiples facettes joue un rôle essentiel dans l’amélioration de l’efficacité et de l’efficience du processus d’évaluation.

Maintenant que nous avons exploré des cas pratiques d'intégration de la notation à l’écran dans le cycle d'évaluation, nous pouvons examiner de plus près le processus pour comprendre comment il se déroule en pratique.

Déroulement

Pour fournir une vue d’ensemble du processus, analysons-le sous différents angles. La pratique de la correction et de la notation comprend quatre étapes clés : configuration de l'évaluation, administration, notation et rapport. Ces étapes fonctionnent ensemble pour garantir une évaluation précise, cohérente et efficace des réponses des élèves.

Configuration de l'évaluation : cette étape consiste à identifier quels items doivent être corrigés par des humains et lesquels par des machines. Cela comprend également la mise en place de profils de notation, de rubriques et de critères. De plus, des options de notations sont établies pour maintenir la cohérence. Des politiques d'allocation de lots sont définies pour gérer le processus de correction. Des ajustements peuvent être effectués si nécessaire.

Administration : pendant l'administration, les réponses des étudiants sont collectées. Pour les items notés automatiquement, des configurations de correction prédéfinies sont utilisées. Cela peut inclure des méthodes telles que l'utilisation de clés de réponse pour des questions à choix multiples ou une évaluation algébrique. La plateforme comprend des outils en temps réel pour examiner les réponses inattendues. Les réponses numériques et numérisées sont prises en charge. Un résumé des sessions planifiées permet de gérer la distribution des items notés par une personne. Il existe également une fonctionnalité permettant de contrôler le temps du regroupement des réponses pour une notation efficace.

Notation : La phase de notation consiste à créer des fenêtres de notation, à inviter des correcteurs et des superviseurs, et à fournir du matériel de formation et des exemples. Après avoir terminé avec succès la session de formation, les correcteurs réclament des lots de réponses en fonction des politiques d'attribution et accèdent aux réponses numérisées et en ligne de manière anonyme. Ils peuvent signaler les réponses et accéder aux documents dans la fenêtre de notation. La productivité et la précision des marqueurs sont suivies. Les superviseurs suivent les correcteurs, examinent les réponses signalées, appliquent la deuxième ou la troisième lecture, résolvent les problèmes d'analyse et gèrent les réponses non réclamées. La fenêtre de rétro-lecture permet aux superviseurs de garantir l’exactitude. Les fonctionnalités clés sont organisées en catégories :

• Types de réponses, affectation et double notation : le système de notation prend en charge divers types de réponses tels que les choix multiples et l'insertion de texte. Les items peuvent être attribués directement ou regroupés pour les correcteurs. Les réponses sont attribuées au hasard aux correcteurs, avec des options permettant de contrôler le nombre de réponses par heure et par école. La double notation est utilisée pour des raisons d'objectivité, impliquant deux ou plusieurs correcteurs évaluant la même question. Les rapports de fiabilité en temps réel garantissent l'exactitude.

• Confidentialité, notation et suivi des réponses : la confidentialité des étudiants est respectée grâce à des réponses anonymes en ligne et à un recadrage des réponses numérisées par l'IA. Des guides de notation sont disponibles pour chaque item. Les rapports de progression sont accessibles dans la vue récapitulative des items. La vue de rétro-lecture de notation affiche les correcteurs et leur historique. Une attestation de correcteur personnalisable assure la confidentialité. Les horodatages suivent le temps de correction pour chaque lot de réponses.

• Options d'affichage et commentaires : les correcteurs peuvent afficher les guides de notation sur le même écran ou séparément. Des zones de commentaires sont disponibles pour les correcteurs, tandis que les responsables de la notation peuvent accéder aux commentaires. La productivité et la précision des correcteurs sont suivies via un rapport sur les correcteurs. Le tableau de bord des correcteurs d’items permet de gérer les correcteurs, avec des fonctionnalités telles que la messagerie et la gestion des lots.

Rapports : au stade du rapport, les résultats des élèves sont déterminés en appliquant des règles de décision aux réponses notées par l’humain et par la machine, garantissant ainsi l'exactitude et la cohérence.

Tout au long de ces étapes, le processus garantit des informations sécurisées et privées sur les étudiants tout en fournissant une évaluation efficace et précise de leurs réponses.

L’intelligence artificielle et l’autocorrection numérique

Comme indiqué dans des articles précédents sur les technologies et tendances émergentes^[ix], il existe une pression croissante pour intégrer la numérisation et améliorer les services d’évaluation pédagogique actuellement fournis. Cette demande est également alimentée par le besoin de compétences numériques pour conduire des réformes transformationnelles et faire progresser le domaine. Le principal catalyseur de ces développements est l’intelligence artificielle (IA). Il est fascinant d’observer comment ces technologies continueront d’avoir un impact sur le cycle d’évaluation, en particulier sur son avant-gardiste – la notation à l’écran. Même si l’IA est déjà appliquée, ses applications sont appelées à devenir plus intensives et plus répandues.

Voici quelques exemples de la façon dont ces technologies peuvent révolutionner différentes phases du processus d’évaluation :

Conception et création d'évaluations : l'IA permet à la notation à l’écran de prendre en charge des types d'items et des interactions plus complexes dans les évaluations. Des évaluations adaptatives qui ajustent la difficulté en fonction des performances individuelles des élèves sont créées avec l'aide de l'IA, améliorant ainsi l'expérience d'évaluation. Les algorithmes d'apprentissage automatique analysent de nombreuses données éducatives pour recommander des formats d’items optimaux, en accord avec l'intérêt porté au rôle de l'IA dans l'éducation et l'évaluation.

Analyse et capture de données : l'IA transforme la notation à l’écran en automatisant le processus d'analyse et d'extraction de données. Les modèles d'apprentissage automatique identifient et classent avec précision les réponses manuscrites et tapées, réduisant ainsi le besoin de saisie manuelle des données. Cela conduit à une saisie de données plus rapide et plus fiable, améliorant ainsi l’efficacité de la gestion des évaluations.

Notation et commentaires : l'IA améliore la notation à l’écran grâce à une assistance au marquage alimentée par l'IA. Les algorithmes d'apprentissage automatique pré-notent les réponses, aidant ainsi les correcteurs en identifiant les écarts potentiels pour une révision humaine. Le traitement du langage naturel fournit des commentaires automatiques sur les réponses écrites, combinant le contexte de l'IA et de l'éducation pour offrir des informations précieuses pour l'amélioration des élèves.

Analyse des données et rapports : l'intégration de l'IA dans la notation à l’écran génère des modèles de données complexes qui offrent des informations plus approfondies. Des analyses avancées prédisent les tendances des performances des étudiants, identifiant leurs forces et leurs faiblesses. Ces informations peuvent guider les établissements dans l’utilisation des informations basées sur l’IA pour améliorer les stratégies d’enseignement et les résultats des étudiants.

Assurance qualité et sécurité : l’IA renforce le contrôle qualité des évaluations dans la notation à l’écran. Des algorithmes intelligents valident la cohérence des correcteurs et identifient les erreurs potentielles, garantissant ainsi un marquage précis et fiable. Les détecteurs de plagiat basés sur l'IA signalent les cas de mauvaise conduite académique, ce qui correspond à l'intérêt de maintenir l'intégrité des évaluations sur tous les marchés.

Alors que l’IA continue de repousser les limites de la technologie d’évaluation, son intégration dans la notation à l’écran est appelée à remodeler la façon dont les évaluations sont conçues, exécutées et évaluées. L’interaction dynamique entre les applications d’IA et l’évolution de la notation à l’écran présente un domaine d’exploration passionnant.

Conclusion

La notation à l’écran apparaît comme une force pionnière, fusionnant l’innovation numérique et les pratiques pédagogiques dans le domaine en constante évolution de l’évaluation pédagogique. Il englobe l’efficacité, l’équité, la conscience écologique et l’accessibilité, annonçant une nouvelle ère de méthodologie d’évaluation. L’adoption de la notation à l’écran varie en fonction du contexte historique, de la préparation régionale au numérique et des systèmes éducatifs. La fusion de l'intelligence artificielle (IA) avec la notation à l’écran améliore la conception et le développement des évaluations, augmente la sécurité des tests et renforce l'intégrité académique dans le processus d'évaluation. Les mises en œuvre pratiques, comme le montre l'étude de cas de Vretta, responsabilisent les marqueurs principaux et les marqueurs, garantissant ainsi l'exactitude et une analyse perspicace. La convergence de l’IA et de l’autocorrection numérique promet une méthodologie d’évaluation transformatrice, propulsant l’éducation dans un domaine d’évaluations adaptables et d’amélioration de la qualité. Essentiellement, la notation à l’écran guide l’éducation à l’intersection de la technologie et de la pédagogie, ouvrant la voie à un domaine d’évaluation éclairé.

A propos de l'auteur

Vali Huseyn est une spécialiste de l'évaluation pédagogique qui fournit des conseils d'expert sur la modernisation des étapes clés du cycle de vie de l'évaluation, notamment la rédaction de l'évaluation (banque d'items), l'enregistrement, l'administration, la notation, l'analyse des données et la création de rapports. Il soutient et sert la communauté de l'évaluation par le biais de partenariats stratégiques avec diverses organisations de technologie d'évaluation, organismes de certification et centres de recherche. Il a également joué un rôle déterminant dans le soutien à la modernisation des évaluations à grande échelle au Centre d'examen d'État d'Azerbaïdjan en tant que chef des partenariats stratégiques et chef de l'unité de gestion de projet.

N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

Références

[i] Semaine de l'Apprentissage Numérique UNESCO: https://www.unesco.org/en/weeks/digital-learning#:~:text=UNESCO's%20first%20Digital%20Learning%20Week,at%20UNESCO%20Headquarters%20in%20Paris

[ii] Examen de la numérisation : un guide de modernisation de la durée de vie de l’évaluation : https://www.vretta.com/blog/digitalization-review/

[iii] Rapport d’OFQUAL en 2020 sur l’évaluation en ligne et numérique dans les qualifications à enjeux élevés, en session: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/943382/Barriers_to_online_111220.pdf

[iv] Guide de correction des écoles européennes: https://www.eursc.eu/BasicTexts/2017-05-D-29-en-9.pdf

[v] Les critères de notation spécifiques à l’évaluation et les bibliothèques de commentaires électroniques peuvent-ils accroitre l’engagement des étudiants dans l’évaluation et la rétroaction https://www.tandfonline.com/doi/full/10.1080/02602938.2021.1986468

[vi]Rapport d’Oxford : Landscape Report: Research and Practice in E-exams: https://www.ctl.ox.ac.uk/files/e-examslandscapereportv1-1pdf

[vii] Portail d’UNESCO sur les plan d’éducation individualisé: https://learningportal.iiep.unesco.org/en

[viii] Site web de Vretta: https://www.vretta.com/

[ix] Le cosmos de l’apprentissage : le rôle de la technologie dans l‘évolution de l’évaluation pédagogique: https://www.vretta.com/blog/the-learning-cosmos/

Pourquoi administrer des évaluations à grande échelle?

Les évaluations à grande échelle des étudiants ont été un incontournable en éducation pour plus d’un siècle. Pendant ce temps, il y a eu des partisans et des critiques de ces tests. Au Canada, les partisans argumentent que les évaluations provinciales à grande échelle fournissent une mesure objective de la santé du système éducatif et la seule façon de juger les domaines à améliorer, en particulier au niveau des écoles, des conseils scolaires et de la province. Les critiques soutiennent que : des évaluations formatives des étudiants sont la seule forme légitime et utile d’évaluation, que des évaluations sommatives à grande échelle n’apportent aucune valeur réelle au système éducatif et qu’ils ne déterminent seulement quels étudiants sont bons pour passer des tests.

Il y a beaucoup de problèmes qui concernent les acteurs de l’éducation. Par exemple, les pratiques de notation chez les enseignants sont, pour la plupart, subjectives et incohérentes. Un étudiant qui reçoit un A dans une classe pourrait recevoir un C dans une autre. Les enseignants peuvent avoir des préjugés conscients ou inconscients pour ou contre certains élèves en raison de (par exemple) leur comportement leurs attitudes. En outre, l’inflation des notes se produit dans notre système éducatif depuis des décennies. Un article par Cosh (2023)^[1], en référence aux élèves d’Ontario, explique, « Mais les derniers vestiges des normes de notation, déjà indépendantes de toute forme d’examen obligatoire pour le diplôme à l’échelle de la province, ont complètement disparu pendant la COVID, alors que les enseignants et les étudiants ont subi une crise de moral. Le résultat est qu’il y a maintenant de nombreux étudiants découragés et en colère, dont les notes dépassent les 90, et qui ne peuvent pas se frayer un chemin vers des programmes universitaires prestigieux comme ils étaient explicitement amenés à l’espérer. » L’essentiel est que les éducateurs appliquent différentes normes lors de l’évaluation de leurs élèves.

Au Canada, les ministères de l’éducation provinciaux ont tendances à transitionner à travers des cycles dans lesquels l’évaluation à grande échelle est implémenté suivant les cries d’acteurs pour plus d’information de meilleure qualité à propos de l’état du système éducatif provincial; après une période de temp les tests perdent de leur popularité à cause de l’adoption de la prochaine tendance éducative à la mode (par exemple, s’appuyer exclusivement sur l’approche linguistique globale de la lecture, qui suppose que la lecture viendra naturellement aux étudiants, et la phonétique [la relation entre les sons du langage parlé et les lettres qui les représentent] se démode), ainsi que les pressions des syndicats d’enseignants qui préconisent de se concentrer uniquement sur l’évaluation formative en classe. Souvent, après plusieurs années sans évaluation à grande échelle, les juridictions viennent à la réalisation qu’ils n’ont pas d’information crédible sur les performances de leurs systèmes éducatifs, et cela encore résulte à l’appel des acteurs en éducation pour un retour des évaluations à grande échelle – et le cycle continue. Il ne fait aucun doute que l’évaluation formative est d’une importance cruciale pour la réussite des élèves. Au niveau de la classe, les informations provenant de ce type d’évaluation peuvent fournir à l’élève, à l’enseignant et au parent/tuteur légal un aperçu des points forts de l’apprenant et des domaines qui nécessitent une attention particulière. Cependant, à terme, les parents et le grand public exigent une plus grande responsabilité dans le système éducatif public et, pour y parvenir, des informations valides et fiables sur les résultats des élèves sont considérées comme essentielles pour comprendre les performances du système et pour une planification efficace des améliorations du système éducatif.

Pour permettre aux autorités éducatives et aux acteurs d’avoir un aperçu de la performance des élèves et du système éducatif, les évaluations des élèves à grande échelle offrent les meilleures mesures objectives de l’apprentissage que les élèves ont acquis à des fins de responsabilisation et d’amélioration du système. Aux niveaux des provinces et des divisions scolaires, les données d'évaluation à grande échelle, ainsi que d'autres types d'informations (par exemple, les données d'enquête) peuvent informer les ministères de l'Éducation et les divisions scolaires sur les aspects du programme d'études et des stratégies de mise en œuvre qui fonctionnent et sur les domaines l'amélioration devrait être concentré. De cette façon, les juridictions peuvent évaluer l’efficacité du programme éducatif. En l’absence de telles informations, personne ne le sait.

Si une évaluation provinciale de tous les élèves est effectuée, les résultats sont disponibles pour chaque élève et les données, ainsi que toutes les informations supplémentaires que les éducateurs ont liées à l'élève, peuvent constituer la base pour les aider à identifier leurs points forts et les domaines dans lesquels une attention particulière est requise pour les aider à améliorer leur apprentissage. L’inclusion des étudiants handicapés et des apprenants de l’anglais dans les évaluations à grande échelle permet de mesurer dans quelle mesure le système fonctionne pour eux et de déterminer où existent des lacunes dans les approches et opportunités pédagogiques.

Les données provenant d’évaluations provinciales à grande échelle constituent une source d’information importante que les conseils scolaires peuvent utiliser pour élaborer des plans d’amélioration. Les données des évaluations provinciales fournissent des points de référence cohérents qui peuvent être utilisés pour compléter d’autres sources d’information sur l’apprentissage des élèves au niveau de la classe, de l’école et du conseil scolaire. Ensemble, ces informations constituent la base des conversations sur la manière dont les ressources peuvent être utilisées au profit de tous les apprenants. De plus, les dirigeants des conseils scolaires sont généralement tenus de publier des rapports annuels sur l'éducation pour leurs communautés scolaires. Les résultats d’évaluations provinciales à grande échelle peuvent constituer d’importantes sources de données pour ces rapports.

Les résultats des évaluations des étudiants à grande échelle peuvent aider l’administration à identifier les points forts académiques des étudiants et les domaines dans lesquels une attention et des ressources sont nécessaires. Les ministères de l’Éducation peuvent utiliser les résultats des évaluations pour développer des ressources d’apprentissage, concevoir des programmes de développement professionnel pour les éducateurs, fournir un financement ciblé pour des initiatives spécifiques et collaborer avec les conseils scolaires et les communautés scolaires sur des stratégies locales pour garantir que les élèves apprennent efficacement.

En outre, si les données provenant d’évaluations à grande échelle des étudiants sont rendues publiques, les enquêteurs peuvent mener des études pour examiner les tendances qui soutiendront davantage l’amélioration de l’éducation.

L’utilisation appropriée de données d’évaluation à grande échelle peut, au fil du temps, entraîner l’évolution d’une culture de prise de décision fondée sur des données probantes à tous les niveaux du système éducatif.

Pourquoi l’évaluation en ligne?

Il faut reconnaître que les évaluations sur papier présentent certains aspects positifs. Par exemple, les étudiants sont généralement familiers avec ce mode d'évaluation traditionnel et les problèmes techniques, souvent associés aux évaluations en ligne, sont évités. Compte tenu de ces avantages, pourquoi devrait-on envisager des évaluations en ligne ?

Il existe une myriade de raisons pour lesquelles les ministères de l’Éducation sont passés aux évaluations numériques ou envisagent de faire passer toutes les fonctions de leur cycle d’évaluation, c’est-à-dire la rédaction, l’enregistrement, l’administration, la notation, l’analyse et la rédaction de rapports, du format papier au format en ligne dans le cadre de leurs initiatives de modernisation. 

Voici plusieurs avantages de la mise en œuvre d’évaluations en ligne.

Engagement

Ces dernières années, les écoles et les salles de classe ont adopté des outils d'apprentissage basés sur la technologie, et les étudiants sont de plus en plus férus de technologie et préfèrent effectuer leur travail sur ordinateur plutôt que sur papier. Beaucoup pensent que les évaluations statiques sur papier sont ennuyeuses et fastidieuses ; cependant, ils ont tendance à s'intéresser davantage aux évaluations en ligne qui contiennent une variété de types d’items et utilisent des médias tels que des cartes, des diagrammes, des photographies, des animations, des vidéos et des fichiers audios.

L’engagement est encore plus avancé lorsque des items améliorés par la technologie, notamment des simulations de type jeu, sont utilisés. De plus, les étudiants éprouvent souvent de l’anxiété lors des examens ; cependant, s’ils ont la possibilité de passer des tests pratiques en ligne pour se familiariser avec le contenu et la présentation des tests, l’anxiété peut être réduite grâce au format en ligne.

(picture translation : Ceci est un exemple d’item amélioré par la technologie réel utilisé en évaluation à grande échelle pour engager les étudiants durant l’évaluation et recueillir des informations plus approfondies dans des compétences clés du 21^e siècle.)

Authenticité

L’authenticité d’une évaluation à grande échelle se reflète par des caractéristiques telles que la présentation aux élèves de situations du monde réel et leur permettre de démontrer leurs connaissances, compétences et capacités en appliquant leurs connaissances/compréhensions pour accomplir des tâches complexes/résoudre des problèmes. Contrairement aux évaluations traditionnelles sur papier qui mettent généralement l'accent sur le rappel de faits et de connaissances, les évaluations en ligne peuvent présenter aux étudiants des situations réalistes (via des simulations par exemple) afin de recueillir des informations sur leurs capacités de réflexion et de résolution de problèmes.

Équité et inclusion

Toutes les juridictions s'efforcent d'inclure autant d'étudiants que possible dans leurs programmes d'évaluation. Les évaluations papier et crayon présentent des obstacles pour certains étudiants nécessitant des aménagements et des considérations particulières. L’équité et l’inclusion sont des objectifs importants à travers lesquels la plupart des juridictions abordent l’évaluation à grande échelle. Lorsque les évaluations sont proposées en ligne, il est plus facile (comparé à l’évaluation sur papier) de les adapter aux besoins des élèves souffrant, par exemple, d’un handicap visuel, auditif et moteur. Les fonctionnalités d'accessibilité comprennent : la possibilité de modifier la taille de la police et la couleur d'arrière-plan, le grossissement (zoom), la fourniture d'applications de synthèse vocale, de lecteurs d'écran et de technologies d'assistance. L'administration des évaluations par ordinateur facilite également l'ajout de temps supplémentaire pour les étudiants nécessitant ce type d'aménagement.

Développement d’items et de tests

Par rapport aux processus papier, le travail en ligne permet à un organisme d'évaluation de gérer plus facilement les tâches liées à l'élaboration d’items (questions) et à la création d'évaluations. Par exemple, les flux de travail en ligne peuvent être utilisés pour attribuer des tâches de développement d’items, effectuer des révisions de projets d’items et fournir des approbations avant de les ajouter à une banque d’items (le développement et les révisions d’items peuvent être effectués par voie électronique et à distance). En règle générale, toutes les versions d'un item sont conservées pour faciliter la référence. Une fois qu'une banque d’items appropriée a été développée (en termes de nombres, de couverture du programme et de niveaux de difficulté), des outils en ligne peuvent être utilisés pour automatiser la création de formulaires d'évaluation. Les flux de travail en ligne suivent toutes les étapes du processus de développement et permettent une documentation précise du processus, afin que l'organisation ait une image claire de ce qui s'est passé.

Administration des tests

Habituellement, les évaluations sur papier sont administrées à des heures et dans des lieux précis en raison des limitations résultant de leur format. Par définition, les évaluations sur papier impliquent l'impression, l'expédition et la circulation du matériel d'évaluation sur papier, ce qui peut être un processus lourd et sujet à des erreurs, telles que des erreurs d'impression, du matériel manquant ou endommagé. De plus, suite à l’administration d’évaluations sur papier, le traitement des réponses des étudiants sur papier est fastidieux et sujet aux erreurs. L'administration en ligne permet plus de flexibilité pour la planification et l'administration des évaluations (des administrations multiples, des tests à la demande et des tests à distance sont possibles). Un autre avantage potentiel des évaluations en ligne est qu'elles permettent des tests adaptatifs (adapter le contenu du test au niveau de connaissances/compétences du candidat). Par rapport à l’évaluation sur papier, les tests adaptatifs sont à la fois plus efficaces (meilleure utilisation du temps des candidats, car ils répondent à des éléments plus proches de leur véritable niveau de capacité) et efficaces (fournissent une estimation plus précise de la véritable capacité des candidats). Les évaluations numériques offrent aux candidats une expérience pratique sur la plateforme ; les administrateurs de tests ont accès à diverses aides (par exemple, en ligne, par courriel, par téléphone) ; et à condition que les instructions soient claires et simples, les évaluations numériques réduisent considérablement le fardeau administratif tant pour l'organisme d'évaluation que pour les enseignants et les administrateurs des écoles locales et des conseils scolaires.

Notation

La notation sur papier peut être laborieuse, inefficace et sujette à des erreurs en ce qui concerne la gestion des correcteurs et des flux de travail associés, la circulation et le suivi des réponses construites des étudiants, la tenue des dossiers, l'analyse des données, l'utilisation des données de notation pour la supervision et modération des correcteurs et sécurité du matériel d’évaluation. Avec les évaluations en ligne, les items notables par machine sont automatiquement notés avec précision, immédiatement après la soumission de l'évaluation. Pour les réponses qui nécessitent une notation humaine, les plateformes de notation en ligne permettent des processus efficaces, rationalisés et standardisés qui incluent l'identification des rôles (par exemple, superviseurs de notation, correcteurs, correcteurs experts) et les autorisations pour leurs autorités respectives, un routage et des flux de travail automatisés pour tous les rôles de notation et les procédures d’assurance qualité. L'utilisation de systèmes de notation en ligne permet à l'organisme d'évaluation d'économiser beaucoup de temps et d'efforts, tout en améliorant l'efficacité, la précision et la sécurité de la notation et des résultats. Si elle est effectuée à distance, la notation en ligne représente également des économies substantielles par rapport à la notation centralisée sur papier.

Commentaires/Rapports

Des résultats précis, fiables, valides et opportuns sont essentiels à tous les programmes d’évaluation. Les parties prenantes doivent avoir confiance dans les données, car les objectifs typiques incluent la responsabilisation (pour indiquer, par exemple, comment le système éducatif fonctionne) et l’amélioration (pour identifier les besoins des élèves, améliorer l’enseignement, établir et mettre en œuvre des interventions ciblées). Toute question/doute concernant la qualité et l’intégrité des données/résultats peut saper les efforts visant à utiliser les données à la fois à des fins de responsabilisation et d’amélioration. Lorsque les résultats de l’évaluation ne sont pas publiés en temps opportun, leur valeur est réduite pour toutes les parties prenantes. Dans le cas d’une évaluation à grande échelle sur papier, le délai entre l’administration d’une évaluation et la réception des résultats par les candidats peut être de plusieurs semaines, voire plusieurs mois. Dans le cas des évaluations en ligne, les items notables par machine peuvent être traités immédiatement et les résultats disponibles très rapidement (si l'organisme d'évaluation le souhaite). Grâce aux processus de notation humaine en ligne plus efficaces, les résultats peuvent être publiés plus rapidement qu'avec l'approche papier-crayon. De plus, les outils numériques d’analyse et de rédaction de rapport peuvent générer des rapports complets et détaillés plus efficacement qu’avec une évaluation sur papier. Par conséquent, des résultats clairs, complets et opportuns pour les étudiants peuvent être mis à disposition pour fournir des commentaires utiles sur leurs résultats et les domaines dans lesquels des améliorations sont nécessaires (pour l'évaluation formative) et pour les systèmes éducatifs, afin que les parties prenantes puissent comprendre les forces et les défis des systèmes (responsabilité).

Données et Analyse

Un autre avantage des évaluations en ligne par rapport à l’approche papier est que des données supplémentaires sont disponibles pour fournir une appréciation plus complète des efforts, de l’approche et des progrès de l’étudiant dans la réponse aux éléments/tâches d’évaluation. Par exemple, les évaluations en ligne peuvent identifier pour chaque élève, et par item, des données de performance telles que le temps passé sur une tâche, l'ordre des étapes pour répondre à un défi, les items marqués pour y revenir plus tard et les modifications apportées aux réponses. L'enseignant, en analysant ces types de données/informations, peut déterminer s'il existe des problèmes rencontrés par des élèves individuels ou s'ils sont communs à des groupes d'entre eux. De telles analyses de données de processus peuvent être utilisées par l'instructeur pour aider les étudiants à améliorer leur apprentissage et/ou pour que l'enseignant puisse planifier son enseignement futur.

Sécurité renforcée

L'évaluation en ligne offre une plus grande sécurité par rapport à l'évaluation sur papier, car toutes les informations, évaluations et résultats des candidats sont stockés électroniquement. Seules les personnes autorisées à accéder aux données/informations données peuvent le faire. La gestion des accès est beaucoup plus difficile avec les évaluations sur papier.

Évolutivité et flexibilité

L'évolutivité et la flexibilité ont augmenté avec l'avènement de l'évaluation en ligne. Dans le cas des évaluations sur papier, l'administration a lieu dans des sites physiques tels que les centres de test et les écoles. Grâce à l'évaluation en ligne, chaque élève peut accéder en toute sécurité aux évaluations via Internet (cela est récemment devenu une caractéristique courante en raison du COVID-19 et de la fermeture des écoles et/ou de la possibilité d'apprentissage en ligne). Dans les situations d’évaluation à distance, les organismes d’évaluation doivent évaluer les risques liés à l’intégrité et à la sécurité des résultats et/ou du contenu de l’évaluation. L’exécution d’évaluations en ligne sécurisées et à distance peut nécessiter des alternatives de surveillance à distance.

Environnement/Durabilité

L'évaluation électronique est plus respectueuse de l'environnement et a une empreinte carbone beaucoup plus faible que l'approche papier-crayon, car elle implique beaucoup moins de papier, d'impression et de transport.

Rentabilité

Tout au long du processus d’évaluation, les évaluations en ligne peuvent potentiellement permettre de réaliser des économies par rapport aux évaluations sur papier. Par exemple, les évaluations sur papier comprennent des processus manuels liés à : la rédaction d’items, la mise en banque d’items, les tests pilotes, la création de formulaires de test, l'impression, la distribution (transport), la sécurisation des surveillants, l'administration de l'évaluation, le retour du matériel de test (transport), la numérisation/saisie de données des réponses notables par machine, traitement manuel et suivi du matériel de notation, stockage (et élimination éventuelle) du matériel d'évaluation et impression et distribution des rapports (sans parler des frais généraux du personnel pour gérer tous les processus). Étant donné que les évaluations en ligne varient énormément en fonction du contexte (par exemple, nombre d'administrations, nombre d'étudiants, nombre et type d’items, en ligne ou hors ligne, notation distribuée ou centralisée, recours à des surveillants), il est difficile de fournir un pourcentage généralisable d'économies potentielles des évaluations en ligne par rapport aux évaluations sur papier. Il est toutefois possible d’estimer les économies de coûts associées à des scénarios d’évaluation spécifiques.

Un article récent par Jones (2021)^[2] fournit un exemple d’économies potentielles compte tenu d’un scénario d’évaluation spécifique. Dans ce scénario, après les coûts d’installation, le pourcentage d’économie total estimé d’une évaluation en ligne contre une évaluation papier, pour les composants de test examinés, était d’environ 50%. (Des coûts supplémentaires peuvent être engagés en fonction des exigences du client et du niveau d’implication du fournisseur de services dans des activités telles que le développement d’items, la notation et la psychométrie.)

Étude de cas : Administrer des évaluations en ligne à grande échelle

L’Office de la qualité et de la responsabilité en éducation (OQRE) est un organisme indépendant du gouvernement provincial de l’Ontario qui mène des évaluations à grande échelle des élèves dans la province depuis plus de deux décennies. Le programme d'évaluation a été offert sous forme papier pendant de nombreuses années ; cependant, l’agence est passée aux évaluations en ligne à partir de 2022^[3].

Les évaluations provinciales visent à mesurer le rendement des élèves à des étapes clés de leur apprentissage en fonction des attentes du programme d’études de l’Ontario. Les évaluations comprennent : les évaluations de la lecture, de l'écriture et des mathématiques des divisions primaire (3e année) et junior (6e année); Évaluation des mathématiques, 9e année ; et le Test de littérature des écoles secondaires de l'Ontario (généralement administré en 10e année), qui mesure si les élèves satisfont à la norme minimale en littérature (lecture et écriture) jusqu'à la fin de la 9e année.

Les données d'évaluation sont utilisées au niveau de l'école, du conseil scolaire et de la province à des fins de responsabilisation et de planification de l'amélioration. En plus des rapports des écoles, des conseils scolaires et de la province, l'OQRE a développé (avec la contribution des éducateurs provinciaux) des tableaux de bord interactifs qui fournissent un accès facile aux données sur le rendement des élèves et les perceptions de l'apprentissage (résultats du questionnaire). La plateforme est un autre moyen par lequel l’agence fournit des informations pour soutenir l’apprentissage des étudiants.

La déclaration suivante, fournie par le Dr Pino Buffone, directeur de l'éducation du Renfrew County District School Board (RCDSB), décrit comment les données d'évaluation provinciale ont contribué à l'amélioration de l'école et du système de leur conseil.

« Aujourd'hui plus que jamais, les données d'évaluation provinciales constituent une source de données valide, fiable, cohérente et stable pour les processus de planification de l'amélioration aux niveaux des écoles et du système. Cette déclaration est particulièrement pertinente compte tenu de la nature volatile, incertaine, complexe et ambiguë de notre époque, y compris la perturbation de l'apprentissage survenue pendant la période pandémique, et des conséquences à court et à long terme de cette perturbation importante sur les étudiants, le personnel et communautés scolaires.

Étant donné que l’un des principaux objectifs de l’évaluation est d’orienter la poursuite de l’enseignement, les responsables pédagogiques des écoles et des conseils scolaires de district trouvent trois avantages clés aux données recueillies chaque année grâce aux évaluations provinciales :

• Révision et/ou perfectionnement des cadres d'apprentissage développés et mis en œuvre dans les environnements d'enseignement et d'apprentissage ;

• Coordination et prestation des domaines prioritaires pour les séances d'apprentissage professionnel avec tous les éducateurs ; et,

• Réflexion et évolution des indicateurs utilisés pour mesurer les progrès des élèves au fil du temps.

Les données d'évaluation provinciale, ainsi que d'autres sources de données qualitatives et quantitatives liées au rendement, à l'équité et au bien-être, forment les pièces d'un casse-tête qui, en fait, permettent de prendre la décision la plus raisonnée et la plus raisonnable possible chaque année scolaire, en particulier en ce qui concerne l’allocation de ressources limitées (humaines, matérielles et/ou fiscales).

Au RCDSB, les données d'évaluation provinciale fournies par l'OQRE permettent aux dirigeants des écoles et au personnel central d'examiner attentivement les points forts à célébrer, les domaines de croissance, ainsi que les prochaines étapes à considérer en ce qui concerne les connaissances et la compréhension des élèves des concepts et des compétences décrits dans les documents de politique pédagogique fournis par le ministère de l’Éducation de l’Ontario (EDU). Les éducateurs et/ou les représentants de ces trois intervenants – EDU, OQRE et RCDSB – travaillent en collaboration pour s’efforcer de répondre aux besoins de tous les élèves, à l’échelle du pays, au moyen de processus de planification d’amélioration établis, chaque année.

Plus précisément, les rapports fournis par l’OQRE mettent en évidence les progrès des étudiants à ce jour par rapport aux attentes du programme d’études. Les ‘rapports sur les domaines et les compétences’ en mathématiques, par exemple, permettent aux enseignants d’identifier les points forts et les besoins des élèves dans différents domaines du programme de mathématiques. Le personnel du RCDSB utilise ces apprentissages clés pour réviser et/ou affiner le cadre ‘d'apprentissage inspiré’ du district – un cadre pour guider l'enseignement qui met l'accent sur l'interaction dynamique entre les compétences de base en lecture, écriture et calcul, les compétences globales de caractère, la citoyenneté, la collaboration, communication, créativité et pensée critique avec les ‘grandes idées’ du programme. En fait, les données provinciales sur les résultats en lecture et en écriture ont récemment soutenu le début de l'élaboration d'un cadre supplémentaire plus approfondi pour « l'alphabétisation structurée » qui met l'accent sur l'enseignement explicite du langage oral, de la conscience phonémique, de la phonétique et de l'orthographe, vocabulaire et morphologie, syntaxe, compréhension de texte et expression écrite.

Les données d'évaluation provinciale permettent également au personnel central du district de coordonner et d'offrir des séances d'apprentissage professionnel à tous les éducateurs, y compris des stratégies pédagogiques spécifiques aux domaines de croissance des élèves, comme l'importance croissante de l'algèbre en mathématiques, par exemple, comme le montre les résultats de l’évaluation la plus récente. Ces sessions spécifiques destinées aux éducateurs des niveaux intermédiaires accompagnent le développement professionnel plus large dans des domaines pédagogiques tels que la conception universelle de l'apprentissage, l'enseignement différencié et la pédagogie culturellement adaptée, aux niveaux primaire, moyen, intermédiaire et niveaux supérieurs.

De plus, les séances de sensibilisation offertes par le personnel de l'OQRE aux éducateurs du RCDSB ont permis de faire évoluer les paramètres associés au rendement au fil du temps, y compris l'utilisation accrue de données qualitatives (attitudes) ainsi que quantitatives, ainsi que l'intégration de données démographiques et mesures du bien-être. La suite d’enquêtes OurSCHOOL, fournie via The Learning Bar, en tant qu’exemple de bien-être, permet une perspective plus approfondie sur la multitude de facteurs qui influencent les progrès des élèves au fil du temps.

Les avantages des données recueillies grâce aux évaluations provinciales partagées ci-dessus, mis en œuvre par le biais de processus de planification d'amélioration au niveau de l'école et du système, garantissent que les évaluations provinciales continuent de constituer une véritable valeur ajoutée pour le secteur de l'éducation, de la maternelle à la 12e année. »

Conclusion

Des évaluations provinciales bien conçues et avec des objectifs clairs fournissent d’importantes sources de données/informations pour tous les niveaux du système éducatif (ainsi que pour le grand public) pour la planification de l’amélioration et la responsabilisation. Les évaluations en ligne offrent de nombreux avantages par rapport à l’approche papier et peuvent fournir des données plus nombreuses et de meilleure qualité, en temps opportun, à toutes les parties prenantes de l’éducation.

Références

1] Cosh, C. (21 juin 2023). « L’inflation des notes a paralysé les étudiants ontariens qui cherchaient à poursuivre des études supérieures. » Poste National. Accès à nationalpost.com/opinion/grade-inflation-kneecapped-ontario-students-looking-to-go-on-to-higher-education/.

[2] Jones, RM (1997). (6 juin 2021). Quelles sont les économies réalisées grâce à l’évaluation informatisée ? Accès sur rmjassessment.com/2021/06/06/what-are-the-cost- savings-with-computer-based-assessment/

[3] Depuis 2019, l'OQRE a engagé un partenaire technologique d'évaluation, Vretta, pour collaborer avec l'agence afin de soutenir la conception, le développement et la mise en œuvre d'évaluations électroniques modernisées à grande échelle.

À propos de l’auteur

Dr. Richard Jones, Président, RMJ assessment

Dr Jones possède une vaste expérience dans les domaines de l’évaluation éducative à grande échelle et en programme d’évaluation. Il a travaillé dans le domaine de l’évaluation pour plus de 30 ans. Avant de fonder RMJ Assessment, il occupait un poste de haute direction au sein de l’Office de la qualité et de la responsabilité en éducation (OQRE) en Ontario, ainsi qu’au ministère de l’éducation de Saskatchewan et de Colombie-Britannique. Dans ces rôles, il était responsable pour les initiatives reliées aux étudiants, l’évaluation de programme et du curriculum; indicateurs de qualité en éducation; planification d’amélioration des école et conseil scolaire; accréditation d’école; et évaluation provinciale, nationale et internationale.

Le Dr Jones a débuté sa carrière comme éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une société multinationale fournissant des services de conseil au Moyen-Orient.

N'hésitez pas à contacter Rick à richard.jones@rmjassessment.com (ou sur LinkedIn) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

Selon les principes d’IA de l’OCDE (2019), l’IA utilise les données passées et beaucoup de pourvoir de calcul pour faire des prédictions éduquées. Pour accomplir cela, l’IA dépend de sa grande base de données ou un environnement cohérent pour faire des expériences répétées. Cette approche permet aux évaluations basées sur la technologie d’utiliser les données historiques des candidats pour créer des modèles qui peuvent compléter les performances humaines dans des tâches telles que la création d'items d'évaluation, l'identification de préjugés potentiels dans les réponses et la notation de données complexes à partir de rédaction ou d'évaluations basées sur des jeux. Ces avancées sont conformes aux lignes directrices pour l’évaluation basée sur la technologie (2022) de la Commission Internationale des Tests et de l’Association of Éditeurs de Tests.

Dans cet article, nous explorons les nombreuses façons dont l’IA crée le changement, depuis la façon dont nous créons et gérons les évaluations jusqu’à la façon dont nous notons les réponses et fournissons des commentaires complets. Mais l’influence de l’IA ne s’arrête pas aux évaluations. Il peut également décoder de nombreuses données d’évaluation, offrant ainsi une expérience d’évaluation sur mesure à chaque étudiant. Si l’IA offre de nombreux avantages, il est essentiel de les équilibrer avec des préoccupations cruciales telles que la confidentialité et l’équité. Nous approfondirons donc également l’aspect éthique de l’utilisation de l’IA dans l’évaluation et discuterons des moyens de résoudre ces problèmes de manière responsable. Enfin, nous jetons un coup d’œil sur l’avenir, en réfléchissant aux développements potentiels que l’IA pourrait apporter au paysage de l’évaluation. Alors, préparez-vous pour un voyage passionnant dans le monde de haute technologie de l’IA en matière d’évaluation pédagogique.

L'IA dans les évaluations : une perspective scolaire

L’intégration de l’IA dans l’éducation révolutionne le fonctionnement à l’école, offrant des avancées remarquables notamment dans le domaine de l’évaluation pédagogique. Au lieu d'enseigner à chaque élève de la même manière, les évaluations adaptatives basées sur l'IA permettent désormais aux écoles de personnaliser les cours pour répondre aux besoins uniques de chaque élève, favorisant ainsi des parcours d'apprentissage plus engageants et efficaces. Les enseignants commencent à considérer « l'IA en éducation comme un instrument pédagogique » plutôt que comme un instrument de remplacement, utilisant ces outils pour fournir des commentaires en temps réel et mieux comprendre la confiance et la motivation de leurs élèves (Selwyn, 2021 ; Luckin et al., 2016).

Les évaluations adaptatives basées sur l’IA constituent une application essentielle. Bien que l'évaluation adaptative, une méthode permettant de modifier la difficulté des questions en fonction des réponses d'un candidat, soit utilisée depuis un certain temps, l'avènement de la technologie de l'IA a considérablement amélioré ses capacités. Plutôt que de simplement ajuster la difficulté des questions, l’évaluation adaptative basée sur l’IA peut analyser le processus utilisé par un élève pour arriver à une réponse, identifier les hésitations éventuelles et comprendre les types d’erreurs commises. Cette capacité à apprendre de chaque interaction permet à l'IA de fournir une compréhension plus personnalisée et nuancée du style d'apprentissage d'un élève. Ainsi, même si l’évaluation adaptative est fréquente, l’IA a élargi et affiné son potentiel pour répondre plus efficacement aux besoins d’apprentissage individuels.

En outre, la mise en œuvre du traitement du langage naturel basé sur l’IA transforme considérablement le processus de notation des évaluations subjectives. Il améliore la précision et l'efficacité de la notation dans les évaluations sommatives, permet aux étudiants de bénéficier d'un retour d'information en temps réel dans les évaluations formatives et aide les éducateurs à identifier les lacunes d'apprentissage individuelles grâce à des évaluations diagnostiques. Cette évolution de la notation fournit des commentaires approfondis et complets aux étudiants tout en libérant du temps aux enseignants pour qu'ils puissent se concentrer sur la croissance et le développement global de leurs étudiants.

De plus, dans son livre The Fourth Education Revolution, Anthony Seldon souligne que l'IA ne se fatigue pas et n'est pas frustrée si un élève met plus de temps à comprendre un concept, et qu'elle est disponible chaque fois que nécessaire. Cette évaluation continue par l'IA capture plus qu'un simple instantané de la compréhension d'un étudiant, réduisant potentiellement le besoin d'examens de fin de cours. En fin de compte, l'IA facilite des parcours d'apprentissage personnalisés qui répondent aux besoins spécifiques de chaque élève, remodelant ainsi l'évaluation pédagogique pour fournir des méthodes d'évaluation plus adaptées et plus efficaces aux étudiants et aux enseignants.

Malgré l'immense potentiel de l'IA dans les évaluations pédagogiques, l'un des obstacles auxquels l'IA sera confrontée est la numérisation incomplète ou le manque de numérisation du processus d'apprentissage et d'évaluation en milieu scolaire, ainsi que le manque de culture numérique des éducateurs et des apprenants, qui nécessitent tous deux le soutien institutionnel, l’adhésion lors de l’élaboration des politiques stratégiques et, par conséquent, la confiance du public. Si ces objectifs ne sont pas atteints, il pourrait devenir irréaliste d’exploiter pleinement tous les avantages de l’IA mentionnés dans cet article.

Rôle de l'IA dans la construction des tests

L’IA joue un rôle important dans la modification de la façon dont les formulaires de test sont créés, rendant le processus plus efficace et innovant. Dans le passé, les enseignants créaient manuellement des items d’évaluation sur papier ou sur des documents Word. Désormais, grâce à l’IA, le processus est amélioré grâce à l’utilisation de la technologie pour créer automatiquement des questions, notamment un distraction-générateur. En pratique, les algorithmes basés sur l'IA analysent les banques de questions existantes, trouvent des modèles et créent de nouvelles questions basées sur certaines règles ou modèles et génèrent même de nouveaux contenus et images visuelles. Cela aide les développeurs d'items à travailler plus efficacement et à générer un certain nombre d'items à une vitesse plus élevée. L'IA peut également choisir et combiner des items d'une banque d'items pour créer des formulaires de test personnalisés, en tenant compte d'éléments tels que le niveau de difficulté et la couverture du contenu. Ce type d'automatisation facilite l'assemblage des tests et garantit une évaluation bien représentée. De plus, l’IA aide à valider les items d’évaluation en vérifiant leur qualité et leur fiabilité. Il peut détecter des problèmes tels que des questions biaisées ou des performances incohérentes, ce qui rend les tests plus fiables. En outre, l’IA transforme les rôles et les compétences des humains impliqués dans le processus, en soulignant l’importance de comprendre la technologie de l’IA parallèlement aux connaissances traditionnelles en matière de contenu et aux compétences en rédaction d’items. Enfin, une assurance qualité basée sur l’humain doit toujours être en place dans les pratiques de construction de tests basées sur l’IA afin d’éviter tout problème de fiabilité et de validité d’utilisation. En combinant les capacités de l'IA avec l'expertise humaine, nous pouvons garantir que les tests répondent à des normes élevées et maintiennent leur intégrité.

Influence de l'IA sur l'administration des tests

L’IA remodèle la façon dont nous gérons les tests, portant l’efficacité à de nouveaux sommets. Vous souvenez-vous de l'époque où les surveillants et les superviseurs agissaient comme des « gardiens » contre la tricherie lors des tests sur papier et sur ordinateur ? Désormais, grâce à l'administration des tests basée sur l'IA, ces rôles ont évolué vers des analystes stratégiques, tirant parti de la vision numérique et de la détection automatisée des collusions pour planifier efficacement les ressources et identifier les irrégularités dans l'environnement de test numérique à l'aide d'outils d'analyse du comportement. De plus, les technologies d’assistance de synthèse vocale peuvent aider à former les surveillants et les superviseurs, garantissant ainsi leur préparation au domaine dynamique des tests alimentés par l’IA. Avec ce changement, les exigences liées à ces rôles évoluent également. Être expert en technologie devient progressivement plus compétitif, à mesure que la capacité à naviguer dans ces nouveaux outils devient plus essentielle. De plus, l'IA offre bien plus, comme l'apprentissage automatique et l'apprentissage profond, qui aident dans de nombreux aspects de l'administration des tests. Celles-ci incluent la planification des tests, la sélection des surveillants, l'analyse des performances, la formation des surveillants et des superviseurs, et même la détection des erreurs avant qu'elles ne se produisent. Dans l'ensemble, en tirant parti des capacités de l'IA ainsi que du jugement humain en matière de planification, de surveillance, d'analyse des performances et de formation, nous pouvons ouvrir la voie à des pratiques d'administration des tests plus efficaces, fiables et équitables.

Notation et commentaires automatisés

En matière de notation et de feedback automatisés, l’IA fonctionne comme un outil avancé qui évalue efficacement les réponses des étudiants, y compris les plus complexes, car elle utilise des algorithmes sophistiqués formés sur un vaste ensemble de données de réponses notées par des humains. Concrètement, les équipes de technologie d'évaluation conçoivent ces algorithmes capables de comprendre les nuances de contexte, de syntaxe et de sémantique, leur permettant d'évaluer de nouvelles réponses avec une précision similaire grâce à des méthodes telles que le marquage automatisé basé sur les caractéristiques des réponses et les données de processus, et la notation automatisée des dissertations. Surtout, l'IA offre également des commentaires personnalisés et opportuns, mettant en évidence les points forts et les domaines à améliorer de l'étudiant. Cette approche accélère non seulement le processus de notation, mais éclaire également les stratégies d'apprentissage personnalisées, améliorant ainsi la croissance et la compréhension des élèves.

Rapports d'évaluation générés par l'IA

Comparé au passé, où il existait des rapports de performance des élèves ou des cartes d'évaluation indiquant soit un score, soit des informations générales avec peu de personnalisation, la notation et les commentaires basés sur l'IA aboutissent à des rapports complets sur les évaluations et le potentiel d'apprentissage. Ainsi, l’IA apporte une mise à niveau majeure aux rapports d’évaluation. Au lieu d'un simple score, nous sommes désormais en mesure d'approfondir la façon dont un élève comprend et gère différentes tâches. C'est comme avoir un détective à nos côtés, trouver des modèles, suivre les progrès et donner une image claire des forces et des faiblesses d'un élève. Ces rapports détaillés sont très utiles tant pour les étudiants que pour les enseignants. Ils guident les stratégies d'apprentissage et d'enseignement, en veillant à ce que le temps de chacun soit utilisé de manière efficace et efficiente. En bref, il s’agit d’une prise de décision fondée sur des données probantes et axée sur l’amélioration de l’apprentissage.

Tirer parti de l’IA pour l’analyse des tests

L’IA a révolutionné l’analyse des tests en fournissant un moyen avancé de traitement rapide et précis de nombreuses données de test. Il identifie les tendances, les modèles et les corrélations, améliorant ainsi considérablement la conception des tests et notre compréhension des interactions entre les apprenants. De plus, les informations générées par l’IA contribuent à adapter plus précisément les résultats d’apprentissage, optimisant ainsi les expériences et les résultats éducatifs. Considérez l’IA dans l’analyse des tests comme un expert perspicace, observant, analysant et fournissant sans cesse des connaissances précieuses pour façonner des stratégies et des résultats d’apprentissage supérieurs. Grâce à l'intégration de la visualisation des données de processus, de la théorie des réponses aux items aux sources ouvertes et des stratégies d'optimisation, dans la pratique, l'analyse des tests basée sur l'IA convertit les données de journal en visualisations de données et visualise l'activité des étudiants sans les délais associés à la mise en mémoire tampon vidéo.

Alors que nous explorons le potentiel de transformation de l’IA dans l’analyse des tests, il est essentiel de prendre en compte les données que nous collectons pour former en permanence les moteurs d’IA afin d’améliorer leurs performances. Nous devons donc traiter ces données avec la plus grande prudence, en veillant à préserver la vie privée de nos étudiants et à utiliser correctement les informations. Fondamentalement, l’IA apprend des données que nous lui fournissons, et si ces données sont biaisées, la notation de l’IA pourrait également l’être. Alors que nous adoptons l’IA dans l’évaluation pédagogique, le respect de règles et de stratégies bien pensées nous guidera pour maximiser ses avantages tout en garantissant une utilisation éthique et responsable.

Importance d'une stratégie d'IA

À mesure que l’IA devient partie intégrante des évaluations pédagogiques, diverses règles et lignes directrices ont émergé pour garantir une mise en œuvre responsable et éthique. Ces règles servent de base à l’élaboration d’une stratégie globale d’IA dans le domaine de l’évaluation. Les organisations et les institutions ont établi des principes qui mettent l’accent sur l’équité, la confidentialité, la transparence et la responsabilité lors de l’utilisation de l’IA. En adhérant à ces règles, les enseignants et les professionnels de l’évaluation peuvent établir une base solide pour leur stratégie d’IA, favorisant un équilibre entre innovation et pratiques responsables.

Il y a eu de nombreuses discussions sur l'importance des lignes directrices éthiques autour de l'utilisation de l'IA, les leaders technologiques ont même appelé à arrêter les développements ultérieurs de l'IA pour rattraper leur retard en développant un cadre réglementaire approprié, comme le souligne une enquête – Perspectives des Directeurs des Risques principaux : juillet 2023. Certaines entreprises ont déjà commencé à rédiger des lignes directrices initiales concernant les règles d'utilisation de l'IA, à la fois de manière générale et spécifique dans l'éducation et les évaluations. Des entreprises comme Microsoft ont élaboré leurs propres règles pour développer l’IA de manière responsable, qui incluent des éléments tels que l’équité, la confidentialité et la sécurité des données, l’inclusion, la transparence et la responsabilité. De même, les universités du Russell Group, qui comptent parmi les meilleures universités du Royaume-Uni, ont élaboré des lignes directrices sur la manière d'utiliser l'IA dans l'éducation, qui visent à aider les gens à comprendre l'IA, à l'utiliser de manière éthique, à maintenir les normes académiques et à partager de bonnes méthodes d'utilisation de l'IA à mesure qu'ils évoluent.

Dans le monde de l’évaluation, il existe l’approche de Cambridge, qui favorise la surveillance humaine, l’utilisation de données diverses et le caractère personnel et transparent. Le comité d'examen britannique, AQA, voit également le potentiel de l'IA, mais souligne que les gens doivent faire confiance au système et qu'il doit y avoir de la transparence et de la responsabilisation. Dans le même ordre d’idées, selon une étude de Cesare Aloisi (2023), la recherche suggère que les défis liés à l’utilisation de l’IA dans des examens importants, tels que le manque de fiabilité, les biais et le manque de clarté, peuvent réduire la confiance dans le système, et suggère de remédier à ces problèmes en intégrant des règles claires en matière d’IA dans les politiques d’évaluation de haut niveau, en plus d’adopter l’équité, l’exactitude et l’explicabilité tout au long du processus. En tant que personnes travaillant à l’intersection de l’évaluation pédagogique et de la technologie, notre travail ne consiste pas seulement à inclure l’IA dans nos processus. À mesure que les règles et les lignes directrices autour de l’IA changent constamment, il est important d’avoir un plan directeur bien pensé pour son utilisation.

Dans cette optique, l’élaboration d’une stratégie d’IA est une étape clé dans l’utilisation prudente et systématique des outils d’IA dans les applications d’évaluation. Par exemple, la stratégie d’IA de Vretta consiste à améliorer de nombreux aspects du cycle d’évaluation. Cela comprend un copilote de création d'IA pour soutenir les développeurs d'items, une validation automatisée des items pour expérimenter différents types d'items améliorés par la technologie via des simulations, un assemblage de tests automatisé pour produire des formulaires uniques et équivalents, une détection automatisée de collusion pour identifier les étudiants qui utilisent des outils d'IA générative. (comme ChatGPT) pour répondre aux questions sur un test, traiter la visualisation des données et les pipelines de données modernisés pour aider les psychométriciens dans leur processus d'analyse des données, et bien d'autres applications d'apprentissage automatique, de systèmes experts, de vision par ordinateur et de techniques d'IA de reconnaissance vocale.

Enfin, pour garantir un équilibre entre innovation et responsabilité, il est essentiel que la stratégie d’IA soutienne l’intégrité du jugement des experts, soutienne le développement d’expériences d’évaluation de haute qualité (et cohérentes), protège la confidentialité et la sécurité des informations personnelles et renforce efficacité opérationnelle. Tous ces éléments visent à rendre le processus d’évaluation plus équitable, plus respectueux des considérations éthiques et plus efficace.

L'avenir de l'IA dans l'évaluation

L’avenir de l’IA dans l’évaluation des étudiants s’annonce plutôt passionnant ! En regardant vers l’avant, l’avenir de l’IA dans les tests pédagogiques est rempli de possibilités :

• L'IA pourrait devenir l'assistante pédagogique d'un enseignant, l'aidant à comprendre comment chaque élève apprend, offrant de nouvelles perspectives et aidant à donner un feedback personnalisé.

• Imaginez une évaluation qui peut non seulement vérifier vos réponses, mais également comprendre comment vous y êtes parvenu, les moments d'incertitude que vous avez vécus et les erreurs que vous avez commises - ces interactions avec vous créent une compréhension unique de la façon dont vous apprenez.

• Pensez à une IA qui devient encore plus intelligente, en devinant les sujets que vous pourriez trouver délicats et en vous informant afin que vous puissiez vous entraîner avant que cela ne devienne un problème et minimiser les cas d'anxiété potentiels.

• Imaginez une journée qui commence avec la réalité virtuelle et augmentée utilisée lors de différentes occasions d'apprentissage, et nous voyons fréquemment des tests où les étudiants ont l'impression d'être dans une méta-réalité à travers un jeu, comme s'ils se trouvaient dans une situation réelle.

Aussi sophistiquée soit-elle, l’objectif principal de l’IA dans l’évaluation sera toujours d’améliorer l’apprentissage, de rendre le processus d’évaluation plus précis et de garantir à chaque élève une chance équitable.

Conclusion

En conséquence, l’IA change vraiment la donne en matière d’évaluations pédagogiques. Cela rend sûrement la création et la gestion des évaluations plus faciles, la notation plus rapide et plus personnelle, et nous aide à mieux comprendre nos étudiants. L’IA contribue également à résoudre les problèmes socio-technologiques au sein du cycle d’évaluation. Mais avec tous ces développements intéressants, nous devons nous avertir d’appliquer l’IA de manière juste et sûre, éventuellement en faisant en sorte que les jugements humains complètent le travail que nous effectuons avec les transformations basées sur l’IA et en adoptant des actions stratégiques cohérentes autour de celle-ci. À l’avenir, l’IA sera encore plus intégrée dans l’éducation, mais nous devons simplement rester toujours concentrés sur l’amélioration de l’apprentissage, l’amélioration des évaluations et la possibilité pour chacun d’avoir une chance équitable.

A propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique possédant une vaste expérience dans l'amélioration des phases clés du cycle de vie de l'évaluation, notamment la création d’items (banque d’items), l'enregistrement, l'administration, la notation, l'analyse des données et des rapports. Son travail implique une collaboration stratégique avec une gamme de fournisseurs de technologies d'évaluation, d'autorités de certification et d'instituts de recherche, contribuant ainsi à l'avancement de la communauté de l'évaluation. Au Centre d'examen d'État d'Azerbaïdjan, Vali a joué un rôle crucial dans la modernisation des évaluations locales à grande échelle. En tant que chef des partenariats stratégiques et responsable de l'unité de gestion de projet, il a co-mis en œuvre plusieurs projets de développement régional axés sur l'apprentissage et l'évaluation dans la région post-soviétique.

N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

Dans le monde numérique en évolution rapide d'aujourd'hui, tout, de l'éducation à la vie quotidienne, est transformé par la technologie. Le scientifique bien connu Max Tegmark a écrit dans son livre « Life 3.0 : Being Human in the Age of Artificial Intelligence », que l’IA et d’autres technologies numériques peuvent rendre les choses plus fluides et aller plus loin. Mais utiliser ces outils ne suffit pas. Nous devons les intégrer intelligemment dans nos systèmes. Ce besoin est encore plus important depuis la pandémie de COVID-19, qui nous a tous obligés à dépendre fortement aux outils numériques. Le rapport 2020 de l'OCDE sur l'économie numérique parle de l'importance de s'assurer que tout le monde a accès à ces outils et en avoir confiance. De plus, il existe de nouvelles lois, comme la toute première loi de l'Union européenne sur l'IA, qui établit des règles garantissant que l'IA est utilisée en toute sécurité, ouvertement et d'une manière qui respecte les droits des personnes. Dans cet environnement, comprendre et utiliser correctement la numérisation est vraiment important. Cela ouvre tout un monde de possibilités, mais nous devons également garder un œil sur les questions éthiques et les limites juridiques. Cet article explore comment un examen ou un audit de la numérisation peut aider à guider ces changements technologiques, servant ainsi de carte vers un avenir plus efficace et plus réussi.

Analyse numérique : un outil indispensable pour façonner les services d'évaluation

Considérez l’analyse numérique comme votre carte pour améliorer la façon dont vous testez et évaluez vos étudiants. Selon le Centre de recherche sur les examens et la certification (RCEC), ces examens sont comme un bilan de santé de votre système. Ils vous permettent d'examiner de près ce que vous faites actuellement, de voir où vous pourriez mieux utiliser les outils numériques et de vous assurer que tout changement vous fait avancer dans l'ère numérique. Pour les groupes en charge des tests scolaires, cette revue est comme une puissante lampe de poche. Il vous aide à voir toutes les parties de votre système et vous montre où vous pouvez utiliser les outils numériques pour améliorer le fonctionnement des choses. Il veille également à ce que tout changement s’adapte à l’évolution vers davantage d’outils numériques dans les écoles. Cela ouvre la voie à une élaboration de politiques efficaces et à un environnement d’apprentissage amélioré grâce au numérique. Pour les organisations spécialisées dans les tests numériques, l’évaluation est comme une arme secrète. Il vous permet de voir comment vous vous situez par rapport aux normes de l'industrie, de découvrir où vous pourriez ne pas être à la hauteur et de repérer les opportunités pour aller de l'avant, vous aidant ainsi à rester compétitif. Ainsi, quel que soit le type d’organisation que vous êtes, une analyse numérique est comme votre GPS pour vous guider vers des tests et des évaluations numériques plus efficaces et prêts pour l’avenir.

Les points clés d’une analyse numérique

Une analyse numérique fournit une vue complète de leurs pratiques numériques actuelles, par rapport aux normes de l'industrie, mettant en évidence les domaines à améliorer et suggérant des solutions. Ce processus contribue à améliorer la qualité du service, à accroître la satisfaction des clients et à améliorer l'efficacité du travail et la compétitivité. En favorisant les compétences numériques et en garantissant l’alignement sur les normes mondiales, une analyse numérique constitue un guide important vers une transformation numérique réussie.

Comprendre le processus d’analyse numérique

L’analyse numérique en tant que processus examine chaque étape du cycle d'évaluation - de la création des tests à leur administration, de la notation à l'analyse et à la communication des résultats - en utilisant la technologie comme une lentille. Cet examen complet examine tout, depuis la technologie utilisée pour créer des questions de test jusqu'à la façon dont les tests sont gérés, la cohérence de la notation et de la notation et l'efficacité de l'analyse des données. Ce processus est guidé par des architectes d’évaluation compétents et des analystes commerciaux perspicaces. Leur expertise aide à mettre en évidence les domaines de croissance numérique et à élaborer un plan unique de transformation numérique qui s'aligne sur les objectifs et les ambitions des parties prenantes. Par essence, l'analyse numérique n'est pas seulement un audit, mais un outil qui évalue l'état de préparation numérique d'une organisation et la guide pour devenir un acteur compétent et compétitif en matière numérique dans son domaine.

Passer de l’analyse numérique à une carte stratégique

L’analyse numérique constitue la base de la création d’un plan stratégique visant à améliorer et à étendre l’utilisation de la technologie numérique. Pour les agences gouvernementales désireuses d’améliorer leurs évaluations à grande échelle et leurs politiques éducatives, ce plan décrit une voie détaillée pour l’amélioration numérique. Comme le souligne l'étude McKinsey de 2021, disposer d'un plan bien conçu est essentiel pour une innovation réussie, car cela permet d'aligner les différents projets technologiques sur la stratégie globale. Inspirée des meilleures pratiques du monde entier, cette carte ne se contente pas de donner le ton du changement numérique, elle entraîne également une transformation complète, envisageant un avenir où les outils numériques seront intégrés tout au long du processus éducatif. La carte détaille les étapes de mise en œuvre, les délais, les responsabilités et les moyens de mesurer les progrès. Elle sert à la fois de guide et de moyen de mesurer les progrès tout au long du processus de transformation. Par essence, passer d’une analyse numérique à une carte stratégique marque un passage de la compréhension du niveau actuel d’utilisation du numérique à la planification habile d’un avenir numériquement avancé. Cela améliore l’efficacité, la fiabilité et l’impact des services d’évaluation, reflétant la tendance plus large vers la numérisation dans la politique éducative.

Adopter des normes numériques grâce à un examen

Les fournisseurs de solutions d’évaluation EdTech, tels que Vretta, aident les organisations partenaires (ministères de l’éducation et organismes d’examen) à moderniser leurs pratiques d’évaluation. Cela comprend la mise à niveau et le remplacement des systèmes existants et la modification des méthodes traditionnelles d'administration des évaluations par des approches technologiques très efficaces qui couvrent la modernisation de nombreux processus du cycle d'évaluation. Cette transformation est influencée par les meilleures pratiques mondiales et la vision de modernisation de l'organisation partenaire. L’analyse numérique présente une variété de modèles de prestation d'évaluation basés sur l'application de l'évaluation et ses objectifs. Il permet de prendre en compte de nombreux styles d'apprentissage et répond à de nombreuses compétences du 21e siècle qui peuvent être évaluées selon les souhaits de l'organisation partenaire.

Une fois terminé, l’analyse numérique fournit un plan clair qui montre ce qui peut être réalisé, les forces et les faiblesses, ainsi que les risques liés aux différentes opérations et politiques. Cela garantit qu’il est conforme aux normes de l’industrie et contribue à créer un environnement éducatif équitable, efficace et de la plus haute qualité.

Conclusion

L’analyse numérique est cruciale pour les entités gouvernementales et privées, car il leur permet d'examiner en profondeur les pratiques actuelles, d'identifier les domaines à améliorer et de créer un plan stratégique pour renforcer leurs capacités numériques. Ce processus entraîne divers avantages tels qu'une qualité de service améliorée, une efficacité opérationnelle accrue et une compétitivité plus forte, tout en garantissant un environnement d'évaluation diversifié et équitable. L'analyse est une invitation à toutes les organisations, quelle que soit leur préparation au numérique, à adopter la numérisation, à entreprendre leurs propres évaluations et à prendre part aux changements radicaux dans le secteur de l'évaluation pédagogique. Par essence, l'examen de la numérisation n'est pas seulement un audit, c'est votre guide vers un avenir où les technologies numériques feront partie intégrante de tous les processus d'évaluation.

Invitation à commencer votre voyage numérique

Le chemin vers la maturité numérique commence par une première étape essentielle : lancer une analyse approfondie de la numérisation. Si votre organisation est prête à améliorer ses pratiques d'évaluation, à accroître son efficacité opérationnelle et à améliorer la qualité de ses services, nous vous invitons à envisager d'entreprendre une analyse numérique. Dans un environnement éducatif en évolution rapide, il est important de garder une longueur d'avance, de répondre aux besoins des apprenants d'aujourd'hui et de rejoindre les leaders de la transformation numérique. Si vous souhaitez vous lancer dans ce voyage numérique, n'hésitez pas à nous contacter à info@vretta.com. Nous sommes là pour vous guider et vous soutenir à chaque étape du processus.

________________________________________

A propos de l'auteur

Vali Huseyn est une spécialiste de l'évaluation pédagogique qui fournit des conseils d'expert sur la modernisation des étapes clés du cycle de vie de l'évaluation, notamment la rédaction de l'évaluation (banque d'items), l'enregistrement, l'administration, la notation, l'analyse des données et la création de rapports. Il soutient et sert la communauté de l'évaluation par le biais de partenariats stratégiques avec diverses organisations de technologie d'évaluation, organismes de certification et centres de recherche. Il a également joué un rôle déterminant dans le soutien à la modernisation des évaluations à grande échelle au Centre d'examen d'État d'Azerbaïdjan en tant que chef des partenariats stratégiques et chef de l'unité de gestion de projet.

N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

Dans notre vaste voisinage cosmique, où les graines de la connaissance sont semées dans les esprits fertiles de nos générations futures, la technologie est la douce jardinière, nourrissant, guidant et influençant la croissance de ces graines. À une époque qui fait écho à la "Nouvelle vision de l'éducation", des histoires sur le potentiel de la technologie pour créer des systèmes éducatifs équitables et efficaces sont murmurées dans les salles d'enseignement (Forum économique mondial, 2015).

Dans cette danse du progrès, nous avons vu la mélodie de la technologie s’harmoniser avec le rythme de l’évaluation pédagogique. Une symphonie enchanteresse de notation de tests automatisés, de systèmes anti-plagiat et d’évaluations adaptatives assistées par ordinateur a commencé à se jouer, dressant un nouveau tableau de la réussite en matière d’apprentissage (UNESCO, 2023). Pourtant, au milieu de cette symphonie, des questions surgissent – des questions sur l’efficacité, l’efficience et l’éthique de ces grandes orchestrations.

Le mouvement pour l’éducation ouverte : un phare d’équité

Sur le grand théâtre de l’apprentissage, nous assistons à l’émergence d’un acteur important : le mouvement pour l’éducation ouverte. Il élève une voix puissante, faisant écho à l’éthos selon lequel le savoir doit être aussi libre que l’air que nous respirons, ouvert comme le ciel et de qualité suprême pour tous les apprenants (UNESCO, 2023). En effet, au carrefour de cette philosophie d’éducation ouverte et de l’aube de l’innovation technologique, nous nous trouvons au précipice d’une transformation sans précédent dans le domaine de l’évaluation pédagogique.

Technologies et tendances émergentes

Laissez-moi vous guider dans un voyage à la découverte de ce meilleur des mondes regorgeant de technologies et de tendances prometteuses :

Réalité virtuelle (VR) et réalité augmentée (AR) : Dans les domaines de la réalité virtuelle (VR) et de la réalité augmentée (AR), une nouvelle aube est visible. Ces technologies tissent une tapisserie d’environnements interactifs et réalistes, offrant des opportunités uniques d’évaluation basée sur les performances.

Apprentissage et tests personnalisés basés sur l'IA : En entrant dans le futur, l'apprentissage et les tests personnalisés basés sur l'IA, qui rappellent les entités intelligentes comme ChatGPT, deviennent notre nouvelle réalité. Ces algorithmes sophistiqués murmurent des informations personnalisées sur les besoins, les préférences et les progrès de chaque élève en temps réel, éclairant ainsi un chemin de découverte unique pour chaque esprit curieux (Center for American Progress, 2023).

Analyse de l'apprentissage et Big Data : Analyse de l'apprentissage et Big Data - ce sont les navigateurs célestes de notre vaisseau cosmique, nous guidant avec des informations précises sur les performances des étudiants, améliorant notre cours vers de meilleures pratiques d'évaluation et une prise de décision basée sur les données.

Naviguer dans la mer cosmique : responsabilité des parties impliquées

Néanmoins, au milieu de ce voyage de découverte, nous ne devons pas oublier nos responsabilités:

Repenser les pratiques d'évaluation : Les éducateurs, porteurs du flambeau du savoir, doivent repenser et développer continuellement leurs pratiques d'évaluation, en embrassant le vent du changement apporté par les nouvelles technologies.

Confidentialité et sécurité des données : alors que nous naviguons dans la mer d'informations, nous devons assurer la sécurité de notre navire. Des politiques et des garanties solides doivent être mises en place pour sécuriser les informations sensibles et maximiser les avantages de l’évaluation basée sur les données.

Accès équitable à la technologie : dans notre voyage vers un avenir meilleur, nous devons garantir que tous les passagers, quel que soit leur origine socio-économique ou leur situation géographique, bénéficient d'un accès égal aux ressources et au soutien. À une époque de commercialisation croissante du contenu éducatif, le mouvement pour l'éducation ouverte insiste sur le fait que nous devons garder notre boussole alignée sur l'accès ouvert, les données ouvertes, les évaluations ouvertes, la pédagogie ouverte, les logiciels ouverts et le crowdsourcing. Notre carte pour ce voyage devrait être celle des ressources éducatives ouvertes, accessibles à tous, partout et à tout moment (UNESCO, 2023).

Adopter les constellations technologiques

En adoptant ces constellations technologiques, nous pouvons éclairer la voie vers des environnements d’apprentissage dynamiques et engageants, permettre aux éducateurs de mieux évaluer et soutenir la diversité des besoins des élèves et aborder les implications éthiques. Ce changement cosmique vers une évaluation axée sur la technologie a de profondes implications, offrant de meilleurs résultats d’apprentissage et créant une odyssée éducative plus engageante. Notre cheminement vers un système éducatif plus équitable et plus efficace est essentiel, et il est crucial que nos compagnons de route – décideurs politiques et éducateurs – comprennent et acceptent ces changements. Cette transformation de l’évaluation améliorera sans aucun doute le parcours d’apprentissage de nos futurs citoyens cosmiques, façonnant potentiellement l’avenir de l’éducation sur notre point bleu pâle.

Restez à jour

Pour rester au courant de cette vague de changement, abonnez-vous à notre newsletter. Voyagez avec nous à travers le cosmos de l'edtech, illuminé par les dernières nouvelles, idées et réussites.

________________________________________

Les références

Centre pour le progrès américain. (2023). Garantir l’équité dans l’éducation basée sur l’IA. https://www.americanprogress.org/

UNESCO. (2023). Note conceptuelle pour le Rapport mondial de suivi sur l’éducation 2023 sur la technologie et l’éducation. https://unesdoc.unesco.org/ark:/48223/pf0000378950

Forum économique mondial. (2015). Nouvelle vision de l'éducation : libérer le potentiel de la technologie. http://www3.weforum.org/docs/WEFUSA_NewVisionforEducation_Report2015.pdf

________________________________________

A propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique possédant une vaste expérience dans l'amélioration des phases clés du cycle de vie de l'évaluation, notamment la création d’items (banque d’items), l'enregistrement, l'administration, la notation, l'analyse des données et le création de rapport. Son travail implique une collaboration stratégique avec une gamme de fournisseurs de technologies d'évaluation, d'autorités de certification et d'instituts de recherche, contribuant ainsi à l'avancement de la communauté de l'évaluation. Au Centre d'examen d'État d'Azerbaïdjan, Vali a joué un rôle crucial dans la modernisation des évaluations locales à grande échelle. En tant que chef des partenariats stratégiques et responsable de l'unité de gestion de projet, il a co-mis en œuvre plusieurs projets de développement régional axés sur l'apprentissage et l'évaluation dans la région post-soviétique.

N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.

La division d’enseignement supérieur de Vretta (depuis 13 ans) et Lyryx Learning (depuis 23 ans) soutiennent la réussite des étudiants des établissements postsecondaires du Canada, des États-Unis et du Royaume-Uni. Les deux sociétés sont reconnues mondialement pour fournir aux établissements, aux éducateurs et aux étudiants des solutions d’évaluation et des ressources pédagogiques innovantes de haute qualité.

Cette fusion rassemblera la richesse de l'expérience, des ressources et des capacités des deux sociétés, ce qui se traduira par un portfolio étendu de produits et de fonctionnalités, des meilleures pratiques partagées, un support renforcé et un personnel expert. Vretta-Lyryx sera dans une position unique pour répondre aux besoins académiques des institutions à l'échelle nationale et internationale.

“En unissant leurs efforts, Lyryx et Vretta seront dans une bien meilleure position pour continuer à offrir des solutions éducatives avancées, abordables et accessibles à chaque étudiant », déclare Claude Laflamme, PDG de Lyryx Learning, reconnaissant les avantages potentiels pour ses utilisateurs. Anand Karat, Chef et PDG de Vretta ajoute : « L'expertise combinée et les meilleures pratiques nous aideront à accélérer les progrès de la technologie et des produits pour répondre aux besoins changeants de la grande variété d'apprenants d'aujourd'hui“.

Avec des ressources en mathématiques, statistiques, comptabilité et économie, Vretta-Lyryx est bien placé pour conserver son leadership dans le soutien à l'innovation dans les cours quantitatifs au niveau de l'enseignement supérieur. Rejoignez-nous pendant que nous commençons ce nouveau chapitre passionnant.

________________________________________

À propos de Vretta

Vretta est l'un des principaux fournisseurs de solutions modernisées d'évaluation et d'apprentissage qui soutiennent la réussite des élèves des niveaux primaire, secondaire et postsecondaire. Grâce à des partenariats avec des ministères de l'Éducation et des établissements universitaires, Vretta a conçu, développé et mis en œuvre des évaluations formatives et sommatives à grande échelle aux niveaux national et provincial/étatique, y compris la mise en œuvre de modèles d'évaluation pour l'apprentissage pour les applications en classe. Ces mises en œuvre ont été reconnues par des organismes de récompense prestigieux pour le meilleur projet transformateur, la meilleure utilisation des évaluations sommatives, la meilleure utilisation des évaluations formatives et la meilleure avancée en matière de développement des compétences et des aptitudes. Visitez www.vretta.com pour en savoir plus.

À propos de Lyryx Learning

Lyryx Learning est l'un des principaux fournisseurs de ressources éducatives ouvertes (REL) associées à des évaluations innovantes pour les étudiants en comptabilité, économie, mathématiques et statistiques. Leur mission consistant à fournir des évaluations et des ressources d'apprentissage en classe abordables, accessibles et de haute qualité a permis aux étudiants d'économiser plus de 17 millions de dollars dans 241 établissements à travers l'Amérique du Nord. Lyryx est très réputé pour faire progresser l'apprentissage en le rendant personnalisé, abordable et transparent grâce à ses réponses sophistiquées aux éléments, ses manuels électroniques ouverts personnalisés et son support exceptionnel. Visitez www.lyryx.com pour en savoir plus.

Contactez-nous à info@vrettalyryx.com pour en savoir plus sur la façon dont nous pouvons soutenir la réussite des étudiants dans votre établissement.

Le prix pour la Contribution à Vie reconnaît la contribution apportée par une personne qui, de l'avis du jury indépendant sélectionné par l'Association de E-Assessment, mérite d'être honorée pour sa contribution et son engagement soutenu envers l’évaluation électronique tout au long de sa carrière. L'individu peut avoir eu une influence sur la conception, le développement, la promotion, l'exécution ou le soutien de l'évaluation électronique au niveau local, régional, national ou international.

Le Dr Graham Orpwood est synonyme d'évaluation au service de l'apprentissage au Canada. Il a consacré des décennies de sa vie à soutenir la transformation du domaine de l’évaluation qui a eu un impact (et continue d’avoir un impact) sur la vie de millions d’étudiants à travers le monde. Il est éducateur, chercheur en politiques, spécialiste des programmes d'études et de l'évaluation et conseiller depuis plus de 50 ans. Sa conviction fondamentale est que l’objectif premier de l’évaluation est de soutenir et d’améliorer l’apprentissage. Cette conviction a soutenu son leadership dans les projets d’évaluation menés auprès des ministères de l’Éducation, des établissements universitaires, des organismes d’examen et des établissements de formation du monde entier.

La contribution de Graham à la communauté de l’évaluation a commencé au Conseil des sciences du Canada, où il a dirigé l’étude nationale sur l’enseignement des sciences, qui préconisait l’utilisation innovante de l’évaluation. Il a ensuite été responsable du développement de l’évaluation scientifique pour la Troisième Étude internationale sur les mathématiques et les sciences (TIMSS). À l'Université York, il a dirigé un consortium de plus de 20 districts scolaires pour le projet d'évaluation des acquis en sciences et technologies, qui a abouti à des améliorations des programmes d'enseignement. Il a joué un rôle déterminant dans la conception du Test de mathématiques des collèges de l'Ontario (OCMT), résultat de dix années de recherche, qu'il a codirigé, visant à améliorer la persévérance et la réussite des étudiants dans leurs études postsecondaires.

Au Royaume-Uni, Graham a dirigé la conception et le développement de la solution d'évaluation formative en ligne, appelée Elevate My Maths, pour la National Association of School-Based Teacher Trainers (NASBTT) afin de soutenir la réussite des enseignants de toute l'Angleterre. Il a également joué un rôle déterminant dans la transformation des pratiques éducatives grâce à la conception et au développement de solutions d'évaluation électronique formative et sommative à grande échelle mises en œuvre dans de nombreuses juridictions à travers l'Europe.

Graham a partagé son expertise en matière d'évaluation en participant à des conseils consultatifs, des comités, des conférences, des émissions de radio et des entrevues télévisées. Son travail a reçu de nombreuses distinctions internationales et ses publications sont devenues des référentiels incontournables pour les spécialistes de l'évaluation qui recherchent des conseils sur la conception de solutions d'évaluation ayant un impact sur la vie des étudiants du monde entier.

À propos de l'Association d'évaluation électronique

Fondée en 2008, l'e-Assessment Association (eAA) est une organisation internationale à but non lucratif représentant tous les secteurs industriels intéressés par l’évaluation électronique, y compris les écoles, post-secondaire et université, jusqu'aux fournisseurs de qualifications, aux régulateurs, aux fournisseurs de technologies et consultants de l'industrie.

Avec plus de 2 900 membres dans le monde, l’eAA poursuit trois objectifs principaux :

• Promouvoir une meilleure évaluation des connaissances, des compétences et des capacités des personnes grâce à la technologie.

• Faire prendre conscience des avantages que la technologie apporte à l’évaluation, en particulier en termes d’amélioration de l’apprentissage et de l’évaluation, plutôt que d’une simple plus grande efficacité.

• Garantir que nous ayons une voix et une influence fortes dans les débats politiques clés impliquant l’évaluation de l’apprentissage, de la formation et des compétences.

The mathematics rewards program runs every semester at Seneca College where a handful of brilliant students are given the opportunity to receive a cash reward and a certificate of excellence in mathematics from Vretta. Throughout the years, this program has benefited many bright students who were academically ambitious. The reward becomes even more critical for students facing financially challenging times. In the fall of 2021, six students received the reward, four of whom shared their experiences below.

HELIX offers workshops, networking and experiential learning opportunities, coaching and mentoring, co-working space and funding. Vretta has helped to make this wide range of supports available for HELIXers to strengthen their skills in business, finance, health sciences and technology mathematics.

Vretta has been instrumental in sourcing funding for HELIXers. Students receive financial aid through Vretta’s Rewards for Excellence in Mathematics. In April 2021, Anand Karat, President, Vretta, founding member of the HELIX Venture Fund Sub-Committee. With a focus on removing fiscal barriers faced by HELIXers, one of the sub-committee's recommendations led to the establishment of the HELIX Catalyst Fund. Through this funding initiative, HELIXers receive microgrants to take their business venture to the next level.

Vretta has provided experiential learning opportunities to Seneca graduates, such as designing and developing mathematics-based technology solutions that are being used in the real world, including at Canadian educational institutions.

“Seneca is positively impacting the lives of students,” said Mr. Karat. "It is an honour of ours to contribute to this transformation.”

The ongoing partnership with Vretta has allowed HELIX to provide cross-disciplinary supports to aspiring entrepreneurs. This includes the Entrepreneurial Numeracy Skills (ENS) platform, which help HELIXers build financial literacy skills, such as managing cash flow, credit and loan management and understanding interest rates and taxes.

The ENS platform also identifies skills gaps and highlights opportunities to upgrade skills through HELIX’s financial support sessions and Seneca’s Faculty of Continuing Education and Training (FCET).

“Collaborating with the passionate team at HELIX for yet another year has been an eventful journey,” said Mr. Karat. “The focus on identifying effective ways in which Seneca can support not only the success of students but also the larger community of entrepreneurs and intrapreneurs is inspirational.” 

To learn more about how you can support Seneca students, contact Seneca at advancement@senecacollege.ca.

With the need to transition to a fully online delivery model, having been heightened and brought to the forefront due to the pandemic, one of the concerns of the Math department was test and exam security to maintain academic integrity. Another concern was creating content which is easy to comprehend, conceptualize and grasp, with scenarios that all students could relate to and possibly apply in their day to day lives.

Beginning in the Winter of 2021, the Math faculty decided to test new waters and see how they could enrich student learning, engagement and experience, by introducing Vretta’s IntroMath for the Fundamentals of Mathematics course, at their South Campus.

The feedback from the initial implementation up until now has been positive and encouraging, with the common recurring theme being that the interactive lessons that students go through on their own time have been very beneficial. The engaging modules, which break down concepts into micro-steps, also include real-life applications and scenarios, making the experience a memorable and relatable one. After honing in on their craft on the lessons, the students put their abilities to the test by completing an assignment, which tests their overall understanding of that particular topic area and allows them to cement their skills and flex their muscles, as they inch a step closer to conquering the puzzle that is math.

The online learning for students has become even more paramount for the College, with the introduction of an asynchronous model starting soon and the Institution will also be following a remote learning option for the foreseeable future.

Coupled with the positive student response and instructor satisfaction, the department is looking forward to building on the momentum garnered from the Fundamentals of Math course. They are working towards implementing Vretta’s IntroMath for Calculus and Technology Mathematics, where students could really benefit from an intuitive learning experience.

The benefits to student success while using IntroMath, has boosted Macomb Community College as a leader in digital learning.

To learn more about how the Macomb Community College is reshaping mathematics education for their students, email our learning and assessment specialists at info@vretta.com.

Saskatchewan Polytechnic identified that their incoming students have a numeracy skills gap that has a negative impact on the performance in their math courses. Many students don’t have the pre-requisite math skills and lacked the level of confidence required to succeed in their math courses – a common experience at post-secondary institutions across the country. To overcome these challenges, institutions were creating their own assessments and supporting materials with the aim to bridge the numeracy gap that exists for students entering their post-secondary education.

Saskatchewan Polytechnic opted to pilot and implement the assessment-for-learning platform (called OCMT) which was designed by the 24 publicly funded Ontario Colleges as part of the College Math Project (CMP) and the subsequent College Student Achievement Project (CSAP). The CSAP conducted over a decade of research and field trials with over 10,000 students, leading to the development of the OCMT that has been effectively implemented to raise the level of numeracy for students at numerous post-secondary institutions across Canada.

In the Summer of 2020, Saskatchewan Polytechnic piloted the OCMT with about 200 students who were enrolled in their engineering and technology mathematics courses. The platform was introduced through Learning Services at the institution and integrated with the Learning Management System to provide students with single sign-on capabilities to access the platform.

The OCMT presented students with a diagnostic assessment that would help them identify their strengths and areas for improvement. Based on the results from the diagnostic assessment, students could upgrade their numeracy skills using interactive, voice-enabled modules. Upon completion of the modules, they could assess their progress through a comprehensive summative assessment. 

The results of the pilot led to modifications in the delivery of the platform to increase engagement and effectiveness. These included the ability for students to receive a certificate on successfully completing the OCMT. They were also awarded 5% marks in their respective courses on this achievement. 

In the Fall of 2021, the OCMT was rolled out to a larger group of students enrolled in the engineering, technology, and trades mathematics courses. With periodic communication to incoming students from Learning Services, program heads, and math instructors, student usage on the platform increased significantly. Additionally, data visualizations showed that once students were on the platform, many of them worked their way through all the upgrading modules and achieved high scores in the summative assessment. Student data on every topic area showed an overall increase in scores from the diagnostic to summative.

The success of these pilots have encouraged Saskatchewan Polytechnic to identify ways in which the OCMT can be made available to all students across the institution to raise the level of numeracy and prepare students for success in their math courses.

To learn more about how Saskatchewan Polytechnic is bridging the numeracy gap at their institution, feel free to reach out to their learning and assessment technology partners at info@vretta.com.  For information on the OCMT, visit ocmt.mathsuccess.ca

Located at the heart of England, an area renowned for technology and innovation, the University of Derby is home to about 20,000 students. The University provides many industry-relevant foundation, undergraduate and postgraduate courses, often developed and delivered in collaboration with the numerous global companies based in the East Midlands, including Rolls-Royce, Toyota and Bombardier. Over the past three years, the University has undertaken a key initiative in closing the numeracy gap for their students, aiming to improve career prospects for every student, and in particular to improve the success in securing highly-skilled jobs.

During the academic year 2018-2019, the University collaborated with Vretta to customize, develop and deploy the award-winning assessment and learning solution Elevate My Maths (EMM) to diagnose and upgrade the numeracy skills of students in the College of Engineering and Technology. For the students involved in the pilot, maths performance increased by 14% in Calculus, 17% in Foundation and 20% in Computational Maths in Derby and 39% in Athens. EMM also helped to reduce maths anxiety and increase students’ confidence, with mature students finding EMM particularly helpful.

“Elevate My Maths was systematic in helping me get back into maths at the age of 30, after 14 years away from the subject.”

“I found Elevate My Maths very useful as I hadn’t studied maths for over 25 years. I had a lot of remedy videos to get through."

The success of the pilot led to the implementation of Elevate My Maths across the University to support the development of numeracy skills for students and to prepare them for success in their courses, even outside STEM. Together with Vretta and educators in Engineering, Apprentices, Psychology, Finance, Accounting, Business and Education, the University designed ten numeracy training courses addressing the needs of all students. The courses are deployed in modules/programmes through the Virtual Learning Environment or can be accessed via the Maths Skills Library page. Teachers can use live dashboards to monitor progress and provide feedback to students. EMM has been used by more than 1,500 students across the University. Over 400 students have received digital badges for successfully completing their course.

This project has been presented at various learning and teaching conferences, including the Teaching and Learning Mathematics Online (TALMO) conference, the E-Assessment in Mathematical Sciences (EAMS) conference, and the Association for Learning Technology (ALT) conference. Of particular interest is the impact seen in the Computational Mathematics classes led by Dr. Ovidiu Bagdasar at the University of Derby, over a few years of deployment of EMM.

Prior to implementing EMM, first-time pass rates were consistently between 83-86%, while the percentage of good grades (60% or above) was between 58-61%. The implementation of EMM led to a first-time pass rate of 89%, with overall good grades still around 60%. However, after the integration of EMM within the Virtual Learning Environment and the deployment of the custom-made courses D1: Fundamentals and D2: Algebra, Measurement and Geometry in 2019-20, the first-time pass rates stabilised at 89%, with the good grades going all the way up to 70-73%. Furthermore, for the students who passed both numeracy training courses (D1 and D2) with 40% or above, the module pass rates were 98% in 2019-20 and 96% in 2020-21, while the good grades increased up to 87% and 83%, respectively.

The table below outlines the details for the computational mathematics courses at the University.

This implementation of Elevate My Maths has shown that the numeracy gap at the University has been closing and the confidence of students has been increasing. The University is currently working with Vretta to extend the project to all relevant modules and programmes at the University, as well as sharing best practices to support student success at other institutions across the United Kingdom and internationally.

To learn more about how the University of Derby is closing the numeracy gap for their students, email our learning and assessment specialists at info@vretta.com.

Additionally, student entrepreneurs have been facing business hardships with delays in getting their products and services to market leading to an accumulation of debt.

Through these challenging times, HELIX, Seneca’s business incubator and accelerator, has been extending a helping hand through the emergency relief funds, continued mentorship, coaching, and working space to help student-entrepreneurs who require the assistance to sustain and pivot their business to support their livelihood.

Seneca thanks long-term partner Vretta for their continued support throughout the pandemic, including their financial contribution, Entrepreneurial Numeracy Skills platform and strategic advising to HELIXers.

Vretta’s financial assistance provides cross-disciplinary, entrepreneurial supports to more than 250 aspiring entrepreneurs, allowing them to build, launch and scale ventures. The Entrepreneurial Numeracy Skills platform will help HELIXers recognize the importance of crucial financial numeracy skills required to start and run a business, such as managing cash flow, credit and loan management, interest rates and taxes. The platform will also help identify skills gaps and suggest opportunities for students to upgrade their skills through Seneca’s Faculty of Continuing Education.

“I've noticed that the most successful entrepreneurs in the world are the givers, not the takers,” said Vretta President Anand Karat, who has been leading community initiatives to support students-in-need. “They are always looking for innovative ways to resolve challenges and provide affordable and efficient solutions that have a long-lasting positive impact to humanity.”

Vretta also continues to support Seneca students through their mathematics rewards, which are presented to those who have demonstrated exceptional skills and abilities in business and finance mathematics. Students receive cash prizes and a certificate from Vretta for their academic achievement.

“By strengthening our collaboration with supporters and donors like Vretta, we are creating a supportive ecosystem,” said Chris Dudley, Director of Entrepreneurship at Seneca. “We are also shaping a new way of work-integrated learning, so Seneca students are fully prepared to succeed in an evolving world of work.”

MathemaTIC is a personalized learning platform designed to provide students in Grades 3 to 10 with an engaging, real-world learning and assessment experience to strengthen their skills in mathematics. MathemaTIC was developed over five years through an international collaboration between SCRIPT at the Luxembourg Ministry of Education and Vretta, along with other educational research partners in Luxembourg and France.

One of the 2021 CODiE Award reviewers mentioned “MathemaTIC provides an answer for digital instruction in mathematics for the diverse student population. Customized series of formative and summative assessments guide the user on a personalized path with instructional and real-life learning models. The overall appeal to this program is its ability to provide material in multiple languages seamlessly. The teacher has the flexibility of adjusting the range and depth of material to align with class instruction while the student can continue on their own path.”

Acknowledged as the premier awards program for the software and information industries for over 35 years, the SIIA CODiE Awards are produced by the Software & Information Industry Association (SIIA), the principal trade association for the software, education, media, financial information and digital content industries. MathemaTIC was honored as one of 152 finalists across the 42 education technology categories.

“The CODiE Awards recognize the most exciting and transformative products in Ed Tech,” said Jeff Joseph, SIIA President. “This year, these leaders helped our nation respond to the historic pandemic, enabling learners, educators, administrators and parents to remain connected to each other and to critical educational resources via an array of innovative services and platforms. Congratulations to this year’s finalists for demonstrating the vitality, resilience and importance of this important industry.” The SIIA CODiE Awards are the industry's only peer-recognized awards program. Educators and administrators serve as judges and conduct the first-round review of all education nominees. Their scores determine the SIIA CODiE Award finalists which accounts for 80% of the overall score. SIIA members then vote on the finalist products and the scores from both rounds are tabulated to select the winners. In light of the COVID-19 pandemic, Business Technology category winners will be announced during an online winner announcement celebration June 22, 2021.

Details about each finalist are listed at https://history.siia.net/codie/2021-FinalistsAbout the SIIA CODiE™ Awards

About the SIIA CODiE™ Awards

The SIIA CODiE Awards is the only peer-reviewed program to showcase business and education technology’s finest products and services. Since 1986, thousands of products, services and solutions have been recognized for achieving excellence. For more information, visit siia.net/CODiE.

About Software and Information Industry Association (SIIA)

SIIA is the only professional organization connecting more than 700 data, financial information, education technology, specialized content and publishing, and health technology companies. Our diverse members manage the global financial markets, develop software that solves today’s challenges through technology, provide critical information that helps inform global businesses large and small, and innovate for better health care and personal wellness outcomes.

With over a decade of research and dedication in understanding how students succeed by interacting with rich and engaging technology-enhanced assessments, Vretta specializes in the innovative use of assessments to provide greater equity and strengthen the skills of students. They focus on modernizing assessment and learning solutions through creative design, backed by psychometric precision, delivering reliable, flexible and equitable learning and assessment experiences for students, educators, and administrators.

Vretta places high value in the recognition received from the e-Assessment Association, and has also been the recipient for the Best Use of Formative Assessment Award (2019), Best Transformational Project Award (2018), Best Use of Formative Assessment Award (2018), and Highly Commended for Best Use of Summative Assessment Award (2018).

As the sponsor of the 2021 e-Assessment Award: Most Innovative Use of Technology in Assessment, Vretta aims to support organizations and institutions that design, develop, and implement assessments that not only measure student learning, but also support student success through the innovative use of technology in assessments.

About the e-Assessment Association

Founded in 2008, the e-Assessment Association is a not-for-profit membership organisation representing all industry sectors with an interest in e-Assessment including schools, FE and HE through to qualification providers, regulators, technology providers and industry consultants, both from the UK and internationally. With over 1,800 members worldwide we have three main goals:

• to promote better assessment of knowledge, skills and capabilities of people through technology.

• to build awareness of the benefits that technology brings to assessment, particularly around delivering better learning and assessment, rather than just greater efficiency.

• to ensure we have a strong voice and influence in the key policy debates involving the assessment of learning, training and competency.

Through the Vretta-CFLPA partnership, all CFLPA members and their families will have access to Vretta’s platform, which offers diagnostic and assessment support in strengthening numeracy proficiency and encourages the practical use of these critical life skills for future personal and career success.

“CFLPA members continue to enhance their skills and education while playing professional football. We are excited to welcome Vretta to the rapidly growing roster of partners available as part of the Academy. Their success-focused online platform will enhance the resources our members have access to as they prepare for a variety of future career paths,”

- Solomon Elimimian, President of the CFLPA

Access to Vretta’s platform will be offered as part of the growing CFLPA Academy. Since 2016, the CFLPA Academy has seen over 1,000 members and their spouses register for programs, resources, and enhancements in the three pillars of education, careers, and health & wellness.

"We are absolutely elated with the announcement of the partnership between Vretta and the CFLPA, and excited about what's to come. As football players and professional athletes, we understand the hard work, determination, dedication and commitment that goes into their craft. So, it is critical to make the off-the-field aspect as engaging as possible for these great athletes, by ensuring that they have the necessary level of numeracy under their belt, and are prepared for life outside of football, no matter what career path they choose to go down,"

- Anand Karat, President of Vretta

Every current CFLPA member has access to The Academy and can access a growing roster of accredited educational institutions in the U.S. and Canada, enroll in specialized certification and certificate programs that are gateways to future career paths, or take advantage of online learning opportunities that can help provide new advantages for them and their families.

About the CFLPA

The Canadian Football League Players’ Association (CFLPA) is the union for professional football players in the Canadian Football League (CFL). Since 1965, the Association has worked to establish fair and reasonable working conditions while protecting the rights of all CFL players. In addition to negotiating and enforcing the terms of the Collective Bargaining Agreement (CBA), the CFLPA provides a variety of member services, builds corporate and community partnerships and works diligently for the betterment of its membership. Find us online at cflpa.com.

About Vretta

Since 2010, Vretta has been dedicated to creating high quality assessment and learning solutions, with a focus on success of their users through their academic education and in the workplace. Elevate My Math is a research-backed, media-rich platform, that is designed to reduce math-anxiety and increase the level of confidence by connecting abstract math concepts to their practical applications. We are driven by our mission of making assessment and learning experiences truly engaging and impactful for all users.

For more information: Jason Langvee, CFLPA Office, j.langvee@cflpa.com, 1-800-616-6865

They are creating an innovative catalogue of Portable Custom Interactions (PCIs), that are essentially interoperable TEIs, for examination bodies, research institutions, and ministries of education to provide students with truly engaging and meaningful e-assessment experience. The Vretta-Wiquid partnership brings 20+ years of experience, delivering large-scale e-assessment solutions through data-driven strategies that focus on student-success.

The benefits of the interoperability of assessment items are more evident than ever before. The trend at a growing majority of examination bodies, research institutions, and ministries of education around the world has been steadily leaning towards collaborating and sharing large-scale e-assessment items for use in their jurisdictions.

PCIs are designed to follow best practices in interoperability, adhering to IMS Global Assessment Custom Interactions standards. Designed and developed to be inherently interoperable, PCIs allow for the creation of interactive assessment items without the need to worry about ensuring compatibility standards during development or transforming items later.

PCIs allow for a high level of customization in order to meet the needs of an institution or ministry looking to create custom e-assessment items, while providing deeper insight into student interactions which can inform teaching and learning decisions, as well as guide the development of future e-assessment items.

This feedback loop of a student’s interaction, to data collection, and then to item development, is an essential feature of PCIs. But it is wholly dependent on one element: engagement. It does not matter how much data the PCI has the potential to gather if students are not motivated to make the interaction in the first place. If student engagement is not front and centre in the development PCIs, the core feedback loop becomes less effective and could even potentially lead to incorrect assumptions about student behavior.

Given the benefits of PCIs and its increase in demand, Vretta and Wiquid have entered into a collaboration to deliver this solution on a large scale. At the heart of these developments is the focus on motivating student-interaction by creating PCIs that not only maintain the engagement of TEIs, but significantly increasing it.

To learn more about transforming the large-scale e-assessment experience in your jurisdiction, email info@vretta.com.

In February 2021, Vretta successfully completed the rigorous audits related to the following two SOC compliance standards:

• SOC 1 Type 2: Controls validate the fairness of the management’s description of technology systems, the suitability of the designs, and the operating effectiveness of the Internal Control over Financial Reporting (ICFR).

• SOC 2 Type 2: Controls addressed by five Trust Service Principles: Privacy, Security, Availability, Processing Integrity, and Confidentiality. This audit validates the assurance of the controls used to process user data and the confidentiality and privacy of the information processed by the technology systems. The controls play an important role in the vendor management programs, internal corporate governance and risk, management processes, and regulatory oversight.

“The SOC certifications reinforce Vretta’s continued commitment to the security, availability, processing integrity, confidentiality, and privacy of data of our e-assessment and learning solutions,” says Zach Williams, Director of Technology at Vretta. He adds “Our SOC certifications in conjunction with our ISO 27001 compliance are testament of our commitment to establishing and maintaining the highest level of security and compliance in the industry.”

To learn more about how Vretta is maintaining the security and integrity of our solutions, email info@vretta.com.

The partnership has led to the creation of a custom version of Vretta’s Elevate My Maths platform to upgrade the fundamental maths skills of new teachers. The program includes the diagnosis of teachers’ strengths and weaknesses in maths, developmental modules and summative assessment to ensure the confidence of the teachers going forward.

NASBTT is committed to improving the quality of teachers in schools through high-quality schools-led programmes of training, education, and professional development of teachers in England. The contribution represents the collective experience of accredited providers of schools-led teacher training provision in relation to the development and implementation of national policy developments to improve the quality of teachers in schools.

Vretta’s vision is a world where everyone enjoys mathematics. Through its partnerships with ministries of education and academic institutions, Vretta has designed and developed numerous large-scale formative and summative assessments in mathematics at the national and provincial/state level, including implementations of assessment for learning models for classroom applications in mathematics.

The standard provides details on the requirements for establishing, implementing, maintaining and continually improving the Information Security Management System (ISMS) of the organization. The ISMS is a set of rules that are in the form of policies and procedures that are established by the organization to:

• Identify stakeholders and their expectations in terms of information security

• Identify which risks exist for the information

• Define controls and other mitigation methods to meet the identified expectations and handle risks.

• Set clear objectives on what needs to be achieved with information security.

• Implement all the controls and other risk treatment methods.

• Continuously measure if the implemented controls perform as expected.

• Make continuous improvement to make the whole ISMS work better.

Vretta has successfully met all the requirements of the ISO/IEC 27001 standard and has been externally audited by an accredited auditor. We received our ISO 27001 certificate on August 04, 2020.

“Vretta’s compliance with the ISO/IEC 27001 standard reinforces our commitment to our Information Security Management System, including the confidentiality, integrity, and availability of information to only authorized individuals.” says Zach Williams, Director of Technology at Vretta. He adds “achieving the ISO/IEC 27001 certificate assures our partners of our continued investments in establishing and maintaining the highest level of security and compliance for the delivery of our e-assessment and learning solutions.”

To learn more about how Vretta is maintaining the security and integrity of our solutions, email info@vretta.com.

Developed by four Columbians living in Toronto, Arkaika was brought to HELIX, Seneca’s on-campus incubator and accelerator, and turned into a brand that aims to unite people with a passion for coffee and community. It is just one of 127 ventures pitched into HELIX that was supported by Vretta.

The recent funding from Vretta was used to provide free, cross-disciplinary, entrepreneurial supports to more than 250 aspiring entrepreneurs, allowing them to build, launch and scale ventures. It also provided tools for students aspiring to become intrapreneurs and innovate.

Having received support from HELIX, the founders of Arkaika are now giving back, themselves. The brand’s ethical buying process helps support farmers in Colombia and - through sales of their ground and whole bean coffee - they are able to contribute to Canadian causes like Seneca’s Campaign for Students.

“Arkaika’s experience with HELIX has been fundamental in the company’s growth and development,” said Diego Romero, Co-Founder of Arkaika. “From helping us to give the proper direction to our business up to sponsoring our first public event in the 2019 Coffee and Tea Expo, HELIX has been our strongest partnership and best support in Canada.”

Today, support from Vretta continues even during COVID-19. Due to economic changes and stresses that HELIXers are facing, having entrepreneurial numeracy skills is essential. As part of its ongoing partnership with HELIX, Vretta is developing the Entrepreneurial Numeracy Skills platform, which focuses on the financial skills required to start and run a business, such as managing cash flow, credit and loan management, interest rates and taxes.

“Supporting students, especially those who may have been affected by the current pandemic, is a high priority of ours,” said Anand Karat, President of Vretta. “Our aim for the platform we are developing in partnership with Seneca HELIX is to strengthen the financial numeracy skills required for students to be successful in their ventures as entrepreneurs or intrapreneurs at organizations.”

The platform will also help identify skills gaps and suggest opportunities for students to upgrade their skills. There will also be opportunities for applied research projects for the evolution of the platform to support the growing requirement for entrepreneurs in our province and country.

To learn more about how you can support projects at HELIX, contact advancement@senecacollege.ca.

IntroMath, Vretta’s unique Assessment-for-Learning courseware platform, was recognized by the e-Assessment Awards for its innovative diagnostic, upgrading, and formative assessments that have proven to increase attainment and confidence in mathematics, as well as decrease math-related drop-out rates at Colleges; leading to time and cost savings for Colleges and increased success in mathematics for students.

Currently used to deliver mathematics courses at numerous academic institutions across the country, IntroMath is continuing to transform the mathematics learning and assessment experience.

This recognition of IntroMath’s effective use of formative assessments, further validates Vretta’s mission of providing students with the necessary confidence and skills required to succeed in their math courses and everyday lives.

Learn more the e-Assessment Awards here.

MathemaTIC, developed by Vretta and the Luxembourg Ministry of Education, in partnership with socio-economic research and education testing institutions, won the Gold award for the Best Advance in Competencies and Skill Development for developing essential mathematics skills for students across Luxembourg. This award marks the second year in a row that MathemaTIC has won a Gold award from the Brandon Hall Excellence Awards.

Last year, MathemaTIC won the Gold award for the Best Advance in Custom Content for its successful implementation and progress towards raising attainment and reducing the equity gap at primary and secondary schools in Luxembourg.

The OCMT, developed by Vretta in collaboration with all 24 colleges and 72 school boards in Ontario, and led by Humber College, won the Silver award for the Best Advance in Custom Content for successfully raising the level of numeracy for students in secondary and post-secondary institutions across Canada. This award marks the third year in a row that the OCMT has won an award from the Brandon Hall Excellence Award.

Last year, the OCMT won the Gold award for the Best Advance in Competencies and Skill Development for successfully raising the level of numeracy for student success and in 2017 won the Gold award for Best Advance in Custom Content for addressing the numeracy gap through immersive technology solutions.

About Brandon Hall

The Brandon Hall Group Excellence Awards Program is the most prestigious awards program in the learning industry around the world. Often times called the “Academy Awards” in the learning industry, this Excellence Award recognizes the best organizations that have successfully deployed programs, strategies, modalities, processes, systems, and tools that have achieved measurable results.

About Vretta

Vretta is an award-winning EdTech leader that is breaking the mould of teaching and learning through its engaging, flexible, and affordable resources. Through our collaborations with educators across the world, we are reshaping the learning experiences for students and ensuring that they acquire meaningful skills that serve them in their lives and professions.

Though OpenStax OER textbooks will always be free online, surveys have found that about 10% of students would rather use printed versions. By partnering with a leading Canadian education technology company, Vretta, OpenStax now has the means to meet the needs of many Canadian students who prefer using print textbooks to learn.

If you are a current Canadian OpenStax user and would like to request print versions of your textbooks, please fill out this form to place your order with Vretta.

About OpenStax

OpenStax is committed to improving access to quality learning materials. As a nonprofit ed tech initiative that is part of Rice University and supported by philanthropic foundations, OpenStax provides free college and Advanced Placement textbooks that are developed and peer-reviewed by educators, as well as low cost, personalized courseware that helps students learn. For more information, visit http://openstax.org.

About Vretta

Vretta is an award-winning EdTech leader that is breaking the mould of teaching and learning through its engaging, flexible, and affordable resources. Through our collaborations with educators across the world, we are reshaping the learning experiences for students and ensuring that they acquire meaningful skills that serve them in their lives and professions.

HELIX tackles real world problems by instilling an entrepreneurial spirit in students and encouraging a creative approach to developing ideas. It does this by providing training in data analytics, design-thinking and financial literacy.

“These funds will be used to provide no cost, cross-disciplinary entrepreneurial supports to our students. It will allow them to either develop and launch successful, scalable and sustainable ventures, or provide the tools to allow students to become intrapreneurs and innovate from within the company,” said Chris Dudley, Director of Entrepreneurship at HELIX, about Vretta’s contribution.

To be successful in their chosen paths, students need a strong educational foundation and also the practical know-how to apply the skills in a work environment. Seneca provides both, through partnerships with industry leaders like Vretta that want to get involved, influence change and contribute to student success.

Vretta’s online tech solutions transform learning by helping students visualize, conceptualize and engage with mathematics. Seneca was the first postsecondary institution to pilot the Vretta software with our students and has been a trusted partner for about a decade.

Anand Karat, President of Vretta, is a member of the School of Marketing Program Advisory Committee, which ensures programs are current and relevant to industry, business and society. Karat has also contributed to student financial aid and his company has hired many Seneca graduates.

By collaborating with industry and creating a supportive ecosystem, we are shaping a new way of work-integrated learning, so Seneca students are fully prepared to succeed in an evolving world of work.

To learn more about how you can support Seneca students, contact advancement@senecacollege.ca.

• Student success in mathematics,

• Research in the area of maths accessibility and maths anxiety, and

• Primary and secondary school students through outreach efforts in Derbyshire and Nottingham.

Professor Malcolm Todd, Provost (Academic) of the University of Derby, said: “We’re delighted to have acquired the Elevate My Math program, which has so much potential to help students across a wide range of disciplines to improve the numeracy and mathematics skills they will need to thrive and prosper in the workplace. It is particularly important for our students who are training to be primary school teachers, for example, and who will be expected to feel confident in their ability to teach math, because the way math is taught can have lifelong implications for children.”.

Mathematics undergraduates at Derby are currently being recruited to work as teaching assistants for local schools, but need to ensure that they are able to teach the subject to children at the appropriate level.

Dr. Ovidiu Bagdasar, Associate Professor and Senior Lecturer in Mathematics at the University of Derby said: “Some students may understand very advanced concepts, but sometimes struggle with basic math. It will also help many others to overcome math anxiety, which has been a key focus of psychological research led by Dr. Thomas Hunt at the University of Derby. Those students who have math anxiety can also benefit by building their skills.”

This partnership makes the University of Derby Vretta’s first Academic Hub in the UK!

To learn more about how to partner with Vretta to support student success in mathematics at your academic institution, email info@vretta.com.

The focus of this partnership is to foster increased innovation at HELIX, Seneca’s on-campus incubator, and provide global entrepreneurial experiences to students through knowledge-sharing and mentoring. This will help students develop the skills they require to succeed in their creative journeys of building successful ventures.

Located at the newly developed Centre for Innovation, Technology and Entrepreneurship (CITE), HELIX develops and launches successful, scalable and sustainable, young entrepreneur-led ventures. It also nurtures the entrepreneurial mindset to allow participants become intrapreneurs and innovate from within companies.

Headquartered in Toronto, Vretta has been supporting student success in mathematics through its innovation in hybrid and online technology solutions that help students visualize, conceptualize and engage with mathematics. Vretta’s products have been transforming the way students interact with mathematics in schools and postsecondary institutions in Canada, USA, Europe and Australia.

Vretta’s courseware platform, IntroMath, has been supporting the assessment-for-learning experience in mathematics for students at post-secondary institutions across Canada for almost a decade. Through this partnership with the AI/Hub, Vretta is supporting the development and integration of an AI assistant for IntroMath that will intelligently learn and understand students’ usage of the platform and will provide them with the required technical guidance through their learning and assessment experience. This AI and NLP-backed virtual assistant will also aim to strengthen the user experience for students by significantly reducing the response time for queries.

About the AI/HUB: It is the Durham College Hub for Applied Research in Artificial Intelligence for Business Solutions that offers industry partners access to technical expertise, state-of-the-art facilities and platforms, and student talent, to uncover business insights while providing intelligent and autonomous solutions to increase productivity and growth.

About Vretta: It is an award-winning EdTech company that is reshaping the way students interact with mathematics. With a vision of a world where everyone enjoys math, Vretta provides students with digitally rich, engaging platforms that help them unveil the beauty of mathematics. True to their motto, learn math, live smart, their platforms connect abstract math concepts to their practical applications and have been used by numerous academic institutions and ministries, globally, for educational transformation projects that have proven to improve student success and confidence in mathematics.

The International Educational Games Competitions (IEGC) takes place during the annual European Conference on Games-Based Learning (ECGBL) and showcases the most engaging, immersive, and impactful game-based educational resources from around the world. This year, 60 entries from more than 40 countries participated in the competition and had their game-based applications assessed and evaluated by their peers in the educational gaming community.

MathemaTIC, was awarded the App-Based Game Group Award for the immersive design of its engaging lessons and game-based items, as well as the positive impact that the implementation of the MathemaTIC platform throughout Luxembourg has had on student success in mathematics.

This recognition marks the third prestigious award that MathemaTIC has received over the last 5 months. As MathemaTIC continues to grow and receive appreciation for its personalized learning environment and immersive digital items, the importance of providing students with a digital platform that adapts to their individual learning needs and makes mastering mathematics fun and engaging is becoming increasingly apparent.

To give your students access to MathemaTIC’s award-winning game-based items and personalized environment for mathematics, click here.

About the International Education Games Competition (ECGBL)

The International Education Games Competition is hosted annually at the European Conference on Games-Based Learning. Entrants who have been accepted to participate in this competition are those who have submitted the most innovative and immersive game-based educational platforms from around the world. The aims of the competition are to provide an opportunity for educational game designers and creators to demonstrate their game design and development on an international stage, to give Game-Based Learning creators the opportunity to have their games peer-assessed and peer-evaluated, and to provide ECGBL attendees with access to engaging and best-practice games that showcase exemplary applications of Game-Based Learning.

About the MathemaTIC Project

MathemaTIC is a pillar of the Digital (4) Education strategy established by the Luxembourg Ministry of Education as part of the "Digital Lëtzebuerg" initiative within with the framework of the goals set by the European Union Horizon 2020 research and innovation programme to promote digital awareness among its citizens. The strategy was to provide all learners, irrespective of their social origin, access to quality information and pedagogical resources. The development of MathemaTIC included partners from SCRIPT, Vretta, the French Ministry of Education, the University of Luxembourg, the Luxembourg Centre for Education Testing, the Luxembourg Institute of Socio-Economic Research, and the Centre de gestion informatique de l'éducation.

The Brandon Hall Group Excellence Awards Program is the most prestigious awards program in the learning industry around the world. Often times called the “Academy Awards” in the learning industry, this Excellence Award recognizes the best organizations that have successfully deployed programs, strategies, modalities, processes, systems, and tools that have achieved measurable results.

“Last year, Vretta won its first Brandon Hall Group Excellence award for increasing student success using blended learning programmes. This year, we are honoured to receive this coveted recognition, along with Humber College! This award recognizes the work that we have done in collaboration with the 24 colleges in Ontario, supported by the Ministry of Education and the Ministry of Advanced Education and Skills Development. It features the Assessment for Learning program, OCMT, addressing the numeracy gap by pushing the boundaries of interactive technologies to make the experience of learning mathematics engaging and enjoyable for students.” said Anand Karat, President of Vretta.

“Excellence Award winners symbolize the power and impact that Human Capital Management practices can have on a business or on any organization,” said Rachel Cooke, Chief Operating Officer of Brandon Hall Group and head of the awards program. “Many organizations can have great HCM initiatives, but the standard of excellence only applies for organizations whose HCM practices truly benefit the business. That’s what the Excellence Awards program stands for, and that is what Brandon Hall Group stands for.”

“Humber College is very proud to partner with Vretta on this critical project and also extremely proud of the work that we have done together to support student achievement in mathematics. Receiving a Brandon Hall Group Excellence Award not only speaks to the innovativeness of the tools that we have developed as partners and as a community of educators dedicated to making learning mathematics meaningful and enjoyable, but it also speaks to the importance of addressing this issue.” said Paula Gouveia, Dean, School of Liberal Arts and Sciences at Humber College.

The Brandon Hall Group’s HCM Excellence Conference will feature this year’s award winners in Florida on January 31st, 2018. We look forward to attending this amazing conference, meeting peer world-class organizations and listening to real-life success stories that have resulted in measurable business results. We can’t wait to share our story and our vision of raising the level of numeracy for students around the world!

OUR is a charitable organization designed to provide higher education technology and resources to displaced or refugees communities. By partnering with education technology providers and helping to foster a culture of openness and inclusiveness within Universities around the world, OUR seeks to give these communities the tools and resources they require to meet their higher education needs.

Vretta’s partnership with OUR is one more step in the direction of realizing OUR’s vision of restoring dignity and hope to communities in crisis. By allowing OUR to provide these communities access to their higher education resources and Assessment-for-Learning digital platforms, Vretta hopes to empower these communities and help them acquire the numeracy skills that they need to be successful in their academic lives and beyond.

The Brandon Hall Group Excellence Awards Program is the most prestigious awards program in the learning industry around the world. Often times called the “Academy Awards” in the learning industry, this Excellence Award recognizes the best organizations that have successfully deployed programs, strategies, modalities, processes, systems, and tools that have achieved measurable results.

MathemaTIC, developed by Vretta and the Luxembourg Ministry of Education, in partnership with socio-economic research and education testing institutions, won the Gold Award for the Best Advance in Custom Content for its successful implementation and progress towards raising attainment and reducing the equity gap at primary and secondary schools in Luxembourg.

MathemaTIC is a personalized learning platform that is tailored for students to learn and master mathematics through simulations, games, and interactive practice.

OCMT, developed by Vretta in collaboration with all 24 colleges and 72 school boards in Ontario, and led by Humber College, won the Gold Award for the Best Advance in Competencies and Skill Development for successfully raising the level of numeracy for students in secondary and post-secondary institutions across Canada.

OCMT is a platform that diagnoses students’ strengths and weaknesses in math concepts and upgrades their skills through voice-enabled, interactive items by helping students to visualizes, conceptualize, and engage with mathematics.

Vretta’s partnerships with the Luxembourg Ministry of Education and Humber College, which successfully improved student success and confidence in mathematics, have continued to show the importance of transforming math education through the use of immersive technology solutions to help students learn math to live smart!

James Howell visiting Humber College and presenting Mona Nouroozifar and Kate Zhang with the Gold Brandon Hall Group Excellence in Learning Award for Best Advance in Competencies and Skill Development for the OCMT.

Through the annual mental math competition, MathleTIC was successfully administered nation-wide as a competition in Luxembourg from June 27th to the 29th for students from ages 9 to 14. This friendly competition was created to improve students’ mental math skills in four key areas: addition, subtraction, multiplication, and division. The competition was designed to encourage, motivate, and invite all students to learn and experience an engaging and exciting method of sharpening their mental math skills.

This game-based, mental math formative assessment enables students to compute answers to arithmetic operations in order to make the MathleTIC mascot run away from the pursuing space robot! Students collect stars, up to three per level, as they successfully progress through each level.

All participating classes received certificates of achievement, and champions in mental math received MathleTIC trophies and MathleTIC keychains.

The success of the competition has shown that mathematics, when presented in an engaging, goal-oriented, and personalized environment, motivates students to master concepts with minimal supervision - a truly individualized learning experience for every learner!

MathemaTIC will be welcoming students back to school, at the start of the 2018-2019 academic year, with another friendly competition to prepare them for the year ahead!

To learn more about how you can make mental math fun for your students, reach out to us at info@mathematic.org for access to MathleTIC.

About the MathemaTIC Project

MathemaTIC is a pillar of the Digital (4) Education strategy established by the Luxembourg Ministry of Education as part of the “Digital Lëtzebuerg” initiative within the framework of the goals set by the European Union Horizon 2020 research and innovation programme to promote digital awareness among its citizens. The strategy was to provide all learners, irrespective of their social origin, access to quality information and pedagogical resources.

The development of MathemaTIC, initiated in 2015, includes partners from SCRIPT, Vretta, the French Ministry of Education (DEPP), the University of Luxembourg, the Luxembourg Centre for Education Testing, the Luxembourg Institute of Socio-Economic Research, and the Centre de gestion informatique de l'éducation.

The implementation of MathemaTIC in Luxembourg commenced as a demonstration project with teachers and students in a limited numbers of schools in 2015. Results from the project showed that children from all language groups displayed increased confidence and understanding of key math concepts. Overall support and enthusiasm for transforming math education using MathemaTIC resulted in the full-scale development and implementation of the platform for Grades 5 and 6.

As MathemaTIC expanded to a full-scale program and enthusiasm grew around the project, the Luxembourg Ministry of Education extended its use for students in Grades 3 to 8 in schools across the country. MathemaTIC leverages a unique, world-leading technology, enabling learners access via desktops, laptops and tablets, further expanding its level of accessibility. Administrators have access to an equally flexible interface to monitor both class and student performance, and to receive powerful, actionable data on each learning module and on individual topics.

MathemaTIC is successfully used to diagnose the skills of 21st Century learners and formatively determine the sequence of learning through highly interactive, voice-enabled formative assessments, providing students with a truly personalized learning experience. The key objective of the implementation in Luxembourg is to raise attainment in numeracy and digital skills and reduce the equity gap for students in all primary and secondary schools across the country. MathemaTIC achieves this by enabling dynamic switching between four languages (French, German, Portuguese and English), supporting both numeracy and language growth, and by enabling effective teacher and parent intervention.

Today, MathemaTIC items are being used not only in Luxembourg but also in France for their national assessments. It is also being piloted in Portugal and evaluated by many other ministries of education for its implementation as a school transformation project. To participate in the MathemaTIC project to re-define math education at your school, email us at info@mathematic.org.

On June 6th, 2018, Yvan invited the MathemaTIC learning technology team from Canada (Anand Karat, Charles Anifowose, Arbana Miftari, Angelica Mendaglio, and Jeremy Moshe from Vretta) to see how his students in his Grade 7 class (classic) use MathemaTIC to learn fractions. The class started at 8:30 am and the 22 students, from diverse backgrounds, seemed quite eager to get on the platform. With the technical ability to choose a language to work on, 13 students preferred working on MathemaTIC in German, 7 in French, and 2 in English.

Prior to the class, Yvan assigned the fraction module, using the Agenda feature, for students to complete. Students also continued to have access to the other modules if they wished to move to another topic after completing the assigned work.

“It was nice to see students independently choosing items within the module based on their level of comfort and working through them at their own pace” commented Yvan. He added “the animations and interactions make it fascinating for my students. At times, I work through the modules in front of the entire class and it motivates my students to progress through the items on their own. They try different methods of solving problems and they practice on their own or in groups. It is a great pleasure to see my students having fun with math. MathemaTIC has become part of their overall learning process.”.

After one hour of learning fractions using MathemaTIC, here’s what a few students had to say about their experience:

Student 1: “This tool is making me understand mathematics fast. I like that every time I get something wrong, I get an explanation. When I am learning for a test, I use MathemaTIC in French, but when I am learning for fun, I use it in English. I am happy that we have this platform to use!”

Student 2: “I like working through the red items in MathemaTIC and I enjoy collecting stars - I keep trying till I get all the stars! I also use the calculator tool a lot. Switching between languages in case I don’t understand a specific word works well for me.”

Student 3: “My favourite thing about MathemaTIC is that it is fun! I usually learn on my own and I like playing the math games, collecting stars, and learning in the process.”

The team from Vretta mentioned that it was truly fulfilling to see every student engage with the interactive tools and games that have been carefully designed and developed through creative processes. It was also interesting to see a good mix of students who were working on their own and also in groups with a lot of enthusiasm and focus.

This experience reinforced MathemaTIC as a platform that not only enhances learning but also provides critical 21st century skills for all students.

Download This Article

The e-Assessment Award is an international program dedicated to the advancements in e-Assessments and to applauding the latest innovations throughout the education sector. With an increasingly high number of applicants and attention from around the globe, the e-Assessment Award is fast becoming one of the most talked about awards in the education industry. MathemaTIC, developed by Vretta with The Luxembourg Ministry of Education won the Best Use of Formative Assessment Award for its innovative approach to large-scale formative assessments. While DTab, developed by Vretta with the French Ministry of Education, was highly commended for the Best Use of Summative Assessment Award for its solutions to accessibility and data access in the mobile digital assessment industry.

Additionally, Vretta’s Assessment-for-Learning Program took home the coveted Best Transformational Project Award, being recognized for the implementation of its innovative diagnostic mathematics assessment resources for College level students, including OCMT, EMM and ENS.

Vretta’s partnerships with both the Luxembourg Ministry of Education and the French Ministry of Education, as well as the success of it’s own Assessment-for-Learning Program, has continued to show the importance of personalized and adaptive learning through transformational projects with a focus of raising attainment and reducing the equity gaps in schools around the word.

Learn more the E-Assessment Awards and the Awards that Vretta and their partners received here.

Described an optimist in the way she tackled challenging problems, often taking the ‘harder path’ as she put it, Mirzhakani’s work on curved surfaces contributed new insights to geometry and her spirit of curiosity, as well as her accomplishments will continue to inspire generations of young mathematicians.

Mirzhakani was born on May 3, 1977, in Tehran. An avid reader in her childhood, she planned to be a writer, till her passion for math took her on new paths. As the first girl on the Iranian team, she won two gold medals at the International Mathematical Olympiads.

"It is fun — it's like solving a puzzle or connecting the dots in a detective case," said Mirzhakani on winning the Fields Medal in 2014. "I felt that this was something I could do, and I wanted to pursue this path."

She went on to complete a bachelor’s at Sharif University of Technology in Tehran in 1999, and then on to Harvard University where she completed a doctorate in 2004. After a stint teaching at Princeton University and she moved to Stanford University. She is survived by her husband, Jan Vondrák, who is also a mathematics professor at Stanford, and a daughter, Anahita.

An eminent mathematician, educator, mother, wife, and a strong and influential female - Mirzakhani’s contributions to the mathematical world are unforgettable. Her accomplishments in her time on this earth are beyond commendable. She will be deeply missed. A brilliant mind and an inspiration to many - her greatness lives on.

“We’re doing long-term strategies that incorporate all aspects to improve people’s quality of life” Birtch says of his mission.

Although the role seems to fit Birtch like a glove, mayorship wasn’t always a path he thought to take. In fact, if it weren’t for a simple act of compassion he received in high school, the moniker “Coolest Mayor East of the Rockies” may have gone unearned

“I had really thought that I needed to be in leadership,” Birtch said. “I originally thought that I’d be in the business world.”

To break into the business world, Birtch knew he needed good grades so he could be accepted into a top university. He was a hard worker, always studious, and at first, his diligence paid off. The future mayor was excelling in nearly every subject, including math, which he had been good at all his life. But during year 11, he began struggling with the material. He studied harder, but the concepts in his text book still eluded him. He didn’t know what he was doing wrong. Nothing was working.

“I just couldn't understand,” Birtch said. “I was failing, and it was holding me back from my dreams of going to university.”

And then one day, Birtch was working his after school job when a retired school superintendent stopped in. They struck up a conversation, wherein Birtch explained how he had hit a wall in math, and was afraid he’d fail. So the superintendent asked to see his math book. After giving it a quick once-over, he wrote down five math questions and handed them to the student, who answered them as best he could. The superintendent reviewed the answers and began grading them. Wrong. Wrong. Wrong. Wrong. Right.

“He said, ‘Now I know how your mind works,” Birtch recalls. “That was the same question five different ways.” With new insight into Birtch’s mind, the superintendent wrote some notes for the student’s math teacher, who began working with him each day before school started. Soon, concepts became clearer, his grades rose, and he ended up passing all three required math courses. He was even able to graduate one year early.

None of this, Birtch recounts, would have happened if someone hadn’t taken the time to speak some hope and encouragement, and understand how his mind worked.

“I remember after graduating university, talking to that individual, and I told him he altered my life forever by helping me with math, and at that point he said he didn’t even remember doing that. Every day he always wanted to give encouragement to at least one individual ... so I was just one of those people.”

“None of this would have happened if someone hadn’t taken the time to speak some hope and encouragement.”

Prior to the superintendent’s intervention, Birtch had planned on entering the business world. But he now realized he would rather seek a leadership role where he could help as many people as possible. With that in mind, he enrolled in University of Western Ontario and studied Politics and Business. After graduating, he went into the financial services sector, where he eventually found himself calculating utility rates for the mayor. This gave him a peek into the inner workings of local government.

“I saw when government introduced new programs, if it was something like childcare, it would be implemented locally,” Birtch said. “That’s when I decided I needed to work helping provide the analysis data and numbers to the decision makers locally.”

So Birtch started working as a financial analyst for the County of Oxford. During this time, he broadened his education, earning, among other things, a Certified Municipal Officer designation. From AMCTO.

It was 11 years into the job when Birtch’s wife had a revelation. “She said, all these different things you’ve done, all of these different certificates, degrees, diplomas you’ve got, you’re meant to be the mayor.” She was right. After a hard fought campaign against two former mayors with money at their disposal, Birtch was elected mayor of Woodstock. Now, he’s not only able to draw on his local government expertise to effectively lead a bureaucracy, he gets to act as the cheerleader of the community.

“When they see me, I’m trying to figure out each one’s uniqueness and encourage them, help them to persevere in the things that are perceived as obstacles for them. I try to get them to look at it differently. Just like math.”

The mayor has the opportunity to head public functions, serve as the spokesperson for his town during national conferences, and shine a spotlight on local issues in need of attention. For instance, last year, Birtch helped start an open dialogue about self-harm and suicide by speaking with local agencies, youth groups, and church groups. His influence as mayor certainly helped him bring people together over the issue, but there’s more to it: Birtch is able to quickly gain the trust of the town’s youth.

Birtch’s encounter with the superintendent did more than illuminate the path which would eventually lead him to the mayorship, it helped him succeed as mayor.

Just like one math question can be written and understood in five different ways, every town is made up of individuals with contrasting perspectives and experiences. So Birtch tries connecting with his constituents on a personal level while remaining open-minded and thoughtful. In a way, he has taken up the mantle of superintendent.

Download the PDF.

In 2011, when we were introduced to Vretta’s Mathematics of Business and Finance textbook and online resources, I was a little skeptical of this new blended method of teaching business and finance math. However, after a thorough review conducted by our textbook review committee, we saw value in the textbook and online resources and decided to adopt them to teach all our full-time math for business and math for finance courses. These resources have since proven to be a highly effective way to teach our students.

The combination of online lessons/labs with the classroom experience is a huge advantage, because it caters to the diverse student audience with varied learning styles that we have in these courses. The online lessons are especially beneficial for students with English as a second language, which constitutes almost 57% of our student population.

Our students have been giving us very positive feedback on their learning experience. They comment that with these resources, they can learn at their own pace, especially before quizzes and exams. The engaging overview that each online lesson provides, improves the student's attention level in class and reduces their fear of mathematics. As the subject leader, I have found that Vretta's support staff has been extremely prompt and helpful. They work closely with me and my faculty to ensure that we are all effectively using the resources to obtain the most from them. They are also very responsive to instructor and student feedback, to perfect this learning experience for our students and teaching experience for my faculty.

Betty Pratt, Seneca College Download the PDF.

This idea that the same task could be great in one class and unimpressive in another was reiterated by Ryan Tackaberry, one of the Ignite talks the following day. He had tried out a particular task from Marian Small’s book Good Questions and said that it was both the best and the worst task he had ever used. When he spoke to Small about this, she responded that the questions in the book were good questions for her

Ryan Tackaberry reflects on a task asking students to show the number 7 different ways

This is an important question, because it is one challenge faced by using research to improve education. Reproducibility is core to the scientific process - if a pedagogical strategy works in one situation and not another, it makes it very difficult to know what the best approaches are. So, what could be causing these inconsistent experiences with the same task?

Throughout the conference several reasons why this may be were discussed. Different students, teachers, and classroom cultures will all contribute to the outcome of a particular task. The classroom environment plays a critical role in determining what types of tasks will succeed. For instance, if a classroom culture has not supported the idea that student thinking processes can be more important than the answers they obtain, a number talk will probably not yield the desired discussion. Pairing a task with the right type of student is also an important determinant of how effective a task will be. A task may require certain prerequisite knowledge that the class may have had trouble with, or emphasize a particular learning style that does not suit the students.

In short, different tasks will be more or less effective depending on the situation in which they are implemented. There are many variables that contribute to how effective a task will be in a given classroom. Even the same teacher implementing the same task can get something completely different from two classes.

The conference underlined for me that a crucial component to the success of a task is how the task is implemented. Well-designed tasks will shine when implemented at the right time and to the right students. Great tasks paired with teachers who have a deep understanding of their students can be a wonderfully powerful tool for educating our students.