Abstracts
Résumé
L’écosystème dans lequel les tribunaux opèrent a évolué de manière particulièrement brusque depuis 2020, passant d’une culture privilégiant le « format papier » à un « mariage de convenance » non balisé avec des intermédiaires privés, sur lequel la justice dépend en tant qu’infrastructure essentielle. Ainsi, les tribunaux, institutions démocratiques, se livrent spontanément à des partenariats non encadrés avec des compagnies multinationales, dont la mission est de commercialiser les données. Ceci, devant une pénurie de ressources et des pressions croissantes de désengorger les cours de justice.
Sans aucun doute, l’essor des prédictions algorithmiques en justice soulève une préoccupation primordiale en ce qui concerne l’indépendance judiciaire, l’ossification du racisme systémique et l’enracinement des inégalités socio-économiques. En d’autres termes, la justice « à deux vitesses » (automatisée et traditionnelle) et la prolifération du « poor man’s justice ».
D’autre part, le déploiement non encadré de l’IA risque d’empiéter sur diverses lois et de figer la jurisprudence dans un carcan qui ne correspond aucunement au modèle de l’arbre vivant et de l’interprétation contextuelle. Compte tenu des retombées significatives de ces partenariats invisibles sur les plans institutionnel et social, cet article s’attarde sur l’assujettissement de la justice à des technologies privées dans une perspective (comparative) transsystémique. L’article se penche ainsi sur l’impact institutionnel de la numérisation de la justice et sur les conséquences de la standardisation et de l’automatisation sur l’État de droit et sur l’évolution progressive de la jurisprudence.
Abstract
The ecosystem in which the courts operate has evolved particularly abruptly since 2020, moving from a culture favoring “paper format” to an unstructured “marriage of convenience” with private intermediaries, on which justice depends as an essential infrastructure. Courts, as democratic institutions, are spontaneously entering into unregulated partnerships with multinational companies, whose mission is to commercialize data. This, in the face of a shortage of resources and growing pressure to unclog the courts.
Without a doubt, the rise of algorithmic predictions in justice raises a paramount concern with regard to judiciary independence, the ossification of systemic racism and the entrenchment of socio-economic inequalities. In other words, “two-tier” justice (automatized and traditional) and the proliferation of “poor man’s justice”.
On the other hand, the uncontrolled deployment of AI risks encroaching on various laws and freezing jurisprudence in a straitjacket that in no way corresponds to the model of the living tree and contextual interpretation. Given the significant institutional and social repercussions of these invisible partnerships, this article examines the subjection of justice to private technologies from a trans-systemic (comparative) perspective. The article examines the institutional impact of the digitization of justice and the consequences of standardization and automation on the rule of law and the progressive evolution of jurisprudence.
Article body
Introduction
Picture a system that makes decisions with huge impacts on a person’s prospects — even decisions of life and death. Imagine that system is complex and opaque: it sorts people into winners and losers, but the criteria by which it does so are never made clear. Those being assessed do not know what data the system has gathered about them, or with what data theirs is being compared. And no one is willing to take responsibility for the system’s decisions — everyone claims to be fulfilling their own cog-like function.
This is the vision offered to us by Franz Kafka in his 1915 novel, The Trial. In that book, Kafka tells a parodic tale of an encounter with the apparatus of an indifferent bureaucracy. The protagonist, Josef K, does not know why he has been arrested, or what the evidence against him is; no one is willing to take responsibility for the decision, or to give him a proper account of how the system works. [...] Fast forward 100 years and artificial intelligence and data-driven computer systems are frequently portrayed in a similar way by their critics: increasingly consequential, yet opaque and unaccountable. This is not a coincidence. There is a direct link between the trials of Josef K and the ethical and political questions raised by artificial intelligence. […] As the historian Jonnie Penn has recently pointed out, it has a long history, one that is deeply entwined with state and corporate power – it is the systemic intelligence of the bureaucracy, of the machine that processes vast amounts of data about people’s lives, then categorises them, pigeonholes them, makes decisions about them, and puts them in their place. […]
The problems of AI resemble those of the Kafkaesque state because they are a product of it. Josef K would immediately recognize the “computer says no” culture of our time[1].
L’écosystème dans lequel les tribunaux opèrent a subitement évolué de depuis 2020[2]. Cette évolution s’est d’encore plus intensifiée après l’avènement de l’intelligence artificielle générative et du phénomène tant convoité ChatGPT, accueilli à bras ouverts comme engin d’efficacité. Cela se déroule dans un climat d’austérité, d’importantes pénuries de personnel et d’un manque criant de ressources en justice[3] où on réclame d’une voix la gouvernance technologique comme solution miracle. Dans ce contexte, plusieurs célèbrent l’agilité de l’intelligence artificielle (IA), tout en faisant abstraction des risques associés à son utilisation. En d’autres termes, l’implantation de l’intelligence artificielle dans le processus judiciaire semble, comme ailleurs, tout simplement comprise comme une évolution naturelle, voire inévitable.
L’éthique est fréquemment invoquée comme substitut aux règles de droit stagnantes ou inappliquées pour règlementer ce phénomène transformatif. Cependant, le droit renvoie, bien entendu, à la régulation des comportements alors que l’éthique, pour sa part, énonce les normes qu’il convient de suivre (indépendamment de nos obligations juridiques, à strictement parler, et selon notre discrétion si l’on souhaite se conformer à une norme supérieure à celles-ci), menant à des incidences de blanchiment éthique (« ethics washing »)[4] — l’invocation de règles d’éthique se substituant à la normativité et ayant pour effet de dissimuler les effets préoccupants de l’IA en justice[5]. De cette pression d’intégrer des solutions novatrices perçues comme rentables — quoique prématurées (puisque les conséquences sont encore peu comprises et opaques), les tribunaux, institutions fondamentales de la démocratie, assujetties à la valeur constitutionnelle de l’indépendance (avec ses divers volets)[6] se livrent spontanément — et sans condition préalable — à des partenariats non encadrés avec des compagnies privées multinationales. Ainsi, des décisions juridiques fondamentales risquent d’être déléguées et extériorisées, pas uniquement à des « machines », mais surtout aux entreprises en arrière-plan[7].
La justice n’échappe au défi contemporain suivant : « using poorly-understood algorithms to make life-changing decisions without the people affected by those decisions even knowing about it »[8]. Par mesure de précaution, afin de sauvegarder la confiance de leurs journalistes et de leurs abonnés, de grands journaux comme The New York Times et The Guardian (pour n’en nommer que deux), éveillés aux enjeux significatifs que posent ces partenariats entre développeurs d’IA et acteurs de confiance, ont jugé impératif d’assujettir leurs partenaires fournisseurs d’IA à des engagements relativement stricts quant au « scraping » (technique d’extraction de données, parfois nommée « moissonnage »)[9].
Dans le contexte du droit, il importe de souligner que des algorithmes sophistiqués — innovations provenant du monde corporatif américain — se voient consultés dans le processus de prise de décisions judiciaires sans préautorisation ancrée dans le droit[10]. Un tel choix signifierait, au Canada, que les institutions judiciaires adopteraient, pour toutes fins pratiques, un modèle de « mediated justice » par l’entremise d’intermédiaires privés[11], partenaires « invisibles », généralement basés à l’extérieur des frontières du pays. Ces partenaires ne seraient, non plus, assujettis à aucun contrôle significatif ou « processus de nomination », ni aucun mécanisme de redevabilité imposé à un partenaire décideur, comme normalement exigé par les règles de droit.
De manière significative, a fortiori pour nos fins, les mécanismes de décision par l’IA ont récemment été jugés inconstitutionnels dans le contexte d’évaluations d’enseignants par des conseils scolaires au Texas[12]. Qui plus est, exiger la « transparence », souvent invoquée comme remède dans ce contexte, ne répond pas aux préoccupations puisque le raisonnement de la machine n’est pas compréhensible dans le sens ordinaire du mot. Qui dit « pattern matching », exercé par un algorithme, ne dit pas forcément réflexion ou explication qui peut être expliquée[13]. Au contraire, cela crée un faux sentiment de sécurité et masque des préoccupations sérieuses[14]. Comme l’observent Garapon et Lassègue dans le contexte français, cela se fait « par interposition de la machine informatique, sémantiquement impénétrable » [nos italiques][15]. Surtout,
[p]ersonne ne sait ce qui se trame exactement dans les ordinateurs qui traitent de l’information parce que personne ne peut suivre pas à pas le traitement du code binaire et des milliards d’opérations qu’il exige. On peut seulement esquisser le cheminement qui va du signe parlant au caractère muet et le cheminement inverse, qui transforme le caractère muet en signe par le biais d’un assembleur. Ce processus de transformation, confié lui-même à des programmes, est totalement opaque et exige une division du travail qui le rend inaccessible à l’intuition d’un individu unique[16].
A. La justice comme une mine d’or de données
En outre, la mission des acteurs qui conçoivent et déploient l’IA est généralement de récolter et de commercialiser les données[17]. Cette finalité semble difficile à concilier avec le devoir déontologique et éthique des tribunaux de protéger les données sensibles des justiciables[18], surtout lorsque la légalité de la collecte de données, qui sous-tend le développement initial d’un algorithme, soulève des doutes importants[19].
En ce qui concerne l’IA générative, nous devons noter qu’un des objectifs principaux de la plupart des organisations dans ce secteur (en plus de la collecte des données mentionnée précédemment) est de former et de peaufiner le fonctionnement des algorithmes propriétaires mis sur le marché pour des fins commerciales. Ce raffinement se fait par le biais du forage et du moissonnage des données (« data mining » ou « scraping »), pierre angulaire d’une nouvelle économie dont la légalité est remise en question.
En vue d’améliorer l’accès à la justice et de rehausser la confiance du public en ce moment charnière du développement de ces technologies révolutionnaires, le présent texte soumet que l’adoption de l’IA doit être balisée dans le respect des impératifs constitutionnels et démocratiques, tenant compte des particularités institutionnelles et sociales propres aux tribunaux, bien au-delà des enjeux de vie privée, d’éthique, prisme traditionnel des interrogations à ce sujet. Autrement dit, le théâtre de « conformité » avec un cadre non normatif ou dépassé ne suffit pas.
Pour avancer nos réflexions communes, la vision civiliste nous inspire : tout doit partir de la loi[20]. Notamment, l’article brosse un portrait sommaire et préliminaire des risques inattendus qui découlent de la dépendance ad hoc de la justice sur les algorithmes privés et qui mettent en péril l’assise constitutionnelle des tribunaux et, donc, leur légitimité. Plus précisément, nous proposons un bref survol de trois « angles morts » que nous avons catégorisés comme suit : L’IA et la prolifération inattendue des causes/la montée des inégalités; une justice à deux vitesses ? (Partie I), Déléguer l’autorité au système ? L’extériorisation de la fonction judiciaire et le dé-agencement des juges (Partie II) et L’avènement de la timidité judiciaire/la paralysie de la jurisprudence[21] (Partie III).
Alors que la question plus étroite du « juge » a précédemment été abordée dans la littérature[22], les retombées institutionnelles et constitutionnelles d’une soumission et d’un assujettissement des cours de justice à une automatisation non balisée nécessite un examen plus approfondi. L’utilisation de l’IA dans le but de fournir ou de trier de l’information juridique est déjà une pratique sensible. Elle est, a fortiori, encore plus critique quand elle vise la prise de décisions judiciaires[23].
Les médias sociaux, présents depuis vingt ans déjà, ont eu un profond impact lorsqu’ils ont numérisé la tribune publique : les institutions démocratiques ont été bouleversées et nous vivons une polarisation sociale sans précédent. Sans aucun doute, l’opération de ces plateformes, initialement sans entrave, et leurs conséquences inattendues nous invitent à nous pencher plus sérieusement sur les questions épineuses à propos de l’IA au stade de son adoption.
I. L’IA et la prolifération inattendue des causes/la montée des inégalités; une justice à deux vitesses ?
Certes, tel que souligné ailleurs, l’essor des prédictions algorithmiques en justice soulève une interrogation primordiale en ce qui concerne l’ossification du racisme systémique : les incidents déplorables et kafkaesques prolifèrent. Quoiqu’une discussion des difficultés extraordinaires dans le contexte pénal dépasse le cadre restreint de notre analyse, notons tout simplement que la reconnaissance faciale, en particulier, crée une atmosphère de surveillance perpétuelle dans laquelle les personnes (souvent racisées) sont mal identifiées et, se trouvant généralement sans représentation adéquate, s’efforcent de démontrer leur « innocence » à la machine[24].
S’ajoute à cette ossification subtile de la discrimination une conséquence moins connue (bien qu’involontaire) du déploiement précoce de l’IA[25], notamment, l’accentuation des inégalités socio-économiques et le harcèlement technologique des moins nantis, par exemple, sous la forme de poursuites abusives. En d’autres termes il pourrait émerger une justice à deux vitesses (superior human lawyers versus inferior machines), une implémentation du « poor man’s justice ». Le recours à l’IA ne serait qu’un remède illusoire à la pénurie de ressources juridiques puisqu’il réduirait l’accès à la justice humaine des démunis. Tout simplement, sans encadrement approprié, l’efficacité de l’IA pourrait s’avérer chimérique et, dans certains cas, son utilisation même contreproductive. En effet, les inégalités et la discrimination alimentées inconsciemment par l’utilisation de l’IA en justice sont un exemple flagrant des effets pernicieux qui nous interpellent.
Plus précisément, dans le contexte socio-économique (négligé par la littérature juridique) et contrairement aux éloges faits aux technologies de l’IA quant à leur efficacité, ces dernières risquent d’avoir des retombées néfastes inattendues sur l’accès des justiciables moyens et surtout sur les plus démunis (progressivement appauvris) aux ressources juridiques dites « humaines ». Effectivement, les pauvres pourraient être relégués aux chatbots alors que leurs concitoyens, plus aisés, continueraient de se tournent vers des avocats.
De plus, il s’avère qu’un des effets inattendus et stupéfiants de l’IA, alors qu’elle est sollicitée pour désengorger le système de justice, est de multiplier, paradoxalement, les dossiers initiés par les acteurs institutionnels (institutions financières, locateurs). Ces derniers, qui jadis ne poursuivaient pas les petites causes compte tenu des coûts des procédures relativement aux montants réclamés, pourraient, dorénavant, agir contre les défendeurs compte tenu de la facilité et de la rapidité que permet l’IA. Les défendeurs pour leur part demeureront sans accès aux ressources nécessaires pour se défendre, d’autant plus qu’ils seront de plus en plus nombreux. Cela créerait plausiblement une épidémie de « self reps », de justiciables autoreprésentés. Ainsi, selon Drew Simshaw,
some fear that increased reliance on AI will lead to one or more two tiered systems: the poor might be stuck with inferior AI driven assistance; only expensive law firms might be able to effectively harness legal AI; or AI’s impact might not disrupt the status quo where only some can afford any type of legal assistance. The realization of any of these two-tiered systems would risk widening the justice gap[26].
Comme note, l’ironie est la suivante : l’IA est généralement perçue comme une « solution miracle » pour désengorger la justice. Pourtant son déploiement irréfléchie, fougueux ou encore ad hoc risque paradoxalement d’entraver l’accès à la justice[27], par exemple dans les contextes épineux de la location ou du recouvrement, qui touchent de manière disproportionnée les plus vulnérables et les plus défavorisés. Précisons : alors qu’il était historiquement trop onéreux et coûteux pour les créditeurs de présenter toutes leurs revendications de petite valeur comparativement (« mini actions ») devant les tribunaux, à l’heure actuelle, l’IA plus avancée (accessible seulement à certains) pourrait permettre aux moindres délinquances d’être désormais détectées automatiquement et instantanément déposées devant les tribunaux par l’entremise de moyens technologiques sophistiqués.
A. De minimis non curat lex ?
Par conséquent, il sera dorénavant très pratique pour les acteurs institutionnels (institutions financières, grands locateurs, etc.) de poursuivre les populations vulnérables pour les mini manquements précités. Ces défendeurs, pour leur part, ne disposent pas des moyens ou des connaissances spécialisées pour se défendre dans ce contexte (outre peut être poser leurs questions juridiques à la prochaine génération de l’IA générative (ChatGPT/GPT4))[28].
Les technologies comme l’IA générative peuvent être instrumentalisées (weaponized) par les mieux nantis contre les plus démunis afin de marginaliser davantage ces derniers. Ce phénomène est d’autant plus préoccupant dans un contexte où la justice est devenue inaccessible à la. personne moyenne. Par exemple, quoiqu’il y ait très peu de recherche sur les retombées socio-économiques du déploiement de l’IA en justice, un article prescient de Wired résume les potentiels d’écarts ainsi :
Right now, ChatGPT can generate a half-decent eviction letter, or debt collection demand, which might be all someone needs to force a default. Why should a plaintiff care if a large language model generates a defective filing, if courts won’t check and defendants don’t show?
From there, it’s easy to see how large language models can help the powerful use the legal system as a cudgel. Today, small claims debt cases. Tomorrow, aggressive and deceptive eviction tactics from corporate landlords. The next day, crowdsourced legal harassment of support networks for women who seek abortions, egged on by state bounty laws[29].
De toute évidence, « the real risk from AI in law isn’t putting lawyers out of work; it’s overloading courts with work, and sticking lawyerless defendants with the bill »[30].
II. Déléguer l’autorité au système ? L’extériorisation de la fonction judiciaire et le dé-agencement des juges
D’autre part, la justice prédictive par l’IA risque de figer la jurisprudence dans un carcan[31] qui ne correspond aucunement au modèle de l’arbre vivant et de l’interprétation contextuelle et dynamique privilégiée par la Cour suprême du Canada[32]. Ainsi, l’automatisation dont l’application des règles n’est ni nuancée ni contextuelle (mais prévisible, dans le sens qu’elle préserve le statu quo) risque de privilégier une vision conformiste du droit[33]. Pour reprendre les propos de Sartor et Branting :
[n]o simple rule-chaining or pattern matching algorithm can accurately model judicial decision making because the judiciary has the task of producing reasonable and acceptable solutions [in] an area of daunting complexity, were highly sophisticated legal expertise merges with cognitive and emotional competence[34].
Le danger, donc, est d’installer, de manière imperceptible et vraisemblablement inconstitutionnelle[35], une approche au droit qui écarte les solutions créatives, contextuelles et progressives, non alignées avec la prévisibilité visée par les algorithmes[36]. Certes, cela est bien plus problématique dans certains domaines (tel que le droit constitutionnel) que dans d’autres (comme le droit des obligations/relations contractuelles) où la prévisibilité et la stabilité pourraient l’emporter sur la fluidité… Par ailleurs, comme le note Basile Darmois,
[i]l existe enfin un « risque de performativité » voulant que les prévisions délivrées par les logiciels de JAO [justice assistée par ordinateur] en viennent à posséder, avec le temps, une valeur normative, et plus précisément une valeur normative « secondaire » en tant que ces prévisions « se [substitueraient] à la règle de droit elle-même »[37].
À ce propos, Buat-Ménard ajoute que
[l]a jurisprudence n’est pas un système clos. Autrement dit, une décision de justice n’est, et de loin, pas la résultante des seules décisions passées, mais d’une pluralité de facteurs plus ou moins bien identifiés : contexte jurisprudentiel, certes, mais aussi normatif, politique, social, professionnel, médiatique, voire affectif, climatique (juge-t-on de la même façon en période orageuse ou de canicule ?), alimentaire (juge-t-on de la même façon le ventre creux ?), familial (juge-t-on de la même façon sous le coup d’une rupture douloureuse ?), culturel, etc. Bref, tout ce qui fait que la justice est et demeurera, du moins l’espère-t-on, une oeuvre humaine[38].
Notre propos n’a pas pour objectif de peindre un portrait complet de risques abordés plus pleinement ailleurs. Pour mieux illustrer la problématique, imaginons les retombées juridiques et sociales absurdes d’une prise de décision assistée par l’IA dans un cas comme Edwards[39], où une pensée novatrice, out of the box, s’impose — alors que la « pensée » algorithmique a pour objectif l’exactitude, la conformité avec le passé — soit le traitement de cas similaires de manière presque aristotélicienne. Plutôt, nous soulignons tout simplement que de trancher Edwards en suivant le précédent, serait, bien entendu, conclure que les femmes ne sont pas des « personnes »… Mais Gavison note que la liberté de dévier du précédent permet à la jurisprudence d’avancer[40]. Comme l’a souligné l’éminent juge Nicholas Kasirer, citant le juge Sharpe :
Justice Robert Sharpe has written compellingly that the notion that judges should only “apply the law” fails to take into account the open-textured character of legal rules, judges’ role in fixing and adjusting precedent, and their mandate to ensure that legislation respects the Constitution: Sharpe, Good Judgment: Making Judicial Decisions (2018), ch. 4 and 11.
In observing the day-to-day judicial work of statutory interpretation, it seems clear that the distinction between “applying the rules” and “making law” in a constitutional democracy is one of crude legal geography at best. Outside of Quebec, the development of the common law is left to judges. Few place stock in the old idea that judges merely “declare” rules that are latent in the cases when examining the law from a new perspective to address a distinctive factual problem. While the civil law traditionally consigns “la jurisprudence” to a second-order source of law, the judicial task of interpreting broadly-cast principles in the Civil Code has a plain normative dimension. My experience suggests strongly that the theory of precedent − sometimes said to be foreign to the civil law − is closely adhered to in Quebec, ensuring coherence, certainty and stability of law in the same way, at least in its effects, as stare decisis in the common law. Quebec judges have a hand in bringing to light general principles of the civil law, not all of which are to be found in enactment, as Justice Jean Beetz wrote in Cie Immobil[i]ère Viger (1977): “Le Code civil ne contient pas tout le droit civil. Il est fondé sur des principes qui n’y sont pas tous exprimés et dont il appartient à la jurisprudence et à la doctrine d’assurer la fécondité”[41].
III. L’avènement de la timidité judiciaire/la paralysie de la jurisprudence
Un juge, il est souvent dit, doit faire preuve d’humilité et inspirer la confiance. Dans ce même sens, et dans l’optique de l’indépendance individuelle et institutionnelle, il incombe de s’attarder sur l’autorité et la légitimité des décideurs, potentiellement mise en cause par des technologies novatrices. Comme nous l’avons noté précédemment, les justiciables et le public ont le droit de savoir qui a tranché et en vertu de quelle autorité pour qu’une décision soit légitime et conforme à la règle de droit. Le déploiement de l’IA pour assister les décideurs peut être perçu comme une nomination non autorisée, illégitime comme une immixtion dans le travail du juge, voire une abdication de la fonction judiciaire[42]. L’IA privée se substitue aux magistrats sans autorisation préalable.
Par ailleurs, le système accusatoire (adversarial system) privilégie particulièrement le rôle des parties. Le litige est conçu comme un affrontement contradictoire et l’habileté du juge de se livrer à des recherches indépendantes est donc limitée puisqu’il ou elle doit se tenir aux preuves et aux arguments soumis par les parties[43]. De ce fait, les suggestions proposées par l’IA par exemple présentent d’importantes lacunes et risquent d’empiéter sur ces principes fondamentaux.
A. Droit comparé
La crainte que la machine motivera ou contraindra la conformité et sabotera l’indépendance de la magistrature est particulièrement préoccupante à la lumière de l’étude de Stern et al. sur l’automatisation de la justice en Chine. Cette étude souligne le danger du dé-agencement (« de agency ») ou l’érosion de l’autonomie, de l’autorité et de la confiance des magistrats en leurs propres habiletés[44] :
Additionally, from an institutional and constitutional perspective, unfettered judicial reliance on AI Risks alienating judges from ease in decision making (de agency) and critical thinking that allows for progressive adjudication in line with a purposive, living tree view of the constitution[45].
Au-delà de l’ironie de la standardisation dans un monde de personnalisation, leur étude note une « diminished judicial authority » dans un contexte, où, comme le note Harari, la confiance du public en la démocratie sur l’échelle globale est en déclin. Le phénomène du « transfert d’autorité » aux technologies de l’IA y contribue :
In the second decade of the 21st century, liberalism has begun to lose credibility. Questions about the ability of liberal democracy to provide for the middle class have grown louder; politics have grown more tribal; and in more and more countries, leaders are showing a penchant for demagoguery and autocracy. The causes of this political shift are complex, but they appear to be intertwined with current technological developments. The technology that favored democracy is changing, and as artificial intelligence develops, it might change further[46].
Lyria Bennett Moses fait écho de cette crainte dans un contexte australien :
Over time, deference to algorithms may weaken the decision-making capacity of government officials along with their sense of engagement and agency. The “de-skilling” of human beings through automation has become a widely studied phenomenon, and it will undoubtedly spread to public administration. Ethicists have also examined how computer systems can undermine a person’s sense of her own moral agency. When “human users are placed largely in mechanical roles, either mentally or physically,” and “have little understanding of the larger purpose or meaning of their actions [...] human dignity is eroded, and individuals may consider themselves to be largely unaccountable for the consequences of their computer use.” The same can be said more specifically about predictive algorithms and the government officials who use them. For example, police personnel who are instructed by algorithms exactly where and how to patrol may lose their own awareness of crime risks and be unable to responsibly deviate from the algorithm’s instructions[47].
B. Disproportion entre les connaissances techniques des secteurs public et privé
Par ailleurs, dans le contexte particulier de la justice, le déséquilibre entre les connaissances techniques et technologiques des acteurs sophistiqués (les plateformes, comme OpenAI, etc.) et celles des magistrats, à l’instar de la plupart des acteurs gouvernementaux (comparativement) suscite de vives préoccupations quant au « dé-agencement des juges », phénomène documenté en droit comparé[48]. Autrement dit, « [i]l y aurait donc, tout d’abord, un risque de “rabattement de l’expérience” ou un risque voulant que les compétences informatiques viennent atrophier, voire remplacer les compétences juridiques[49]» Comme le note Amanda Clarke dans le contexte plus large de la « sous-traitance » du secteur public,
as we’re outsourcing our thinking on digital and data use and technology to the private sector, we’re removing it from that public sector’s accountability piece. It can infringe on the ability to do public engagement or keep the public informed? A lot of transparency is lost, the more you externalize policy work to these private players[50].
Conclusion
Devant des pressions croissantes visant à automatiser la prise de décisions judiciaires, cet article s’est attardé sur les angles morts de l’IA en justice; des retombées institutionnelles et sociales de ces pratiques émergentes. L’analyse précédente souligne notamment le risque d’abdication de la fonction judiciaire et de passivité du magistrat devant l’algorithme. Autrement dit, les périls de se remettre au jugement de l’IA en tant que « partenaire » invisible, quoique non autorisé dans la prise de décision conséquentielle (le phénomène de de-agency ou la perte de confiance/remise en question de soi des juges alimentés par la posture confiante de l’IA génératrice — même quand cette dernière hallucine[51]). De manière significative, comme Stern et al. le notent, « l’intérêt croissant pour la gouvernance algorithmique et les assauts mondiaux contre l’autorité judiciaire pourraient être interreliés » [notre traduction][52].
Par ailleurs, et tel que noté, l’utilisation de l’IA en justice risque d’avoir des effets sur l’accès inattendus et paradoxaux tels que de multiplier les petites causes contre les démunis non représentés et de figer la jurisprudence dans un carcan de « probabilités » statistiques, faisant abstraction des besoins individuels et faveur de les aligner avec des statistiques rigides. Comme le notent Misuraca et Viscusi dans un contexte plus général, les devoirs du secteur public envers le public ne s’alignent pas toujours avec la mission de profit du secteur privé. A fortiori pour la justice et son statut indépendant[53]. Quoi de mieux que des données recueillies en justice (tant détaillées, nombreuses et sensibles) pour satisfaire cet appétit vorace[54] ?
Or, la formation d’algorithmes commerciaux à partir des données, souvent sensibles, récoltées des justiciables risque de contribuer insidieusement à l’érosion de la confiance du public lorsque les risques (réputationnels et autres) de telles pratiques feront éventuellement surface[55]. Comme avec les médias sociaux et la désinformation, une prise de conscience du « côté sombre » de ces « cadeaux » ne tardera pas.
Appendices
Notes
-
[1]
Voir Stephen Cave, « To save us from a Kafkaesque future, we must democratise AI », The Guardian (4 janvier 2019), en ligne : <theguardian.com> [perma.cc/YAW7-A3LQ].
-
[2]
Parmi ces nombreux changements propulsés par l’urgence sanitaire, on peut citer la tenue d’audiences à distance sur des plateformes comme Zoom, l’entreposage de données dans le nuage, l’emploi de systèmes de gestion de cas comme NIMBUS, l’organisation de procès dans le métavers, l’utilisation de ChatGPT ou des prises de décision assistées par l’IA, voir Jérémy Boulanger-Bonnelly, « Public Access to Online Hearings » (2022) 45:2 Dal LJ 303 à la p 304. Voir aussi Association du Barreau canadien, Point de non-retour : Rapport du groupe de travail de l’ABC sur les enjeux juridiques liés à la COVID-19, 2021 à la p 8, en ligne (pdf) : <cba.org> [perma.cc/WL2E-3NLY].
-
[3]
Voir par ex Louis-Samuel Perron, « Y a pas de personnel! », La Presse [de Montréal] (24 novembre 2022), en ligne : <lapresse.ca> [perma.cc/AHZ2-ST48].
-
[4]
The practice of feigning ethical consideration to improve how a person or organization is perceived (Moshe Vardy, « Ethics Washing in AI » (22 juin 2022), en ligne (vidéo) : <youtube.com> [perma.cc/S6NM-7RGS]. Le blanchiment éthique, « ethics washing » ou « ethics theatre » est également défini comme
the practice of fabricating or exaggerating a company’s interest in equitable AI systems that work for everyone. An example is when a company promotes ‘‘AI for good’’ initiatives with one hand, while selling surveillance tech to governments and corporate customers with the other [...]. I will argue that the ethical lens is too narrow. The real issue is how to deal with technology’s impact on society. Technology is driving the future, but who is doing the steering?
University of Utah, « Making the case for artificial intelligence: What risks to society go hand in hand with speed and convenience » (16 septembre 2021), en ligne : <attheu.utah.edu> [perma.cc/B677-GH9H] -
[5]
Giovanni Sartor, « Artificial intelligence and human rights: Between law and ethics » (2020) 27:6 MJECL 705 aux pp 718–19.
-
[6]
Karen Eltis et Fabien Gélinas, « Judicial Independence and the Politics of Depoliticization » (2009) 2 aux pp 2–3, en ligne : <ssrn.com> [perma.cc/99XF-DWEB].
-
[7]
L’idéal du juge empathique, éclairé, risque de céder la place au « pilotage automatique » par des « machines entourées d’hommes », de moins en moins autonomes, visant le profit. Voir Éric Martin, « Chat GPT et l’enseignement de l’ignorance », Le Devoir [de Montréal] (21 décembre 2022), en ligne : <ledevoir.com> [perma.cc/9KYR-EJWS].
-
[8]
Kiran Stacey, « UK Officials Use AI to Decide on Issues from Benefits to Marriage Licenses », The Guardian (23 octobre 2023), en ligne : <theguardian.com> [perma.cc/H63H-6QE3]. Voir aussi Kennedy Sessions, « Texas judge temporarily halts new Houston ISD teacher evaluation system », Chron. (31 août 2023), en ligne : <chron.com> [perma.cc/U3M6-X3VG]. Voir aussi Houston Federation of Teachers, Local 2415 et al v Houston Independent School District, 251 F (3d) 1168 (SD Tex 2017) (Stephen Wm. Smith, Juge Magistrate).
-
[9]
Jess Weatherbed, « The New York Times Prohibits Using its Content to Train AI Models », The Verge (14 août 2023), en ligne : <theverge.com> [perma.cc/9Z2N-HDXK].
-
[10]
Uniquement en raison de l’efficacité qu’on estime qu’ils ont, ces algorithmes semblent incontournables devant une pénurie de ressources inquiétante.
-
[11]
Voir Ben Green et Amba Kak, « The False Comfort of Human Oversight as an Antidote to A.I. Harm », Slate (15 juin 2021), en ligne : <slate.com> [perma.cc/SLL4-5WV4]. D’autres auteurs ajoutent que
whether they admit it or not, AI’s creators are themselves geopolitical actors, and their sovereignty over AI further entrenches the emerging “technopolar” order—one in which technology companies wield the kind of power in their domains once reserved for nation-states. For the past decade, big technology firms have effectively become independent, sovereign actors in the digital realms they have created. AI accelerates this trend and extends it far beyond the digital world. The technology’s complexity and the speed of its advancement will make it almost impossible for governments to make relevant rules at a reasonable pace […]. The challenge is clear: to design a new governance framework fit for this unique technology
Ian Bremmer et Mustafa Suleyman, « The AI Power Paradox: Can States Learn to Govern Artificial Intelligence–Before It’s Too Late? », Foreign Affairs (16 août 2023), en ligne : <foreignaffairs.com> [perma.cc/5948-87TY] -
[12]
Shelby Webb, « Houston Teachers Pursue Lawsuit over Secret Evaluation System », The Houston Chronicle (11 mai 2017), en ligne : <houstonchronicle.com> [perma.cc/ 2GDB-CR8X].
-
[13]
Elena Esposito, « Does Explainability Require Transparency? » (2022) 16:3 Sociologica 17 à la p 18, en ligne : <sociologica.unibo.it> [perma.cc/GGY4-LKDP].
-
[14]
Green et Kak, supra note 11.
-
[15]
Basile Darmois, « Justice digitale et les risques de la “justice prédictive” » dans Samuel Benisty, dir, Varia Autour de Justice Digitale, Aix-en-Provence, Presses universitaires d’Aix-Marseille, 2021, 45 à la p 45, en ligne : <books.openedition.org> [perma.cc/HW4C-SYKU], citant Antoine Garapon et Jean Lassègue, Justice digitale : révolution graphique et rupture anthropologique, Paris, Presses Universitaires de France, 2018 à la p 43.
-
[16]
Garapon et Lassègue, supra note 15.
-
[17]
Ce que Shoshana Zuboff a baptisé le « capitalisme de surveillance », voir The Age of Surveillance Capitalism : The Fight for a Human Future at the New Frontier of Power, New York, PublicAffairs, 2019 à la p 21. Zuboff définit le capitalisme de surveillance comme « the unilateral claiming of private human experience as free raw material for translation into behavioral data. These data are then computed and packaged as prediction products and sold into behavioral futures markets — business customers with a commercial interest in knowing what we will do now, soon, and later » (John Laidler, « High tech is watching you », The Harvard Gazette (4 mars 2019), en ligne : <news.harvard.edu> [perma.cc/DB47-D9LP].
-
[18]
Voir par ex Sherman (Succession) c Donovan, 2021 CSC 25 au para 33. Voir aussi Karen Eltis, Courts, Litigants and the Digital Age, 2e éd, Toronto, Irwin Law, 2016 au ch 3 [Eltis, Courts, Litigants].
-
[19]
Le texte du RGPD souligne d’ailleurs les enjeux liés à la légitimité de la prise de décisions automatisée et le droit de ne pas faire l’objet de telles décisions :
La personne concernée a le droit de s’opposer à tout moment, pour des raisons tenant à sa situation particulière, à un traitement des données à caractère personnel la concernant fondé sur l’article 6, paragraphe 1, point e) ou f), y compris un profilage fondé sur ces dispositions. Le responsable du traitement ne traite plus les données à caractère personnel, à moins qu’il ne démontre qu’il existe des motifs légitimes et impérieux pour le traitement qui prévalent sur les intérêts et les droits et libertés de la personne concernée, ou pour la constatation, l’exercice ou la défense de droits en justice. [...]
La personne concernée a le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l’affectant de manière significative de façon similaire
UE, Règlement 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données), [2016] JO, L 119/1, arts 21, 22(1) [RGPD] -
[20]
Voir généralement Jean Leclair, « Le Code civil des Français de 1804 : une transaction entre révolution et réaction » (2022) 36 RJTM 3.
-
[21]
Tania Sourdin, Judges, Technology and Artificial Intelligence, Cheltenham, Edward Elgar, 2021 à la p 26; Alon Harel et Gadi Perl, « Can AI-Based Decisions be Genuinely Public? On the Limits of Using AI-Algorithms in Public Institutions » (2024) 6 Jus Cogens 47.
-
[22]
Voir par ex Ian Kerr et Carissima Mathen, « Chief Justice John Roberts is a Robot » (2019) Université d’Ottawa, Document de travail, en ligne : <ssrn.com> [perma.cc/M6SN-NSNY].
-
[23]
Theo Araujo et al, « In AI we trust? Perceptions about automated decision-making by artificial intelligence » (2020) 35 AI & Soc 611.
-
[24]
Ce phénomène outrant a, entre autres, été étudié par Eyal Press, voir « Does AI Lead Police to Ignore Contradictory Evidence? », The New Yorker (13 novembre 2023), en ligne : <newyorker.com> [perma.cc/JS88-ZFAZ].
-
[25]
Le New York Times note l’exemple suivant :
The ordeal started with an automated facial recognition search, according to an investigator’s report from the Detroit Police Department. Ms. Woodruff is the sixth person to report being falsely accused of a crime as a result of facial recognition technology used by police to match an unknown offender’s face to a photo in a database. All six people have been Black; Ms. Woodruff is the first woman to report it happening to her
voir Kashmir Hill, « Eight Months Pregnant and Arrested after Facial Recognition Match », The New York Times (6 août 2023), en ligne : <nytimes.com> [perma.cc/S3RH-MFC8]Porcha Woodruff, identifiée de façon erronée, poursuit maintenant le service de police et allègue que leur système de reconnaissance facial a un historique de fausses identifications de personnes racisées, voir Kelly Kasulis Cho, « Woman sues Detroit after facial recognition mistakes her for crime suspect », The Washington Post (7 août 2023), en ligne : <washingtonpost.com> [perma.cc/H9LD-WAWZ].
-
[26]
« Access to A.I. Justice: Avoiding an Inequitable Two-Tiered System of Legal Services » (2022) 24 Yale JL & Tech 150 aux pp 170−71. Un système de justice à deux vitesses serait effectivement créé :
Canadians who represent themselves in court might soon be able to employ artificial intelligence to improve their chances of success by using it to sift through court cases, draft documents and recommend next steps. But experts are raising legal and ethical concerns, saying the tools may perpetuate bias and further stratify Canada’s wealthy and poor
Irene Galea, « AI might soon help people who represent themselves in court, despite ethical concerns », The Globe and Mail (dernière modification le 8 août 2023), en ligne : <theglobeandmail.com> [perma.cc/W8V3-KJCR] -
[27]
« They [les outils d’IA] tend to punish the poor [...] they are engineered to evaluate large numbers of people. They specialize in bulk, and they’re cheap. [...] The privileged, we’ll see time and again, are processed more by people, the masses by machines » (Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York, Crown, 2016 à la p 8).
-
[28]
Press, supra note 24.
-
[29]
Keith Porcaro, « Robot Lawyers are About to Flood the Courts », Wired (13 avril 2023), en ligne : <wired.com> [perma.cc/T43Q-HHZU]. Simons et Frankel font également le constat suivant :
When, for example, computer scientists and policy makers used machine learning to more efficiently respond to domestic child abuse complaints, they found themselves inadvertently relying on data that reflected decades of prejudicial policing. There is no neutral way to build a predictive tool
Josh Simons et Eli Frankel, « Why democracy belongs in artificial intelligence » (21 février 2023), Princeton University Press, en ligne : <press.princeton.edu> [perma.cc/ZGG2-VLJ8] -
[30]
Porcaro, supra note 29.
-
[31]
Pour un regard plus approfondi sur la question de l’évolution de la jurisprudence, voir Kerr et Mathen, supra note 22. Enfin, un risque subsidiaire identifié par Jean Lassègue et Antoine Garapon est celui d’une :
« raréfaction des jugements », ou de ce que par un excès de confiance accordée aux prévisions statistiques délivrées par les JAO, la saisine des tribunaux se fasse plus rare. Si les justiciables et leurs conseils, pour décider de la saisine d’un tribunal, vont sans aucun doute tenir compte de la prévision statistique voulant qu’une décision de justice favorable leur soit rendue, on peut croire que des prévisions statistiques défavorables les persuadent, à l’inverse, de ne pas emprunter la voie judiciaire. Le même déterminisme comportemental laisse craindre un sous-emploi des voies de recours
Darmois, supra note 15 aux pp 48−49 -
[32]
Andrew Perlman, « The Implications of ChatGPT for Legal Services and Society », The Practice (mars 2023), en ligne : <clp.law.harvard.edu> [perma.cc/FF8L-NNXS].
-
[33]
Harel et Perl, supra note 21.
-
[34]
Giovanni Sartor et Karl Branting, « Introduction Judicial Applications of Artificial Intelligence » (1998) 6:2-4 Artificial Intelligence and Law 105.
-
[35]
Karen Eltis, « L’indépendance judiciaire et les entreprises dépositaires d’outils numériques : un appel à examiner la dépendance à l’égard des plateformes privées comme des ‘‘infrastructures essentielles’’ » dans Céline Castets-Renard et Jessica Eynard, dir, Un droit de l’intelligence artificielle : entre règles sectorielles et régime général, Bruxelles, Bruylant, 2023, 161 aux pp 165−66.
-
[36]
Barre c Canada (Citoyenneté et Immigration), 2022 CF 1078. Voir aussi Paul Daly, « Accountable Automated Decision-making: Some Challenges » (15 mai 2023), en ligne (blogue) : <administrativelawmatters.com> [perma.cc/9D4X-G6AF] (« Go J ’s alleged use of facial recognition software. This was particularly problematic because of the reliance on software liable to misidentify women of colour »).
-
[37]
Supra, note 15 au para 13.
-
[38]
Ibid à la n 47, citant Eloi Buat-Ménard « La justice dite “prédictive” : prérequis, risques et attentes – l’expérience française » (2019) 2 Les Cahiers de la justice 269.
-
[39]
Edwards v Canada (PG), [1930] 1 DLR à la p 98, CanLII 438 à la p 98 (UK JCPC).
-
[40]
Roland Case, « Theorizing about Law » (1993) 6:1 Can JL & Jur 113, citant Ruth Gavison, Issues in Contemporary Legal Philosophy: The Influence of H.L.A. Hart, Oxford, Clarendon Press, 1989.
-
[41]
Commissariat à la magistrature fédérale Canada, Le questionnaire de l’honorable Nicholas Kasirer, Ottawa, à la partie 10(3), en ligne : <fja.gc.ca> [perma.cc/QEA2-SGAE].
-
[42]
« In a first, Punjab and Haryana high court uses Chat GPT to decide bail plea », The Times of India (28 mars 2023), en ligne : <timesofindia.indiatimes.com> [perma.cc/ 4A7U-HEXM].
-
[43]
Stephen Goldstein, « The Odd Couple: Common Law Procedure and Civilian Substantive Law » (2003) 78:1-2 Tul L Rev 291 à la p 293. Pour une exploration plus détaillée, voir « A Commonwealth Guide to Case Management Identifying Opportunities: Challenges and Best Practice from Member Countries », Londres (R-U), Commonwealth Secretariat 2024, en ligne (pdf) : <thecommonwealth.org> [perma.cc/YZ97-VMAR].
-
[44]
Rachel E Stern et al, « Automating Fairness? Artificial Intelligence in the Chinese Courts » (2021) 59:3 Colum J Transnat’l L 515 à la p 527. Voir aussi Sourdin, supra note 20 aux pp 212–13, citant Michael Kirby, « The Future of Courts: Do They Have One? » (1999) 8 J of Judicial Admin 185 (« the right to see a judicial decision-maker struggling conscientiously, in public, with the details of a case is a feature of the court system which cannot be abandoned, at least without risk to the acceptance by the people of courts as part of their form of governance » à la p 188). En outre, d’un point de vue institutionnel et constitutionnel, une dépendance judiciaire illimitée à l’égard de l’IA risque d’aliéner les juges, de les empêcher de prendre des décisions (dé-agencement des juges) et d’affecter leur habileté à réfléchir de manière critique. Ces éléments sont cependant clés au développement d’une jurisprudence évolutive, conformément à une vision ciblée et vivante de la constitution.
-
[45]
Voir Stern et al, supra note 44 à la p 527; Sourdin, supra note 21 à la p 212.
-
[46]
Yuval Noah Harari, « Why Technology Favors Tyranny », The Atlantic (15 octobre 2018), en ligne : <theatlantic.com> [perma.cc/MT2H-YGL9].
-
[47]
Robert Brauneis et Ellen P Goodman, « Algorithmic Transparency for the Smart City » (2018) 20 Yale JL & Tech 103 à la p 127.
-
[48]
Stern et al, supra note 44 à la p 527.
-
[49]
Darmois, supra note 15.
-
[50]
Amanda Clarke, Opening the Government of Canada: The Federal Bureaucracy in the Digital Age, Vancouver, UBC Press, 2019.
-
[51]
Perlman, supra note 32.
-
[52]
Stern et al, supra note 44 à la p 516.
-
[53]
Selon Gianluca Misuraca et Gianluigi Viscusi, « the public sector’s duties towards the citizens are at odds with those of the profit maximizing private sector » (« AI-enabled Innovation in the Public Sector: A Framework for Digital Governance and Resilience » dans 19th International Conference on Electronic Government (EGOV), Linköping, 2020 à la p 110).
-
[54]
Voir Eltis, Courts, Litigants, supra note 18 à la p 84.
-
[55]
Voir par ex l’enquête de Julia Angwin et la série d’articles publiée sur le sujet par le Wall Street Journal, « What They Know », en ligne : <wsj.com> [perma.cc/5AXM-XLYP]. Voir aussi AI Safety Summit, The Bletchley Declaration by Countries Attending the AI Safety Summit, 1-2 November 2023 (dernière mise à jour le 13 février 2025), en ligne : <gov.uk> [perma.cc/D4EU-PZM7].