EN:

Artificial intelligence (AI) is variably identified as “job killer,” as “inhuman,” as “unpredictable” and “ungovernable,” but also as the greatest technological innovation in generations. Lawyers struggle with AI across a host of legal fields, including consumer protection, constitutional, employment, administrative, criminal, and refugee law. While AI is commonly discussed as a question of technological progress, its core challenge is a political one. As AI is used as a tool to review employment recruitment files, assess loan, mortgage, or visa applications and to collect and process data of “suspicious” actors, it deepens existing inequalities and socio-economic vulnerability. Given the rapidly expanding reach of AI into most facets of social, economic, and political life, AI shapes people’s access to democratic life in an unprecedented and increasingly precarious manner. Efforts to address its promises and perils through a lens of “AI ethics” can therefore hardly capture the scope of challenges which arise from AI. Seen from a historical perspective, then, AI accentuates and reinforces trends of inequality, social alienation, and political volatility which began long before AI’s implications in society’s daily lives.

FR:

L’intelligence artificielle (IA) est perçue à la fois comme « tueuse d’emplois », comme « inhumaine », « imprévisible » et « ingouvernable », mais aussi comme la plus grande innovation technologique depuis des générations. Des juristes confrontent l’IA à travers une multitude de domaines juridiques, allant de la protection des consommateurs au droit constitutionnel, droit du travail, droit administratif, pénal et des réfugiés. Pendant que l’IA est considérée sous l’angle technologique, son principal défi est d’ordre politique. Utilisée pour le recrutement, l’octroi de prêts, d’hypothèques ou de visas, ainsi que pour la surveillance, elle aggrave les inégalités existantes et accroît la vulnérabilité socio-économique. Compte tenu de la portée croissante de l’IA dans différents aspects de la vie sociale, économique et politique, l’IA façonne l’accès des citoyens à la vie démocratique d’une manière sans précédent et de plus en plus précaire. Les réponses axées sur « l’éthique de l’IA » peinent ainsi à saisir l’ampleur des enjeux qu’elle soulève. D’un point de vue historique, l’IA accentue et renforce les tendances à l’inégalité, à l’aliénation sociale et à l’instabilité politique qui ont commencé bien avant que l’IA n’intervienne dans la vie quotidienne de la société.

EN:

This article explores the evolution of Canadian criminal and civil responses to non-consensual synthetic intimate image creation and distribution. In recent years, the increasing accessibility of this type of technology, sometimes called deepfakes, has led to the proliferation of non-consensually created and distributed synthetic sexual images of both adults and minors. This is a form of image-based sexual abuse that law makers have sought to address through criminal child pornography laws and non-consensual distribution of intimate image provisions, as well as provincial civil intimate image legislation. Depending on the province a person resides in and the age of the person in the image, they may or may not have protection under existing laws. This article reviews the various language used to describe what is considered an intimate image, ranging from definitions seemingly limited to authentic intimate images to altered images and images that falsely present the person in a reasonably convincing manner.

FR:

Cet article explore l’évolution des réponses pénales et civiles canadiennes à la création et à la distribution d’images intimes synthétiques non consensuelles. Ces dernières années, l’accessibilité croissante de ce type de technologie, parfois appelée « deepfakes », a conduit à la prolifération d’images sexuelles synthétiques d’adultes et de mineurs créées et distribuées sans consentement. Il s’agit d’une forme d’abus sexuel par l’image que les législateurs ont cherché à combattre en adoptant des lois pénales sur la pornographie juvénile et des dispositions sur la distribution non consensuelle d’images intimes, ainsi que des lois civiles provinciales sur les images intimes. Selon la province dans laquelle une personne réside et l’âge de la personne figurant sur l’image, elle peut ou non bénéficier d’une protection en vertu des lois existantes. Cet article passe en revue les différents termes utilisés pour décrire ce qui est considéré comme une image intime, allant de définitions apparemment limitées à des images intimes authentiques à des images modifiées et à des images qui présentent faussement la personne d’une manière raisonnablement convaincante.

EN:

This article examines responsible AI as a public law-like movement that seeks to (self)regulate the design and use of AI systems. Using socio-legal methods, and the Montréal Declaration for a Responsible Development of Artificial Intelligence as an illustrate example, it explores responsible AI’s upshots for digital government. Responsible AI initiatives, this article argues, rely on two binary distinctions: (1) between artificial and natural intelligence, and (2) between the future and present/past effects of AI systems. These conceptual binaries “bind” such initiatives to an impoverished understanding of what AI systems are, how they operate, and how they might be governed. To realize justice and fairness, especially in digital government, responsible AI projects must reconceive of AI systems and their regulation infrastructurally and agonistically.

FR:

Cet article examine l’IA responsable comme un mouvement de type droit public qui cherche à (auto)réglementer la conception et l’utilisation des systèmes d’IA. En utilisant des méthodes socio-juridiques et la Déclaration de Montréal pour un développement responsable de l’intelligence artificielle comme exemple illustratif, il explore les retombées de l’IA responsable pour le gouvernement numérique. Selon cet article, les initiatives en matière d’IA responsable reposent sur deux distinctions binaires : (1) entre l’intelligence artificielle et l’intelligence naturelle, et (2) entre les effets futurs et présents/passés des systèmes d’IA. Ces binaires conceptuels « lient » de telles initiatives à une compréhension appauvrie de ce que sont les systèmes d’IA, de leur fonctionnement et de la manière dont ils pourraient être gouvernés. Pour réaliser la justice et l’équité, en particulier dans le gouvernement numérique, les projets d’IA responsables doivent reconcevoir les systèmes d’IA et leur réglementation de manière infrastructurelle et agonistique.

EN:

Despite its purported neutrality, AI-based facial recognition technology (FRT) exhibits significant racial bias. This paper critically examines the integration of FRT within the Canadian immigration system. The paper begins with an exploration of the historical evolution of AI in border control—once rooted in physical barriers—which now relies on biometric surveillance that risks replicating historical patterns of racial discrimination.

The paper further contextualizes these issues within the broader discourse of algorithmic racism, highlighting the risks of embedding historical racial injustices into AI-powered immigration systems. Drawing a parallel between FRT and Jim Crow laws that segregated and marginalized Black communities in the United States, it argues that biased FRT systems function as a modern mechanism of racial exclusion, risk denying Black and racialized immigrants access to refugee protection, and exacerbating deportation risks. It warns against the normalization of AI use in immigration decision-making without proper oversight, transparency, and regulatory safeguards.

The paper concludes by calling for enhanced government transparency and adherence to procedural fairness in the deployment of FRT within the Canadian immigration system. It further advocates for a “technological civil rights movement” to ensure that AI technologies, including FRT, uphold human rights and promote equity rather than perpetuate systemic racism.

FR:

Malgré sa neutralité prétendue, la technologie de reconnaissance faciale (TRF) alimentée par l’intelligence artificielle (IA) fait preuve de préjugés raciaux importants. Cet article examine critiquement l’intégration de la TRF dans le système d’immigration Canadien. Il commence avec une exploration de l’évolution historique de l’IA dans le contrôle des frontières — autrefois ancré dans les barrières physiques — qui se repose désormais sur la surveillance biométrique qui risque de reproduire les schémas historiques de la discrimination raciale.

L’article discute davantage ces questions dans le contexte plus étendu du racisme algorithmique, en soulignant les risques d’intégration des injustices raciales historiques dans les systèmes d’immigration alimentés par l’IA. En établissant un parallèle entre la TRF et les lois Jim Crow qui ségréguaient et marginalisaient les communautés noires aux États-Unis, cet article affirme que les systèmes de TRF biaisés fonctionnent comme un mécanisme moderne d’exclusion raciale qui risquent de priver les immigrants noirs et racialisés d’accès à la protection des réfugiés et d’exacerber les risques d’expulsion. Il met en garde contre la normalisation de l’utilisation de l’IA dans la prise de décision en matière d’immigration sans surveillance, transparence et garanties réglementaires adéquates.

L’article se conclut en faisant appel à une plus grande transparence gouvernementale et au respect de l’équité procédurale dans le déploiement du TRF au sein du système d’immigration Canadien. Il préconise en outre un « mouvement technologique des droits civiques » afin de s’assurer que les technologies de l’IA, y compris la TRF, respectent les droits de l’homme et favorisent l’équité au lieu de perpétuer le racisme systémique.

EN:

In 1997, the Supreme Court of Canada rendered a split decision in a case in which the central issue was whether an African Nova Scotian judge who had brought her lived experience to bear in a decision involving a confrontation between a black youth and a white police officer had demonstrated a reasonable apprehension of bias. The case, with its multiple opinions across three courts, teaches us that identifying bias in decision-making is a complex and often fraught exercise.

Automated decision systems are poised to dramatically increase in use across a broad range of contexts. They have already been deployed in immigration and refugee determination, benefits allocation, and in assessing recidivism risk. There is also a growing use of AI-assistance in human decision-making that deserves scrutiny. For example, generative AI systems may introduce dangerous unknowns when it comes to the source and quality of briefing materials that are generated to inform decision-makers. Bias and discrimination have been identified as key issues in automated decision-making, and various solutions have been proposed to prevent, monitor, and correct potential issues of bias. This paper uses R. v. R.D.S. as a starting point to consider the issues of bias and discrimination in automated decision-making processes, and to evaluate whether the measures proposed to address bias and discrimination are likely to be effective. The fact that R. v. R.D.S. does not come from a decisional context in which we currently use AI does not mean that it cannot teach us—not just about bias itself—but perhaps more importantly about how we think about and process issues of bias.

FR:

En 1997, la Cour suprême du Canada a rendu une décision partagée dans un dossier où la question principale était de déterminer si une juge afro-néo-écossaise avait fait preuve d’une crainte raisonnable de biais en valorisant son expérience vécue pour rendre une décision. L’affaire dans laquelle la juge tranchait concernait une confrontation entre un jeune noir et un policier blanc. Ce dossier, et ses plusieurs opinions à travers trois tribunaux, nous enseigne que l’identification du biais dans la prise de décision est une tâche complexe et souvent difficile.

Les systèmes de décision automatisés — qu’ils soient entièrement automatisés ou assistés par l’intelligence artificielle (IA) — sont placés à être utilisés d’avantage à travers plusieurs contextes. Des systèmes de décision automatisés ont déjà été déployés dans les domaines de l’immigration et de la détermination du statut de réfugié, de l’attribution des bénéfices et de l’évaluation du risque de récidivisme. L’utilisation croissante d’assistance de l’IA dans la prise de décision humaine mérite également d’être examinée de près. Par exemple, l’origine et la qualité des rapports produits par des systèmes d’IA générative qu’utilisent les décideurs peuvent introduire des erreurs dangereuses. Le biais et la discrimination ont été identifiées comme des problèmes clés dans la prise de décision automatisée, et plusieurs solutions ont été proposées pour éviter, surveiller et corriger des potentiels problèmes de biais. Cet article utilise l’affaire R. c. R.D.S. comme point de départ pour examiner les questions de biais et de discrimination dans les processus de prise de décision automatisée et pour évaluer si les mesures proposées sont susceptibles d’être efficaces. Le fait que l’affaire R. c. R.D.S. n’est pas issue d’un contexte décisionnel dans lequel nous utilisons l’IA ne signifie pas qu’elle ne peut pas nous apprendre - non seulement sur le biais — mais peut-être plus importamment, comment nous envisageons et traitons les questions de biais.

EN:

As much attention is turned to regulating AI systems to minimize the risk of harm, including the one caused by discriminatory biased outputs, a better understanding of how commercial practices may contravene anti-discrimination law is critical. This article investigates the instances in which algorithmic price personalization, (i.e., setting prices based on consumers’ personal information with the objective of getting as close as possible to their maximum willingness to pay (APP)), may violate anti-discrimination law. It analyses cases whereby APP could constitute prima facie discrimination, while acknowledging the difficulty to detect this commercial practice. It discusses why certain commercial practice differentiations, even on prohibited grounds, do not necessarily lead to prima facie discrimination, offering a more nuanced account of the application of anti-discrimination law to APP. However once prima facie discrimination is established, APP will not be easily exempted under a bona fide requirement, given APP’s lack of a legitimate business purpose under the stringent test of anti-discrimination law, consistent with its quasi-constitutional status. This article bridges traditional anti-discrimination law with emerging AI governance regulation. Pointing to identified gaps in anti-discrimination law, it analyses how AI governance regulation could enhance anti-discrimination law and improve compliance.

FR:

À l’heure où l’on s’affaire à réglementer les systèmes de l’IA afin de minimiser les risques, y compris ceux causés par des résultats biaisés et discriminatoires, il est essentiel de mieux comprendre comment certaines pratiques commerciales pourraient violer les lois anti-discrimination. Cet article examine les cas où la personnalisation algorithmique des prix, c’est-à-dire la fixation des prix en fonction des renseignements personnels des consommateurs dans le but de se rapprocher le plus possible de leur volonté de payer maximale (APP), pourrait violer les lois canadiennes anti-discrimination. Il analyse les cas dans lesquels le APP pourrait constituer une discrimination prima facie, tout en reconnaissant la difficulté de détecter cette pratique commerciale. Il discute des raisons pour lesquelles certaines différenciations de pratiques commerciales, même pour des motifs interdits, ne conduisent pas nécessairement à une discrimination prima facie, offrant ainsi une analyse plus nuancée de l’application de la loi anti-discrimination à l’APP. Cependant, une fois la discrimination prima facie établie, le APP ne sera pas facilement exempté en vertu d’une exigence bona fide, étant donné l’absence d’objectif commercial légitime de l’APP et en vertu du test rigoureux de la loi anti-discrimination, en accord avec son statut quasi-constitutionnel. Cet article fait le lien entre le droit anti-discrimination traditionnel et la réglementation émergente en matière de gouvernance de l’IA. En soulignant les lacunes identifiées dans le droit anti-discrimination, il analyse comment la réglementation de la gouvernance de l’IA pourrait renforcer le droit anti-discrimination et en améliorer la conformité.

FR:

L’écosystème dans lequel les tribunaux opèrent a évolué de manière particulièrement brusque depuis 2020, passant d’une culture privilégiant le « format papier » à un « mariage de convenance » non balisé avec des intermédiaires privés, sur lequel la justice dépend en tant qu’infrastructure essentielle. Ainsi, les tribunaux, institutions démocratiques, se livrent spontanément à des partenariats non encadrés avec des compagnies multinationales, dont la mission est de commercialiser les données. Ceci, devant une pénurie de ressources et des pressions croissantes de désengorger les cours de justice.

Sans aucun doute, l’essor des prédictions algorithmiques en justice soulève une préoccupation primordiale en ce qui concerne l’indépendance judiciaire, l’ossification du racisme systémique et l’enracinement des inégalités socio-économiques. En d’autres termes, la justice « à deux vitesses » (automatisée et traditionnelle) et la prolifération du « poor man’s justice ».

D’autre part, le déploiement non encadré de l’IA risque d’empiéter sur diverses lois et de figer la jurisprudence dans un carcan qui ne correspond aucunement au modèle de l’arbre vivant et de l’interprétation contextuelle. Compte tenu des retombées significatives de ces partenariats invisibles sur les plans institutionnel et social, cet article s’attarde sur l’assujettissement de la justice à des technologies privées dans une perspective (comparative) transsystémique. L’article se penche ainsi sur l’impact institutionnel de la numérisation de la justice et sur les conséquences de la standardisation et de l’automatisation sur l’État de droit et sur l’évolution progressive de la jurisprudence.

EN:

The ecosystem in which the courts operate has evolved particularly abruptly since 2020, moving from a culture favoring “paper format” to an unstructured “marriage of convenience” with private intermediaries, on which justice depends as an essential infrastructure. Courts, as democratic institutions, are spontaneously entering into unregulated partnerships with multinational companies, whose mission is to commercialize data. This, in the face of a shortage of resources and growing pressure to unclog the courts.

Without a doubt, the rise of algorithmic predictions in justice raises a paramount concern with regard to judiciary independence, the ossification of systemic racism and the entrenchment of socio-economic inequalities. In other words, “two-tier” justice (automatized and traditional) and the proliferation of “poor man’s justice”.

On the other hand, the uncontrolled deployment of AI risks encroaching on various laws and freezing jurisprudence in a straitjacket that in no way corresponds to the model of the living tree and contextual interpretation. Given the significant institutional and social repercussions of these invisible partnerships, this article examines the subjection of justice to private technologies from a trans-systemic (comparative) perspective. The article examines the institutional impact of the digitization of justice and the consequences of standardization and automation on the rule of law and the progressive evolution of jurisprudence.

EN:

The Dobbs v. Jackson Women’s Health Organization decision, issued in June 2022 by the U.S. Supreme Court, overturned the Roe v. Wade (1973) and Planned Parenthood v. Casey (1992) rulings on the grounds that the Constitution makes no reference to abortion and that no such right is implicitly protected by any constitutional provision. This decision has had, however, effects beyond U.S. borders.

Furthermore, its impact is felt in the exercise of rights: the ruling has reopened a repressive framework that positions women’s bodies as public property. The Dobbs ruling, by returning the issue of abortion “to the People and their elected representatives”, has given individual states the freedom to implement repressive criminal policies, reinforced by digital policies that restrict access to online information and encourage the digital surveillance of women through the massive collection of their intimate data.

FR:

La décision Dobbs v. Jackson Women’s Health Organization, rendue en juin 2022 par la Cour suprême des États-Unis, a renversé les arrêts Roe v. Wade (1973) et Planned Parenthood v. Casey (1992) au motif que la Constitution ne fait aucune référence au droit à l’avortement et qu’aucune disposition constitutionnelle ne protège implicitement un tel droit. Cette décision a, toutefois, eu des effets au-delà des frontières américaines.

De plus, son impact se fait sentir dans l’exercice des droits : l’arrêt a réinstauré un cadre répressif qui conçoit le corps des femmes comme un bien public. L’arrêt Dobbs, en renvoyant la question de l’avortement « au Peuple et à ses représentants élus », a accordé aux états la liberté de mettre en oeuvre individuellement des politiques pénales répressives, renforcées par des politiques numériques qui restreignent l’accès à l’information en ligne et encouragent la surveillance numérique des femmes à travers la collecte massive de leurs données intimes.

FR:

Les organisations autonomes décentralisées (DAO) sont de nouveaux modèles d’entreprise qui émergent avec le Web 3.0. Elles permettent à des individus et des institutions de collaborer sans se connaître et sans se faire confiance. Les DAO sont donc conçues pour organiser une communauté d’inconnus autour d’un projet commun où la confiance en la technologie remplace la confiance en l’associé. Leur nature favorise une coopération horizontale, ce qui devrait, par conséquent, réduire les risques de comportements opportunistes par une minorité. Pour certains, il n’y aurait, ainsi, aucun intérêt à se soumettre à un cadre légal contraignant pour limiter les risques d’actions opportunistes.

Il existe actuellement des milliers de DAO, dont certaines sont structurées comme des sociétés, d’autres comme des sociétés à responsabilité limitée, d’autres encore comme des associations à but non lucratif non constituées en société et enfin certaines comme des entités étrangères. Cependant, la plupart des DAO ne s’associent à aucune forme juridique particulière. La responsabilité des participants à la DAO, en cas de faute, constitue l’un des défis les plus importants de l’organisation. Sans responsabilités et sans sanctions, l’organisation ne pourra être utile et dépasser les limites de l’environnement numérique.

Afin de mettre la DAO à l’épreuve, nous testerons les difficultés structurelles pour le droit des sociétés à l’encadrer. Les solutions du droit des sociétés semblent, cependant, assez peu praticables, puisqu’elles finissent toujours par retourner vers une forme de centralisation incompatible avec la DAO. D’autre part, ces véhicules juridiques occultent systématiquement le rôle du curateur au sein de l’organisation. Une prospection dans des pans connexes du droit, alliant des éléments du droit des sociétés et du droit de la fiducie, comme avec le business trust américain, pourrait par contre ouvrir des perspectives intéressantes pour l’encadrement de la DAO.

EN:

Decentralized Autonomous Organizations (DAOs) are new business models emerging with Web 3.0. They enable individuals and institutions to collaborate without knowing or trusting each other. DAOs are, therefore, designed to organize a community of strangers around a common project, where trust in the technology replaces trust in each other. Their nature favours horizontal cooperation, which should consequently reduce the risk of opportunistic behavior by a minority. For some, there is therefore no need to submit it to a restrictive legal framework to limit the risk of opportunistic behaviour.

There are currently thousands of DAOs, some of which are structured as corporations, some as limited liability companies, some as unincorporated non-profit associations and others as foreign entities. However, most DAOs do not associate themselves with any particular legal form. The liability of DAO members in the event of wrongdoing is one of the structure’s most important challenges. Without liability and sanctions, the DAO will not fulfill its utility and will remain solely within the limits of the digital environment.

To put the DAO to the challenge, we will assess corporate law’s structural difficulties in framing it. The solutions it offers seem, however, rather impractical, since they ultimately push forward a form of centralization incompatible with DAOs. Furthermore, these legal vehicles systematically obscure the role of the trustee within the organization. Exploration of connex areas of law, combining elements of corporate law and trust law, as with the American business trust, could open up interesting perspectives for the supervision of DAOs.

EN:

While algorithmic management has improved corporate performance, it poses potential harm to workers and may jeopardize the long-term sustainability of companies, warranting regulatory intervention. Ex-ante human rights impact assessment of algorithmic management systems (AMS) is critical and has been widely adopted. The impact of AMS on multiple stakeholders, the shared ownership of workplace data, and the need to enhance AMS assessments’ quality and legitimacy may justify the adoption of a collective or multi-stakeholder governance of algorithm assessment. However, many jurisdictions have not embraced this approach. In countries with a shareholder primacy tradition, governance structures for ex-ante AMS assessments often exclude workers from having a voice in the assessment process. Even in jurisdictions adhering to stakeholder-oriented corporate governance models where worker participation in AMS governance is permitted, corporate resistance can significantly hinder such involvement. This paper argues that consideration should be given to expanding directors’ duties, requiring them to collaborate with the AMS assessment process and its collective governance, including facilitating workers’ involvement. Directors’ collaborative duties may help remove significant barriers by obligating them to disclose, coordinate, negotiate, and rectify workplace algorithms to serve the interests of companies and multiple stakeholders, including safeguarding workers’ human rights. The effectiveness of this multi-stakeholder governance of AMS assessments requires directors’ collaborative duties, which can help build efficient, equitable, and sustainable AMS.

FR:

Bien que la gestion algorithmique ait amélioré la performance des entreprises, elle risque de nuire aux travailleurs et de compromettre la viabilité à long terme des entreprises, ce qui mérite une intervention réglementaire. L’évaluation ex-ante de l’impact des systèmes de gestion algorithmique (SGA) sur les droits des personnes est indispensable et a généralement été adoptée. L’impact des SGA sur plusieurs acteurs, la propriété partagée des données de travail et le besoin d’améliorer la qualité et la légitimité des évaluations des SGA peuvent justifier l’adoption d’une gouvernance collective ou multipartite pour évaluer les algorithmes. Cependant, plusieurs juridictions n’ont pas adopté cette approche. Dans les pays qui se souscrivent à la primauté des actionnaires, les structures de gouvernance pour les évaluations ex-ante des SGA excluent souvent les travailleurs de participer au processus d’évaluation. Même dans les juridictions qui se souscrivent à des modèles de gouvernance d’entreprise qui considèrent les enjeux des acteurs concernés, où les travailleurs peuvent participer à la gouvernance des SGA, la résistance des entreprises peut considérablement entraver cette participation. Cet article propose d’élargir les obligations des directeurs d’entreprises en leur imposant de collaborer avec le processus d’évaluation des SGA et sa gouvernance collective et de faciliter la participation des travailleurs. Les obligations de collaboration des directeurs peuvent contribuer à éliminer de considérables obstacles, en leur obligeant à divulguer, coordonner, négocier et remédier l’utilisation des algorithmes au travail, afin de servir les intérêts des entreprises et de plusieurs acteurs, y compris la protection des droits des personnes des travailleurs. L’efficacité de la gouvernance multipartite des évaluations des SGA exige des obligations collaboratives des directeurs pour construire des SGA efficaces, équitables et durables.