Что Мы Знаем О Сервисах Edtech, Которые Следят За Студентами?

В прошлом году студенты-журналисты из средней школы Лоуренса, государственной школы в Канзасе, убедили округ освободить их от бдительного наблюдения за их одноклассниками. Согласно документам, размещенным в Интернете, округ потратил более 162 000 долларов на контракт с Gaggle в поисках средств для укрепления психического здоровья учащихся и “антикризисного управления». Когда участились перестрелки в школах и кризисы психического здоровья подростков, округ надеялся, что служба цифрового мониторинга Gaggle поможет.

Но “жаркие дискуссии” со студентами-журналистами убедили округ в том, что их деятельность должна быть защищена от шпионских программ с поддержкой edtech в рамках их Первой поправки. права, согласно репортажу из «Лоуренс Таймс».

Наряду с другими компаниями, такими как GoGuardian и Bark, Gaggle относится к категории edtech, занимающейся надзором за школами. Опасения по поводу психического здоровья подростков высоки, особенно из-за трагической распространенности самоубийств. Страдая от нехватки персонала в области охраны психического здоровья, школы продолжают обращаться к этим компаниям, чтобы восполнить этот пробел. Компании полагаются на искусственный интеллект, который просматривает сообщения учащихся и историю поиска, чтобы уведомлять школьные округа, если учащиеся подвергаются риску травли или членовредительства, а также блокировать посещение учащимися веб-сайтов, которые не одобрены школами.

Но скептики и учащиеся беспокоятся. В недавних беседах подростки описывали, как эти инструменты иногда препятствуют обучению в школах, объясняя, почему они лоббируют противодействие тому, как искусственный интеллект может на самом деле препятствовать образованию. А фонд Electronic Frontier Foundation поставил Gaggle оценку “F” за конфиденциальность студентов, указав на проблемы ИИ с пониманием контекста при маркировке сообщений студентов.

На самом деле, это не ново. По словам Джима Сигла, старшего технолога отдела обеспечения конфиденциальности молодежи и образования Future of Privacy Forum, опасения по поводу цифровой слежки возникают уже некоторое время.

Подобно другим мерам, которые школы вынуждены принимать для обеспечения безопасности учащихся, таким как тренировки по стрельбе из лука, индустрия цифрового видеонаблюдения подняла вопросы об эффективности и компромиссах, которые приносят эти методы.Согласно статье, опубликованной ранее в этом году в журнале Journal of Medical Internet Research, существует около десятка компаний, специализирующихся на наблюдении за школами. Этот мониторинг затрагивает жизнь учащихся и вне школьных занятий, причем все эти компании, за исключением двух, следят за учащимися круглосуточно. (Устройства, предоставляемые школами, как правило, отслеживают учащихся в большей степени, чем личные устройства учащихся, что вызывает опасения по поводу того, что учащиеся из семей с низким доходом получают меньше конфиденциальности, чем из семей с высоким доходом, согласно отчету Центра демократии и технологий.)

Во время пандемии COVID-19 и с переходом на дистанционное обучение школы обратились к такого рода инструментам, говорит Уильям Оуэн, директор по коммуникациям проекта по надзору за технологиями видеонаблюдения, некоммерческой организации, выступающей против технологий видеонаблюдения. В то время они были полезны для подготовки к экзаменам и других школьных нужд.

Но проблема, по мнению Оуэна, заключается в том, что сервисы полагаются на предвзятые алгоритмы, которые сделали слежку за учащимися — наблюдение за каждым их шагом — обычным делом. По словам Оуэна, сервисы ориентированы на студентов с ограниченными возможностями, нейродивергентных и ЛГБТ-групп, и их отмечают гораздо чаще, чем других студентов.

Инструменты, рассмотренные в исследовании, основаны на сочетании искусственного интеллекта и модераторов-людей. Но в то время как большинство компаний используют искусственный интеллект для отслеживания активности учащихся, только в шести из них — менее половины — есть команда специалистов по проверке, отмечается в отчете.

Фирмы, занимающиеся наблюдением, действительно хороши в продаже этих технологий школам, говорит Оуэн. Они утверждают, что сервисы помогут учащимся, поэтому администраторам и родителям может быть трудно полностью осознать степень возможного вреда, добавляет он.

В последние годы опасения по поводу влияния этих инструментов на конфиденциальность студентов возросли.

Несколько из этих компаний, включая Gaggle, подписали “соглашение о конфиденциальности” от edtech, добровольное обязательство придерживаться передовых методов обработки данных студентов. Ранее в этом году форум Future of Privacy Forum “отменил” это обещание. В то время Джон Верди, старший вице-президент по политике этой группы, сказал EdSurge, что вопросы конфиденциальности в edtech, среди прочего, переместились в быстро развивающийся мир искусственного интеллекта. Гогардян, еще один сотрудник службы мониторинга студентов, подписавший соглашение, отметил, что выход на пенсию никак не повлияет на их практику.Все это заставило некоторых людей обеспокоиться ростом “цифрового авторитаризма” в экосистеме, в которой за студентами постоянно ведется наблюдение. Между тем, компании утверждают, что они спасли тысячи жизней, основываясь на внутренних данных, касающихся их предупреждений о возможном членовредительстве и насилии среди учащихся. (Компания Gaggle не ответила на запрос EdSurge об интервью.)

Некоторые исследователи скептически относятся к тому, что службы мониторинга обеспечивают безопасность, которую они обещают школам: существует мало доказательств эффективности этих служб наблюдения в выявлении учащихся, склонных к суициду, пишет Джессика Пейдж, исследователь расового неравенства в EdSurge. РЭНД, в 2024 году. Но эти услуги повышают риски для конфиденциальности, усугубляют неравенство, и родителям может быть трудно отказаться от них, добавила она. В 2022 году сенатское расследование в отношении четырех наиболее известных из этих компаний подняло многие из этих вопросов, а также показало, что компании не предприняли шагов для определения того, способствуют ли они предвзятости. Расследование показало, что родители и школы не были должным образом проинформированы о возможном злоупотреблении данными. В ответ компании поделились историями и отзывами о своих продуктах, защищающих студентов от вреда. В 2023 году в ответ на заявления о том, что их сервисы увековечивают дискриминацию в отношении студентов ЛГБТК, компания Gaggle перестала отмечать слова, связанные с ЛГБТК—сообществом, например, “гей”. и “лесбиянка”, что компания приписала “большему признанию ЛГБТК—молодежи”.

Следующие шаги, которые следует предпринять школам

Этим летом EdSurge поговорил со студентами, которые лоббировали ограничение того, как, по их мнению, искусственный интеллект вредит их образованию.. Студенты рассказали, как инструменты искусственного интеллекта блокировали образовательные веб-сайты, такие как JSTOR, что мешало им получить доступ к академическим статьям, а также блокировали такие сайты, как проект Trevor, который использовался студентами ЛГБТК для предотвращения самоубийств. Учащиеся также рассказали, как их школьные округа изо всех сил пытаются предугадать или точно объяснить, какие веб-сайты попадут под действие веб-фильтров, за которые они платят компаниям, что приводит к путанице и порождает неясные правила.Они призвали руководителей сферы образования прислушиваться к опасениям учащихся при разработке политики, связанной с инструментами искусственного интеллекта и системами наблюдения, и уделять приоритетное внимание защите прав учащихся. Некоторые комментаторы также обеспокоены тем, что эти инструменты порождают у студентов страх перед наказанием, из-за чего они не желают исследовать или выражать свои идеи и, следовательно, ограничивают их развитие. Но, возможно, больше всего скептиков отрасли беспокоит то, что эти платформы могут усилить взаимодействие студентов с полицией. По словам Сигла из FPF, который ранее был технологическим архитектором в государственных школах округа Фэрфакс в США, округа могут не осознавать, что они разрешают этим компаниям действовать от их имени и передавать данные учащихся полиции, если они не будут внимательно изучать контракты. пригороды за пределами Вашингтона, округ Колумбия, — это одна из самых рискованных и волнующих проблем, которые возникают при использовании этих инструментов, говорит он. По его словам, на практике эти инструменты часто используются для контроля поведения учащихся, сбора данных, которые используются для дисциплинирования учащихся и управления ограниченной пропускной способностью в школах.По словам Зигля, школам необходимы четкие правила и процедуры обработки данных учащихся таким образом, чтобы сохранить конфиденциальность и исключить предвзятость, а также тщательно изучить контракты. Родителям и учащимся следует поинтересоваться, чего округа пытаются достичь с помощью этих инструментов и какие меры принимаются для достижения этих целей, добавляет он.

Другие считают, что этих инструментов следует избегать в школах или даже запретить.Оуэн утверждает, что школы не должны заключать контракты с фирмами по надзору, которые подвергают учащихся, особенно цветных, риску опасного взаимодействия с полицией. Например, в Нью-Йорке действует запрет на использование технологии распознавания лиц в школах штата, но школы могут свободно использовать другие биометрические технологии, например сканеры отпечатков пальцев в очередях за обедом.

Но для некоторых проблема носит категорический характер.

“Невозможно скорректировать алгоритм, когда эти технологии изначально настолько предвзяты, и учащиеся [и] преподаватели должны понимать степень этой предвзятости и ту опасность, которая существует позировал”, — говорит Оуэн.

Другие новости:

---