Вызовы управления революционными технологиями

Вступление

Развитие информационных технологий меняет современное общество. Выделяют два типа технологий. Первый – цифровая информация и телекоммуникации, особенно быстро развивающиеся с 1980-х гг. и дошедшие уже до сотовой беспроводной связи пятого поколения, или 5G, что обеспечивает лучшую связь и передачу бóльших объемов данных, чем когда-либо.[1] Вторая группа технологий, хоть и имеет разную природу, коллективно именуется «экспонентными технологиями» в связи с беспрецедентными темпами технического прогресса.[2] К ним относятся передовая робототехника и беспилотные летательные аппараты, расширенная и виртуальная реальность, 3D-печать, биотехнологии, блокчейн, «интернет вещей», автономные транспортные средства и, конечно, обучение машин, или же искусственный интеллект (ИИ).[3]

Новые технологии уже нашли множество применений для повышения защиты [4] и безопасности. Они также нарушили традиционные пути передачи информации и, возможно, подорвали демократические принципы и процессы. Они меняют правила игры, разрушая существующие мировые механизмы политики, экономики и безопасности, усиливая отдельных акторов и в то же время подрывая или низвергая устоявшиеся процессы управления и методы контроля. Масштаб задач, возникающих для управления, беспримерен и требует лучшего понимания фундаментального влияния новых технологий на нашу общественную, политическую, экономическую жизнь и геополитику. Политикам и их помощникам также необходимы гораздо более глубокие технические знания и интерес к осуществлению действенного контроля над акторами и процессами, использующими этих технологий.

Информационные технологии и безопасность

Новые технологии «информационно ёмки», они собирают и выдают огромные и все возрастающие объемы данных, что представляет серьезную проблему для эффективного правительственного контроля над инструментами национальной безопасности и даже для способности исполнительной власти контролировать собственные службы безопасности. Данные традиционно разделяли и обрабатывали в базах данных, но ускоренное развитие технологий получения данных в настоящее время требует иной модели управления, основанной на защите данных и межотраслевых комплексных подходах к управлению данными.[5] Более того, безопасное применение экспонентных технологий в любом элементе сектора безопасности требует предоставления надежных данных ответственным органам. Поэтому правительствам, наряду с традиционной практикой управления, необходимы навыки управления данными. Некоторые правительственные ведомства в последнее время начали переходить от центров обработки данных к облачным вычислениям.[6] Однако в отрасли считают, что государственные органы многих стран противятся переносу правительственных данных в облако, и лишь 10-20 % работы правительств приходится на облачные технологии,[7] что указывает на неготовность многих правительств к этим качественным изменениям.

Информационные технологии сегодняшнего дня имеют иные свойства, чем системы прошлого. К критическим элементам относится малоразмерная техника, например, процессоры, видеокарты и миниатюрные веб-камеры, или нематериальные вещи – специальное программное обеспечение, алгоритмы и техническое ноу-хау, связанное с обучением машин и развитием ИИ. Кроме того, эти информационные технологии часто имеют двойное применение. Например, беспилотник, оснащенный дневной и ночной видеокамерами и РЛС для геосъемки, может быть средством военной разведки или слежки правоохранительными органами, просто меняя конечного пользователя.[8] Аналогичным образом, в то время как шифрование данных связи необходимо для защиты бизнеса или тайных операций от разведки конкурентов, его можно использовать для сокрытия преступной деятельности от правоохранительных органов.[9] А машинный интеллект, используемый для совершенствования Интернет-поисковиков, можно применять и в военных целях, от объединения данных до автономного беспилотного оружия и кибервойн. Эти факторы усложняют контроль передовых технологий традиционными режимами экспортного контроля.[10]

Чтобы запутать окончательно, искусственный интеллект превращает технологии в «черные ящики», которые, намеренно или нет, могут быть непрозрачными даже для специалистов.[11] Неспециалисты в правительстве и обществе могут быть вообще технически неграмотными в устройствах на основе ИИ, что еще больше усложняет эффективное управление и контроль.[12] За специалистами в ИИ начинается настоящая охота в новой глобальной экономике. Их важность для дальнейших инноваций и их концентрация в горстке крупнейших мировых высокотехнологических компаний становятся вопросом национального благосостояния ближайших десятилетий и элементом геополитической конкуренции, особенно с Китаем.[13] Так, президент США недавно издал Указ о сохранении американского лидерства в области искусственного интеллекта. Среди прочего, Указ предусматривает изменение иммиграционной политики, разрешая приглашать и нанимать специалистов в области разработки ИИ [14] – вот вам еще одно свидетельство важности долгосрочного технологического лидерства.

Поскольку над революционными технологиями в государственном и частном секторах будет работать множество различных акторов, необходимы новые инструменты организации безопасности, способные охватить неправительственных и коммерческих деятелей при обеспечении национальной безопасности. Поэтому сегодня правительства должны найти пути эффективного сотрудничества с крупными частными компаниями, небольшими стартапами, НПО, университетами, исследовательскими институтами и даже отдельными лицами. Только так они могут быть в курсе событий и как-то влиять и контролировать деятельность частных компаний, представляющих угрозу национальной безопасности или политической стабильности страны.

Информационные технологии и общественно-политическая сфера

Информационные технологии все больше влияют на качество и характер политики в результате нескольких взаимосвязанных процессов. СМИ и информационное пространство существенно изменились, и многие политики сейчас получают новости через социальные сети.[15] Социальные сети влияют на восприятие информации и формирование позиции.[16] Пользователи соцсетей подвергаются эффекту «герметичной среды» из-за персонализованных алгоритмов поисковиков, подталкивающих нас к тем, кто думает, как мы, фильтруя статьи и веб-сайты при онлайн-поиске и сужая количество новостных источников, которые мы выбираем.[17] Полученный в результате фильтр предлагает статьи, отражающие, укрепляющие и усиливающие наши убеждения.[18] Кроме того, чем активнее сообщество (единомышленников) в соцсети, тем больше оно изолировано от иных взглядов и тем больше поляризуются его взгляды.[19]

Разумные приложения развились настолько, что могут манипулировать и поляризовать политический дискурс.[20] Цифровые технологии позволяют менять лица в реальном масштабе времени; Adobe создает «фотошоп для аудио», способный редактировать диалог так же легко, как фотографию; канадский Lyrebird предлагает сервис, способный подделать голос на основе всего нескольких минут звучания. Когда Google открыл код своего TensorFlow, это быстро привело к появлению FakeApp, позволяющего убедительно заменить лицо на кадрах с чьим-то телом.[21] Компания OpenAI недавно создала фейковый текстовый редактор, который, как говорят, настолько хорош в имитации стиля и темы письма, что его не выпустили в оборот из-за боязни злоупотреблений.[22] В будущем подделка данных и намеренная дезинформация с использованием этих технологий может разрушить национальные системы правосудия и спровоцировать или обострить имеющийся конфликт. Повсеместное проникновение Интернета и легкость, с которой анонимные пользователи могут распространять дезинформацию, открыли демократические системы для политических манипуляций. Как продемонстрировала не существующая ныне информационная компания Cambridge Analytica, которая неправомерно получила доступ к данным почти 87 млн. пользователей Facebook, чтобы создать профили избирателей в попытках повлиять на президентские выборы в США в 2016 году в пользу Дональда Трампа, и была замешана в дезинформации, повлиявшей на референдум в Великобритании о выходе из ЕС, неправомерное использование таких технологий может серьезно запутать общественное мнение и посеять раздор.

Проблема признана публично. Согласно недавнему исследованию, большинство европейцев (85 %) назвали фейковые новости проблемой своих стран. Восемь из десяти (83 %) назвали фейковые новости проблемой демократии в целом, а больше трети (39 %) сказали, что власти страны должны бороться с распространением фейковых новостей.[23]

Кроме того, новые технологии наблюдения дают службам безопасности возможности, делающие традиционные методы правительственного надзора неэффективными. Ярким примером является коммерческое шпионское ПО под названием Pegasus. После установки оно дает операторам неограниченный доступ к личным данным в мобильных телефонах, включая пароли, контакты, события, текстовые сообщении и голосовые звонки из популярных приложений. The Citizen Lab выявил 45 стран, где могли шпионить операторы Pegasus. По крайней мере десть операторов оказались вовлеченными в слежку за границей.[24] Даже если закон разрешает лишь дистанционное электронное наблюдение, без записи или хранения данных, учитывая технические возможности шпионского ПО, будет очень трудно доказать нарушение закона разведывательными службами, если они сами не сознаются в злоупотреблениях. Это делает надзор исполнительных органов за службами такой же иллюзией, как и защиту личной жизни граждан.

Новая экономическая логика «капитализма слежки»

Влияние информационных технологий ныне выходит далеко за рамки правоохранительной деятельности, внутренней и национальной безопасности и ведения войн, а также манипуляций в политической и гражданской сфе-

рах. Мы наблюдаем появление сложных, управляемых данными, взаимосвязанных технологических систем, проникающих во все сферы человеческой деятельности. Цифровые технологии пронизывают нашу деятельность, слова, образы и действия дома и в магазине, в средствах массовой информации, образовании, на отдыхе и в обществе, а также наши социальные отношения. Далее информация, получаемая с помощью этих технологий, беспрецедентно обобщается, пакуется в профили с высокой степенью прогнозирования и открыто продается любому заинтересованному субъекту при почти полном отсутствии юридических ограничений или государственного надзора.

По мнению Шушаны Зубофф, глубокие изменения, вызванные почти не ограниченным и не регулируемым развитием информационных технологий за последние 20 лет, породили новую экономическую логику, ставшую преемником промышленного капитализма. Отслеживание и поиск данных поисковиков и приложений социальных сетей, смартфонов и датчиков позволяет коммерсантам составлять подробные профили людей, их повседневных привычек и действий, симпатий и антипатий. Окружающие нас устройства и технологии собирают объемы данных о каждом действии, сказанном или написанном слове и даже проявленных эмоциях и перепродают коммерсантам в рамках новой социально-экономической логики накопления, получившей название «капитализм слежки».[25] При «капитализме слежки» прибыль получают от слежки и изменения поведения людей. Данные наблюдений в реальном масштабе времени за повседневной деятельностью, разговорами, эмоциями людей монетизируются, продаются и перепродаются компаниям, стремящимся влиять на людей и массово менять их поведение.^[26] По мнению Зубофф, все эти изменения привели к возникновению поведенческого фьючерсного рынка, где торгуют прогнозами человеческой деятельности.[27] Этот рынок прогнозов действий людей чрезвычайно прибылен: прибыль Google за четыре года выросла на 3500 % на фоне быстрого развития в этой области. «Капитализм слежки» в настоящее время вездесущ и стремятся собирать поведенческие данные не только для компаний и технологий Кремниевой долины, но и других отраслей и компаний.[28]

Но в то время как сбор и объединение больших объемов данных происходят повсеместно, серьезная асимметрия информации затрудняет понимание обществом и правительствами. Коммерсанты заявляют о собствен-

ном контроле над такими данными, которые многократно объединяются и перепродаются с целью их использования для влияния на будущее поведение. Наглядный тому пример – температурная система для умного дома Google Nest. Снятие и сбор ею данных с помощью связанного набора приложений и функций настолько обширен, что потребовался бы прилежный клиент, который должен просмотреть почти 1000 связанных соглашений о конфиденциальности, чтобы установить один термостат.[29] Это указывает на дополнительную проблему отсутствия информированного согласия на сбор и перепродажу данных о потребителях. Такие системы создают огромные препятствия для способности людей и власти понимать их и управлять ими. Изменения в объеме и масштабах превзошли и обошли традиционные подходы к управлению этими сферами с помощью закона и политики до такой степени, что все больше наблюдателей видят в этом беспрецедентные последствия для человеческой деятельности и независимости.[30]

Регулирование

Пока что реакция ЕС на появление революционных технологий была медленной и разочаровывающей по большинству пунктов и не привела к качественным изменениям в законодательной базе стран-участниц. Так, регуляторная деятельность ЕС в области искусственного интеллекта не соответствует темпам развития этих технологий. ЕС выработал ряд руководящих принципов ЕС для приемлемого ИИ: (1) законность, (2) этичность, и (3) четкость, и сейчас приступает к этапу комитета высокого уровня и добровольных пилотных проектов.[31] Вряд ли это адекватный ответ на техническую революцию, он не требует даже единой скоординированной реакции национальных законодательных органов стран-участниц.

Введение новых регламентов ЕС, поощряющих использование новых технологий в интересах европейской безопасности, идет так же медленно, как и для использования беспилотников. Органы регулирования ЕС с 2015 г. не продвинулись далее создания Агентства по безопасности полётов ЕС и обновления правил авиационной безопасности.[32] Как результат, несмотря на успешные испытания беспилотников для морской разведки,[33] Frontex, например, не разрешают использовать беспилотники у Средиземноморского побережья из-за отсутствия правил.

В некоторых случаях регуляторные меры даже непреднамеренно чрезмерно подвергли граждан ЕС опасности электронного наблюдения, как в случае с Директивой ЕС о хранении данных связи.[34] Эта Директива была направлена на усиление борьбы с терроризмом, но одновременно открыла двери для усиления слежки спецслужб за гражданами в ряде европейских стран, таких, как Чехия, Кипр, Эстония, Финляндия, Франция, Германия, Ирландия, Польша и Великобритания, включив право служб неограниченно использовать данные связи в национальное законодательство. Службы ожидаемо начали использовать данные непропорционально и без привязки к угрозам национальной безопасности. В Польше, например, разведслужбы в 2014 г. просили раскрыть данные связи рекордные 2,35 миллиона раз.[35]

Защита личной жизни стала еще одной проблемой для регуляторных органов ЕС. Хотя создание Общего регламента защиты данных (General Data Protection Regulation, GDPR) является шагом в правильном направлении с точки зрения защиты личной жизни, это неадекватный ответ на основные вопросы, поднятые информационными технологиями и рынком поведенческих фьючерсов. Еврокомиссия и национальные правительства были пассивны и неэффективны в привлечении Cambridge Analytica и Facebook к ответственности за вмешательство в национальные выборы и подрыв демократических систем. На результат голосования по Brexit повлияли не слишком законные действия Facebook и связанных с ним компаний, нарушавших британские избирательные законы и подрывавших демократические процедуры.[36] Однако попытки привлечь Марка Цукерберга и Facebook к ответственности провалились. А после голосования по Brexit практика сбора поведенческих данных для прогнозирования и влияния на будущее поведение быстро расширилась.

Заключение

В то время, как инновационные технологии меняют экономику, безопасность и, пожалуй, саму политическую логику современной жизни, политикам и законодателям необходимо становиться более технически грамотными. Слушания в Конгрессе в апреле 2018 г., на которых Марк Цукерберг отвечал на вопросы американских сенаторов и членов Палаты представителей, четко показали непонимание многими представителями американского правящего класса элементарных аспектов современных цифровых платформ.[37] Но проблема уходит своими корнями еще глубже, отражая нашу неспособность понять и подумать об экспонентных технологических изменениях и слиянии разных технологий. Лучшее понимание политиками этих процессов необходимо для обеспечения действенности законов об экспонентных технологиях и для минимизации правительствами вреда от их применения для своих граждан и политических систем. Правила должны касаться не только технических или организационных аспектов; законодателям также следует найти пути усиления политической и социальной ответственности корпораций, занимающихся разработкой, продажей и применением информационных технологий.

Отказ от ответственности

Выраженные здесь взгляды являются исключительно взглядами авторов и не отражают точку зрения Консорциума оборонных академий и институтов изучения безопасности ПрМ, участвующих организаций или редакторов Консорциума.

Об авторах

Д-р Марина Капарини – старший научный сотрудник и директор программы государственного управления и общества СИПРИ. Ее исследования охватывали миротворчество и связь безопасности с развитием. Марина изучала разные аспекты организации безопасности и правосудия в постконфликтных и посттоталитарных условиях, включая развитие полиции, надзор за разведкой, отношения между гражданскими и военными и регулирование деятельности частных военных и охранных компаний. В последнее время занимается миротворческой деятельностью и укреплением полиции, вынужденным переселением и организованной преступностью. До прихода в СИПРИ в декабре 2016 г. работала на руководящих должностях в Норвежском институте международных отношений, Международном центре правосудия переходного периода и Женевском центре демократического контроля над вооруженными силами.

E-mail: marina.caparini@sipri.org

Агнешка Гоголевска – см. краткую справку на стр. 34 этого выпуска.

Благодарность

Журнал Connections: The Quarterly Journal, Vol. 20, 2021 издается при поддержке правительства США.