攻擊人工智能系統(tǒng)對社會治安的危害與對策

　　摘要：本文基于攻擊人工智能系統(tǒng)對社會治安形成的危害，包括危害交通安全、擾亂治安管理、侵犯公民人身權利和侵犯公民財產權利等，對應對對策和未來發(fā)展趨勢進行了探討。根據其產生的危害結果，從強化公安機關技術防范能力、建立人工智能系統(tǒng)評估體系、加強人工智能從業(yè)人員及企業(yè)管理、提高公民自我保護意識等四個方面提出了對策建議。

　　本文源自范艷奇; 田華偉， 網絡安全技術與應用 發(fā)表時間：2021-04-12 《網絡安全技術與應用》雜志成立于2003年，先由中華人民共和國公安部主管、中國人民公安大學出版社主辦。從2009年起，本刊改由中華人民教育部主管，北京大學出版社主辦，是國內網絡安全技術與應用領域行業(yè)指導性科技月刊，國內外公開發(fā)行。本刊系“三高兩強”刊物，即信息量高、學術水平高、技術含量高;專業(yè)性強、應用性強。

　　關鍵詞：人工智能系統(tǒng);社會治安;安全危害;防范對策

　　基金：本文系國家重點研發(fā)計劃課題“重大活動食品安全警務情報研判技術及系統(tǒng)研發(fā)”(項目編號：2018YFC1602700)和國家自然科學基金項目“類自然隱寫基礎理論與關鍵技術研究”(項目編號：61972405)的研究成果之一

　　近年來，人工智能技術在計算機視覺、自然語言處理、語音識別等領域取得了突破性進展，其在完成人臉識別等特定任務上的速度和精準度已追平甚至超越人類。社會各個行業(yè)都已開展了人工智能系統(tǒng)的應用，對其進行攻擊會給社會治安帶來嚴重的危害。人工智能系統(tǒng)的安全性直接攸關人民生命財產安全。公安機關作為維護社會治安主要責任機關，開展攻擊人工智能系統(tǒng)的防范對策研究迫在眉睫。

　　1 攻擊人工智能系統(tǒng)的方法對社會治安的危害

　　惡意攻擊者攻擊人工智能系統(tǒng)的方法主要包括對抗樣本攻擊、數據污染攻擊、模型萃取攻擊、系統(tǒng)漏洞攻擊、模型后門攻擊以及模型逆向攻擊。攻擊者利用攻擊達到的目的可以大致分為兩類：(1)竊取系統(tǒng)內的信息或者模型信息;(2)干擾人工智能能系統(tǒng)功能或降低其性能[1]。這些攻擊方式所達到的這兩類目標會對社會治安產生一系列的危害，具體可分為以下幾種。

　　1.1 危害交通安全

　　智能交通對于國家的發(fā)展起著至關重要的作用，在 2019 中國智能交通年會上，介紹了交通運輸的幾個重要的工作，包括自動駕駛、智慧公路和智能航運三個方面。人工智能技術是智能交通實現的支撐力量，但是攻擊者利用攻擊人工智能系統(tǒng)來干擾系統(tǒng)功能會對智慧交通產生很多現實的危害。

　　對于自動駕駛的交通工具，密歇根州華盛頓大學和加州大學伯克利分校的研究人員在 2017 年通過研究發(fā)現，利用對抗樣本攻擊的方式，將停止標志進行小幅度的調整，則可使自動駕駛汽車的計算機視覺算法不可見[2]，這意味著黑客可以強迫自動駕駛汽車以危險的方式行駛并可能導致事故，這樣路標路牌就成了一個非常大的危害。與傳統(tǒng)交通相比，人工智能帶來的智能交通將會給人類社會帶來巨大的人力成本的節(jié)約，如在貨運、物流等方面的使用度會越來越高，但是在自動駕駛技術內，對判斷、路測等方面的智能算法的攻擊也會給路面交通，海面航行帶來巨大的挑戰(zhàn)。根據對抗樣本攻擊中對抗樣本的不同，攻擊者也可以使用帶有語意的激光束來命令汽車的走向，使得汽車錯誤的聽從攻擊者發(fā)出的激光束的語意來行走，這對交通安全將會產生極大的危害[2]。攻擊者利用模型后門的攻擊方式也會對交通安全產生巨大的安全隱患，如果在訓練自動駕駛汽車的智能系統(tǒng)時就植入后門，如將右轉交通標志牌上添加 trigger 后，將會被后門模型預測為左轉標志牌。因此在使用模型之前，檢查預先訓練的 DNN 是否已經被木馬化是必不可少的。

　　1.2 擾亂治安管理

　　目前，在維護社會治安的智能設備中，使用最多最為廣泛的智能設備之一就是智能攝像頭。智能攝像頭對維護社會治安來說起著至關重要的作用，智能攝像頭主要使用于公民的日常生活，例如攝像頭門禁、智能手機開鎖、臉部識別支付等，對于公安機關，智能攝像頭通常設置在道路、卡口、銀行等處，可用于人像的捕捉和案件預警，追捕犯罪嫌疑人和犯罪嫌疑車輛。但是通過攻擊人工智能系統(tǒng)來干擾智能系統(tǒng)的功能，會使得這些設備不能進行有效的使用。經過實驗，若用特制的紙片戴在識別對象身上，則會使得智能攝像頭不能辨認出人的信號，這樣公安機關在抓捕逃犯或者智能攝像頭在預測預警時，嫌疑人即可以逃脫智能攝像頭的捕捉。除了對抗樣本攻擊，模型后門的攻擊方式還可以在訓練中設定攻擊者指定的人臉觸發(fā)器，讓系統(tǒng)對于攻擊者設定的指定人臉不能正確識別。同樣對于攝像頭門禁等，對智能攝像頭系統(tǒng)進行攻擊，也可以使得攝像頭出現識別失誤，對社會治安的預測預警工作和公民人身、財產安全都會帶來危害。

　　1.3 侵犯公民人身權利

　　公民人身權利主要包括公民隱私權、姓名權、肖像權等。竊取、售賣、不法使用公民人身信息，會造成對公民各類人身權利的侵犯。隨著科技不斷發(fā)展，現在人工智能系統(tǒng)的使用已經遍布各行各業(yè)。人工智能系統(tǒng)內數據量大，并且公民的個人信息、生活信息等不斷被這些智能系統(tǒng)所記錄并保留下來。如今售賣公民信息的案件層出不窮，且以低價就能購得大批量的各類公民信息，若這些擁有巨大信息量的公司和企業(yè)的人工智能系統(tǒng)被攻擊，那么公民的這些信息將會被竊取，公民的隱私權將會受到侵犯。如果公民的照片、姓名等被竊取并被用于牟利或者違法使用，也會侵犯公民的肖像權和姓名權等人身權利。同時，公民的這些個人信息被竊取，將會產生一系列的人身或者財產的安全隱患問題。

　　1.4 侵犯公民財產權利

　　科技的進步雖然給人們帶來了諸多便利，但是在帶來便利的同時也給經濟犯罪提供了越來越有利的詐騙和勒索的手段。通過攻擊人工智能系統(tǒng)竊取信息不僅僅會導致公民個人信息泄漏，侵犯公民人身權利，還會侵犯公民的財產權。獲取公民一系列個人信息可以使得盜竊犯罪分子可以進行推斷家庭人口情況、年齡分布和數量還有收入情況，可以幫助其有效分辨哪些家庭比較容易著手進行盜竊。現在電子商務行業(yè)非常發(fā)達，根據 2019 年電子商務行業(yè)數據報告來看，2019 年移動購物用戶規(guī)模達 7 億人，快遞企業(yè)業(yè)務量達 156.1 億件，如此龐大的用戶數據量，如果被竊取將會產生大量的連鎖犯罪，如犯罪分子在竊取到公民購物信息和快遞信息后，可以將信息售賣以侵犯公民隱私權，犯罪分子還可以使用該信息制作假的快遞包裹“送貨上門”，欺騙購物者不知情的家庭成員以貨到付款的方式進行詐騙，受騙人往往由于地址、姓名、電話、購買的物品等都能對上而相信犯罪分子并且將錢財給予犯罪分子。這類詐騙最近頻發(fā)，而且作案成功率較高，要杜絕這類犯罪，源頭是保護存儲信息的人工智能系統(tǒng)，使得公民的信息不受侵犯。公民信息被竊取除了會誘發(fā)詐騙犯罪以外，甚至還會誘發(fā)勒索犯罪。若公民個人不愿意被其他人知道的隱私被攻擊者竊取，那么很有可能會發(fā)生攻擊者利用竊取到的隱私信息威脅公民，來獲取錢財的犯罪行為。

　　2 攻擊人工智能系統(tǒng)面臨危害的對策

　　攻擊人工智能系統(tǒng)給社會治安造成的危害是多方面的。隨著科技的不斷進步，攻擊人工智能系統(tǒng)的方式也不斷增多。數字化社會里，公安機關使用的人工智能系統(tǒng)存儲了大量的秘密信息和公民信息。如果被攻擊，那么造成的后果往往不堪設想。公安機關作為維護社會安全與和諧穩(wěn)定的權力機關，亟須對這些攻擊采取相應的防范對策，以免其造成嚴重的危害結果。

　　2.1 強化公安機關技術防范能力

　　由于在公安工作中公安隊伍技術力量較為薄弱，許多供其使用的人工智能系統(tǒng)都是公安機關與外界公司聯合開發(fā)。公安機關只需要負責提供系統(tǒng)的功能需求，系統(tǒng)的開發(fā)則交給外界公司。這樣會導致系統(tǒng)開發(fā)后交給公安機關使用時，由于人工智能系統(tǒng)的黑盒特性，公安機關很難從一開始發(fā)現系統(tǒng)可能存在的被攻擊的風險。所以，對于公安機關來說，加強技術防范，掌握應對攻擊的方法，是智慧化警務不斷深入推進的必備要求。

　　2.2 建立人工智能系統(tǒng)安全評估體系

　　目前，人工智能系統(tǒng)遭受攻擊的事件時有發(fā)生。許多人工智能系統(tǒng)正在遭受到多種攻擊的威脅，這對社會造成了一些危害。對于國家機關使用的人工智能系統(tǒng)，如果受到攻擊，造成的危害會更加嚴重。所以對于一些具備收集信息功能的、大型的人工智能系統(tǒng)，在使用前，應該經過科學合理的評估，再進入投放使用，更能保證人工智能系統(tǒng)在使用過程中的安全。

　　2.3 提高公民個人信息保護與財產安全意識

　　人工智能系統(tǒng)給商業(yè)發(fā)展和人民生活水平帶來大幅度提升的同時，也給公民人身權利和財產權安全造成了極大的隱患。由于科技發(fā)展水平日新月異，相應的攻擊手段的種類也不斷在增多，目前攻擊者攻擊人工智能系統(tǒng)，會造成公民的個人信息泄露，從而導致公民的人身、財產權利受到危害。由于普通公民不具備技術上能防備個人信息泄漏的技能，且犯罪手段日新月異，所以公安機關在日常治安管理過程中，需要在日常的工作中給公民宣傳預防網絡上各種詐騙方式，告知其謹慎在不熟悉的網絡平臺上進行操作。

　　2.4 加強人工智能從業(yè)人員及企業(yè)管理

　　隨著我國科技水平的不斷發(fā)展，我國特種行業(yè)和特種作業(yè)人員的范圍也在不斷修改之中。人工智能從業(yè)人員隨著社會的發(fā)展，能做到的事情也就越來越多。如同開鎖行業(yè)的開鎖工，現在的人工智能從業(yè)人員可以利用自己的技術手段幫助人們開通憑借人力辦不到的“鎖”，也能使用自己的技術私自開“鎖”，竊取公民各類信息，破壞人工智能系統(tǒng)，對社會造成非常大的危害，并且這類危害會隨著社會的發(fā)展越發(fā)嚴重。所以，對于新時代的人工智能行業(yè)，公安機關作為社會治安的管理者與維護者，需要將人工智能行業(yè)與從事人工智能行業(yè)的人員納入日常管理的特種行業(yè)和從事特種行業(yè)人員內部，進行必要的監(jiān)督與管理。

　　3 結束語

　　隨著人工智能在對公安、衛(wèi)生、金融、交通等眾多行業(yè)的助力作用日趨顯著，攻擊人工智能系統(tǒng)給社會治安等方面帶來的危害也日趨嚴重。公安機關需要不斷探索對人工智能進行合理管控的方式，全方位提升警察的專業(yè)素質及公民的基本素質，建立專門的管控部門及培養(yǎng)專門人才，從而才能保證我國人工智能技術在不斷發(fā)展的前提下，與社會安全保持一個良好的平衡，從正向推動國家與社會的發(fā)展。