五月激情天,日一区二区三区,国产福利在线永久视频,2020国产成人精品视频网站,国产网站在线免费观看,善良的嫂子3在线观看

樹人論文網一個專業的學術咨詢網站!!!
樹人論文網

免受自動化決策約束權的制度邏輯與本土構建

來源: 樹人論文網發表時間:2021-12-07
簡要:摘 要 為應對算法技術形成的數字化生存困境,免受自動化決策約束權應運而生。該項權利賦予數據主體自治性尊重,是技術正當程序的應有之義,有助于數據主體與數據控制者之間創建信任性

  摘 要 為應對算法技術形成的數字化生存困境,免受自動化決策約束權應運而生。該項權利賦予數據主體自治性尊重,是技術正當程序的應有之義,有助于數據主體與數據控制者之間創建信任性互動。歐盟《通用數據保護條例》第 22 條選取了嚴格禁令與積極權利路徑的中間路線,設定了橫跨公私場景下自動化決策實施的正當性基礎,構建了多層次立體化聯動保護機制。但該條制度設計存在限制過多、指引不明、規則科學性不足以及實效堪憂的缺憾。我國《個人信息保護法》應在借鑒的基礎上積極創新,擴展行權適用的決策類型,厘清對個人產生影響的判斷標準,并面向數據生命周期構建事前知曉、事中參與、事后救濟的全周期閉環行權體系,增強算法私權體系的韌性和質效。

  關鍵詞 免受自動化決策約束權 拒絕權 算法治理 個人信息保護

免受自動化決策約束權的制度邏輯與本土構建

  張欣, 華東政法大學學報 發表時間:2021-09-20

  一、問題的提出

  伴隨著海量數據和高效算法,自動化決策系統被日益廣泛地應用在金融、醫療、就業、警務、社會福利等公共和商業領域,成為數字社會的基礎設施之一。算法不斷分析和透視人類生活,像“隱形牢籠”一般操控著人類。各類社交媒體過濾信息流,搜索引擎過濾搜索結果,人們生活在算法濾泡之中。〔1〕無論是沉浸在短視頻中無法自拔的年輕人,還是被困在智能配送系統里無力招架的外賣騎手,〔2〕一系列算法操控現象反映出個體被不斷數據化,逐步喪失主體性的數字化生存困境。〔3〕面對算法的擴展性滲透,以歐盟《通用數據保護條例》(以下簡稱 GDPR)為代表的立法賦予了數據主體一系列新型算法權利,希冀以此賦予個體選擇權和控制權,弱化人在算法社會被不斷異化的趨勢。在這些新型權利中,算法解釋權已得到中外學者的一致關注和熱烈探討,相關研究層出不窮。〔4〕但與算法解釋權的研究熱潮形成鮮明反差的是,深入探究免受自動化決策約束權(Right not to be subject to automated decision-making)的研究卻尚為薄弱,缺乏體系化、理論化的深度挖掘。〔5〕實際上,與算法解釋權相比,數據主體免受自動化決策約束權貫穿著歐洲個人信息保護法的整個發展歷程。該項權利以保護人的主體性為首要宗旨,面向事后階段構筑算法風險消弭機制,成為個體對抗算法操控的防御堡壘。伴隨著我國數字技術的發展,日趨成熟的算法技術嵌入逐利驅動的平臺之中,滋生蔓延了一系列算法濫用行為。為此,我國立法者雖并未全盤移植免受自動化決策約束權,但在算法治理實踐中已然通過多種方式踐行著類似的制度設計。〔6〕可以說,如何科學構筑數據主體對抗算法的新型權利體系,針對算法風險建立科學完備的預警機制、抵御機制及消弭機制,增強對抗算法私權體系的韌性和質效成了中外算法治理研究和立法實踐的首要難點。在《個人信息保護法》頒布之際更進一步凸顯出算法基礎權利研究的現實緊迫性。鑒于這一主題的重要意義,本文聚焦 GDPR 第 22 條之規定,以立法溯源和功能價值為研究基礎,凝練探析免受自動化決策約束權的構造原理。通過對技術架構、主體行為以及權利構造的聯合反思,本文緊密結合《個人信息保護法》第 24 條及我國最新算法治理實踐對免受自動化決策約束權的本土化借鑒與調適予以深入探討。

  二、立法溯源與功能探析

  瞰覽數據主體免受自動化決策約束權的立法史可以發現,該項權利的淵源與演變實際上與歐洲隱私傳統及基本權利保障變革的譜系緊密交織。在歐洲隱私治理傳統中,以完全自動化方式評估或者預測個體,以算法調配和呈現個體生活,被認為是以去人性化的方式對個體尊嚴的數字化貶損。〔7〕緣于這一認知,不難理解立法者為何對以可計算方式呈現個人形象、決定個人損益的自主型算法抱有警覺和擔憂。循此邏輯,要重塑個體在機器時代的尊嚴,首先應確保其具有脫離算法操控的選擇權,從法律機制上允許個體回歸到“人先于一切”的原初狀態。〔8〕有鑒于此,免受自動化決策約束權漸具雛形,應運而生。

  早在 1978 年,法國通過的《第 78-17 號計算機、文件和自由法》第 10 條就明確規定,如果一項司法決定完全基于自動化數據處理作出,且該決定以目標主體的畫像或者個性評估為依據,應當對其加以禁止。〔9〕該條規定采用全面禁止路徑,對完全自動化決策在司法領域的適用加以限制,希冀以保障人類司法決策的方式對抗個體尊嚴被不斷蠶食的現狀。類似的立法理念可在同一時期頒布的多部數據保護法中觀察到。〔10〕1995 年,歐盟委員會頒布了《數據保護指令》。該指令第 15 條第 1 款規定,“如果一項決定是完全基于數據的自動化處理做出且目的是評估與其相關的某些個人方面,例如工作表現、信用、可靠性、行為等,成員國應當賦予數據主體免受對其產生法律效力或者重大影響的完全自動化決策約束的權利”。〔11〕可以說,《數據保護指令》真正創建了“免受自動化決策約束權”,首次從立法上確認了個體有權選擇與其有關的決策方式的權利。歐盟委員會在立法提案階段進一步闡明了這一立法初衷:“本規定旨在保護數據主體具有參與對其作出的重要決策形成過程的權益。日益強大的公共和私營機構大量使用個人數據,如果事關重要影響的決策僅依據個人的‘數據掠影’(data shadow)作出,則會剝奪個人對機構決策產生影響的能力。”〔12〕步入大數據和人工智能時代,人類的人格尊嚴和主體價值面臨著更為系統化、復雜化的挑戰。商業場景下個性化和精細化運營的需要使得用戶畫像建模技術早已實現了從設備到用戶、從靜態到動態、從評估到預測的三維躍遷,〔13〕一套新的算法監控、歧視和操縱系統于無形之中威脅著人類的獨立性和自主性地位。〔14〕為適應算法時代的技術發展和應用現狀,推動個體權利的轉型升級就顯得日益緊迫。因此,GDPR 第 22 條承襲了《數據保護指令》第 15 條,將適用范圍從完全自動化處理擴展到了用戶畫像,以更好地應對與日俱增的算法風險。本條雖然不及引發了轟動式關注的算法解釋權,但 GDPR 第 22 條作為整部法律中最為系統和針對性的算法規制條文,無疑對數據個體乃至算法行業的持續健康發展具有重要的價值和功用。

  (一)賦予數據主體自治性尊重

  在現代社會,通過制度保證“作為人的完整性”,對個人尊嚴予以基礎保護成為人類生存和發展的基本需求之一。〔15〕歐洲的文化自覺使得立法者對信息自決權頗為關注。信息自決權是個人決定自身形象呈現方式的權利,體現在數據治理領域表現為數據主體被賦予擁有控制與自身相關信息披露的能力。〔16〕免受自動化決策約束權就是信息自決權在算法應用場景下的集中體現,旨在確保個人的主體性不因算法的廣泛嵌入而被蠶食消解。眾所周知,算法技術已經推動人類社會實質性地邁入“評分社會”。這使得個人形象的呈現不再由個體自主決定,而是被一系列算法評分塑造操控。一旦某一主體遭受一次算法歧視,則在相關甚或不相關的領域也可能屢受不公待遇,產生歧視鎖定和數字污名效應。例如,有報道披露美國一位女士因被錯誤標記為曾受到刑事指控被分類為低信譽群體,不僅屢次被雇主解聘,無法租賃房屋,甚至沒有足夠的信譽資格去購買一款洗碗機。當事人為此心力交瘁,用時四年之久才最終讓其中一家收集消費者數據的公司糾正錯誤。〔17〕由此可見,在算法決策的準確性、正當性和可問責性尚無法周全保證,且難以通過人工干預予以有效修復的發展階段,賦予數據主體免受自動化決策約束的權利不僅體現了立法者對個體自治和自決的基本尊重,還體現了立法者借助該項權利防范算法歧視、算法不公等算法社會風險的調控努力。

  (二)打造算法決策正當程序的權利基石

  從技術運行邏輯來看,自動化決策系統分為輔助型和完全型。后者指完全無須人工干預,系統自動收集、分析數據并作出決策的運行模式。目前在貸款審批、醫療保健、就業招聘、福利發放、市場營銷等諸多場景中被廣泛使用。這一類型的自動化數據處理通過使用個人數據或者與其具有類似特征的定點人群數據完成對特定個體的分析、評估和預測。這一技術運行模式對正當程序原則構成了實質性威脅和挑戰。其一,自動化處理活動中的數據可能被過度收集和濫用,而數據主體在事前和事中階段難以獲得及時預警并實施有效阻擊。通過人工智能設備采集到的人體行為數據以及算法模型創建的推斷衍生數據無須個體同意就可用于生成與個體相關的精準畫像,從而對其行為進行預測和評估,使得個體徹底淪為機器決策的客體。其二,在自動化數據處理過程中,模型架構復雜疊加專有產權和商業秘密制度形成的保護盾牌,導致難以解釋、難以質疑、難以修復的問責難題,對個人基本權利形成威脅。例如在盧米斯案件后,〔18〕COMPAS 軟件再次陷入評估風波。〔19〕涉案被告人羅林 ? 羅德里格茲雖然已經具有良好的刑事恢復記錄卻仍被拒絕假釋。原因在于 COMPAS 系統判定其具有較高的再犯風險。當被告人主張獲取軟件輸入的信息時,該公司基于專有性和商業秘密拒絕透露輸入信息的權重。一年后,被告人獲得了相同評分。其提出 COMPAS 輸入中存在一項錯誤,但由于該項錯誤所占權重不得而知,無法解釋這一錯誤對于整個評分的影響,因此既無法糾正這一決定,也無法拒絕該項評分對自身的約束和不利影響。〔20〕由此可見,若無法全面保證算法決策的準確性和可問責性,數據主體應當被賦予免于受到決策約束,并進而獲得安全保障和人為干預的權利,確保不利算法決策的風險得到程序性控制、緩解甚至消弭。〔21〕因此,免受自動化決策約束權實際上通過賦予數據主體應然層面的普遍反對權,事后階段的知情、表達、異議和人為干預權,聯動構筑起私權層面的算法風險消弭機制,在個人未能及時在事前、事中階段獲得預警和有效阻擊之時依然能夠在事后階段獲得程序性救濟從而成為緩解和降低算法風險的權利基石。〔22〕

  (三)建立數據主體與數據控制者控制與分享的信任性互動

  眾所周知,在隱私保護領域,或因為科技企業“交叉補貼”政策的俘獲,或因為時間、知識和精力限制,數據主體與數據控制者之間力量懸殊,以新型數據和算法權利為維度的個體權益路徑屢現失效風險。數據主體對算法的恐慌焦慮甚囂塵上,降低了用戶的技術信任,制約了算法技術的長遠發展。以機器學習為例,當用戶主動參與到數據生產和處理過程時,數據的種類和樣本正向增加,機器通過自我完善提升決策準確性。相反,當用戶對技術產生信任危機時,“困在系統里”的用戶通過多種方式予以反抗。例如,近期廣受年輕人追捧的“不登錄、不點贊、不關注、不評論”的算法反擊行動就深刻反映了日益加劇的技術信任鴻溝。〔23〕考慮到數據主體與數據控制者博弈與較量的懸殊現狀,免受自動化決策約束權默認數據主體免于受到完全自動化決策帶來的法律或者類似重大影響。除非數據控制者持有正當理由才可在提供安全保障義務的基礎上實施完全自動化處理和用戶畫像行為。這一權利設置方式微調了數據主體與數據控制者之間的強弱失衡格局,有助于實現自動化決策和個人信息的效率配置,增加自動化決策可接受性,在規則層面培育技術信任,為技術開發和應用創建良好的運行生態,有助于數字社會總體福利目標的達成。〔24〕

  除此以外,免受自動化決策約束權還在機制設計層面引發立法者對算法運行合理邊界的必要思考,不斷調適算法決策和人類決策的平衡機制。因此,認真審視免受自動化決策約束權的權利構造機理,探索完善權利設置和權利運行機制具有重要的理論和實踐意義。

  三、構造機理與立法缺憾

  GDPR 頒布后,近年來歐盟各國對免受自動化決策約束權的關注與日俱增。例如,丹麥執法機構表示,就《國家教育補助金法》和《公共債務恢復法》中規定的行政機關僅基于自動化處理對相對人做出的行政決策,公民可以就該自動化決策向上級機關提出申訴,且上級機關應當以非自動化形式做出復議決定。〔25〕此外,2019 年美國《在線隱私法案》第 105 條也呈異曲同工之勢。該條規定,“個人可以要求對合理預見的包含重大隱私損害的自動化決定實施人工審查”。〔26〕可以說,以 GDPR 第 22 條為經典樣本確立的免受自動化決策約束權集中代表了各國立法者的算法監管思路。該項權利的有效確立須攻克三項立法挑戰:首先,應采用默示禁止還是設定權利的路徑科學平衡技術創新與權利保護;其次,如何平滑順暢地以免受自動化決策約束權為支點打造全周期的聯動保護機制,構筑起完善的事前算法風險識別預警機制、事中算法風險抵御機制以及事后算法風險消弭機制;最后,如何科學設定對機器決策合理干預和有效問責的規則框架,探尋人類決策與機器決策協作共存的制度邊界。下文將圍繞這三項立法挑戰對免受自動化決策約束權的構建機理進行剖析,甄別立法亮點和立法缺憾,探索制度完善的未來方向。

  (一)選取嚴格禁令與積極權利路徑的中間路線但限制過多指引不明

  關于 GDPR 第 22 條第 1 款設定的免受自動化決策約束權,一直存在“禁令路徑”與“權利路徑” 的爭論,在立法實踐中產生了復雜影響。例如,挪威政府在委托專家委員會對《挪威行政法》修訂調研時,委員會就在這一問題上產生了分歧和爭論。〔27〕持禁令路徑的觀點認為除非有合法處理基礎,應當禁止對數據主體實施完全自動化決策,以改善數據個體怠于行權或者力量薄弱的困境,提升立法對自動化決策實踐的約束力。這一路徑在學界、數據保護機構和司法機構產生了廣泛影響。例如,荷蘭海牙地方法院近期的一項判決中指出,“依據 GDPR 第 22 條,雖然可能存在例外情形,但針對個體的完全自動化決策被普遍禁止,包括對數據主體有法律或者類似重大影響的用戶畫像”。〔28〕再如 2009 年德國《聯邦數據法》第 6a 節及 2017 年英國《數據保護法(草案)》第 13 條都采用了禁令路徑。按照禁令路徑理解,除非數據控制者存在 GDPR 第 22 條第 2 款中列明的三項例外,數據控制者禁止針對數據主體作出完全自動化決策。禁令路徑雖然旨在保護數據主體免受算法滋擾和操控,但從行業發展和科技創新來看,其可能會阻礙創新,影響算法技術的良性發展與合理應用。GDPR 雖然意在保護數據主體的尊嚴和基本權利,但絕不意味著扼殺行業發展。此外,禁令路徑的闡釋也與立法歷史有所沖突。作為 GDPR 第 22 條的前身,《數據保護指令》第 15 條第 1 款的立法歷史資料表明,該條立法旨在賦予數據主體免受自動化決策約束的權利,而非一般性地禁止自動化決策。〔29〕有關 GDPR 提案的解釋性備忘錄也明確記載,第 22 條措辭參考了歐洲委員會發布的《關于用戶畫像的建議》。該文件同樣并未禁止用戶畫像,僅規定數據主體享有免受用戶畫像重大影響約束的權利。〔30〕因此,以禁令路徑理解 GDPR 第 22 條有失偏頗。

  若仔細分析 GDPR 第 22 條的語義構造可知,GDPR 第 22 條也不應理解為與更正權、刪除權、數據可攜權等類似的積極數據權利,以單純權利路徑理解 GDPR 第 22 條亦有不妥。若將第 22 條理解為需要數據主體積極行使的權利,則表明只有在數據主體明確表示反對時才可限制針對個體的完全自動化決策。但深究條文原意并非如此。依據條文原意,數據主體享有的是免受自動化決策和用戶畫像結果約束的事后反對權。以公共場景為例,正常情形下個體應有義務接受根據正當程序做出的對其不利的行政或者司法決定。依據 GDPR 第 22 條,若該不利決定完全由機器做出,數據主體有權自主決定是否接受該決定并受到相應約束。當數據主體提出反對時,依據不同決策情形和決策依據可以獲得人為干預、表達觀點并提出異議的權利。因此,宜將該項權利理解為數據主體默示享有的一項權利。該項權利并不禁止完全自動化決策及用戶畫像的存在和展開,但賦予數據主體反對其作出后受到約束和影響的權利。這種設定實際上選取了“禁令路徑”與“積極權利路徑”的中間道路,既能較好地保護數據主體不因怠于行使權利或者精力不足而受到算法滋擾,又能給產業發展預留一定的合理空間。

  為了合理設定權利行使和產業發展的邊界,GDPR 第 22 條還擴展了《數據保護指令》中免受自動化決策約束權行使的除外情形并規定了適用條件。依據第 22 條第 1 款,行權條件以完全自動化決策和用戶畫像為適用前提。完全自動化決策是指自動化決策過程完全由系統進行,不需要任何人工干預,其決策結果未受到任何人為因素影響的決策類型。這一權利行使前提不當限縮了可適用的自動化決策類型。在實踐中,算法與人工判斷交互參與的“人機回圈”反饋形式是非常普遍的。〔31〕就技術可靠性而言,人工參與的自動化決策在穩定性、準確性等層面并不必然優于純粹的機器決策。以信息過載或者認知偏見為代表的人類認知局限仍可使主觀判斷嵌入自動化決策過程,導致不準確或者不公正的決策結果。僅因人工參與就將非完全自動化決策類型排除在權利適用范圍之外,不利于周全保護數據主體權益。

  除完全自動化決策之外,評估、分析或者預測個人經濟、健康、偏好、信譽等用戶畫像行為也被納入第 22 條之中。用戶畫像實際上將未來視為由既定概率決定,建立在對過去行為或者特征的復雜評估之上,通過盲關聯由歷史數據推斷未來。〔32〕同樣遺憾的是,GDPR 將用戶畫像應用的數據類型僅限定在第 4 條規定的個人數據范圍,依據衍生或者推斷數據形成的用戶畫像并不適用于第 22 條。但在實踐中,通過機器學習挖掘用戶畫像的做法早已成為慣用技術,〔33〕數據類型的不當限定使得數據主體行權基礎不當受限。

  此外,GDPR 第 22 條還將與數據主體有關的法律影響及近似重大影響作為前置行權條件。依據條文表述,一項自動化決策或者用戶畫像是否對數據主體產生了“法律及近似重大影響”尚難以找到清晰的判斷依據。第 29 條工作組發布的《有關 GDPR 自動化個人決策和識別分析的準則》(以下簡稱《準則》)提出,“法律影響”是指對個體的法律權利、合同約定權利以及法律地位產生影響的處理活動。〔34〕“近似重大影響”實際上將影響認定標準予以實質性擴展。實踐中,同類型的自動化決策可能基于不同群體、不同渠道而產生完全各異的影響。例如,在多數情形下,精準營銷不會對個體產生法律或者類似重大影響,因此即使采用了完全自動化決策,也不屬于本條的適用范圍。但實踐中可能存在精準定向營銷對個體產生重大影響的情形。〔35〕例如,向已知或者預估面臨財政困難的個人定向推送高息貸款導致其進一步負債的行為就可被認定為對該個體產生了重大影響。〔36〕但實際上僅通過條文表述尚難以準確界定構成“重大影響”的標準,未來需要仰賴司法實踐及新型規制工具進一步增加條文精確性。

  (二)設定橫跨公私場景下自動化決策實施的正當性基礎但規則科學性不足

  個體數據不僅關涉個人利益,涉及個體尊嚴和自由,還具有公共性和社會性,對于商業運營和公共治理具有重要意義。〔37〕因此,立法者在賦予數據主體免受自動化決策約束權時還需考慮算法技術的社會價值,為合理、公平的自動化數據處理提供必要的發展空間。循此機理,GDPR 設定的免受自動化決策約束權并非是一項絕對的、完全的、排他的權利,通過在第 22 條第 2 款提出訂立或履行合同所必需、基于法律授權以及數據主體明確同意三種不予適用的情形,勾勒出數據控制者進行自動化數據處理的正當性和合法性基礎。為確保數據主體權益在三種例外情形下受到周全保護,第 22 條第 3 款規定在第 1 款和第 3 款情形下,數據控制者必須采取適當措施,保障數據主體的權利、自由及合法利益,確保數據主體獲得人為干預、表達意見和提出異議的權利。

  為避免因適用例外而流于形式,第 29 條工作組發布的《準則》提出了詳細限制。其一,對于合同建立和履行中實施自動化決策的“必要性”應當狹義理解。歐洲數據保護專員公署專門發布文件,提出只有數據控制者能夠客觀證明在合同建立和履行過程中明確考慮過采用更少侵犯隱私的方法后,仍然認為實施用戶畫像和完全自動化決策是必要的,才可視為具有合同建立和履行的正當利益,滿足對限制個人數據權利的“必要性”認定。〔38〕其二,只有明確獲得法律授權,出于公共利益、風險防控或者確保控制者提供服務的安全性和可靠性等目的,在已經制定了恰當措施保證數據主體的權利、自由與正當利益基礎上,免受自動化決策約束權才會被限制適用。在此情形下,歐盟及其成員國應當采取適當措施保障數據主體的基本權利,禁止不成比例地以公共利益為理由不當減損免受自動化決策約束權。在當前實踐中,歐盟成員國提供的恰當保障措施仍然以提供人工干預為主。〔39〕不可否認,人工干預可能無法改變自動化決策的結果,卻可建立個體之間的互動感知,維護和確認個體尊嚴。但從算法運行機理來看,事后人工干預權對個體的救濟效應可能有限。一方面,人類決策多基于經驗信息形成,可能產生更高的偏誤,事后的人工干預難以提升整體判斷的準確率。另一方面,事后人工干預還具有分散性,無益于判斷系統的完整性和公平性,并非對抗算法的最優策略。〔40〕

  由此可見,GDPR 第 22 條第 2 款規定的例外情形雖一定程度限制了權利行使范圍,但為自動化決策實施奠定了正當性基礎框架。遺憾的是,僅依靠分散化、零星化、靜態化的人工干預作為救濟方式可能并非最佳策略,立法者應當在救濟介入時機、介入方式以及系統性、完整性規制層面再行著力,探索算法規制的多元化路徑,確保免受自動化決策約束權的賦權效果。

  (三)多層次立體化構建程序性聯動保護機制但實效堪憂

  自動化決策和用戶畫像體現為一系列動態復雜的數據處理過程,每個環節均可能對數據主體產生潛在風險和不利影響。與日俱增的數據流動性又進一步提升了立法所面臨的挑戰,僅依靠單點突破的方式可能會凸顯脆弱性。因此,從體系化視角尋求構建系統的行權配套機制顯得日趨必要。瞰覽整部法律,可以發現歐盟立法者著眼于全要素、全過程、多場景,面向數據流生命周期建立起了“知情、參與、反對、救濟”的一體化行權方案,形成了多層次、立體化的程序性聯動保護機制,從廣度和深度兩個層面為免受自動化決策約束權奠定了配套機制。

  就廣度而言,首先,序言第 60 條、第 13 條第 2 款 f 項和第 14 條第 2 款 g 項規定了數據主體在事前階段的知情權,第 21 條規定了事前階段的拒絕權。這些權利可以保障用戶在自動化決策和用戶畫像部署的事前階段獲取必要信息,建立合理預期,提升用戶對自動化處理的關注程度。其次,在事中階段,以第 15 條、第 16 條、第 17 條為主線打造的要求修改、刪除、限制處理和拒絕處理權可以讓數據主體實時確認自動化數據處理相關信息的權利,并視情況行使上述權利以對自動化數據處理施加所欲的人為影響。最后,以第 22 條為核心的免受自動化決策約束權則在事后階段扮演關鍵節點,成為對抗算法操控的最后防御堡壘。就深度而言,GDPR 第 22 條第 3 款設定的人工干預權、表達權和異議權可以為數據主體在反對自動化決策后提供復議、審核等接續性程序救濟,有效彌合了權利保障體系的真空地帶,為人類決策者發揮主動性和能動性提供連接機制。以上三個層次以透明度和問責制為出發點,通過為數據主體提供事前算法風險識別預警機制、事中算法風險抵御機制以及事后算法風險消弭機制將其納入自動化數據處理的全周期決策環路中(參見表 1)。

  面向數據生命周期的多層次聯動配套行權機制體現了較為科學的立法理念,有助于應對因數據流動性加劇所形成的規制挑戰。僅就條文設計而言,這種聯動化行權理念體現場景化關照,具有較高的規則顆粒度,為數據主體提供持續支持,起到了串聯整個防護體系的作用。但從技術運行原理來看,上述安全保障措施的設計并非無懈可擊,這集中體現在人為干預、表達觀點及提出異議三項權利的設計思路上。該三項權利的設定實際上彰顯了技術正當程序之立法原意。〔41〕

  但就自動化決策而言,數據主體所擁有的程序性權利可能產生的實質影響相對有限,探索對自動化決策技術產生實質影響的參與途徑可能更為可取。以人為干預權為例,通過人類決策代替機器決策的方式在準確性、效率性、公正性層面存疑。就準確性而言,對于公私場景中常見的非因果預測型決策而言,機器決策在理論上具有比人類決策者更好的決策績效。〔42〕人類決策者即使在高質量的決策環境中,仍然會受到隱形偏見、決策噪聲的干擾和影響。就效率性而言,機器決策顯然在高速處理復雜多維的數據層面具有人類決策者難以比擬的績效表現。就公正性而言,機器決策多依據歷史數據和統計數據做出,人類決策多依據個性化數據和資料做出。如果自動化決策適用的個體具有普遍性和廣泛性,則一部分行權主體在事后獲得人類決策,而另一部分未行權主體卻接受機器決策,在系統性、完整性層面可能存在集體性決策偏差。

  由此推之,GDPR 第 22 條第 3 款雖然充當主線構建了多層次、立體化的程序性聯動保護機制,但主導邏輯仍然寄托于個案中人工審查的方式來驗證算法的準確性。當提供程序性保護的成本和代價遠超數據主體從程序保障中獲得的利益時,就很難被視為一種理想方案。因此,有學者建議以技術合理邊界為客觀依據,結合風險等級和公共利益相關性,分級分類地設定面向算法系統的動態監管工具。例如,在低風險場景下,可以依據風險預測算法的參數設定原理確定人工審核的閾值,在超越具體閾值之上的主體可以啟動靜態分析、動態測試以及必要情形下的人工審核,〔43〕輔之以算法影響評估,適時兼采系統化問責路徑和經過系統校準后的算法監管工具打造馴服算法的有效利器。

  四、權利本土化的借鑒與調適

  伴隨著數字時代的來臨,平臺企業的日益強大和人工智能的迅猛發展使得算法權力已然形成,對人的身份、認知、行為、傾向、情感乃至意志具有精準的預測與操控力。當算法成為人們認知和行動的基本工具時,必須從規則上對技術的不確定性和滲透性加以治理。〔44〕為此,應當深入算法操控的形成機理中,通過精細化、場景化治理尋找反操控的著力點,探索構建一套人與算法協同演化、共同成長的治理機制。〔45〕

  就我國算法應用現狀而言,無論是被困在算法系統里無力抗爭的外賣騎手,還是深受“大數據殺熟”之害的消費者,諸多焦點事件已經映射出數據個體在算法權力大行其道的數字生態中盡顯疲態的緊迫現實。我國立法者業已清楚知曉算法規制的緊迫性和必要性,并正以多種方式嘗試構筑數據主體擺脫算法操控、免除算法不利影響的新型權利體系。〔46〕因此,在數據驅動、算法泛在的數字時代,科學審慎地借鑒免受自動化決策約束權的正面構建機理,尋求契合我國算法實踐的調適基點,具有重要的理論與實踐意義。本節緊密圍繞《個人信息保護法》第 24 條,基于權利構造完善的內在邏輯和權利配套實施的外在基礎提出下列三點權利借鑒與調適的建議。

  (一)擴展免受自動化決策約束權適用的決策類型

  根據上文論述,歐盟設定的免受自動化決策約束權存在適用決策類型和數據類型局限的雙重不足,因應我國的自動化決策客觀實踐,在賦予數據主體相似權利時應首要考慮擴展適用到所有自動化決策類型,以期對數據主體形成周延保護。自動化決策的運行實踐表明,雖然以信息自感知、自決策、自執行等功能為特征的自主化智能系統已被廣泛應用,但鑒于算法決策任務的復雜性,在算法開發和運行過程中將人類決策者納入規劃環路,通過增加數據資源、更新數據特征、修改模型架構以及更改評估指標等方式體現人類輔助或者反饋特征的“人機回圈”決策實踐同樣普遍。〔47〕歐盟立法者認為存在人工參與的自動化決策類型因技術合理性避免了完全機器決策對個人尊嚴的減損,故未能將其涵蓋在內。實際上,將非完全自動化決策排除適用實屬不妥。一方面,即使存在實質性人為控制,但若人類決策者存在明顯偏見,仍然可能在系統內嵌間接的、無意的甚至不易察覺的歧視。〔48〕另一方面,即使一項自動化決策系統已經被明確限定為輔助決策功能,人類決策者或出于對機器邏輯的信任,或由于缺乏時間、精力等原因,極易降低自身職業的警惕和批判分析能力,導致對決策輔助系統的盲從。〔49〕

  有鑒于此,我國新近公布的《個人信息保護法》第 24 條應當擴展權利適用的自動化決策類型,不應僅限定在“僅通過自動化決策方式作出”這一決策類型,使其合理涵蓋完全和非完全自動化決策,避免不合理的行權限制。與此同時,立法機關還應當對第 73 條第 2 項的自動化決策定義予以配套修改。該法第二章第三節專門規定了國家機關處理個人信息的特別規定,這意味著該部法律的適用場景并不局限于商業化場景,而是著眼并橫貫公私場景中的個人信息處理行為。相應地對自動化決策的定義理應采取整全化視角,為整部法律奠定良好的概念基石。目前,第 73 條第 2 項的自動化決策定義部分移植并雜糅了 GDPR 第 4 條第 4 款中對“用戶畫像”的定義。實際上,用戶畫像的核心在于對自然人特定特征或者行為的分析和預測,其可以通過完全自動化或者非完全自動化處理方式得出。而自動化決策雖然經常被應用于用戶畫像領域,所涉處理行為卻更為廣泛。例如,按照第 73 條第 2 項的自動化決策定義,在我國社會信用體系建設過程中,使用個人信息生成公民信用畫像對信用狀況進行分析、評估的行為屬于《個人信息保護法》語境下的自動化決策類型,但信用畫像形成后與之相關的自動推送信用信息、自動識別黑紅名單、自動提示獎懲依據、自動實施限制處理、自動反饋處理結果等其他信用獎懲智能決策卻可能因不具有用戶畫像的特質而被不當排除在外。因此,應當擴展第 25 條權利適用的自動化決策類型,厘清第 73 條第 2 項用戶畫像與自動化決策的異同邊界,避免免受自動化決策約束權及相關配套權利的行權基礎受到不當限制。

  (二)厘清自動化決策和用戶畫像對數據主體產生重大影響的判斷標準

  免受自動化決策約束權雖然賦予數據主體免受自動化決策和用戶畫像約束的權利,但該項權利的適用對象不應籠而統之、概不區分,應在立法上為數據的合理利用預留發展空間。因此 GDPR 第 22 條中規定數據主體應以自動化決策和用戶畫像對其“產生法律或者類似重大影響”為行權條件。遺憾的是,該條并未明確規定構成對數據主體產生法律或者類似重大影響的具體標準。此處立法的模糊性不僅不利于權利的有效實施,還增加了企業合規操作和產品開發的不確定成本。實踐中,主體、渠道、場景、范圍等諸多因素均可影響一項自動化決策或者用戶畫像達成“類似重大影響”標準。例如,一般用戶可能認為通過個性化推薦向好友展示閱讀動態信息并未達到對其產生重大影響的程度。但在黃某訴微信讀書侵犯隱私權一案中,原告則提出在未獲授權情況下,個人讀書信息在一定程度上能夠反映用戶個人喜好及文化修養,微信讀書自動為用戶添加微信好友并向關注好友自動推送原告讀書動態的行為對其產生了重大影響,侵犯了其個人信息權益。〔50〕我國《個人信息保護法》第 24 條雖未提及“法律影響”,但將“重大影響”作為行權構成要件。實踐中自動化決策和用戶畫像對數據主體是否產生“法律或者類似重大影響”雖然存在主觀化和場景化差異,但在立法中明確基礎判斷規則和衡量基準仍頗為必要,對避免權利被不當架空具有積極功用。

  GDPR 雖未能對此提供參考制度樣本,但以第 29 條工作組發布的《準則》為鏡鑒,結合我國個人信息保護實踐,可以合理推斷構成我國《個人信息保護法》第 24 條中規定的“重大影響”應當至少滿足以下兩項核心標準。第一,“重大影響”應包含“法律影響”。此處“法律影響”應當視為對數據主體的法律地位和法律權利產生的影響。而法律地位和法律權利的認定應當以制定法以及已生效合同中涉及的權利為認定基準。第二,在產生“法律影響”之外,若一項自動化決策或者用戶畫像對數據主體產生了“重大”影響,也應視為構成行權標準。此處“重大”應當滿足與產生的“法律影響”相近似的臨界標準。〔51〕具體而言,一項自動化數據處理在過程或者結果層面均可能對數據主體的境況、行為或者選擇產生“重大”影響。從過程視角來看,若一項自動化數據處理在數據收集或者分析層面是在未經授權情形下通過監控數據主體在不同網站、設備上的點擊瀏覽行為而展開的精準營銷,即使在結果層面未對數據主體構成重大影響,但因具有過程侵入性仍應當認定為對主體產生重大影響。〔52〕從結果視角來看,“重大”影響不僅包括已然發生的不利影響,還應當審慎考慮對未來的潛在影響。對于已然發生的不利影響,應當采取“一般理性人”標準融合具體場景綜合考量,合理評估是否對當事人產生了重大影響。但鑒于一項不利自動化決策可能在未來或者其他領域對主體產生不利 “鎖定效應”,〔53〕因此,對數據主體的潛在影響也應被審慎考慮。例如,若數據主體在獲得商業信用評分后發現無法以免押租金的方式租借共享單車。若此現象僅發生一次,綜合考慮影響范圍、影響程度、持續時間等因素不應視為對當事人構成“重大”影響。但若數據主體在獲取相關信息后發現,失去免押租借共享單車資格是因為該商業信用評分模型對其信用標簽存在不當偏見,且該標簽可能在銀行借貸、信用卡申請等重要場景帶來潛在不利影響,則該種情形就應當綜合考慮影響范圍、影響等級以及影響持續時間,審慎作出符合“重大”影響的判斷。故我國可以綜合前述兩項原則設計更為精細可行的影響判斷規則。

  (三)以《個人信息保護法》第 24 條為基點建立全要素配套行權機制

  GDPR 雖然存在諸多缺憾,但立法者為免受自動化決策約束權的行使建立了全周期、多聯動、共協同、成體系的行權配套機制。這一立法思路若配之以科學的行權條件,有助于重新喚醒塵封多年的免受自動化決策約束權,一改其式微之勢。如前文所述,歐盟立法者在 GDPR 第 22 條內部設定了人為干預權、表達權和異議權三項聯動機制,確保免受約束權的行使有固可守。在條文之外,歐盟立法者從貫穿“事前、事中、事后”的數據生命周期視角形成了數據主體對于自動化決策“知情、參與、反對、救濟”的一體化行權方案。鑒于自動化決策的數據處理貫穿于各個環節,任一單點化的防御機制和行權機制都可能瀕于失效。因此圍繞 GDPR 第 22 條,立法者還構筑了聯防聯控的全周期行權機制,彌合了各項權利孤軍作戰的缺陷,為數據主體提供了動態閉環保護。這種聯動化的行權建構理念節點明確、邊界清晰,既賦予數據主體對抗算法的自治空間和彈性地帶,又貼合自動化決策的運行規律,提升了事前、事中、事后的權利保護質效。〔54〕

  因循這一視角審視我國《個人信息保護法》可以發現,立法者以第 24 條為核心賦予了個人對抗自動化決策的權利,但進行立法體系化梳理后發現,各項相關權利或內容寬泛,或行權節點連接不清,難以構筑起面向全數據生命周期的精細化閉環行權體系。

  首先,事前知曉是源頭保護,能夠有效預警從而阻斷不利自動化決策展開。《個人信息保護法》雖在第 17 條、第 44 條賦予個人知情權,在第 48 條賦予個人獲得解釋說明的權利。但通過條文內容可知,第 44 條僅粗略規定個人對其個人信息的處理享有知情權、決定權,有權限制或者拒絕他人對其個人信息進行處理,但如何限制、如何知情,條文中語焉不詳。第 17 條雖要求個人信息處理者告知個人信息處理的目的、方式、處理個人信息的種類和保存期限,但這些信息對于自動化決策的用戶知情需求而言,預警不足、針對性受限。即使個人依照第 48 條要求個人信息處理者對信息處理規則進行解釋說明,也難以從條文中探析“何為處理規則”,無法為第 24 條提供充分明確的決策依據和合理預期。

  其次,事中階段的各項權利是對不利自動化決策展開的有效阻擊,借助刪除、限制處理等權利可在自動化數據處理過程中施加數據主體所欲的人為影響。《個人信息保護法》第 44 條、第 45 條、第 46 條、第 47 條分別賦予個人限制處理、查閱復制、更正補充以及刪除權。可以說一定程度上滿足了個人在事中階段對自動化決策施加人為影響的行權基礎。但比較我國條文與 GDPR 可知,GDPR 在設計數據權利時嵌入了對自動化決策的行權關照,行權條文的精細化和針對性更高。例如,第 15 條 h 項專門規定了數據主體行使訪問權時獲得有關自動化決策的邏輯程序和有意義的信息,以及此類處理對數據主體的意義和預期影響。而我國的條文設計更多針對個人信息處理一般情形,對自動化個人信息處理的關照和精細化程度不足,還可再行完善。

  最后,事后階段的免受自動化決策約束權是重要的算法風險消弭機制。我國《個人信息保護法》并未賦予個人完整版本的免受約束權,僅在第 24 條賦予個人獲得說明并拒絕僅通過自動化決策作出決定的權利。一來條文中并未厘清此處的“獲得說明”與第 48 條獲得個人信息處理規則“解釋說明” 之間的關系,勢必造成行權困惑。二來第 24 條的拒絕權面向“自動化決策”而非“自動化決策的結果”,由于行權時機并非面向事后階段,這導致立法中忽略了如果一項自動化決策已經做出,個人又未能在事前、事中階段獲得預警和有效阻擊之情形下如何在事后階段提出異議、表達觀點、獲得救濟從而消弭風險。雖然條文第 50 條規定個人行使權利的請求被拒絕的有權獲得個人信息處理者提供的理由。但若洞悉用戶心理可知,“比起獲得理由或者解釋而言,用戶更希望不利的自動化決策從未發生”。〔55〕至少,若一項不利且事關重大的自動化決策已經發生,立法可以在事后階段明確賦予其免受該項決策約束并獲得程序性救濟的權利。

  綜上所述,算法風險是隱秘性、動態性、擴散性和系統性的,僅依靠賦予數據主體拒絕自動化決策權利這一單點突破的立法思路勢必難以全面無虞地確保數據主體獲得逃離算法操控的基礎和能力。目前,我國《個人信息保護法》剛剛頒布,立法者在借鑒免受自動化決策約束權的立法思路時,還需注意為其配備事前知曉、事中參與、事后救濟的全周期閉環行權體系,注重系統要素、結構功能、運行機制、過程結果等層面的有機統籌,構筑起完善的算法風險識別預警機制、抵御機制以及消弭機制,增強對抗算法私權體系的韌性和質效。

  五、結語

  在數字經濟全球競爭的時代,與技術和資本相比,治理規則的構建已經成為數字時代的新型“權力語言”,實質性地發揮核心戰略功用。〔56〕GDPR 不僅在個人隱私保護領域深耕細作,在自動化決策規制方面也快速迭代,提供了可資借鑒的規制經驗。在我國,近年來一系列數據安全和個人信息保護相關的法律漸次出臺,彰顯了我國立法者在技術治理領域的決心和智慧,可以預見我國的數據和算法治理體系會日臻完善。在所有治理工具中,賦予數據主體妥善應對算法風險的免受約束權,完善權利內部構造和外部實施的制度環境,對于適度調控和防范算法技術風險,對抗算法滋擾和算法操控的數字化生存困境具有重要而深遠的意義。正如有學者所言,“每一項數據主體的權利都值得被認真對待”。〔57〕本文探究的免受自動化決策約束權只是新型算法權利研究的起點,未來還需要對拒絕權、反對權、獲得人工干預權等相關權利進行深入挖掘,系統繪制數字時代新型算法權利的理論圖譜。

主站蜘蛛池模板: 久久无码字幕中文久久无码 | 欧美成一区二区三区 | 揄拍成人国产精品视频 | 欧美人与性动交ccoo | 久久久久女人精品毛片 | 白嫩少妇喷水正在播放 | 久久久久久久久888 国产激情无码一区二区 | 国产三级精品一区二区三区视频 | www.激情五月 | 奇米影视欧美 | 成人国产福利a无限看 | 一本色道av | 亚洲精品一区二区三区四区五区 | 亚洲熟熟妇xxxx | 欧美va天堂在线电影 | 欧美性受xxxx | av福利在线看 | 国产熟妇高潮叫床视频播放 | k频道国产在线观看 | 高清不卡一区二区三区 | 国产黄色影院 | 精品国产一区二区三区香蕉 | 三日本三级少妇三级99 | 精品国产成人 | 成人毛片视频网站 | 国产精品永久免费观看 | 欧美色图一区二区 | 成熟的女同志hd | 免费播放黄色片 | 亚洲人视频在线观看 | 久久综合国产伦精品免费 | 久草热8精品视频在线观看 人妻互换 综合 | 免费一级毛片在线观看 | 日韩免费在线播放 | av亚洲产国偷v产偷v自拍小说 | 欧美污视频在线观看 | 亚洲男人网站 | 国产涩涩视频在线观看 | h片在线免费看 | 国产亚洲精品久久久久蜜臀 | 极品粉嫩鲍鱼视频在线观看 | 国产精品 欧美精品 | 乱人伦中文无码视频在线观看 | 日本天天黄网站 | 91精品专区| 日本人妻伦在线中文字幕 | 国产一区二区三区精品久久久 | 伊大人香蕉综合8在线视 | 日韩少妇毛片 | 女生高潮视频在线观看 | 黄色片子看看 | 拔插拔插海外华人免费视频 | 亚洲日韩欧美内射姐弟 | 国产视频自拍一区 | 五月天狠狠干 | 国产精品久久国产精品99 | 爱情岛论坛亚洲品质有限公司18 | 综合色小说 | 小嫩批日出水视频 | 神马久久久久久 | av二区在线 | 青青草婷婷 | 国产成人三级在线观看 | 色综合久久综合欧美综合网 | 欧美性猛交丰臀xxxxx网站 | 中文亚洲欧美日韩无线码 | 国产日韩欧美二区 | 99re6这里只有精品视频在线观看 | 一级做a爰全过程免费视频毛片 | 久久精品成人欧美大片 | 性色av一区二区三区 | 综合五月婷| 亚洲精品久久久口爆吞精 | 性生交生活大片免费看 | 91中文字幕在线播放 | 国产综合精品一区二区三区 | 蜜臀av无码精品人妻色欲 | 大胸少妇裸体无遮挡啪啪 | 天堂成人av| 中文字幕亚洲一区二区va在线 | 免费观看成人www动漫视频 | 久久人人爽人人爽人人av东京热 | 国产女人18毛片18精品 | 国产伦对白刺激精彩露脸 | 波多野结衣黄色网址 | 精品久久久久久中文字幕大豆网 | 国产欧美日韩另类 | 免费无码又爽又刺激网站 | 五月在线| av动态| 欧美日韩国产免费观看 | 一区二区中文字幕在线 | 色综合天天干 | 国产线播放免费人成视频播放 | 亚洲天堂激情 | 亚洲爆乳无码精品aaa片蜜桃 | 日韩欧美一卡二卡 | 久久久久人妻一区精品色欧美 | 国产女人高潮的av毛片 | www片香蕉内射在线88av8 | 97婷婷狠狠成为人免费视频 | 牛av在线| 8x成人66m免费视频 | 国产精品99久久久久久宅男 | 91看视频| 刘亦菲裸体视频一区二区三区 | 色嗨嗨av一区二区三区 | 国产精品天天干 | 亚洲一区精品二人人爽久久 | 888久久| 婷婷丁香六月天 | 午夜美女国产毛片福利视频 | 蜜臀av无码人妻精品 | 自拍偷拍 亚洲 | 91在线观看免费视频 | 色哟哟视频在线 | 妺妺窝人体色www在线观看 | 久久一线| 一区二区三区四区精品 | 杏导航aⅴ福利网站 | 香蕉国产 | 久草视频污 | 国精品午夜福利视频不卡 | 电车痴汉在线观看 | 久艹视频在线观看 | 欧美肥胖老太videossexohd | 精品久久久久香蕉网 | 欧美精品成人 | 国产资源av | 国产在线观看码高清视频 | 日韩欧美在线一区二区 | 国产激情精品 | 国产av人人夜夜澡人人爽麻豆 | 中文字幕日韩欧美一区二区三区 | 成人av番号网 | 亚洲欧美综合精品另类天天更新 | 国产女人18毛片水18精 | 丰满爆乳一区二区三区 | 婷婷色综合 | 国产一区二区不卡老阿姨 | 亚洲视频一二区 | 国产精品美女www爽爽爽三炮 | 久久久99日产| 亚洲欲| 正在播放超嫩在线播放 | 69xx欧美| 噜噜噜久久亚洲精品国产品 | 久久久无码精品亚洲日韩按摩 | 国产欧美在线一区 | 日韩一区二区三区视频 | 日本动漫做毛片一区二区 | 女攻总攻大胸奶汁(高h) | 成人性做爰 | 青青草视频黄 | 日韩精品三区 | 天天色天天色 | 手机天堂av | 国产精品偷窥熟女精品视频 | 天堂资源在线播放 | 日本天堂在线播放 | 日韩伦理大全 | 含紧一点h边做边走动免费视频 | 欧美日韩国产免费一区二区三区 | 欧美精品一区二区三区久久久 | 欧美顶级metart裸体全部自慰 | 亚洲精品一区国产精品 | 91嫩草私人成人亚洲影院 | 国内成人在线 | 欧美成人午夜免费视在线看片 | 欧美三级午夜理伦三级 | 国产日韩欧美在线观看视频 | 国产精品av久久久久久久久久 | 极速小视频在线播放 | 91av视频在线观看 | 国产午夜精品一区 | 国产无遮挡成人免费视频 | 精品国产乱码一区二区 | 亚洲三区在线观看无套内射 | 中文字幕av播放 | 欧美xxxx做受欧美1314 | 欧美日韩精品一区二区在线观看 | 寂寞d奶大胸少妇 | 免费观看成人在线视频 | 中国女人内射6xxxxx | 欧美黑人做爰爽爽爽 | 国产黄色在线网站 | 国产亚洲视频在线播放香蕉 | 国产乱码精品一区二区三区精东 | 69av视频| 久草毛片 | 一本色道av立川理惠 | 对白脏话肉麻粗话av | 亚洲精品国产a | 婷婷丁香六月激情综合啪 | 性色av无码免费一区二区三区 | 极品少妇一区二区 | 国产精品久久久久免费观看 | 很很射影院 | 九九视频在线观看视频6 | av在线操 | 日本一区二区三区高清在线观看 | 69精品人人人人 | 精品久久久久久亚洲综合网 | 国产成人在线一区 | 6080av| 久久激情五月丁香伊人 | 国产九九热 | 国产乱人伦精品一区二区 | 久章操 | 免费在线国产视频 | 色偷偷人人澡人人爽人人模 | 亚洲国产精品毛片av不卡在线 | 欧美成人一区二区三区在线视频 | 中文字幕高清免费日韩视频在线 | 日日碰狠狠躁久久躁2023 | 香蕉视频免费在线 | 岛国精品在线观看 | 精品久久久久久久人人人人传媒 | 97精产国品一二三产区区别视频 | 日本视频中文字幕 | 九热在线| 亚洲福利在线观看 | 国产美女91 | 欧美永久精品 | 亚洲成人系列 | 91久久国产综合久久91精品网站 | 6080一级片 | 亚洲爱婷婷色婷婷五月 | www.久久久久久久久 | 国产免费a | 黑人巨大精品欧美黑寡妇 | 91精品国产高潮对白 | 国产日韩欧美精品在线 | 久久精品国产亚洲精品2020 | 香港三日本三级少妇少99 | 四虎永久地址www成人 | 国产精品911 | 玖玖久久 | www日韩com| 日韩av日韩 | 国产精品久久久久久久久久久久冷 | 欧美一区二区在线 | 男人的天堂av网站 | 亚洲精品无码高潮喷水在线 | 久久国产精品精品国产 | 国产激情偷乱视频一区二区三区 | 性chⅰnese国模大尺度视频 | 九色91 | 国产一级特黄aa大片出来精子 | 日韩一区二区精品葵司在线 | 欧美中字| 999久久久国产精品 999久久久精品 | 99视频在线精品免费观看2 | 内射中出无码护士在线 | 亚洲综合网在线 | 国产精品主播一区二区 | 97青娱国产盛宴精品视频 | 无遮挡又色又刺激的女人视频 | 成人深夜小视频 | 欧美日韩色图片 | 国产男女猛烈无遮挡 | 深夜免费福利视频 | 无码国产精品一区二区免费虚拟vr | 国产香蕉精品视频 | 少妇下蹲露大唇无遮挡0 | 精品深夜av无码一区二区 | 国产真实露脸乱子伦 | 狠狠色综合网站久久久久久久高清 | 欧美aa在线观看 | 深夜福利网站 | 国产看黄网站又黄又爽又色 | 国产免费无遮挡 | 色无极亚洲影院 | 亚洲中文字幕无码久久 | 91亚洲一区二区 | 色吊丝永久性观看网站免费 | 老妇女性较大毛片 | 国产女人的高潮国语对白 | 天天鲁一鲁摸一摸爽一爽 | 成人三级视频 | 伊人久久五月丁香综合中文亚洲 | 亚洲精品久久久久久久久久久 | 成人看片17c.com | 宅男噜噜66国产精品观看 | 免费在线观看av的网站 | 日本视频精品 | 国产精品人妻 | 久久精品国产色蜜蜜麻豆 | 五月天婷婷色综合 | 三上悠亚日韩精品二区 | 亚洲aa在线| 日本极品在线 | 国产免费二区 | 欧美一级鲁丝片 | 久久久久久免费 | 亚洲xxxx天美| 欧美激情一区二区三区视频 | a级a级高清免费美日a级大片 | 91啪视频在线观看 | 欧美午夜一区二区 | 国产又粗又深又猛又爽又在线观看 | 超碰青娱乐 | 成品片a免费入口麻豆 | 国产伦精品一区二区三区视频孕妇 | 国产69精品久久99的软件特点 | 欧美激情视频在线播放 | 一级大片在线观看 | 日批大全 | 少妇毛片久久久久久久久竹菊影院 | 性一交一乱一乱一视频96 | 成年人黄色大片 | 中文字幕第2页不卡 | 日本h在线观看 | 欧美精品99久久 | 韩国三级丰满少妇高潮 | 国产在线播放91 | 超碰国产人人 | 拧花蒂尿用力按凸起喷水尿一区 | 久久亚洲国产精品成人av秋霞 | 老太脱裤子让老头玩xxxxx | 欧美一级黄色录像 | 极品少妇被黑人白浆直流 | 少妇真实被内射视频三四区 | 国产精品色综合一区二区三区 | 亚洲va欧美va国产综合剧情 | 国产成人99久久亚洲综合精品 | 免费aⅴ网站| 亚洲国产综合视频 | 黄色aa毛片 | 精品久久久久久无码人妻热 | 888久久久| 韩国成人在线 | 中文字幕h | 国产精品夜夜春夜夜爽久久老牛 | 国产极品美女高潮无套久久久 | av中文天堂在线 | 疯狂做受xxxx国产 | 九九日韩 | 欧美肥老妇视频九色 | 欧美成人视 | 嫩草导航| 欧美肥婆姓交大片 | 国产美女视频国产视视频 | 亚洲第一色网站 | 日本精品一区二区三区四区 | 国内品精一二三区品精 | 狠狠色网 | 国产无在线观看 | 一区二区视频 | 国产精成人品日日拍夜夜免费 | 99精产国品一二三产区区别麻豆 | 天堂8在线新版官网 | 久久久久久亚洲精品不卡 | 久久精品99国产精品酒店日本 | 色啪综合 | 国产激情91久久精品导航 | 色美av | 免费精品视频在线观看 | 性久久久久久久久久久 | 欧美日韩免费在线 | 亚洲尤物在线 | 成人羞羞国产免费图片 | 欧美一级全黄 | 中文字幕免费一区二区 | 精品国产免费久久久久久尖叫 | 52avaⅴ我爱haose免费视频 | 色视频免费 | 日剧大尺度床戏做爰 | 草在线视频 | 小12萝8禁在线喷水观看 | 久久久久久九九九 | 国产成人精品777 | 欧美国产一级 | 免费看成人 | 成人免费黄色网 | 50一60岁老妇女毛片 | 丰满多毛的大隂户毛茸茸 | 亚洲iv一区二区三区 | 性久久久久 | 91成人破解版 | 亚洲激情视频在线 | 亚洲性一区 | 免费在线观看黄色网址 | 亚洲色偷偷色噜噜狠狠99网 | 亚洲第二页 | 51久久精品夜色国产麻豆 | 色老妹 | 一本到在线观看视频 | 亚洲乱亚洲乱妇24p 国产精品丝袜高跟鞋 | 免费在线一区二区 | 亚洲三级小说 | 一边添奶一边添p好爽视频 欧美 变态 另类 人妖 | 欧美一区免费 | 国产精品无码成人午夜电影 | 麻花豆传媒剧国产免费mv在线 | 亚洲成人久久精品 | 亚洲欧美一区二区三区久久 | 欧美与黑人午夜性猛交久久久 | 色综合色综合久久综合频道88 | 九九视频精品在线 | 日韩av在线中文字幕 | 国产情侣一区二区三区 | 成人性做爰aaa片免费看曹查理 | 老司机午夜性大片 | 一区二区精品视频 | 国产偷久久一级精品av小说 | 欧美午夜精品久久久久久浪潮 | 亚洲v日韩v综合v精品v | 亚洲熟伦熟女新五十路熟妇 | 少妇9999九九九九在线观看 | 国产91在线播放9色不卡 | 亚洲熟妇久久国产精品 | 亚洲插插插 | 国产一区二区三区在线观看免费 | 久久久久中文字幕亚洲精品 | 天天操夜夜爱 | 亚洲天堂视频在线观看免费 | 波多野结衣av高清一区二区三区 | 上司人妻互换中文字幕 | 欧美v国产v亚洲v日韩九九 | 久久亚洲男人天堂 | 久久久久亚洲ai毛片换脸星大全 | 中文字幕二区在线观看 | 中国精品妇女性猛交bbw | 免费看av大片 | 成年片色大黄全免费网站久久 | 琪琪午夜伦埋影院77 | 成av人在线观看 | 嫩草影院中文字幕 | 亚洲成人黄色片 | 97久久精品无码一区二区天美 | 亚洲色成人网站www永久四虎 | 精品国产偷窥一区二区 | 琪琪色影音先锋 | 99热久久久久久久久久久174 | 成人黄色激情小说 | 亚洲高清成人 | 小黄鸭精品aⅴ导航网站入口 | 国产女人40精品一区毛片视频 | 中文字幕欧美日韩va免费视频 | 一本久久综合亚洲鲁鲁五月天 | 亚洲熟妇av一区二区三区浪潮 | 欧美性猛交xxxⅹ丝袜 | 99青青草| 国产中文字幕免费 | 乱中年女人伦av一区二区 | 亚洲国产成人欧美激情 | 日韩激情久久 | 性欧美精品动漫片 | 日韩另类av| 在线免费一区二区 | 久久久成人网 | 免费在线黄 | 国产成人无码精品一区在线观看 | 天天干com | 成人国产免费观看 | 亚洲国产精品18久久久久久 | 丰满少妇被猛烈进入高清播放 | 亚洲免费网址 | 国内精品久久久久久久影视麻豆 | 免费人成视频在线播放 | 日本高清视频在线播放 | 少妇高潮大叫好爽喷水 | 欧美一区二区激情 | 欧日韩av| 一区二区日韩精品 | 性高朝大尺度少妇大屁股 | 兔费看少妇性l交大片免费 97久久精品无码一区二区 | 乱子伦一区| 精品三级av无码一区 | 久久人人玩人妻潮喷内射人人 | 久9re热视频这里只有精品 | 男人天堂网av | 欧美国产一级片 | 成人高清在线观看 | 黄色自拍网站 | av小说在线观看 | 81精品国产乱码久久久久久 | 精品久久久久久中文字幕人妻最新 | 久久久久se色偷偷亚洲精品av | 亚洲视频一二三四 | 暖暖日本在线 | 精品久久久噜噜噜久久久 | 欧美性狂猛xxxxx深喉 | 午夜国产福利在线 | a极黄色片| 黄色av网 | 久久综合一区 | 人人妻人人狠人人爽天天综合网 | 成人欧美视频在线观看 | 精品久久久久久久久久久久久久久久久 | 人妻激情文学 | 国产猛烈高潮尖叫视频免费 | 亚洲涩涩网 | 国产乱淫精品一区二区三区毛片 | 女人抽搐喷水高潮国产精品 | 女医生大乳奶水 | 超碰97色 | 国内自拍偷区亚洲综合伊人 | 99久久婷婷国产综合亚洲 | 久久久久国产一区二区三区 | av黄色影院| 韩国av片永久免费 | 亚洲国产精品人人做人人爱 | 欧美三级a做爰在线观看 | 荒岛淫众女h文小说 | 国内精品久久久久久久久 | 91福利小视频 | 有码一区二区三区 | 欧美性大战久久久久xxx | 深夜福利视频免费观看 | 久久欧美高清二区三区 | 777精品伊人久久久久大香线蕉 | 成人区人妻精品一区二区不卡视频 | 成人av在线一区二区 | 亚洲成人精品在线观看 | 激情五月婷婷 | 在线欧美a | 午夜视频福利在线 | www.男女 | 特黄特色三级在线观看 | 五月婷婷在线视频观看 | 成人无码一区二区三区网站 | 在线亚洲高清揄拍自拍一品区 | 欧美成人精品欧美一级乱 | 国产午夜精品一区二区三区漫画 | www日韩com| 韩欧美精品 | 久久久久久亚洲精品中文字幕 | 成人小说亚洲一区二区三区 | 国产一区二区精品久久岳 | jzjzjz亚洲丰满少妇 | 亚洲精品在线免费观看视频 | 鲁丝片一区二区三区 | 精品无码一区二区三区不卡 | аⅴ天堂中文在线网 | 色片网站在线观看 | 亚洲乱码一区二区三区在线观看 | 黄色网址你懂得 | 亚洲国产福利一区二区三区 | 久热re这里精品视频在线6 | 快色视频在线观看 | 国产高清一区 | 黄色不卡视频 | 亚洲欧洲美洲无码精品va | 五月天堂色 | 欧美抠逼视频 | 极品福利在线 | 在线国产网站 | 日本妇人成熟免费 | 国产欧美大片 | 欧美人与动物xxx | 亚洲25p| 国产亚洲二区 | 欧美日韩视频网站 | 五月婷在线观看 | 屁屁影院ccyy国产第一页 | 亚洲熟女乱色综合亚洲小说 | 黄色av免费观看 | 四虎国产成人精品免费一女五男 | www污网站| 99国产精品久久久久久久日本竹 | 亚洲精选网站 | 国产精品揄拍一区二区 | √天堂资源地址在线官网 | 毛片基地免费观看 | 久久久久无码国产精品一区 | 蒂法3d一区二区三区 | 在线精品视频一区二区 | 亚洲国产精品久久久天堂 | 国产911情侣拍拍在线播放 | 国产综合久久久久 | 香蕉视频入口 | 黄色成年网站 | 免费成人高清在线视频 | 国产精品久久久久影院老司 | 亚洲天堂热 | asian超清日本肉体pics | 欧美精品亚洲精品日韩专区 | 亚洲欧洲天堂 | 白嫩初高中害羞小美女 | 在线一区av | 欧美精品videos性欧美 | 日韩在线免费播放 | 成人欧美一区二区三区黑人冫 | 男人午夜影院 | 91看片国产 | 乱码午夜-极国产极内射 | 一级一片免费观看 | 美女翘臀少妇啪啪呻吟流水 | 久久水蜜桃 | 久久久国产乱子伦精品 | 久久久视 | 亚洲色图18p| 精品91久久久 | 国产极品美女做性视频 | 欧美牲交a欧美牲交aⅴ免费真 | 久久精品一二三区白丝高潮 | 人人免费操 | 国产午夜亚洲精品理论片色戒 | 国产一区在线播放 | 天堂久久爱资源站www | 狠狠色噜噜狠狠色综合久 | 97免费在线观看 | 午夜一区二区国产好的精华液 | 色婷婷一区二区三区av免费看 | 中日韩在线视频 | 沦为黑人姓奴的少妇 | 国产极品白嫩精品 | 国产精品对白清晰受不了 | 肥臀熟女一区二区三区 | av在线观| 久插视频 | 国产96视频 | 日韩免费高清大片在线 |