注冊 | 登錄讀書好,好讀書,讀好書!
讀書網-DuShu.com
當前位置: 首頁新聞資訊文化

人工智能的全球治理;英國失蹤少年歸來之后

人工智能的全球治理在行將結束的2023年,人工智能無疑占據了全球公共討論的中心位置。與2016年AlphaGo和李世石的“世紀對決”給受眾帶來的奇觀式體驗不同

人工智能的全球治理

在行將結束的2023年,人工智能無疑占據了全球公共討論的中心位置。與2016年AlphaGo和李世石的“世紀對決”給受眾帶來的奇觀式體驗不同,發(fā)布于2022年11月底的ChatGPT,以人類歷史上前所未有的速度“飛入尋常百姓家”,并塑造大眾意識和公共話語,改變政治、經濟、社會治理、國際關系、醫(yī)療保健、教育與人文藝術等人類世界諸領域。

伴隨著新技術的狂飆突進,人們愈發(fā)對人工智能取代或萎縮人類智力、助長剽竊和有害信息的潛力表示擔憂,而這種擔憂又與地緣政治博弈、金融資本炒作、大眾媒體議程設置以及好萊塢科幻電影帶來的大眾文化想象等諸多因素摻雜在一起,形成相當雜駁的面相。

山姆·奧特曼(Sam Altman)


2023年11月,被稱為“ChatGPT之父”的山姆·奧特曼(Sam Altman)被自家公司“掃地出門”又迅速回歸“復辟”,這一戲劇性事件給這一年的人工智能大戲添上了一抹荒誕色彩,也揭示了人工智能內部管理機制的隨意性和脆弱性。12月,奧特曼當選為《時代》周刊年度首席執(zhí)行官。

無論親身體驗與否,人們都已被拽入一個新世界,人工智能已經成為全人類共同面臨的機遇和挑戰(zhàn),而如何對其進行治理亦成為全球性議題。

10月26日,聯(lián)合國秘書長安東尼奧·古特雷斯正式宣布聯(lián)合國高級別人工智能咨詢機構(High Level Advisory Body on AI)成立。古特雷斯在發(fā)言中指出:“在充滿挑戰(zhàn)的時代,人工智能可以為人類帶來非凡的進步。從預測和應對危機,到推出公共衛(wèi)生計劃和教育服務,人工智能可以全面擴大和加強政府、民間社會和聯(lián)合國的工作。對于發(fā)展中經濟體而言,人工智能提供了跨越過時技術的可能性,并直接為最需要的人提供服務?!?/p>

12月21日,該機構的執(zhí)行委員會發(fā)布中期報告,四名執(zhí)委會成員在《世界報業(yè)辛迪加》(Project Syndicate)網站發(fā)表題為《全球AI治理必須做什么》的評論文章,介紹了其主張的人工智能治理五項原則:

首先,由于全球環(huán)境不同,風險也不同,因此每一種風險都需要有相應的解決方案。但這意味著要認識到,權利和自由是如何被特定的設計、使用(和濫用)和治理選擇所危害的。未能建設性地應用人工智能——我們稱之為“錯過的用途”(missed uses)——可能會不必要地加劇現有的問題和不平等。

其次,由于人工智能是經濟、科學和社會發(fā)展的工具,而且它已經在幫助人們的日常生活,因此必須以公共利益為出發(fā)點進行治理。這意味著要牢記與公平、可持續(xù)性、社會和個人福祉相關的目標,以及更廣泛的結構性問題,如競爭性市場和健康的創(chuàng)新生態(tài)系統(tǒng)。

第三,需要協(xié)調不同地區(qū)的新興監(jiān)管框架,以有效應對人工智能的全球治理挑戰(zhàn)。

第四,人工智能治理應該與維護機構、保護隱私和個人數據安全的措施齊頭并進。

最后,治理應立足于《聯(lián)合國憲章》、國際人權法和其他具有廣泛全球共識的國際承諾,如可持續(xù)發(fā)展目標。

相較于該文的原則性表述,該文作者之一、斯坦福大學網絡政策中心政策主任和網絡和平研究所所長瑪麗耶·沙克(Marietje Schaake)同日在《外交事務》(Foreign Affairs)網站發(fā)表的文章,更加清晰地闡釋了她關于人工智能全球治理的主張。

瑪麗耶·沙克寫道,政治領導人正爭先恐后地對人工智能的進步做出回應。隨著從市場營銷到醫(yī)療保健再到武器系統(tǒng)的應用,人工智能有望在整個社會和世界各地產生深遠影響。生成式人工智能的最新發(fā)展,即ChatGPT等應用程序中用于生成文本和圖像的技術,激發(fā)了人們的興奮,也引發(fā)了越來越多的擔憂。學者和政治家都對這項技術可能導致人們失業(yè)、危害民主和侵犯公民自由的方式敲響了警鐘。所有人都認識到,迫切需要政府監(jiān)管,確保人工智能應用在法律范圍內運作,并保障國家安全、人權和經濟競爭。

從市政廳到國際組織,對人工智能的監(jiān)督都至關重要。在2023年的最后幾個月,新舉措的步伐加快了。例如,七國集團在10月底發(fā)布了一份針對人工智能開發(fā)人員的非約束性行為準則。11月初,英國主辦了人工智能安全峰會,來自28個國家的代表團承諾合作管理人工智能的風險。美國總統(tǒng)拜登在發(fā)布了一項促進“安全、可靠和值得信賴”的人工智能的行政命令幾周后,在中美元首會晤中同意就人工智能展開政府間對話。12月初,歐盟立法者就《人工智能法案》達成了政治協(xié)議,這是一項開創(chuàng)性的法律,旨在降低人工智能技術的風險,并制定全球監(jiān)管標準。

盡管人們普遍認識到需要引領人工智能驅動的未來,但在國際合作與協(xié)調方面,政治領導人往往求助于過去的工具。對人工智能進行全球監(jiān)督的最突出的建議是試圖復制為其他目的而建立的多邊機構:例如,聯(lián)合國秘書長古特雷斯和其他人呼吁建立一個“人工智能領域的國際原子能機構”(IAEA for AI),該機構將以國際原子能機構監(jiān)督核技術的方式監(jiān)督人工智能。上個月,英國主導的人工智能安全峰會再次呼吁成立“人工智能領域的政府間氣候變化專門委員會”(IPCC for AI)。

盡管借鑒多邊主義以往成功經驗的沖動是可以理解的,但簡單地引入一個新機構并不能解決人工智能治理的難題。與會者在人工智能安全峰會上做出的承諾,類似于七國集團的指導方針,僅僅是承諾。在缺乏約束性措施的情況下,企業(yè)只能自行管理。投資者和股東可能更喜歡這種結果,但政治家和公民不應幻想私營人工智能公司會為公眾利益行事。OpenAI最近的慘敗就是一個很好的例子:董事會與執(zhí)行領導層就公司產品的社會影響發(fā)生沖突,這表明管理人工智能風險的內部機制非常脆弱。

國際監(jiān)管機構只有在制定了可以讓公司和國家政府承擔責任的規(guī)則時才能取得成功。政治領導人應該首先敲定這些法律的前提條件和內容,然后才能讓合適的機構來監(jiān)督監(jiān)管。人工智能的快速發(fā)展、不透明性和不斷變化的性質使其與以前的技術有本質的不同,它將需要新形式的國際監(jiān)督。立法者不應該因挑戰(zhàn)的范圍而氣餒,而應該把它當作創(chuàng)新的靈感。

瑪麗耶·沙克批評道,急于成立全球監(jiān)管機構是本末倒置的做法。并表示,現有國際機構的成就或許值得效仿,但它們的監(jiān)督模式并不容易適用于人工智能。以國際原子能機構為例,這個由聯(lián)合國領導的監(jiān)督機構成立于1957年,但直到1970年《核不擴散條約》生效后,該機構才能夠有效地監(jiān)督參與國的核武器計劃并維護安全標準。目前關于人工智能治理的討論忽略了《不擴散核武器條約》的關鍵作用。政治領導人渴望建立具有監(jiān)控能力的以人工智能為中心的機構,但關于人工智能治理的可執(zhí)行條約卻遙遙無期。幾個主要國家在國內立法方面幾乎沒有取得進展。

英國首相蘇納克,和包括谷歌前首席執(zhí)行官埃里克·施密特在內的其他人都從政府間氣候變化專門委員會那里獲得了靈感。該機構綜合了氣候變化的科學研究,并主辦了年度締約方會議峰會。甚至在英國舉行首屆人工智能安全峰會之前,新的“IPCC for AI”計劃就強調,該機構的職能不是發(fā)布政策建議。相反,它會定期總結人工智能研究,強調共同關注的問題,并概述政策選擇,而不直接提供咨詢。這一有限的議程并不包含一項具有約束力的、可以提供真實的保護并約束公司權力的條約的前景。

建立既能“制定規(guī)范和標準”又能“監(jiān)督遵守情況”的機構,而不同時推動國家和國際規(guī)則,往好里說是天真的,往壞里說是故意的自私自利。企業(yè)一致支持非約束性倡議,支持后一種解釋。OpenAI的首席執(zhí)行官山姆·奧特曼響應了“IAEA for AI”的呼吁,并警告稱,即使他的公司向公眾傳播同樣的技術,人工智能也存在風險。施密特向人工智能創(chuàng)業(yè)公司和研究企業(yè)投入了大量資金,同時還為美國政府提供人工智能政策建議,強調企業(yè)的自我治理。利益沖突的可能性突顯出,需要有法律上可執(zhí)行的護欄,優(yōu)先考慮公眾利益,而不是為科技公司底線服務的松散規(guī)范。

將國際原子能機構或政府間氣候變化專門委員會作為模型也有可能忽視人工智能的新穎性及其監(jiān)管的具體挑戰(zhàn)。與由政府控制的核武器不同,人工智能的能力集中在少數幾家將產品推向市場的公司手中。政府間氣候變化專門委員會作為一個獨立研究小組的職能,將有助于人工智能的復制,特別是考慮到公司提供的技術信息的不透明性。但促進研究只是制定規(guī)則的一步,而有效的人工智能治理需要規(guī)則。

沒有人能知道人工智能在未來會有什么能力,所以管理它的政策和機構必須設計成適應性的。首先,監(jiān)管機構必須能夠執(zhí)行現有的反壟斷、反歧視和知識產權法。各國政府和多邊組織還應就人工智能背景下對基本原則的解釋達成一致,例如尊重人權和《聯(lián)合國憲章》的條款。隨著人工智能在日常生活中扮演越來越重要的角色,許多基本問題缺乏明確的答案。政策制定者必須界定數據收集何時侵犯隱私權,當算法做出相應決定時應該提供哪些信息,若人工智能服務提供歧視性待遇,人們如何尋求補救措施,以及當人工智能驅動的“表達”包括只需點擊鼠標就能大量生產致命病毒的成分時,可能需要對自由表達進行哪些限制。

雖然國際倡議最近受到很多關注,但有效的多邊主義取決于有效的國家法律。如果美國國會為美國人工智能公司設置法律護欄,可能會為其他國家樹立榜樣,并為全球人工智能監(jiān)管鋪平道路。但由于分歧嚴重的國會通過有意義的法規(guī)的可能性很小,拜登政府解決人工智能問題的工具更加有限。到目前為止,與世界上許多政府一樣,美國政府已經確認人工智能受現有法律的約束,包括消費者保護和非歧視性規(guī)則。然而,監(jiān)管機構將如何運用這些法律,目前還不清楚。美國政府需要發(fā)布關于人工智能技術必須遵守現行法律的指導方針,并確保監(jiān)管機構擁有執(zhí)行這些法律的技能和資源。例如,有能力確定酒店是否根據膚色拒絕客戶的機構,將需要一套不同的能力來識別酒店預訂網站上的歧視性算法。

在某些領域,現有法律已經適用于人工智能技術,并取得了初步的成功:向自動駕駛汽車制造商尋求賠償的原告已經利用產品責任法來提起訴訟。但進一步發(fā)展司法判例可能會被證明是困難的。監(jiān)管機構通常無法訪問公司的數據和算法,這使他們無法識別侵犯隱私權、消費者保護或其他法律的標準的行為。如果他們要有效地管理人工智能,這些對專有信息的限制必須放松。當公民遇到人工智能產品和系統(tǒng)時,他們也需要有關其法律的權利的指導。

與美國相比,歐盟將很快處于有利地位,與其他國家就人工智能的約束性規(guī)則進行接觸。歐盟的《人工智能法案》預計將于2026年生效,其中包含減輕人工智能應用帶來的廣泛風險的措施,包括面部識別系統(tǒng)和用于推斷某人犯罪可能性的工具。作為西方世界同類政策中最全面的政策,歐盟法律將成為多邊討論的起點,并可能成為其他國家國內立法的模板。然而,《人工智能法》沒有涉及人工智能在軍事領域的使用,因為這一政策領域是為歐盟體系中的國家政府保留的。歐盟的市場份額使其在國際談判中具有重要的影響力。但如果歐盟27個成員國在軍事應用上采取不同立場,它們的分歧將削弱歐盟推動全球人工智能標準的能力。

文章認為,人工智能全球治理需要建立共識。政府希望對人工智能做些什么,但他們目前的努力往往缺乏方向和力量。在設立新的國際機構之前,官員們應該努力起草這些機構將用來進行監(jiān)督的法律。各國政府應圍繞幾個關鍵點建立國際共識。首先,人工智能必須是可識別的。隨著技術的進步,越來越難以知道客戶服務熱線上的聲音、文本、視頻或音頻信息是來自人還是計算機。隨著人工智能在自動化決策系統(tǒng)中的應用,人工智能越來越多地決定著人們獲得就業(yè)、貸款和教育機會的能力。每當公司將人工智能用于這些目的時——尤其是生成式人工智能,其輸出通常很難被識別為合成——他們應該有法律義務披露其作用。為了進一步減少欺騙性或誤導性的內容,立法者應該要求,一旦出現可靠的技術,政治領導人的真實信息就應被打上水印。

各國還必須限制使用人工智能武器,包括網絡武器。國際法在網絡行動中的應用已經是一個模糊的領域,人工智能增加了新的復雜性。這項技術增加了網絡攻擊者的優(yōu)勢,他們可能會使用生成式人工智能快速掃描大量軟件以尋找漏洞。一項國際協(xié)議禁止將人工智能武器化的某些目標,比如網絡間諜活動或在另一個國家的競選活動期間傳播虛假信息,這將設置必要的護欄,并促成最佳實踐。

最后,人工智能監(jiān)管不能脫離環(huán)境保護工作。用于數據存儲和處理的大型數據中心需要大量的電、水和其他資源,這些站點的環(huán)境成本正在增加。如今,各家公司只對自己的用水和用電情況給出模糊的估計。一個由各國政府監(jiān)督的單一全球報告標準將使學術研究人員和記者能夠獲得環(huán)境數據。這將使公眾能夠仔細審查人工智能公司對自然資源的消耗,并使政策制定者能夠實施有效的限制。

瑪麗耶·沙克在文章的最后展望了人工智能全球治理的合作前景?!镀邍瘓F行為準則》和其他人工智能治理建議并不是多邊合作的首次嘗試。全球人工智能伙伴關系(GPAI)成立于2020年6月,由經濟合作與發(fā)展組織(OECD)支持,召集了來自25個國家的研究人員和從業(yè)者,分享他們的研究成果并討論合作領域。由于其成員的地域限制和缺乏具有約束力的協(xié)定,全球人工智能伙伴關系經常被批評為既沒有代表性也沒有效力,它的進展緩慢,突顯了在一個政治分裂的世界里達成全球規(guī)范的難度。當各國加入一個新的國際機構時,規(guī)范不會簡單地到位。相反,人工智能治理的最佳實踐可能會以兩種方式之一發(fā)展。首先,敵對的政府,將在共同關心的有限領域找到共同點,比如人工智能的軍事用途。但是,如果地緣政治對手無法克服分歧,志同道合的國家將需要通過鞏固解決人工智能監(jiān)管具體層面的初步協(xié)議來引領潮流。

瑪麗耶·沙克最后寫道,無論如何,在國際人工智能監(jiān)管方面取得真正進展,需要的不僅僅是讓主要國家的政策制定者坐在同一個房間里。在對國際原子能機構的介紹中,學者伊麗莎白·羅利希(Elisabeth Roehrlich)指出了使核保障措施有效的兩個基本要素:對該機構及其成員國具有約束力的法律協(xié)議,以及監(jiān)督遵守情況的技術工具。人工智能的保障措施也需要新的和更新的法律,以及執(zhí)行這些法律的資源和技術能力。今天,許多政治和企業(yè)領導人正試圖直接跳到最后,把重點放在總體機構上,而不是使其發(fā)揮作用的政策。歷史是寶貴的指南,但不是捷徑。

亞歷克斯·巴蒂歸來

12月14日,一位名叫亞歷克斯·巴蒂(Alex Batty)的17歲英國少年被發(fā)現獨自走在法國比利牛斯山一帶的圖盧茲,而他正是六年前一起失蹤案的當事人。2017年,小巴蒂和母親梅蘭妮·巴蒂(Melanie Batty)以及外祖父大衛(wèi)·巴蒂(David Batty)自英國前往西班牙旅行,隨后他們一并消失在家人和公共視野中。在亞歷克斯奇跡般歸來之前,巴蒂一行三人最后一次被目擊到行蹤,則已經是在六年多前的西班牙馬拉加港口,那一天正是他們原本計劃啟程回英國的日子。

當地時間2023年12月15日,法國圖盧茲,一名6年前在西班牙失蹤的英國男孩亞歷克斯·巴蒂日前在法國山區(qū)被人發(fā)現,健康狀況良好。英國警方正牽頭展開相關調查。


小巴蒂失蹤之后,他的外祖母蘇珊·卡魯阿納(Susan Caruana)悲痛欲絕。雖然小巴蒂和母親一同出行,但外祖母實際上才是他的法定監(jiān)護人,既不是梅蘭妮也更不可能是蘇珊的前夫大衛(wèi)·巴蒂。也正因如此,梅蘭妮·巴蒂及她的父親大衛(wèi)如今依然因為小巴蒂的失蹤案被列為嫌疑人而遭到通緝。在2018年,蘇珊·卡魯阿納就曾接受采訪表示,梅蘭妮正試圖帶著小巴蒂過上一種另類的游牧生活,而不是讓他正常地去上學。在巴蒂失蹤后,她還懷疑他是被母親和外祖父帶到了與西班牙隔海相望的摩洛哥,并在那里的“靈修社區(qū)”(spiritual community)生活著。據卡魯阿納所述,女兒和前夫兩人都有著不同于常人的信仰,同時對于主流生活方式保持質疑,也因此不愿意把小巴蒂送去正常的學校就讀。

在小巴蒂在法國被目擊到之后,英法兩國警方也很快取得聯(lián)絡,并確認了亞歷克斯·巴蒂的行蹤。發(fā)現小巴蒂的當地司機接受采訪的時候稱,他看到巴蒂時,后者宣稱自己已經在比利牛斯山里走了四天,但并沒有說自己是從何處出發(fā)的——據信,比利牛斯山區(qū)長期以來被認為是很多追求另類生活方式的人們的好去處,那里也有著不少供游牧者居住的零散社區(qū)。司機后來詢問了小巴蒂的姓名,并在網上搜索之后得知他是一名失蹤人員,于是抓緊聯(lián)系法國當局。小巴蒂則借助司機的Facebook賬號找到了自己的外祖母,并給她發(fā)了一條信息,寫道:“你好,外婆,是我,亞歷克斯。我在法國圖盧茲。我真的希望你收到這條消息。我愛你,我想回家。”

在英法兩國政府的協(xié)助下,亞歷克斯終于在近日回到了英國,并接受了英國媒體的采訪。對于自己為何要脫離游牧式的靈修社區(qū)生活,毅然選擇重回英國,小巴蒂表示,他意識到了帶著自己四處游居的母親梅蘭妮或許是個偉大的人,但卻不是一個好媽媽。據小巴蒂所述,梅蘭妮反對政府,也是新冠疫情大流行期間反對疫苗接種的一員,平日里她三句話不離“體制的奴隸”這一口頭禪。在得知母親要帶他搬到芬蘭后,亞歷克斯下定決心要離開她,并回到正常的生活,因為他不想繼續(xù)這樣四處流浪,既交不到朋友、沒有社交生活,也不能去上學,這在小巴蒂看來,對他自己的未來生活并非什么好事。為此他和母親大吵一架,最終選擇離開。

但在離開的細節(jié)上,亞歷克斯先對外界撒了謊。就像前文提到的,小巴蒂在比利牛斯山被當地司機發(fā)現時,宣稱自己已經走了四天四夜,但實際上這只是他編出來的一個說辭。小巴蒂清楚自己的母親并非自己的法定監(jiān)護人,也明白母親和外祖父在通緝名單上,為了掩蓋他們的行蹤(盡管他也認為母親被警方找到是遲早的事),他只好編了個說法,稱自己是在山中走了太久迷路了——其實他清楚地知道自己要到一個有領事館的地方去。實際上,巴蒂一行三人最近很有可能一直就居住在法國南部。而近來關于這起失蹤人口回歸的案件,又出現一個新疑點:小巴蒂宣稱自己的外祖父大衛(wèi)在六個月前去世了,但在法國南部的拉巴斯蒂德(la Bastide)這個小村莊附近,卻有不少民眾宣稱自己見到過長相酷似大衛(wèi)、自稱叫“扎克”(Zach)的男性。人們懷疑,大衛(wèi)·巴蒂六個月前已經去世這一消息,同樣是小巴蒂編造的謊言,為的是掩蓋外祖父的行蹤,避免這位通緝犯被警方逮住。

盡管這是一起目前看來結局尚屬令人欣慰的失蹤案件,亞歷克斯·巴蒂和外祖母在西方圣誕節(jié)前的團聚也令人動容,但因為小巴蒂的謊言,一切又變得疑點重重。此外,小巴蒂的母親所操持的信仰和政治立場,也使人們注意到了在主流的、“正常的”生活方式之外,那些對制度、政府極度不信任的人們,是如何想方設法尋求一種另類的、近乎游牧的非主流生活方式的。從小巴蒂口中,我們得知梅蘭妮·巴蒂不僅反對新冠疫苗接種,而且信仰無政府主義,不愿意生活在整個制度機器之下。而像她這樣的人遠不在少數,這也是為何她和小巴蒂能夠在摩洛哥,法國,以及最終可能只有她單獨前往的芬蘭,在那里的靈修社區(qū)展開這種游牧式的生活。

BBC也借此機會報道了比利牛斯山一帶的游牧居民們的生活方式。據當地民眾表示,在法國南部的基揚(Quillan),似乎存在著兩個平行的生活空間,一個是有著酒館、教堂和鄉(xiāng)村廣場的普通歐洲小鎮(zhèn),另一個則是一個“國際化”的游牧人群家園:后一處遍布著各式各樣希望從“正常的”生活中抽身出來的人們,他們的生活構成就像一個個公社,并不拒絕和那個“正?!钡男℃?zhèn)基揚居民來往,甚至會從山區(qū)里出來,到居民區(qū)的餐廳品嘗當地美食。而在這些公社般的游牧人士聚居地,隨處可以看到毒品的蹤跡,當地人表示那些公社成員幾乎都吸毒成癮。

如今,比利牛斯山一帶的山區(qū)游牧公社,已經成為不少歐洲年輕人選擇退出大眾主流的生活方式的一個解決方案,他們來到這里過著自己想要的生活,與大自然親近。一位26歲的公社游牧者在受訪時更表示,在公社或其他靈修社區(qū)里,人們分享一切,并且“每個人都有自由的思想?!彼J為,我們可以選擇過上一種盡可能簡單的生活,而不是生活在各種看似合理、正常的陳規(guī)瑣事之中。另一位受訪的游牧者則清楚表明,這種生活方式是他眼中的幸福,但對大多數人來講依然是不可接受的。而在這則報道中我們也不難發(fā)現,亞歷克斯·巴蒂并不是孤例,因為也有一位母親帶著自己9歲的兒子來到比利牛斯山區(qū)的靈修社區(qū),此前她已經獨自在家養(yǎng)育孩子9年,而現在是他進入這所“另類學?!钡牡谝粋€年頭,他需要學會如何在大自然中生活,建造房屋,以及打鐵。在這位母親看來,這種生活方式并不意味著和既有的世俗生活對立,因為在她眼中,世界正在發(fā)生變化,與其說放下常規(guī)來到山野中是逃離,倒不如說是一種回歸。

但就像有關部門所說的,這種生活方式對于亞歷克斯·巴蒂這樣渴望回歸正常生活的人來講,其產生的心理影響很難估量。也有越來越多的人擔心,散居在比利牛斯山中的游牧者們,最終會有不少人淪為邪教的受害者。或許這個世界的確正在發(fā)生巨大的變化,人們的精神生活也出現了一條條通往不同目的地的歧路。

熱門文章排行

掃描二維碼
Copyright ? 讀書網 m.ranfinancial.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號 鄂公網安備 42010302001612號