深度丨中科院田捷博士：基于醫療大數據和AI技術的影像組學及其應用丨CCF-GAIR 2017

7月9日，在由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）聯合承辦的CCF-GAIR 全球人工智能與機器人峰會的第三天，在未來醫療專場上，田捷博士做了“基于醫療大數據和人工智能的影像組學及其應用”的主題演講。

田捷博士，是中國科學院自動化研究所研究員、Fellow of IEEE，SPIE，IAMBE，AIMBE，IAPR。其主要從事醫學影像分析與生物特征識別的研究和應用的工作。田捷博士的很多學術論文、研究成果，均可見自國內外的各學術雜志和學術會議上，學術論文達上百篇。

以下是田捷博士當日的演講全文，雷鋒網做了不改變原意的編輯：

田捷：今天我演講的題目是“基于醫療大數據和人工智能的影像組學及其應用”。切合主題，本次演講的重點將圍繞醫療大數據、大數據技術和人工智能、影像組學來展開。我們希望將這些技術應用在臨床上，因為不是基礎研究的，而是走向臨床的，所以我舉的都是臨床的例子。

以國內外臨床專家為主開發，說明影像組學和人工智能以及大數據，對風投和產業界來說都感興趣，這不是看哪個技術和算法，關鍵是看產生什么樣的效果。下面我會著重從應用的角度來講它的進展，技術和方法和應用。

今天我的演講將主要圍繞以下四個大點來展開：

·  影像組學研究背景

·  影像組學研究進展

·  影像組學關鍵技術

·  影像組學發展方向

 一、影像組學研究背景

1、人工智能技術正突飛猛進

人工智能技術現在通過圍棋得到非常直觀的普及，但是計算機下圍棋并不意味著計算機就可以看病，所以醫療在這一塊仍舊充滿挑戰性問題。

2、人工智能技術在醫療領域得到應用

不過，計算機人工智能技術在醫療上也得到一些應用，像深度學習在疾病的診斷以及愈后等等，都有一些典型的應用。如：

·  2015年，北卡羅來納大學提出利用深度學習分割腦MR圖像的方法；

·  2016年，Google發布一項學術報告，稱人工智能糖網病診斷精度可用于臨床；

·  2017年，斯坦福大學在Nature上發布一項研究報告，表明人工智能皮膚癌診斷精度已達專家水平。

除此之外，國外大公司也紛紛介入AI醫療。

·  2014年，微軟利用Intelligence Engine剖析健康數據，為患者就診和意外急診做準備。

·  2015年，IBM分析醫學文獻和病患診療記錄，為患者提供高質量、循證行個體化的診療方案。

·  2016年，Google下屬DeepMind Health建立健康風險警告系統，借助移動終端推送健康風險警告，并及時通知醫生。

3、醫療數據正急劇增長

無論是微軟、IBM還是谷歌，他們在AI以及醫療的深度介入，都為大家打開了另一扇大門——正是因為這些大企業的介入才使得AI和醫療在臨床上的應用取得突破和規模化的應用。

說到醫療大數據，大家最熟悉的可能是影像數據，因為其格式標準，容易獲取和使用。但是醫療大數據不僅限于影像，還包括病理、臨床治療信息等，只有將這些信息融合在一起，我們才能建模，并解決AI醫療的真正應用問題。

4、影像組學助力智能醫療

既然題目講影像組學，我先給大家解釋一下影像組學的概念。

影像組學的概念真正提出來是2012年。當時它剛提出來時只是針對CT數據，把它用組學的方法進行分析。后續則將數據從CT擴展到磁共振、超聲等，涉及到多影像。

自2012年概念提出以后，影像祖學的概念到2014年得到進一步延伸，走向臨床。影像組學從研究走向臨床，典型代表就是2014年這篇文章。

從流程看，影像組學就是從醫療大數據中提取數據，利用AI方法挖掘腫瘤信息，實現臨床輔助決策。這個流程和日常醫生讀片的過程是一致的，醫生讀片是先有影像數據，然后用人眼提取它的形狀特征，這個過程我們稱之為診斷意見。

這是一個典型的模式識別、圖象處理的機器讀取的過程，先由影像數據提取特征，分析建模，給出分類決策。所以整個過程由計算機做影像識別，人在做診斷相互配合來完成。如果讓計算機讀取高維信息，人讀機構信息，毫無疑問，AI輔助醫生讀片，就能達到“1+1＞2”的效果。

總結而言，大數據和AI和影像組學的結合，主要有以下三個方面的應用。

·  輔助診斷

·  療效評估

·  預后預測

目前，到底哪一種方法治療癌癥的效果更好，其實就可以基于大數據和AI給出預測評估。這樣看病就能實現個性化、智能化，才能把過去望、聞、問、切，變成現在的智能醫療。就現階段而言，智能醫療主要是基于大數據、影像組學和人工智能技術達到輔助診斷、療效評估和預后預測的效果。

5、以腫瘤為例——癌癥診療面臨重大挑戰

今天以腫瘤為例，我將借此來說明AI、大數據和影像組學在腫瘤方面的三個應用。

腫瘤的應用挑戰主要看如上這張圖，這是美國NIH總結的。1960年-2012年，52年中有200多萬的樣本大數據。不同顏色的線代表不同的腫瘤，縱坐標是5年生成。

52年來，盡管NIH每年投入的研發經費是300億美元，美國人每年看病要花掉4萬億，但腫瘤5年生存率依然時間是一條直線。什么意思？就是人財兩空。

作為對比，這個NIH數據特別有說服力。紅色這條線，指的是艾滋病的5年生存率，艾滋原先是號稱血液中的癌癥，早期死亡率很高，但有了有效措施之后，其有效生存率直線上升。

但是對腫瘤來說，還缺乏一些新技術和新方法，這個技術是有可能取得突破的。當然，目前只是期望值，下面會舉一些例子。

6、癌癥精準診療的新機遇

現在大家都在談AI熱、AlphaGo熱，其實還是要看AI大數據在影像組學的診療過程中到底解決了什么問題。事實上，現在的影像技術看到的都是5mm之上的腫瘤，廠商可能忽悠能看到3mm，但臨床大夫知道只能看到5mm以上。而這些都是腫瘤的中晚期才會有的癥狀。

這也是為什么NIH花上百億做研發，美國人花了4萬億，藥廠出了那么多藥，不能說無效但是效果不明顯的原因。所以，現在也有在談精準醫學、基因檢測等概念。10年前，就有人開始談論基因檢測，在其貢獻下，雖然我們不能防止有病，但能保命?？墒牵瑥纳蠌垐D片來看，五年生存率依然還很低。

在診療過程中我們發現，基因異常未必會形成腫瘤，這中間有5-20年的潛伏期。如果能在診斷醫療的過程中，運用到新技術和新手段，可能會對腫瘤診療起到關鍵作用。

現階段而言，基因異常其實已經有一系列的方法來檢測，但不意味著能看病。在這個空檔期，如果能用AI大數據、影像組學來研究、描述和量化，就很有可能大大提高五年生存率。

所以這也恰恰是影像組學的切入點——融合臨床基因影像大數據的信息，把影像往前移，基因往后移，這樣就能更準確的觀察、診斷疾病的發生和發展。這不僅是影像組學的切入點，也是AI在臨床上的切入點。

現在的影像技術是從宏觀到微觀，先有結構影像再到功能影像、分子影像，它的精標準正好是基因病理。而從基礎研究來說，恰恰是從微端到宏觀，當在基因組、蛋白組、代謝組都搞不定的時候，又回到生物醫學，使用解剖結構。所以一個是從微觀到宏觀，另一個則是從宏觀到微觀，如果將二者結合到一起，就有可能進行腫瘤的診療。這也是整個影像組學的切入點。

下面通過一些例子說明影像組學、大數據和人工智能，在療效評估、輔助診斷、預后預測方面，國內外的進展。在這塊我要很自豪的說，國內經過改革開放三十年，大量科研經費的投入，醫生的努力，醫工的結合，在技術上、方法上、效果上，跟國外是同步的，甚至某些方法比國外略有超前。從這點上說，也給VC和企業家帶來機遇。

二、影像組學進展概述

下面，我將從影像組學在國內外的具體應用案例，來談談其在輔助診斷、療效評估和預后預測的效果。

輔助診斷案例

案例一：膠質母細胞瘤亞型診斷

第一個例子，是膠質母細胞瘤亞型診斷。

一般來說，如果要做靶向治療，醫生需要通過穿刺、活檢等過程來得到病人的基因類型，但是這一過程由于涉及腦袋穿刺，風險很大。所以，醫療界大家就在探討說能不能不用穿刺，拍片來解決。可能有人會覺得天方夜譚，但是斯坦福大學做到了。

他們根據AI技術將其分類為高風險、中風險、低風險，并將其和生存期掛鉤，通過美國TCCI數據庫做檢索，就能知道基因類型是什么，從而以此為依據決定用哪種靶向藥。這在臨床上非常有用，因為整個過程無需穿刺，只是根據磁共振數據推斷基因類型來確定靶向治療。

案例二：術前結直腸癌淋巴結轉移診斷

剛才的案例大家可能會覺得太高大上，而國內醫生能不能做到這些工作呢？

下面我想介紹廣東省人民醫院劉教授團隊此前在權威醫學雜志《Journal of Clinical Oncology》發表的文章。暫且不談這篇文章的學術成就，我們先來看它的臨床意義，非常重大。因為AI技術只有跟臨床掛鉤才有價值，經過企業家的轉化才能變成生產力。

一般來說，醫生在治療結直腸癌的時候，會對淋巴進行盲目清掃，而清掃的結果會使70%的淋巴不會轉移。為什么大夫要清掃呢？因為如果不清掃，淋巴轉移的會更快。事實上，國內外的醫生都會采取這種措施。

那么，這個問題該如何解決？

如果看CT片，我們只能看到機構信息，其反映的信息很小，只能得到百分之二三十的概率，切掉以后70%是陰性，被誤切了。如果用人工智能的方法，根據500余例的臨床病理和影像數據，提取特征，建模分析后，前端數據預測的準確率可以達到正的70%。

換句話說，醫生在做手術之前可以有70%的把握告訴病人要不要選擇做淋巴清掃，可以把過去的誤清掃從70%降低到30%。所以這也是這篇文章能在頂級權威雜志上發表的原因。

案例三：皮膚癌類別精準診斷

再來看一個大數據的典型應用。大家應該也知道，現在皮膚癌發病率非常高。那么，怎么利用AI診斷正確的皮膚癌？

在此，該案例使用了13萬張皮膚癌的照片來做建模，其中2000張是有病理且含精標準的。值得注意的是，這個建模里邊的大數據力量。

如上圖所示，該訓練模型使用了Google的遷移學習技術，其對128萬張圖像進行了訓練，加上剛才13萬張皮膚癌的照片，以及醫生的經驗和其他醫療信息的量化，可以解決兩個臨床問題：

·  粗分類做腫瘤的良惡性

·  細分類做黑色素瘤篩查

然而，人腦是不可能記住這么多張病理圖像的，但是計算機可以，從而能夠有效的輔助診斷。

療效評估案例

我們再來看療效評估的案例。美國每年花4萬億美元研究新技術、新方法，但腫瘤的診斷并沒有取得很好的效果，所以我們需要對不同腫瘤的療效進行評估。

案例：直腸癌新輔助放化療效果評估

這個案例還是結直腸癌。其實包括乳腺癌，很多人會做新輔助化療。但有的人做得有效，有的人做得無效。對醫院來說，有效無效都得交錢。但對病人來說，不光是錢，身體還要受到很大的傷害。所以，業界也在思考，能不能利用AI大數據進行分析，在病人做放化療之前就判斷，該治療對其有沒有效果。

在這個案例中，其實數據量并不大，只有48例。在這些直腸癌患者經過新輔助放化療之后，經過多模態磁共振形成成像數據，在其基礎上提取多模態影像特征，利用人工神經網絡方法建立模型，最后結果表明，該方法效果很好，實現了直腸癌新輔助放化療效果的定量化精準評估。

預后預測，這個在國家越來越重視。什么每一個看病的都會問這個問題，醫生只是憑著經驗和人腦建模，憑著有限的存儲量給出預測。像我們通常說回家該吃什么吃什么，大概三個月或者半年。這個經驗肯定是不能夠的?，F在看用人工智能、機器學習能做到大數據，這個數據，一千個病人提取600多個特征進行定量分析。這個建模的過程，跟日常圖片和做圖片處理的過程完成一致。先分割、特征提取，給出預后預測。這個文章的主要作者就是代表，我們要真正做組學，包括做企業轉化、投資，還是要以臨床問題為主，要看看解決的臨床問題是什么。這是一個典型預后預測的例子。

預后預測案例

現階段，預后預測在國內越來越受重視。每一個看病的病人也都會去問醫生這個問題，然而，醫生只能憑借他人腦建模的經驗，在有限的存儲量來給出預測。所以，如果用AI大數據、機器學習，能達到什么樣的預后預測效果？

案例一：肺癌頭頸癌預后預測

該案例中，如圖所示，在1000余例肺癌和頭頸癌患者中，我們提取了病理和影像數據，再根據強度形狀紋理小波等特征建立標簽，進行了定量分析。應用效果表明，影像組學標簽具有顯著的預后價值，并與基因顯著相關。

影像組學通過融合影像、基因和病理特征建立影像組學標簽，揭示了影像與患者的預后聯系。

案例二：肺癌無進展生存期預測

經過臨床經驗，我們還發現，傳統臨床方法對NSCLC患者無病生存期的預測效果非常有限。于是，在此其中，利用AI大數據，我們在282例規范完整的早期非小細胞肺癌患者里邊提取了CT數據，利用LASSO Cox回歸方法提取關鍵的影像特征，以此構建預測模型。

事實上，在該案例中，運用了前文提及的廣東省人民醫院劉教授與中科院自動化合作的研究成果——非小細胞肺癌生存預測。經過應用后，我們發現，影像組學特征相比傳統方法能夠更好地預測無病生存期。

案例三：晚期鼻咽癌的預后預測

此外，對病人來說可以給出精準預測的，還有鼻煙癌生存期預測。

針對臨床指標對晚期鼻咽癌的放療后預測精度低的現狀，我們對118例晚期鼻咽癌T1和DCE MR圖像做了超過3年時間的隨訪，并結合970個影像組學特征，和臨床病理信息進行分析，在此有效預測該類患者的預后，準確度超臨床指標的10%。

三、影像組學的關鍵技術

剛才我講的是臨床效果在輔助診斷、療效評估和預后預測的案例工作，然而如果要談人工智能和影像組學就必定離不開技術。所以我把技術簡單梳理一下。

面對系列臨床問題，影像組學采用深度機器學習等方法進行分析研究以實現臨床輔助決策。而人工智能在醫療層面的技術應用，主要是圖像分割、腫瘤分割，然后提取特征，特征越多越好，提取特征之后再進行篩選。用計算機的話說就是降維，用影像組學的話說就是選擇關鍵特征。在此基礎上再選擇影像學的標簽來達到效果。比如腫瘤分析或者預后分析或者輔助診斷。降維、特征提取、分割，都可以用時髦的人工智能新技術。但個人認為，在此過程中不是技術驅動而是問題驅動。

精準腫瘤分割技術

分割，一般可能需要醫生先進行勾畫，然后可以用機器學習的方法進行半自動或者全自動的分工，這個分工效果也可以達到主治醫生的水平，一系列方法不展開說，其他還包括肺癌等等。

對計算機處理來說，以高位特征為主，很多數量化的不適合人眼加工，但適合計算機加工，計算機加工才能產生效果，達到輔助診斷的效果。

特征降維技術

對腫瘤來說，往往體現數千個特征，然后再利用機器對其進行降維。在這其中，共有四類主要特征降維方法：

·  稀疏選擇

·  空間映射

·  神經網絡

·  遞歸排除

模型構建技術

與此同時，針對具體臨床問題，業界還采用建立計算機定量影像特征與所研究臨床研究問題標簽之間的分類模型。主要運用了兩類模型：

·  SVM模型：從影像大數據原始像素出發，提取高維手工設計特征并進行特征選擇，構建影像特征與臨床問題的分類模型。

·  CNN模型：在影像大數據的原始像素的基礎上，該模型可自主挖掘與臨床問題相關的影像組學特征，構建影像特征與臨床問題的分類模型。

這些模型構建的選擇，跟我們的問題相關。如果問題提煉到位、具體模型才能起作用。其在包括分類的方法，像良性分類，也能取得好的效果，并且產生有商業意義的效果。

模型的可視化技術

此外，還有一個重要的過程，也是臨床上的需求需要的，叫模型的可視化。對醫生來說，特別是外科大夫和內科大夫很忙，影像師可以給他們看片子。不能說我們算出來什么結果給他舉證或者數字，要把模型變成可視化統計分析的直觀圖。這樣對大夫來說看圖識字，就知道病人到什么期，該吃什么藥換什么藥，更簡潔直觀。如圖所示，這四個步驟是影像學技術發展最主要的環節。

四、影像組學的發展方向

最后來看影像組學關鍵技術的發展趨勢，資源平臺、輔助診斷系統、共享平臺。真正要實現臨床應用，要多病種、多模態、多中心、多參數的數據融合。這里面有一個矛盾，數據收集和清晰都具有挑戰性。我們對病理信息、治療信息、預后信息的收集還是有挑戰性的。在跟醫院合作過程中，以及這四五年收集的數據，如乳腺癌、肝癌、胃癌、肺癌超過美國TCGA數據庫，我們也積累了很多的經驗。

總的來說，有了數據還不行，得有算法平臺，像剛才講的分割部分，在后面還有介紹算法平臺和集成平臺。目前我們正在跟廣東省人民醫院劉教授建立影像組學共享平臺，希望大家把用過的影像和模型、軟件上傳，建立大家開發共享的平臺，可以獲取數據、模型，可以使用免費的軟件，然后開展這方面的研究。當然，只是為研究服務。我建議公司也可以放上去，先讓他們用起來。這四個環節融合在一起才有意義，包括數據上傳、模型上傳、軟件測試。

現在我們需要更多人工智能和大數據在醫療問題上的典型應用，來拉動產業，拉動人工智能進一步深度應用。這是相輔相成的，空喊方法，不形成規?；?、典型應用，是解決不了問題的。只有得到外科、內科大夫承認的技術和臨床應用，才能更加有意義。

（注：雷鋒網原創）

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。