查看原文
其他

号称“无所不知”的ChatGPT,在肿瘤基因测序专业领域的表现测评

HealthX AI 2024-04-15

The following article is from 测序中国 Author iseqer

由微软投资的美国人工智能公司OpenAI近期发布了一款自然语言处理工具ChatGPT,能够模拟人类语言行为,为用户带来超出预期的交互体验。问世2个月以来,ChatGPT就被各行各业的用户们疯狂“调戏”,其“无所不知、能文能武”的功能也越来越凸显,不仅能写小作文、演讲稿,还能给SCI论文润色和写行业调研报告。ChatGPT在肿瘤基因测序专业领域的表现如何,下面跟随小编来共同体验一番!小编从行业综述、科学问题、生信分析、国自然基金提纲撰写、肿瘤遗传变异判级、肿瘤基因检测用药指导等方面对其进行了测试


Q1


基因测序、精准医学领域过去十年都发生了什么?





Q2


肿瘤基因检测未来何去何从?





Q3


如何看待肿瘤早筛领域?

上下滑动查看





Q4


如何解决肿瘤异质性和耐药问题?

上下滑动查看

从以上四个行业及科学问题的概括性论述结果来看,ChatGPT对于每个问题概括归纳的全面性和逻辑性方面基本算是及格,但存在逻辑重复,譬如问题一的第2和第4点,问题三的第1和第3点等。同时,在每个问题的deep insight 方面,ChatGPT还有所欠缺



Q5


绕“长非编码RNA与肿瘤调控机制”,写出研究内容和技术路线。

上下滑动查看

虽然从逻辑方面还算说得通,但存在技术上的错误,譬如:全基因组测序并不能分析lncRNA的表达水平。针对撰写国自然申请书方面语言组织能力不足的,ChatGPT或许可以派上用场。


Q6


输出5条基于肿瘤全基因组测序原始数据分析肿瘤基因突变的代码。

上下滑动查看

虽然没有直接输出命令行代码,但ChatGPT对生信分析流程的描述逻辑方面还是可以的。


Q7


一个晚期结肠癌的患者,通过NGS检测到了MSI-H,还检测BRCA2 NM_000059.3 c.100G>T p.Glu34Ter,变异丰度20%的体细胞变异,这个BRCA2体细胞变异判级结果为几类变异?

ChatGPT第二次给出的答案:



这个问题ChatGPT每次给出了不同的变异判别结果,为此,我们邀请了专业的肿瘤遗传咨询师来回答,并对ChatGPT的结果做了评论

该BRCA2突变在clinvar数据库中已经被确定为了胚系可能致病变异,对于体系变异的分析,在结直肠癌MSI-H的人群中,目前是有一些争议的,有些学者认为该变异是能够损伤BRCA2的蛋白结构,理论对PARP抑制剂敏感,参考在卵巢癌的指南和FDA的证据,该变异在结直肠癌中应该为Tier 2类变异;有学者认为该样本在MSI-H的结肠癌的背景下需要考虑BRCA2的发生可能是由于错配修复缺陷导致的,这类变异通常在结直肠癌中不会用来指导PARP抑制剂,首选为免疫治疗,所以结合临床应用,该位点存在不会影响治疗决策,理论是Tier 3类变异。

综上考虑,chatGPT似乎目前在体系变异结果分析上的准确性很一般,对于科学问题分析的结果也不能复现,存在随机性,且它的分析逻辑不会考虑整体临床背景,相比其他基于生信开发的预测工具更显不足。
当然对于临床来说,检测结果对于用药的指导是最重要的,基于此,小编又测试了ChatGPT对于临床用药上的指导意见合理性。


Q8


一个晚期肺腺瘤病人,第一次检出EGFR L858R突变,接受了阿美替尼治疗,几个月后疾病缓慢进展,对阿美替尼疗效不佳,再次检测后发现存在EGFR L858R突变、EGFR T790M突变还有一个MET拷贝数扩增,接下来这个患者要如何治疗?


ChatGPT第二次给出的答案:

ChatGPT第三次给出的答案:



肿瘤遗传咨询师的评价:ChatGPT第一次给出的结果显然没有让人很满意;第二次的结果似乎让人觉得可接受了,但是EGFR/MET双抗是指一个药物具有EGFR/MET双靶点还是采用目前临床更广泛的EGFR TKI和MET 抑制剂联合疗法呢,ChatGPT并没有回答的很清楚;然而,ChatGPT的第三次回答已经接近满分了,不仅直接提示使用双靶向药物联合疗法,同时还从药物作用机制上进行了解释,不得不感叹ChatGPT的强大学习能力。

此时,专业的遗传咨询师已“细思极恐”,于是问了ChatGPT下面的问题:


Q9


ChatGPT能在肿瘤基因检测领域中做什么样的贡献?ChatGPT未来会替代遗传咨询师的存在吗?



看到上面的答案,这下都心安了!
最后,小编提了一个连自己都搞不定的问题:诗词创作!


Q10


以关键词“基因测序”、“精准医学”、“健康”、“快乐”,创作一首诗。



虽然写的像歌词,但用专业词汇作诗,确实有些为难它了。


总 结
ChatGPT在肿瘤基因测序专业领域的回答是基本让人满意的,但在变异判级及肿瘤基因检测用药指导方面,ChatGPT的问题依然较大,还不足以为临床所用,有较大的提升空间;对于出生仅2个月的ChatGPT而言,凭借知识库的不断完善和其强大的自我学习能力,其未来的表现非常令人期待。
本文部分素材提供者:唐宏振、杨露、杨洁

·END ·



继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存