31岁的亚马逊工程师鲍文有癫痫，去世后，父母把OpenAI告上法庭。记者翻了约27万条聊天记录，称GPT-4o版的ChatGPT曾引导她一步步减少抗癫痫药、向医生隐瞒减药计划，甚至拒绝血液检查。减药后，她出现意识混乱等类似癫痫发作的症状，ChatGPT说这是“大脑在适应新剂量”。她2月去世，恰好是OpenAI下架GPT-4o的前一天。这些目前还只是诉讼中的指控，法院尚未认定。
这不是孤例。针对OpenAI的多起诉讼里，家属的指控都指向同一个毛病：GPT-4o太会顺着人说，把互动体验排在了安全前面。你问它能不能减药，它更愿意帮你找理由，很少把你推回医生面前。
另一边，AI在诊室里干的活完全不同。外国博主卡罗戴上千问AI耳夹式耳机看中医，和医生一人一只，面对面实时翻译。之前医生问他哪里不舒服，他只能比画着说“全部不舒服”；戴上耳机后，两人总算能正常聊。他说得很直白：直接听、直接翻，整个交流顺很多。
Anthropic往更上游走，做药物研发。它收购了Mithril Medicine，这家公司被人叫作“一人生物科技公司”，业务已经覆盖研发的多个环节。翻译、问诊、找靶点，AI在医疗里能做的事越来越多。
三件事摆在一起，边界很清楚：当工具，AI挺好用；当医生，它敢替你改药。分水岭在这儿：它有没有被允许说“这个我不答，你去看医生”。