心超AI model 项目

和之前谈论的差别

之前和你谈论, 以为是通过一个类transformer模型(比如开源的qwen-vl, ling)去直接暴力依赖scaling law训练
或是通过unsloth, PEFT, etc. 来 fine tuning
但我看的需求不是, 而是自己构建一套neural net来训练, 那我确实不会
要是真搞出来了, 那都可以写一篇phd的论文了
可以看到ep, pe的作者都是什么人
另外, 我认为他也不是会有一张已经有了各种心脏数据的图片, 来让你根据这个分析

而是直接给你心超的dcm文件, 直接让模型通过dcm来反馈心脏的各种数据
(心包积液, 左心室射血分数, 心室舒张末期容积, etc.)
等于你要根据dcm生成类似上述图片这种的图片/报告/数据

但若是集合现有的ep/pe那是可行的
我目前想的一个架构

DICOM 文件 PanEcho EchoPrime Parameter (心脏参数) • 心包积液 • 左心室射血分数 (LVEF) • 心室舒张末期容积 (LVEDV) Parameter Feature thresholds 各个问题/参数阈值 生成报告 LLM 引擎 汇总各种参数 生成最终超声心动图诊断报告

除了这些推理端的, 还需要对医生的所有使用记录/评价/数据/频率/等进行分析, 以供后续优化

边际效应, 需要长时间持续优化才能达到一个阈值, 类似log函数, 然后在其它层面有了改变, 才能突破阈值. 不过现在LLM日新月异, 也是需要快速迭代

拿下项目

我不知你准备怎么拿下这个项目, 不知是靠那个承包公司的人脉抑或医院的
我看你对这方面也是不懂, 公司里也没有这方面的人
我猜测是靠老板的人脉, 毕竟公司只是个新公司
要是真的想要拿下这个项目的话, 那肯定需要这样的一个人
另外, 看到你之前想要招聘算法工程师, 若是真的要自己构建一个模型, 那肯定需要
但我觉得不是那么好找, 还是参见pe和ep的作者
个人认为还是实用主义, 直接拿来ep/pe做修改, 融合
而ai geo，随着ai智能越来越高他肯定也会讨厌软文、水文、广告(是一个转型定制模型公司的契机)
不知老板为什么当初开geo公司

PanEcho(pe) 和 EchoPrime(ep) 的背景

我目前只研究了下ep, 但是因为电脑配置比较低, out of memory了
我看了ep的论文, 他们是用了a600训练的
To train EchoPrime we used two 50-GB NVIDIA RTX A6000 GPUs configured for multi-GPU training using PyTorch’s DistributedDataParallel.
没有运行起来, 若是还要深入研究, 肯定还需要阅读他们的论文
那就需要更多的时间精力了
pe没有看太多, 只是看到pe有公开的train代码, ep没有提供

  1. 许可

    • pe
      • CC BY-NC-SA 4.0 需授权
      • AGPLv3 需开源
    • ep
      • Academic Software License 需授权

  2. 作者

    • pe
      • Gregory Holste
        • Ph.D. in Electrical Engineering (The University of Texas at Austin)
      • Evangelos K. Oikonomou
        • Assistant Professor(Yale School of Medicine)
        • DPhil(University of Oxford)
      • Zhangyang Wang
        • Associate Professor(The University of Texas at Austin)
        • Ph.D. in Electrical and Computer Engineering(UIUC)
      • Rohan Khera
        • Associate Professor Term of Medicine (Cardiovascular Medicine) and of Biostatistics (Health Informatics) (Yale School of Medicine)
        • MD (All India Institute of Medical Sciences)
    • ep
      • Milos Vukadinovic
        • Department of Cardiology, Smidt Heart Institute, Cedars-Sinai Medical Center, Los Angeles, CA
        • Department of Bioengineering, University of California Los Angeles, Los Angeles, CA
      • Xiu Tang
        • Division of Cardiology, Department of Medicine, Stanford University, Palo Alto, CA
      • Neal Yuan
        • Department of Medicine, University of California, San Francisco, CA; Division of Cardiology, San Francisco Veterans Affairs Medical Center, San Francisco, CA
      • Paul Cheng
        • Division of Cardiology, Department of Medicine, Stanford University, Palo Alto, CA
      • Debiao Li
        • Biomedical Imaging Research Institute, Cedars-Sinai Medical Center, Los Angeles, CA
      • Susan Cheng
        • Department of Cardiology, Smidt Heart Institute, Cedars-Sinai Medical Center, Los Angeles, CA
      • Bryan He
        • Department of Computer Science, Stanford University, Stanford, CA
      • David Ouyang
        • Department of Cardiology, Smidt Heart Institute, Cedars-Sinai Medical Center, Los Angeles, CA
        • Division of Artificial Intelligence in Medicine, Cedars-Sinai Medical Center, Los Angeles, CA

  3. 论文地址

    • pe (https://www.medrxiv.org/content/10.1101/2024.11.16.24317431v2)
    • ep (https://arxiv.org/pdf/2410.09704)