推荐《安克创新访谈》,谈大模型的未来和应用
柏舟 新冠5年 07-02大模型的出现与GPU的发展密切相关,未来将有超越基于冯诺依曼架构的系统出现,使大模型存算训一体,真正实现通用人工智能。本文介绍了访谈梗概,讨论了分治法、计算的本质和存算训大模型的意义。
从天气预报谈深度学习,不同的预报对象、结构和心得体会
柏舟 新冠5年 06-28天气预报的主要对象有中期天气预报,风力发电的风速预报以及短时强降雨预报。在Nature上发表了很多文章,主要的方法包括Transformer,图神经网络,AI for Science的一些方法,以及传统的UNet,PredCNN等。
自动微分的原理,基于接口的泛型实现,以及最小二乘迭代法求解优化问题
柏舟 新冠5年 03-24仅需要定义一个简单的代数结构和使用泛型就可以求取函数的微分,使用泛型可以很容易支持不同类型的运算,同时获得微分信息。同时可以扩展到高阶导数(Jacobi, Hessian)。自动微分可以大大简化最小二乘迭代法,求解优化问题变得很容易。