热点文献带您关注AI大语言模型的最新进展——图书馆前沿文献专题推荐服务（88）
2024-04-09
、本期我们为您选取了4篇文献，介绍AI大语言模型的最新进展，包括来自Google DeepMind的研究团队提出的新方法FunSearch——利用大语言模型的程序搜索解决数学难题、基于大语言模型的科学文本结构化信息提取、大语言模型简化临床研究机器学习、利用大语言模型预测化学。
Mathematical discoveries from program search with large language models
Romera-Paredes, Bernardino, etc.
NATURE, 2024, 625(7995): 468–475
Large language models (LLMs) have demonstrated tremendous capabilities in solving complex tasks, from quantitative reasoning to understanding natural language. However, LLMs sometimes suffer from confabulations (or hallucinations), which can result in them making plausible but incorrect statements. This hinders the use of current large models in scientific discovery. Here we introduce FunSearch (short for searching in the function space), an evolutionary procedure based on pairing a pretrained LLM with a systematic evaluator. We demonstrate the effectiveness of this approach to surpass the best-known results in important problems, pushing the boundary of existing LLM-based approaches. Applying FunSearch to a central problem in extremal combinatorics—the cap set problem—we discover new constructions of large cap sets going beyond the best-known ones, both in finite dimensional and asymptotic cases. This shows that it is possible to make discoveries for established open problems using LLMs. We showcase the generality of FunSearch by applying it to an algorithmic problem, online bin packing, finding new heuristics that improve on widely used baselines. In contrast to most computer search approaches, FunSearch searches for programs that describe how to solve a problem, rather than what the solution is. Beyond being an effective and scalable strategy, discovered programs tend to be more interpretable than raw solutions, enabling feedback loops between domain experts and FunSearch, and the deployment of such programs in real-world applications.
阅读原文：https://www.nature.com/articles/s41586-023-06924-6
Overview of FunSearch
Structured information extraction from scientific text with large language models
Dagdelen, John, etc.
NATURE COMMUNICATIONS, 2024, 15
Extracting structured knowledge from scientific text remains a challenging task for machine learning models. Here, we present a simple approach to joint named entity recognition and relation extraction and demonstrate how pretrained large language models (GPT-3, Llama-2) can be fine-tuned to extract useful records of complex scientific knowledge. We test three representative tasks in materials chemistry: linking dopants and host materials, cataloging metal-organic frameworks, and general composition/phase/morphology/application information extraction. Records are extracted from single sentences or entire paragraphs, and the output can be returned as simple English sentences or a more structured format such as a list of JSON objects. This approach represents a simple, accessible, and highly flexible route to obtaining large databases of structured specialized scientific knowledge extracted from research papers.
阅读原文：https://www.nature.com/articles/s41467-024-45563-x
Overview of the proposed sequence-to-sequence approach to document-level joint named entity recognition and relationship extraction task
Large language models streamline automated machine learning for clinical studies
Arasteh, Soroosh Tayebi, etc.
NATURE COMMUNICATIONS, 2024, 15
A knowledge gap persists between machine learning (ML) developers (e.g., data scientists) and practitioners (e.g., clinicians), hampering the full utilization of ML for clinical data analysis. We investigated the potential of the ChatGPT Advanced Data Analysis (ADA), an extension of GPT-4, to bridge this gap and perform ML analyses efficiently. Real-world clinical datasets and study details from large trials across various medical specialties were presented to ChatGPT ADA without specific guidance. ChatGPT ADA autonomously developed state-of-the-art ML models based on the original study’s training data to predict clinical outcomes such as cancer development, cancer progression, disease complications, or biomarkers such as pathogenic gene sequences. Following the re-implementation and optimization of the published models, the head-to-head comparison of the ChatGPT ADA-crafted ML models and their respective manually crafted counterparts revealed no significant differences in traditional performance metrics (p ≥ 0.072). Strikingly, the ChatGPT ADA-crafted ML models often outperformed their counterparts. In conclusion, ChatGPT ADA offers a promising avenue to democratize ML in medicine by simplifying complex data analyses, yet should enhance, not replace, specialized training and resources, to promote broader applications in medical research and practice.
阅读原文：https://www.nature.com/articles/s41467-024-45879-8
Leveraging large language models for predictive chemistry
Jablonka, Kevin Maik, etc.
NATURE MACHINE INTELLIGENCE, 2024, 6
Machine learning has transformed many fields and has recently found applications in chemistry and materials science. The small datasets commonly found in chemistry sparked the development of sophisticated machine learning approaches that incorporate chemical knowledge for each application and, therefore, require specialized expertise to develop. Here we show that GPT-3, a large language model trained on vast amounts of text extracted from the Internet, can easily be adapted to solve various tasks in chemistry and materials science by fine-tuning it to answer chemical questions in natural language with the correct answer. We compared this approach with dedicated machine learning models for many applications spanning the properties of molecules and materials to the yield of chemical reactions. Surprisingly, our fine-tuned version of GPT-3 can perform comparably to or even outperform conventional machine learning techniques, in particular in the low-data limit. In addition, we can perform inverse design by simply inverting the questions. The ease of use and high performance, especially for small datasets, can impact the fundamental approach to using machine learning in the chemical and material sciences. In addition to a literature search, querying a pre-trained large language model might become a routine way to bootstrap a project by leveraging the collective knowledge encoded in these foundation models, or to provide a baseline for predictive tasks.
阅读原文：https://www.nature.com/articles/s42256-023-00788-1
Overview illustration of the datasets and tasks
“前沿文献专题推荐服务”是图书馆情报服务部学科服务的重要内容。欢迎有相关需求的科研人员与我们联系，我们将为您提供更有针对性的定题服务。
联系人：杨老师 闫老师
邮箱：yandong80@bupt.edu.cn
电话：西土城校区图书馆125室 62281933 62283502
沙河校区图书馆东205室 66605330 66605331
联系人：杨老师 闫老师
邮箱：yandong80@bupt.edu.cn
电话：西土城校区图书馆125室 62281933 62283502
沙河校区图书馆东205室 66605330 66605331
往期精彩推荐
热点文献带您关注通信领域的最新进展——图书馆前沿文献专题推荐服务（87）
热点文献带您关注半导体集成电路的最新进展——图书馆前沿文献专题推荐服务（86）
热点文献带您关注AI在气候领域的最新进展——图书馆前沿文献专题推荐服务（85）
热点文献带您关注通信领域的最新进展——图书馆前沿文献专题推荐服务（84）
热点文献带您关注AI与集成电路领域的最新进展——图书馆前沿文献专题推荐服务（83）
热点文献带您关注AI大型语言模型的最新进展——图书馆前沿文献专题推荐服务（82）
热点文献带您关注通信领域的最新进展——图书馆前沿文献专题推荐服务（81）
热点文献带您关注半导体领域的最新进展——图书馆前沿文献专题推荐服务（80）
热点文献带您关注AI领域的最新进展——图书馆前沿文献专题推荐服务（79）
热点文献带您关注通信领域的最新进展——图书馆前沿文献专题推荐服务（78）
热点文献带您关注半导体领域的最新进展——图书馆前沿文献专题推荐服务（77）
热点文献带您关注AI Transformer的最新进展——图书馆前沿文献专题推荐服务（76）
热点文献带您关注低轨卫星通信技术的最新进展——图书馆前沿文献专题推荐服务（75）
热点文献带您关注惯性测量单元的最新进展——图书馆前沿文献专题推荐服务（74）
热点文献带您关注存算一体技术的最新进展——图书馆前沿文献专题推荐服务（73）
热点文献带您关注电子皮肤的最新进展——图书馆前沿文献专题推荐服务（72）
热点文献带您关注AI的最新进展——图书馆前沿文献专题推荐服务（71）
热点论文带您探索未来网络中使用的新材料以及相关技术 ——图书馆前沿文献专题推荐服务（70）
热点文献带您关注AI图神经网络的最新进展——图书馆前沿文献专题推荐服务（69）
热点论文带您探索新型网络架构以及超材料在未来通信中的应用——图书馆前沿文献专题推荐服务（68）
热点文献带您关注AI深度强化学习的最新进展——图书馆前沿文献专题推荐服务（67）
热点论文带您探索新型网络架构以及超表面在未来通信中的应用——图书馆前沿文献专题推荐服务（66）
热点文献带您关注AI领域的最新进展——图书馆前沿文献专题推荐服务（65）
热点论文带您领略半导体领域的最新进展——图书馆前沿文献专题推荐服务（64）
热点文献带您关注AI领域的最新进展——图书馆前沿文献专题推荐服务（63）
热点论文带您探索智能化以及超表面在未来通信中的应用——图书馆前沿文献专题推荐服务（62）
热点文献带您关注AI领域的最新进展——图书馆前沿文献专题推荐服务（61）
热点论文带您领略未来通信研究热点的最新进展——图书馆前沿文献专题推荐服务（60）
热点文献带您关注AI深度学习的最新进展——图书馆前沿文献专题推荐服务（59）
热点论文带您领略未来通信热点技术的最新进展——图书馆前沿文献专题推荐服务（58）
热点文献带您关注AI视频动作识别的最新进展——图书馆前沿文献专题推荐服务（57）
热点论文带您领略新材料半导体领域的最新进展——图书馆前沿文献专题推荐服务（56）
热点文献带您关注AI深度神经网络的最新进展——图书馆前沿文献专题推荐服务（55）
热点论文带您领略未来通信在新材料技术领域的最新进展——图书馆前沿文献专题推荐服务（54）
热点文献带您关注AI在光神经网络领域的最新进展——图书馆前沿文献专题推荐服务（53）
热点论文带您领略半导体领域的最新进展——图书馆前沿文献专题推荐服务（52）
热点文献带您关注AI在集成电路领域的最新进展——图书馆前沿文献专题推荐服务（51）
热点论文带您领略光电半导体领域的最新进展——图书馆前沿文献专题推荐服务（50）
热点文献带您关注AI与人脸识别——图书馆前沿文献专题推荐服务（49）
热点论文带您领略未来通信在新材料技术领域的最新进展——图书馆前沿文献专题推荐服务（48）
热点文献带您关注AI与生物学——图书馆前沿文献专题推荐服务（47）
热点论文带您领略未来通信在光电材料及信息编码领域的最新进展——图书馆前沿文献专题推荐服务（46）
热点文献带您关注AI与医学图像——图书馆前沿文献专题推荐服务（45）
热点论文带您领略未来通信在材料领域研究的最新进展——图书馆前沿文献专题推荐服务（44）
热点文献带您关注AI与医学研究——图书馆前沿文献专题推荐服务（43）
热点论文带您领略未来通信在海空领域研究的最新进展——图书馆前沿文献专题推荐服务（42）
热点文献带您关注AI视觉跟踪——图书馆前沿文献专题推荐服务（41）
热点论文与带您领略5G相关领域研究的最新进展——图书馆前沿文献专题推荐服务（40）
热点文献带您关注AI技术的最新进展——图书馆前沿文献专题推荐服务（39）
热点论文与带您领略5G/6G领域热点研究的最新进展——图书馆前沿文献专题推荐服务（38）
热点文献带您关注AI与边缘计算——图书馆前沿文献专题推荐服务（37）
热点论文与带您领略5G/6G基础研究的最新进展——图书馆前沿文献专题推荐服务（36）
热点文献带您关注AI强化学习——图书馆前沿文献专题推荐服务(35)
热点论文与带您领略未来通信的热点技术及最新进展——图书馆前沿文献专题推荐服务（34）
热点文献带您关注AI深度学习与计算机视觉——图书馆前沿文献专题推荐服务（33）
热点论文与带您领略5G/6G热点技术的最新进展——图书馆前沿文献专题推荐服务（32）
热点文献带您关注AI与触觉传感技术——图书馆前沿文献专题推荐服务（31）
热点论文与带您领略5G/6G热点技术的最新进展——图书馆前沿文献专题推荐服务（30）
热点文献带您关注AI与机器人——图书馆前沿文献专题推荐服务（29）
热点论文与带您领略5G/6G电子器件和太赫兹方面的最新进展——图书馆前沿文献专题推荐服务（28）
热点论文与带您领略5G/6G网络安全和技术的最新进展——图书馆前沿文献专题推荐服务（26）
热点文献带您关注AI自动驾驶——图书馆前沿文献专题推荐服务（25）
热点论文与带您领略5G/6G通信器件材料的最新进展 ——图书馆前沿文献专题推荐服务（24）
热点文献带您关注机器学习与量子物理 ——图书馆前沿文献专题推荐服务（23）
热点论文与带您领略6G网络技术的最新发展趋势 ——图书馆前沿文献专题推荐服务（22）
热点文献带您关注AI自动驾驶——图书馆前沿文献专题推荐服务（25）
热点论文与带您领略5G/6G通信器件材料的最新进展 ——图书馆前沿文献专题推荐服务（24）
热点文献带您关注机器学习与量子物理 ——图书馆前沿文献专题推荐服务（23）
热点论文与带您领略6G网络技术的最新发展趋势 ——图书馆前沿文献专题推荐服务（22）
热点文献带您关注模式识别——图书馆前沿文献专题推荐服务（21）
热点论文与带您领略5G/6G材料技术的最新发展——图书馆前沿文献专题推荐服务（20）
热点文献带您关注图神经网络——图书馆前沿文献专题推荐服务（19）
热点论文带您领略5G/6G的最新技术动向 ——图书馆前沿文献专题推荐服务（18）
热点文献带您关注AI主动视觉——图书馆前沿文献专题推荐服务（17）
热点论文与带您领略5G/6G的最新技术演进 ——图书馆前沿文献专题推荐服务（16）
热点文献带您关注AI计算机视觉 ——图书馆前沿文献专题推荐服务（15）
热点论文与带您领略5G/6G的硬科技与新思路 ——图书馆前沿文献专题推荐服务（14）
热点文献带您关注AI机器翻译 ——图书馆前沿文献专题推荐服务（11）
热点论文：5G/6G引领社会新进步——图书馆前沿文献专题推荐服务（10）
热点文献带您关注AI文本摘要自动生成 ——图书馆前沿文献专题推荐服务（9）
热点论文带您探究6G的无限可能——图书馆前沿文献专题推荐服务（8）
热点文献带您关注AI情感分类技术 ——图书馆前沿文献专题推荐服务（7）
热点论文带您探究5G和未来通信材料技术领域 ——图书馆前沿文献专题推荐服务（6）
前沿文献带您解读自然语言处理技术 ——图书馆前沿文献专题推荐服务（5）
热点论文带您探究5G和未来通信——图书馆前沿文献专题推荐服务 （4）
热点论文解读AI应用领域 ——图书馆前沿文献专题推荐服务（3）