搜读小说网

手机浏览器扫描二维码访问

第337章 噢(第1页)

要偏向于更为全面的文献数据。生命周期评价的本质是用来评估产品或服务从生产到消费再到废弃的整个过程对环境和社会的影响,它考虑了资源使用、能源消耗、排放物的产生等方面。那么为了提高最后基于电力LCA这个领域搭建的专业模型的准确度,对文献进行精细筛选,选取同时包括流程图,数据,各单元过程投入产出详细数据,数据时间地点落去方法,技术细节的文献,作为最终的数据。将精细筛选后的论文数据,结合unstructed库进行数据处理。进行信息精细化拆解与清洗,使以pdf形式存储的文献数据通过分割,分区,变成便于嵌入模型的结构化数据。对文字进行筛选与清理,图像的内容进行识别,存储图像的解释信息,表格转化为HTML格式。最后统一变成标题加内容的格式。在这里我列举了简单的数据处理流程。首先是对数据进行分割。随后是对文本进行拆分,识别内容是否为文本,如果是,就填进text_list。将表格转化为HTML格式,将图片变为图片解释信息。第二部分是知识库的构建。向量知识库,能将各类数据(如文本、图像、音频等)转化为向量形式进行存储。数据之间的相似性和关联性得以量化,不像平时你存储你的,我存储我的,向量数据库给予了一个统一的标准。也正是因为统一了格式,利用相似度对比,检索更加高效。构建知识库的流程首先是提取分割文本进行向量化的操作。向量化的本质是将离散的符号信息,如词或句子,映射到连续的向量空间中,以便计算机能够处理。向量化将高维数据转化为低维数据,保留了数据的关键特征又降低了数据的复杂度。选择pipee存储向量数据,它支持查询,插入,删除等一些列操作。选择weaviate作为向量搜索引擎,可以通过主题的分类检索,进行语义搜索、问答提取等等功能。第三部分是chatbot的构建。先前已经构建好了针对电力LCA领域的专业大模型,但是缺少检验模型的手段,即缺少模型优化环节,本项目设置通过Chatbot模式,通过与用户进行问答的形式,检验模型是否能调用电力行业LCA领域向量数据库回答该领域专业性问题和时效性问题的有效性。Chatbot是模拟人类对话的一种形式,就我们平时能使到的chatgpt就是以chatbot的形式来呈现的,而chatbot在这里的功能实现主要是为了体现检索功能,大致可分为知识库检索功能和在线搜索。那么就产生了三种检索模式。

仅基于大语言模型,连接知识库搜索,和在线搜索。前端部分我采用streamlit来完成,UI设计如图所示。这边是功能按钮,中间是对话框。先前有讲到了,我们来检测针对专业领域的大模型的标准就是检测是否有能力回答专业领域的问题,并针对结果进行优化。这里我向chatbot提出同一个问题。只采用大语言模型,采用知识库与大语言模型结合,和联网搜索与大语言模型结合。三种功能下获得的回答是完全不同的,后面两个检索功能均为大语言模型优化了生成回答的准确性,对大语言模型的专业领域知识做了补充和改善。可以看到普通的大语言模型回答的是最简短的,采用了知识库的回答,将答案细分,扩充,并添加了新的内容,附上参考文献。最后的联网搜索,将答案分为了几类,更加全面,但是每类回答点到即止。最后就是向量知识库进行优化。对于准确率低的查询,分析模型回应错误的原因。如果是由于知识库中缺少相关信息,可以通过添加更多相关文档和数据来增强向量知识库的覆盖范围。用户反馈是对输入的问题和产生的回答进行记录,方便针对性进行调整。反馈可以直接用于指导向量知识库的更新和优化。不断地测试来完善我的专业领域大模型。最后一部分是我本次研究的总结。首先创建了一个能被大语言模型直接调用的专业知识库,在电力LCA这个专业性较高的领域填补了大语言模型的空白。其次是采用RAG技术,将知识库,联网与大语言模型相结合,增强了大语言模型在特定领域的可信度和实用性。最后就是本次研究虽然是针对电力LCA领域,但其背后的构架适用于各个领域,构建了一个完整的体系,可以进行修改,全方面的辅助大语言模型,应用广泛。以下就是我的全部研究内容请各位老师批评指正。

3.3.2数据预处理

Unstructured库是一个强大的工具,专为处理非结构化数据设计,具体流程如图3.7所示,

如从文本文档、PDF文件或网页中提取数据。它支持多种数据提取方法,包括正则表达式匹配、自

然语言处理(NLP)技术等。

数据预处理步骤如下:

本小章还未完,请点击下一页继续阅读后面精彩内容!

步骤一:数据清洗

去除杂质:从文本中去除无关的字符,如特殊符号、空白行等。

格式统一:将所有文本统一为相同的编码格式,通常为UTF-8,以避免编码错误。

语言标准化:统一不同术语的使用,例如将所有"photovoltaic"统一替换为"PV",确保术语的

一致性。

步骤二:信息提取

关键信息标识:标识文献中的关键信息,如研究方法、主要结论、实验条件等。

数据分类:根据信息类型将数据分类,如作者、出版年份、研究结果等。

步骤三:结构化转换

结构化处理:将信息精细化拆解与清洗,将各种元素进行转换,形成结构化数据形式,拆分成

标题与内容。

分割部分关键代码:

对于其中的每个元素,如果是positeElement类型,就提取其中的文本并将其添加到

text_list中;如果是Table类型,就将表格的文本表示(可能是HTML格式)添加到

text_list中。

将图3.8的提取的数据进行拆分,添加到text_list中,输出结果如图3.11所示。

非结构化文本数据通常非常稀疏,即包含大量的词汇但每个文档只使用其中的一小部分。而结

构化数据则可以通过合并相似信息来降低数据的稀疏性,这有助于生成更加紧凑和有效的嵌入向

量。

结构化数据可以实现更高效的特征提取。结构化数据通常已经按照特定的模式或结构进行了组

织,这使得我们可以更加高效地从中提取有用的特征(如标题、作者、摘要、关键词等)。这些特

征可以作为后续Embedding的输入,帮助生成具有更强区分性和泛化能力的嵌入向量。结构化数据

中的元素(如主题、类别、属性等)通常具有明确的含义,这些含义可以在Embedding过程中被保

留下来。因此,基于结构化数据的嵌入向量往往具有更强的解释性,有助于我们更好地理解模型的

预测结果和内部机制。

请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。

玄学大佬种田算命捉鬼  归零:云海梦境,山海有灵  末世:战姬指挥官  棒打鸳鸯的恶人主母,重生摆烂了  除了我,全家都穿越了  不当舔狗后,校花哭问为什么!  建立超级家族:从52年隐居开始  四合院之罪恶克星  综影视:祖龙杀疯了,我负责躺赢  带着原神祈愿系统穿越到诡异世界  凡人神算  红楼之剑天外来  我有个死要钱的系统  苟在修仙世界当反派  我在无限流游戏里为所欲为  异界:魔王降临  江与溪同归麒麟美人骨  这个影帝只想考证  神奇宝贝:羁绊的旅途  快穿:病美人仙君又拿白月光剧本  

热门小说推荐
你这么渣,我选忠犬弟弟不香吗?

你这么渣,我选忠犬弟弟不香吗?

关于你这么渣,我选忠犬弟弟不香吗?(病娇偏执,斯文败类(反)心机腹黑年下忠心狼狗(男主)白切黑女主)顾思叶嫁给了海市最完美的男人,所有人都羡慕嫉妒她。可只有她知道,萧天择对她毫无感情,只将她当成生育机器。最终,她不甘屈辱,逃离了他的魔掌。可是当她真的离开后,萧天择却又疯魔一般,全世界寻她。不成想,她早已另有良配。他癫狂的将她抵在墙上,赤红着眼你只能是我的,即便是死。萧总,请别这样,我早就不爱你了。顾思叶冷漠的推开他,...

林家有女整治家风

林家有女整治家风

关于林家有女整治家风种田宅斗大女主无金手指无cp脾气暴躁一言不合就咬人村中有四霸恶狗公羊大鹅和林三丫林瑶睁开眼就目睹了家徒四壁,那叫一个寒酸。再睁眼又目睹了泼妇骂街,得不想动嘴打一顿就好了。从此林家三丫性情大变一言不合就开撕。重男轻女的偏心祖母,心思深沉祖父,独木难支的后娘,软弱无能的亲爹。上有两个任人欺辱的姐姐,下有两个后娘生的弟妹,更有恶毒叔伯一窝好吃懒做筛子精,真真是极品凑了一堆。从此...

快穿:每天都努力跟夫郎重归于好

快穿:每天都努力跟夫郎重归于好

关于快穿每天都努力跟夫郎重归于好作为连续七个世界获得s级评分的优秀位面攻略者,秦暮晓意外接到了一个新任务,主线不再是攻略,而是修补位面,挽回被攻略对象的心?上一个攻略者自认为攻略完成就提前结束任务,导致了攻略对象认为自己被抛弃,攻略值也在直线下降,秦姐,这个烂摊子只有你能收拾啊!只有她能收拾?她只擅攻略,不擅长破镜重圆啊!秦暮晓表示头很大,但是为了升职加薪,只能硬着头皮上了。可她低估了那些被攻略后惨遭抛弃的男人们,她...

孤星少年:破法创世,神皇传奇

孤星少年:破法创世,神皇传奇

关于孤星少年破法创世,神皇传奇乱世降临,诸神隐匿,人间陷入无尽纷争。在这弱肉强食的时代,少年王鸿,如孤星降世,誓要打破命运的枷锁。他以坚韧不拔之志,踏上修真之路,以无畏之姿,挑战世间法则。引苍穹之力,启厚土之威,融合血脉之力,掌握真武之道,扭转乾坤,主宰命运。他虽身怀大爱,却亦行大魔之事,为救赎世间,不惜戮杀无数。身边美人环绕,他却只钟情于一人,坚守生死不渝的承诺。神龙为伴,异兽相随,他手握神秘玉片,修炼玄奥功法,成为不朽传奇...

带着系统穿九零,开局先挖自己坟

带着系统穿九零,开局先挖自己坟

顾子书带着薅来的金手指重生了。好消息她又活了坏消息被埋土里了,死不死就是时间问题了。最终靠着系统和好心人,出土成功。结果刚醒就发现原主死的冤枉。被继姐推下水,继父一家子联合起来偷了自己的录取通知书,亲生母亲打着为她好的言论让她忍!这她能忍?该戴银手镯的戴银手镯,该唱铁窗泪的也安排上。至于她,当然是发家致富把学上...

大明读书人,怎么会逆儒?

大明读书人,怎么会逆儒?

关于大明读书人,怎么会逆儒?王守敬长大后才懂得,条件差家教好的孩子,人生不会有出路。他穿越至大明,决定重新走出一条属于自己的道路。朝廷重农抑商?王守敬赚取金山银山,助永乐大帝登基。朝廷禁海,民间片板不得下海?王守敬鼓动沿海走私,朱棣成了最大的走私头目。官僚豪绅兼并土地,皇室子弟繁衍众多?王守敬打造海外大农场,掠夺全世界。读书。是为了不被束缚,踏破陈规。朱棣朕的国库充盈,志恒怎么就不贪了呢?朱高炽小贪为己,大贪为国...

每日热搜小说推荐