网站页面设计怎么收费,网站实时K线怎么做,前段模板的网站,数码网站模板项目设计集合#xff08;人工智能方向#xff09;#xff1a;助力新人快速实战掌握技能、自主完成项目设计升级#xff0c;提升自身的硬实力#xff08;不仅限NLP、知识图谱、计算机视觉等领域#xff09;#xff1a;汇总有意义的项目设计集合#xff0c;助力新人快速实…
项目设计集合人工智能方向助力新人快速实战掌握技能、自主完成项目设计升级提升自身的硬实力不仅限NLP、知识图谱、计算机视觉等领域汇总有意义的项目设计集合助力新人快速实战掌握技能助力用户更好利用 CSDN 平台自主完成项目设计升级提升自身的硬实力。 专栏订阅项目大全提升自身的硬实力 [专栏详细介绍项目设计集合人工智能方向助力新人快速实战掌握技能、自主完成项目设计升级提升自身的硬实力不仅限NLP、知识图谱、计算机视觉等领域
# 金融领域产业链知识图谱包括上市公司、行业和产品共3类实体构建并形成了一个节点10w关系边16w的十万级别产业链图谱
包括上市公司所属行业关系、行业上级关系、产品上游原材料关系、产品下游产品关系、公司主营产品、产品小类共6大类。 上市公司4,654家行业511个产品95,559条、上游材料56,824条上级行业480条下游产品390条产品小类52,937条所属行业3,946条。
领域知识图谱的数据集当前还比较缺失而作为构建难度最大的产业链图谱领域更为空白。产业链作为产业经济学中的一个概念是各个产业部门之间基于一定的技术经济关联并依据特定的逻辑关系和时空布局关系客观形成的链条式关联关系形态。从本质上来说产业链的本质是用于描述一个具有某种内在联系的企业群结构产业链中大量存在着上下游关系和相互价值的交换上游环节向下游环节输送产品或服务下游环节向上游环节反馈信息。 1.项目构成
产业链知识图谱包括A股上市公司、行业和产品共3类实体包括上市公司所属行业关系、行业上级关系、产品上游原材料关系、产品下游产品关系、公司主营产品、产品小类共6大类。
通过数据处理、抽取最终建成图谱规模数十万其中包括上市公司4,654家行业511个产品95,559条、上游材料56,824条上级行业480条下游产品390条产品小类52,937条所属行业3,946条。
2.项目构建
2.1 实体构建
2.1.1 上市公司
目前上市公司已经达到四千多家是我国重要的公司代表与行业标杆本图谱选取上市公司作为基础实体之一。通过交易所公开信息中可以得到上市公司代码、全称、简称、注册地址、挂牌等多个信息。
2.1.2 行业分类
行业是产业链图谱中另一个核心内容也是承载产业、公司及产品的一个媒介通过这一领携作用可以生产出大量的行业指数、热点行业等指标。 目前关于行业已经陆续出现多个行业规范代表性的有申万三级行业分类、国民经济行业分类等。中国上市公司所属行业的分类准则是依据营业收入等财务数据为主要分类标准和依据所采用财务数据为经过会计事务所审计并已公开披露的合并报表数据。 2021年6月申万发布了2021版的行业分类规范将1级行业从28个调整至31个、2级行业从104个调整至134个、3级行业从227个调整至346个新增1级行业美容护理等新增2级行业并将上市公司进行了归属。本图谱选用申万行业作为基础数据。 2.1.3 业务产品
业务产品主要指公司主营范围、经营的产品用于对一个公司的定位。可以从公司的经营范围、年报等文本中进行提取得到。 2.2 关系构建
2.2.1 公司所属行业
通过公开的上市公司行业分类表可以得到上市公司所对应的行业分类数据。 2.2.2 行业上级关系
通过公开的行业三级分类情况可以通过组合的形式得到行业之间的上级关系数据。 2.2.3 公司主营产品关系
上市公司的经营产品数据可以从两个方面来获得一个是从公司简介中的经营范围中结合制定的规则进行提取另一个是从公司每年发布的半年报、年报中进行提取。这些报告中会有按经营业务、经营产品、经营地域等几个角度对公司的营收占比进行统计也可以通过制定规则的方式进行提取。第二种方法中由于已经有统计数据所以我们可以根据占比数据大小对主营产品这一关系进行赋值。 4产品之间的上下游关系 产品之间的上下游关系是展示产品之间传导逻辑关系的一个重要方法包括上游原材料以及下游产品两大类。我们可以多种来获取 一种是基于规则模式匹配的方式进行抽取如抽取上游原材料这一关系可以由诸如a是b的原料/原材料/主要构件/重要原材料/ 上游原料的模式进行抽取而下游产品则同理可以通过A是B的下游成品/产品等模式进行提取。 另一种是基于序列标注的提取。还有一种是基于现有结构化知识图谱的提取例如已经结构化好的百科知识三元组可以通过设定谓词及其扩展进行过滤。 5产品之间的小类关系 对于一个产品而言其是有大小层级分类的在缺少大类产品名称的时候可以通过计算小类产品来得到相应指标。与产品之间的上下游数据类似可以通过启发式规则的方式进行提取如“A是一种B”也可以通过字符之间的组成成分进行匹配生成如“螺纹钢”是“精细螺纹钢”的一个大类。 3.项目运行
data文件夹下包括了本项目的数据信息 1)company.json:公司实体数据 2)industry.json:行业实体数据 3)product.json:产品实体数据 4)company_industry.json:公司-行业关系数据 5)industry_industry.json:行业-行业关系数据 6)product_product.json:产品-产品数据 7)company_product.json:公司-产品数据
2、项目运行:
python build_graph.py
import os
import jsonfrom py2neo import Graph,Nodeclass MedicalGraph:def __init__(self):cur_dir /.join(os.path.abspath(__file__).split(/)[:-1])self.company_path os.path.join(cur_dir, data/company.json)self.industry_path os.path.join(cur_dir, data/industry.json)self.product_path os.path.join(cur_dir, data/product.json)self.company_industry_path os.path.join(cur_dir, data/company_industry.json)self.company_product_path os.path.join(cur_dir, data/company_product.json)self.industry_industry os.path.join(cur_dir, data/industry_industry.json)self.product_product os.path.join(cur_dir, data/product_product.json)self.g Graph(host127.0.0.1, # neo4j 搭载服务器的ip地址ifconfig可获取到http_port7474, # neo4j 服务器监听的端口号userneo4j, # 数据库user name如果没有更改过应该是neo4jpassword123456)建立节点def create_node(self, label, nodes):count 0for node in nodes:bodies []for k, v in node.items():body k : %s% vbodies.append(body)query_body , .join(bodies)try:sql CREATE (:%s{%s})%(label, query_body)self.g.run(sql)count 1except:passprint(count, len(nodes))return 1加载数据def load_data(self, filepath):datas []with open(filepath, r) as f:for line in f:line line.strip()if not line:continueobj json.loads(line)if not obj:continuedatas.append(obj)return datas创建知识图谱实体节点类型schemadef create_graphnodes(self):company self.load_data(self.company_path)product self.load_data(self.product_path)industry self.load_data(self.industry_path)self.create_node(company, company)print(len(company))self.create_node(product, product)print(len(product))self.create_node(industry, industry)print(len(industry))return创建实体关系边def create_graphrels(self):company_industry self.load_data(self.company_industry_path)company_product self.load_data(self.company_product_path)product_product self.load_data(self.product_product)industry_industry self.load_data(self.industry_industry)self.create_relationship(company, industry, company_industry, company_name, industry_name)self.create_relationship(industry, industry, industry_industry, from_industry, to_industry)self.create_relationship_attr(company, product, company_product, company_name, product_name)self.create_relationship(product, product, product_product, from_entity, to_entity)创建实体关联边def create_relationship(self, start_node, end_node, edges, from_key, end_key):count 0for edge in edges:try:p edge[from_key]q edge[end_key]rel edge[rel]query match(p:%s),(q:%s) where p.name%sand q.name%s create (p)-[rel:%s]-(q) % (start_node, end_node, p, q, rel)self.g.run(query)count 1print(rel, count, all)except Exception as e:print(e)return创建实体关联边def create_relationship_attr(self, start_node, end_node, edges, from_key, end_key):count 0for edge in edges:p edge[from_key]q edge[end_key]rel edge[rel]weight edge[rel_weight]query match(p:%s),(q:%s) where p.name%sand q.name%s create (p)-[rel:%s{%s:%s}]-(q) % (start_node, end_node, p, q, rel, 权重, weight)try:self.g.run(query)count 1print(rel, count)except Exception as e:print(e)returnif __name__ __main__:handler MedicalGraph()handler.create_graphnodes()handler.create_graphrels()4.项目总结
产业链图谱是众多领域知识图谱中较为棘手的一种本项目通过现有的数据借助数据处理、结构化提取方式设计、构建并形成了一个节点100,718关系边169,153的十万级别产业链图谱。就产业链图谱的构建而言我们需要至少从以上三个方面加以考虑 其一产业链的主观性与标准性。产业链的主观性较强不同的人对产业链的构建、产业链节点、关系的类型产业链的颗粒度问题都有不同的理解。不同的设定会直接导致不同的应用结果。正如我们所看到的目前存在不同的行业标准不同的网站、机构也将公司归为不同的行业。 其二产业链的动态性和全面性。产业链需要具备足够大的复用性和扩展性几千家上市公司实际上是冰山一角。国内有几千万家公司而且不断会有新增如何将新增的公司融入到这个额产业链中也是一个很大挑战。此外产业本身是动态的 随着行业的发展不断会有新的行业出现。如何捕捉这种行业的变化使得整个图谱变得与时俱进也是需要考量的点。 其三产业链的定量推理特性。单纯定性的构建产业链知识图谱如果没有足够的参数仅有知识表达是无法进行推理的推理要求知识图谱Schema具备节点间推理传导的必备参数以及影响推理传导的其他关键参数。对于必备参数来说从公司到产品必须有主营占比、市场占比、产能占比等数据从产品到产品必须有成本占比和消耗占比等数据。 参考数据来源 1、申万行业http://www.swsindex.com 2、深交所: http://www.szse.cn 3、上交所: http://www.sse.com.cn
项目码源见文章顶部or文末
https://download.csdn.net/download/sinat_39620217/87999923
