郑晓娜 等
一、现在市场反响机制保存的问题
随着新手艺的快速应用普及、数据的爆发以及信息流动越发快速 ，越来越多的新型商业模式泛起并迅速生长 ，如新零售、无人市肆、全渠道零售等。新型商业模式的催生带来数据非结构化、多维度的转变趋势和对信息时效性的更高要求。1）所谓时效性 ，是指信息仅在一准时间段内对决议具有价值。相较于古板的商业模式 ，新型商业模式更为强调这一点。例如 ，在全渠道零售模式下 ，消耗者可以选择在线上或线下恣意一个渠道体验、购置和取货。该模式在拓宽消耗者的购置渠道和体验渠道的同时 ，也对信息的时效性提出了更高的要求：渠道治理者需要凭证消耗者的差别选择柔性制订库存战略 ，实时发送补货信息 ，动态形成需求展望。2）所谓非结构化 ，体现在新型商业模式下的数据不但仅是以牢靠名堂或有牢靠长度的形式泛起（即 ，结构化数据的形式 ，例见表1） ，而更多地体现为语音、图像、无牢靠名堂的文本 ，如消耗者关于某商品的谈论等多种形式 ，以上未必长或无牢靠名堂的数据被界说为非结构化数据。3）别的 ，随着获守信息渠道的多样化和生涯水平的提升 ，消耗者不再简单地关注产品价钱 ，而是更为普遍地关注质量、品牌、口碑、售后效劳等更多维度的信息 ，体现出数据向多维度生长的趋势。不难看出 ，新型商业模式下的数据形式纷沉重大 ，其特有的性子和对时效性、非结构化、多维度的要求将对数据剖析和处置惩罚要领提出更高挑战。
然而 ，在经典和通用的要领里 ，多接纳统计学和计量经济学的古板要领对行业情形举行剖析 ，接纳财务报表剖析来权衡公司的谋划和治理情形。通太过析发明 ，古板要领已经显然不可知足新型商业模式的要求。尤其在权衡和表达两个焦点经济主体：市场和公司时 ，泛起了越来越显着的偏离和延迟 ，主要体现在如下三个方面：
第一 ，滞后性。古板要领以处置惩罚静态数据（即 ，在很长一段时间内不会转变的数据）为主。难以对快速转变的市场和公司谋划情形举行统计剖析 ，泛起了公司难于相识市场、政府难于剖析行业、消耗者难于相识商品等情形。由于决议往往对时效性要求很高 ，传一切计剖析的效果逐渐成为参考因素之一。在整个决议历程中 ，人的履历、更多的信息和越发实时反响的机制 ，成为要害因素。
第二 ，片面性。古板要领着重于处置惩罚结构化数据 ，难以处置惩罚非结构化的语音、图像、无牢靠名堂的文本等数据；受制于工具和要领 ，古板要领难以处置惩罚数据全体 ，而更多地只能通过在全体中抽取一部分作为样本 ，举行剖析� ？梢运� ，古板要领对古板经济形态的表达更为准确 ，关于共享经济、电子商务等新型商业模式的表达欠缺。因此 ，古板的要领不可阻止地爆发了私见和片面性。
第三 ，降维性。在市场和公司的恒久交互中 ，逐渐形成了以价钱为主体的生意机制。价钱综合体现了商品的质量、品牌、口碑、售后效劳等多维度的信息 ，起到了降维的作用。在古板的要领中 ，也选择价钱作为主要指标 ，辅以生意量、利润率等指标 ，试图从这些降维后的指标中还原重大经济行为中各个决议环节。在这个历程中 ，信息履历了降维和还原的历程 ，消耗者的意见、态度等要害信息却在这个历程中流失 ，难以还原。
时至今日 ，以电子商务为代表的经济体已经具备高度数字化的特点 ，可以很洪流平地保存经济行为（例如 ，消耗者的消耗行为、企业的生产和营销行为等）的全历程数据。同时 ，电子商务公司推出了以“消耗者线上评价、客服在线互动”为主要形式的市场反响机制 ，建设起消耗者和电商企业的互动关系 ，实现了“生产谋划在市场爆发信息 ，并反响到生产谋划中去”的设计初志。上述两个机制虽然在详细品类的商品生意历程中获得普遍应用并取得优异效果 ，但对市场和公司举行综合剖析时 ，仍然保存片面性和降维性的问题。
上述剖析展现了新型商业模式下的企业普遍面临的难题：怎样在较小的本钱价钱下 ，最大限度地保存信息的全貌、抽取有用信息 ，并实现对市场的快速响应和反�� ？
本文基于人工智能手艺 ，提出了一种实时市场反响机制。该机制可以在较小的资源价钱下 ，训练获得准确率较高的展望模子 ，做到对市场数据的全貌获取、抽取有用信息 ，并实现对决议的实时支持和对市场的快速响应。
二、基于人工智能手艺的实时市场反响机制
近年来 ，泛起了大宗基于商品评价、基于大数据处置惩罚要领的市场反响机制的研究 ，受限于自然语言处置惩罚能力的缺乏 ，以及由于样本数据过少所导致的片面性 ，对市场和公司的剖析表达尚未取得有力的希望。本报告接纳了基于自然语言处置惩罚和行业知识图谱的人工智能手艺 ，建设了一种实时的市场反响机制。详细的思绪是：使用便捷和受众普遍的反响渠道 ，综合海量的网络评价数据、舆情数据、客服数据、调研问卷数据 ，接纳人工智能手艺举行剖析 ，并与企业的谋划情形和要害指标举行关联匹配 ，以期为其建设实时的市场反响机制 ，效劳于企业和行业的综合研判剖析。
本文中研究的基本手艺框架如图1所示。
图1. 基本手艺框架
该框架涉及数据收罗手艺、自然语言处置惩罚手艺、知识图谱等大数据和人工智能手艺 ，从网络的数据中自动化抽取出行业知识 ，再举行种种应用层的市场剖析。接纳图1中自底向上的剖析历程 ，详细剖析要领如下：
第一 ，数据收罗：首先设定剖析的目的 ，可以是企业的品牌、产品品类或者详细的产品 ，凭证剖析目的设计互联网果真数据收罗的要害词以及数据收罗的渠道 ，包括微博、论坛、电商、APP等等 ，并设计对应的调盘问卷。本课题将接纳北京百分点信息科技有限公司成熟的数据收罗软件来获取互联网果真数据 ，同时接纳该公司的“乐视察”软件来获取调研数据。
第二 ，自然语言处置惩罚：收罗回来的数据中包括大宗的非结构化文本数据 ，需要连系自然语言处置惩罚手艺。即 ，从文本中自动化地抽取出剖析的工具（品牌、品类或者详细的产品）、其对应的属性（某一方面或者某一话题） ，以及消耗者对该属性的情绪（包括“正面”“中性”和“负面”）。例如针对文本“华为P30Pro的照相功效真的很清晰” ，抽取出来的实体就是“P30Pro”、属性是“照相功效”、属性上的情绪是“正面”。
在古板的深度学习手艺下 ，要让机械能够从海量文本中智能抽取出这些信息 ，就需要大宗带有用果的训练数据来“训练”并“教会”机械怎样从非结构化文本中抽取所需效果 ，训练数据的获取难度很是大且训练效果不佳。鉴于此 ，本研究首先基于大宗容易收罗和获得的语料（包括维基百科、百度百科、微博、论坛等）训练出一个通用的模子 ，然后再将该模子迁徙到详细的自然语言剖析使命中。由于通用模子已经具备较好的信息处置惩罚能力 ，因此只需再通过少量的训练数据就能抵达更为理想的效果。该要领被称为深度迁徙学习 ，既解决了训练数据获取难的问题 ，又包管了训练效果。事实证实 ，所需要的训练数据量不到深度学习的1% ，但在实体抽取、属性抽取和情绪分类上的准确率都能抵达85%以上。
第三 ，行业知识图谱：通过自然语言处置惩罚后 ，即可获得行业知识图谱的基本组成要素：实体、属性和情绪。行业知识图谱的优点在于围绕市场的现实需求建设完整的知识系统 ，掌握住用户关于企业品牌和产品的心理体验 ，为企业提供有洞察价值的市场决议支持。
第四 ，应用剖析：基于行业知识图谱 ，可以举行种种市场剖析 ，包括品牌剖析、产品剖析、用户体验剖析以及趋势剖析等等 ，为企业的营运决议提供有用参考。就产品剖析而言 ，可以凭证行业知识图谱剖析出企业的产品相比市场上竞争产品的种种优劣势 ，这代表着消耗者真实的市场声音 ，关于下一代产品的刷新有很是主要的指导意义。另外 ，趋势剖析关于企业的市场剖析也很主要 ，通过行业知识图谱 ，可以实时捕获到产品特征的新热门 ，例如关于咖啡企业来说 ，发明某种新口胃的咖啡突然被讨论的声量特殊大 ，企业实时捉住趋势 ，推出对应的新品 ，这样就能在强烈的市场竞争中 ，阻止落伍被镌汰。
三、现实应用—以某品牌牙膏为例
由于生涯节奏的转变 ，加之熬夜、压力大等因素 ，人们经常泛起上火的症状 ，如牙龈肿痛和口腔溃疡。因而在选购产品时 ，消耗者会关注产品的清火效果。某品牌牙膏希望相识消耗者对其牙膏清火效果的口碑 ，针对该项目 ，本研究团队选取电商网站、小红书、知乎等网站数据 ，收罗约40万条口碑评价文本数据。
在以上40万评价文本数据中 ，涉及18个主要的清火产品品牌。连系该牙膏品牌厂商的述求 ，本研究团队对18个品牌及每个品牌的5种产品（牙刷、通俗牙膏、电动牙刷、漱口水、牙线）举行总体口碑评价剖析 ，设计了一个三级标签结构：一级（口腔照顾护士类）；二级（18个品牌名称）；三级（每个品牌的5种产品）。之后 ，对特定品牌的多种产品举行情绪标注。例如 ，某消耗者针对某品牌给出“这个牌子的电动牙刷不错 ，漱口水效果一样平常”这一评价 ，则标注电动牙刷这一产品对应的情绪为“正面” ，标注漱口水这一产品对应的情绪为“中性”。
将收罗并标注后的数据通过深度迁徙学习算法举行训练 ，训练完成后的模子可以展望出差别品牌、产品、维度的整体评价。表1枚举了部分维度和对应特点形貌。
表1. 清火产品的部分维度和对应特点形貌
维度 |
特点形貌 |
症状Symptoms |
口吻 溃疡 口角长泡 肿痛 出血 炎症长痘 便秘 |
场合 Occasions |
暖锅 水果 小龙虾 油腻食物 辛辣食物 重口胃烧烤 春天炎天秋冬天熬夜 加班 压力大 冷水刷牙 生涯不纪律 |
要领 Solutions |
牙膏 食疗 药物 口腔照顾护士产品 理疗 足贴 |
牙膏功效 TP’s Benefit |
除口吻 除溃疡 去红肿 止血 固齿 防蛀 多效 美白 去渍 抗色素沉淀 去牙菌斑 去结石 洁齿 护龈 护牙釉 抗敏感 去菌 |
因素 Ingredient |
|
清静性 Safety |
自然 无添加 可食用 无糖 |
包装 Package |
压泵式 管状 站立式 盖子 |
产地 Origin |
物流 客服 包裹 正品 |
效劳 Service |
|
价钱 Price |
价钱 促销 |
确定维度后 ，通过同样的要领训练模子并举行展望 ，形成响应评价指标。企业主要体贴的指标包括：
(1) 谈论数（BUZZ）：该指标体现了消耗者关于产品特定维度的体贴水平。谈论数越多 ，说明消耗者对该产品维度更体贴。
(2) 好评度（Positive Sentiment Rate ，简称PSR）：该指标体现了消耗者对产品特定维度的体验好感度。产品好评度指数越高 ，口碑形象越好。详细盘算公式如下：
；
(3) 净喜欢度（Net Sentiment Rate,简称 NSR）：净喜欢度和洽评度都反应了消耗者对某产品特定维度的好感度。差别点在于 ，其在好评度的基础上进一步体现了负面谈论的影响。详细盘算公式如下：
。
文本处置惩罚完成后 ，凭证各品牌、各产品、各维度的剖析效果 ，构建出行业品牌、产品关于清火相关剖析维度的漫衍图谱（可拜见图2、图3） ，该图谱体现了差别维度产品、品牌的口碑优劣势。通过图谱相识市场评价有助于企业更清晰地熟悉产品的竞争力和缺乏：一方面 ，图谱可以资助企业形制品牌优势 ，坚持竞争力；另一方面指导企业更好地投入产品立异研发 ，填补产品弱势 ，知足市场需求。
针对本案例 ，图2展示了详细效果（由于数据敏感 ，准确数字在此报告中被隐去）。从图2可以看出 ，针对清火要领（Solutions）的讨论量最多 ，而上火症状（Symptoms）的负面谈论量相对最大（-64%）� ？杉� ，1）若干上火症状是导致消耗者爆发负面谈论的要害。2）消耗者关于清火要领的关注水平相对最高 ，说明消耗者也试图通过一系列的外在手段抵达清火的目的。以上两点 ，说明清火功效的牙膏确实具有较高的市场需求 ，并为牙膏品牌商推出相关清火系列产品提供了理论支持。
图2. 谈论维度的谈论数（BUZZ）与净喜欢度(NSR)
在这个项目中 ，除了对差别品牌、产品、维度举行情绪正负面剖析以外 ，我们对用户经常提及的问题点也举行了归纳和统计 ，统计出差别问题点提及最高的问题内容 ，如图3所示。例如关于症状（Symptoms） ，最多被提及的症状占比26%；而最多被提及的场合占比35%。借助该研究手艺 ，牙膏品牌商可以更为准确地获作废耗者上火的实质缘故原由 ，掌握产品的立异研发偏向和营销偏向。
图3. 用户在重点维度谈论的问题点
虽然 ，掌握产品维度喜欢统计效果和行业知识图谱有时也缺乏以知足客户所有需求�；谄饰鲂Ч� ，对重点维度举行深度原始数据挖掘 ，总结出每种维度用户最不知足的方面和问题 ，是剖析结论的另一主要部分。
四、结论
新型商业模式的催生具有对信息时效性的更高要求并带来数据非结构化、多维度的转变趋势。然而 ，在新型商业模式的配景下 ，古板的数据收罗要领泛起了显着的滞后性、片面性和降维性。找到一种行之有用的数据收罗和处置惩罚要领 ，是应敌手艺刷新、支持企业决议、形成企业竞争力的主要行动。
基于自然语言处置惩罚和行业知识图谱的人工智能手艺填补了古板数据收罗要领和剖析要领的缺陷。通过互联网数据的收罗和文本的剖析处置惩罚 ，连系深度迁徙学习的自然语言剖析模子 ，构建行业产品知识图谱 ，可以资助企业掌握市场反响 ，相识产品问题 ，为企业刷新其自身产品提供明确目的 ，为其产品研发、市场剖析提供主要的指导 ，从而提高决议效率。
作者先容：
郑晓娜 伟易博
苏海波 北京百分点信息科技有限公司
李亚博 北京百分点信息科技有限公司
