案例背景
东吴证券股份有限公司作为全国第18家上市券商，拥有全部证券类业务牌照，在全国建立了18家分公司，134个营业部，并实现在香港和新加坡两个重要境外资本市场的布局，稳居地级市券商首位，坚定向着头部券商看齐。
公司在2017年建设大数据平台后，逐渐把30多套系统的数据通过ETL抽取并存储在平台上，但由于这些系统由不同的供应商设计实施，且经过多年的发展，几乎每套系统的数据结构和数据一直在持续的变更，这给我们通过平台提供数据服务，给业务部门或其他系统带来很多困难，主要发现有以下几方面的问题和痛点：
第一、缺少全局数据观
主要是数据分散、杂乱、割裂，数据质量参差不齐，数据处理环节中产生大量错误和质量较差的数据，数据处理不及时，导致后续数据错误。
第二、数据标准不统一
统一的数据标准未完全落地，导致数据模型的相关含义比较模糊，令运维和开发的相关人员难以理解，增加沟通成本，降低了效率；同时亦使得不同应用间的数据集成和数据共享相对比较困难。
第三、存在数据安全隐患
现有的技术系统难以完全匹配和满足数据管理需求，IT系统越来越多，其复杂度也越来越高，数据架构与业务流程、应用架构之间的关系不清晰，导致存在数据安全和风险隐患。
第四、数据处理提供复杂
很多数据存储在不同的系统中，但现在的需求需要把各系统的数据关联后提供，但由于各系统设计差异，虽然数据已经集中到大数据平台上，但系统间的差异提高了每次数据需求处理难度和复杂度，对人员的要求也提高了。
第五、部分数据可能丢失
很多源系统在考虑数据存储时对某些数据并未进行历史归档，导致后续在这部分历史数据需求提出后，需求处理人员将束手无策。
第六、业务人员自助数据分析
随着证券业务的快速发展，传统的纯依赖后台的技术人员在很多场景已经很难满足业务需求，有不少的业务部门和业务人员亟需根据自己的需求自助的进行数据分析。
解决方案
为解决上述问题，在公司的数字化转型中，让数据发挥更大的价值，公司从数据治理和数据集市两个层面开展工作。
在数据治理方面，公司主要以数据标准、数据质量、数据安全、元数据、主数据以及生命周期的管理作为重点领域，通过有效的数据资源控制手段，在保证数据安全的情况下，对数据进行有效的管理和控制，以提升数据质量进而提升数据变现的能力，为公司的业务和管理提供多样化、统一的数据服务调用，在公司数字化转型的过程中扮演极其重要的角色。
数据集市以数据治理为基础，利用数据治理工具治理过的企业数据，按照公司各种业务需求主体，建设单独的应用数据集市，确保满足数据的完整性、及时性、准确性和一致性要求，同时为各类系统提供数据服务。
整个数据集市的体系架构结合东吴证券数据的实际现状，参考市场技术热点和同业建设情况，遵循按需建设、良性演变的原则，对应未来发展需求来进行统一规划和建设。
在建设数据集市时，公司充分利用了工具和系统，前台业务部门和后台数字支撑部技术人员合理分工，紧密合作。数字支撑部主要提供数据基础平台及工具开发支持、数据治理的落地研发、建设数据集市、利用报表工具开发固定的数据报表；业务部门在数据集市上利用BI工具在自己的数据集市基础上进行数据分析。
整体数据架构图
应用场景和价值
场景一：经纪数据集市
通过数据治理体系的建设，零售客户部利用构建的经纪业务数据集市，持续为经纪业务的经营发展、客户信息属性以及产品设计的发展奠定夯实的基础。经纪业务数据集市由客户主题、产品主题、团队主题、渠道主题进行设计，四个主题对应着券商客户服务流程四大要素：客户、产品、团队、渠道。
参考客户服务流程模型，从产品端到客户端主要是：产品向团队和渠道提供产品组合，团队和渠道了解客户需求，并推送产品给客户；而客户端到产品端主要是：客户提出意见，反馈信息给团队和渠道，最终推送到产品端，来提升产品类型和管理。
帆软BI报表工具建立了渠道方面的设备数据集、用户数据集、客户数据集、客户资产汇总表以及客户出入金汇总表等，然后在报表组件中加入了数据总览模块、渠道引流趋势模块、客户出入金趋势模块以及客户交易趋势模块，以便运营人员可以清晰的了解渠道引流效果以及客户开户之后的资产和交易活跃度。
渠道流量数字化汇总
在团队方面的应用，零售客户部为了能够更好地量化员工的线上化率，通过帆软来制作大屏展示。以在线活跃员工为指标维度，实时监测员工在线人数以及员工类型，帮助运营人员了解员工活跃时间以及登陆员工类型的分布。
此外，区分APP和PC端，可以看到不同平台的在线员工数。
CRM在线活跃员工数实时监测
总之，经纪数据集市是通过数据基础平台与运营相关体系建设，形成数据运营、员工运营、产品经理、研发标准化的数据服务协作流程，提升数据服务效率，将数据转化成数字化运营生产力。
场景二：风险数据集市
同一客户管理要求是证券公司信用风险管理的关注重点之一。风险管理部通过利用风险数据集市，构建了同一客户风险监控搜索展台。
同时，FineBI系统作为可视化展示平台，风险数据管理团队通过模糊搜索结合多维筛选方式帮助用户迅速定位目标同一客户及关联关系。在此基础上完成了支持同一客户在公司的资产负债情况查询功能；支持按资产、负情况进行排名统计查询。通过“关键字”及“筛选条件”进行模糊搜索，支持多维数据查询与展示。
风险数据集市提取所需数据。风险数据集市积累了风险信息数据，为以后更好地实现对风险计量和分析提供数据支持。
场景三：信用业务数据集市
为强化监管，推动证券公司规范开展在上海、深圳证券交易所开展的质押式报价回购交易、约定购回式证券交易及股票质押式回购交易，信用业务部门按照证监会相关指引要求，利用管理驾驶舱的报表工具，建设了信用业务数据集市，完善了机构监管综合信息系统（CISP）相关报表事项。
原先，月报数据生成需要业务人员在不同系统间进行数据取数、核对、填报，经常会遇到工作量大、重复性多、容易出错的数据处理情况。这种传统报表报送的方法对工作的质量和效率带来很大的风险隐患。
所以，我们必须引入一些新的方法，为业务人员减负，让其在现有工作基础上有足够的时间去高效及时地完成工作任务。新建或改造现有系统可以解决问题，但新建或改造系统需要不少的投入。而且，这种新建和改建系统某些情况下可能是杀鸡用了牛刀，最后也不一定达到最佳效果。
数字支撑部根据现有系统架构，结合信用业务部实际需求，调研评估后，在大数据平台建设了信用数据集市，快速地完成了功能开发，并通过基于帆软报表工具建设的管理驾驶舱提供给相关业务人员使用。
管理驾驶舱不但是数据展示的应用层服务，而且给业务人员的工作上带来了极大的好处。现在，信用业务人员只需通过轻松地点击相关的功能菜单，就能处理原先一些既复杂，又耗时的工作，还能减少人工差错率，直接节省每月3个人天的工作量，进一步保证了监管报表的正确性、及时性和安全性。
数据治理后提供了标准的模型，便利了数据集市的建设，而数据集市的建设又为后续的标准化数据分析服务提供了很好的数据基础，在此基础上极大的减少了业务部门提交给后台业务部门的数据分析报表数量，目前已经有300张左右的报表为业务部门人员自主处理。
由于数据已标准化，业务部门在数据集市基础上所提及技术部门的需求比以往容易被技术人员理解，也在一定程度上提升了技术人员实现需求的进度和质量。
项目心得
由于业务人员和技术人员的紧密协同，合理分工，短短半年时间，公司就把核心系统的重要数据进行治理，并在此基础上根据业务需求建设了相应的数据集市，并快速投入了生产，产生了非常好的效果。我们觉得项目的成功，主要在以下几个方面：
1、数据治理是基础。
经过治理的数据能提高数据集市建设进度，降低数据集市建设难度，统一不同集市的数据标准，提高数据集市的数据质量。
2、明确分工，紧密协同。
在集市建设过程中，技术部门主要做基础工作，并对业务部门提出的问题和需求进行及时反馈，业务部门主要提出集市建设的要求，及时对发现的问题像技术部门提出。
3、好的平台和工具。
在集市建设过程中，我们根据公司实际情况，充分利用了现有的平台和工具。公司的数据数据治理和数据集市的建设基础是大数据平台，平台提供了非常实用的数据抽取和计算工具，大容量的数据存储。同时我们也整合了BI工具和报表工具，使数据能够适应不同的业务需求和场景，让数据能够真正地用起来。
转载：https://blog.csdn.net/u014514254/article/details/112651849