黑丝

1. 始创可靠数据系统的翌日

1.1. 数据算作一个行业很可能正在资历一场巨大且不成逆转的剧变

1.2. 分析型数据正造成当代企业最要津和最具竞争力的中枢钞票

1.2.1. 不再是公司是否依赖数据的问题

1.2.2. 是使用些许数据以及将数据用于什么场景的问题

1.3. 只是网罗更多量据仍是不够的，你必须学会折服它

1.3.1. 让数据可靠性变得越发穷困

1.3.2. 数据信任关于任何奏效的数据工程或分析经营来说都至关穷困，但罢了起战争往充满挑战，而赞赏起来就更难了

1.4. dbt和Great Expectations等开源器具让从业者约略快速地对更要津的数据集进行单位测试~~~~

1.5. 数据质料最终仍是要靠细致的文化、健壮的经由和利益关系方的招供来维系

1.6. 数据质料经营时常应优先于数据目次和数据发现等形势

1.7. 除非你不错对数据质料进行评估，不然提议把资金参加到数据质料上的论点时常提及来容易而作念起来难

1.8. 对数据宕机的筹备取决于数据事件的数目乘以平均检测时分和措置它们所需的时分

1.8.1. DDT=N(TTD+TTR)

1.8.2. DDT是数据宕机的时分

1.8.3. N是事件的数目

1.8.4. TTD是检测所需时分

1.8.5. TTR是措置所需时分

2. 积极主动

2.1. 惟有当钱因不良数据而“溜走”时，咱们才会明晰地了解到优质数据的价值

2.1.1. 筹备你公司每年处理数据质料问题的小时数

2.1.2. 许多量据问题可能需要几天致使几周的时分才智被检测出来

2.1.3. 数据团队会启动一个耗时的根因分析过程，其中触及几个步调，包括查验复古（如有）、代码、数据、操作环境以及与共事疏通

2.1.4. 筹备致使莫得研讨契机老本（换句话说即是：你为使用不准确的数据而作念出装假决策所付出的代价）

2.1.5. 跟着行业的老到，咱们瞻望会出现比咱们这个方程颖慧得多的算法来得出这些问题为企业所带来的老本预测

2.2. 评释注解数据质料价值的第一步是评估数据可靠性对你公司的财务影响

3. 对数据质料和数据可靠性翌日的预测

3.1. 在公司中修复全面的数据施行远不单是在数据宕机时才主动出击黑丝

3.2. 了解该边界的发展目的并主动照拂公司的策动和计谋也绝顶穷困

3.3. 分析成为各个职能部门的要津部分，措置数据质料的要乞降步调天然会发生变化也就不问可知了

3.4. 数据仓库和数据湖将如胶投漆

3.4.1. 越来越多的企业同期禁受数据仓库和数据湖

3.4.1.1. 不管是算作一个举座的措置有谋划或是多个措置有谋划中的一部分

3.4.2. 数据质料在数据仓库中更容易赞赏，因为在这里更容易天然地追踪数据的模式、容量和崭新度

3.4.3. 数据湖由多个进口构成，这意味着会有更多的层来对数据进行排序和对皆以供操作使用

3.4.4. 一种使用更少器具来更克己理数据的步调意味着表面上数据在分娩过程中被碎裂的契机要更少

3.4.5. 湖仓一体条款数据平台的使命阵势愈加圭臬化，而这也因此为禁受更联结的数据质料和数据可不雅测性步调翻开了大门

3.4.6. 预测这种和会将在财务和资源照拂这两方面都有意于滥用者，但这也有可能会给你的数据管说念带来很是的复杂度

3.4.7. 更宽绰的应用场景意味着更多的数据用户，而这时常会导致更多的数据访佛、装假和下流警报

3.5. 数据团队中的新扮装

3.5.1. 并立的数据库照拂员或分析师的日子早已触物伤情了

3.5.2. 数据正在以其本身的力量通过数据科学家、分析师和工程师等定制扮装的出现席卷通盘公司

3.5.3. 专科化海潮并非数据所独特

3.5.3.1. 专科化险些对每个行业都很普遍，它艳丽着市集的老到，标明了对限制化、提高速率和进步性能的需要

3.5.4. 数据居品司理

3.5.4.1. 负责照拂给定数据居品的人命周期，并时常负责照拂跨职能的关系东说念主员、居品阶梯图和其他计谋任务

3.5.5. 分析工程师

3.5.5.1. 一个被dbt实验室带火的术语，这个扮装介于数据工程师和分析师之间，负责对数据进行转化和建模，以便让关系东说念主员约略信任并使用该数据

3.5.5.2. 是众人和通才，时常领很是据栈中的多个器具并兼顾许多工夫性和非工夫性任务

3.5.6. 数据可靠性工程师

3.5.6.1. 起劲于主要通过数据可不雅测性、测试和其他常用步调来构建更具弹性的数据栈

3.5.6.2. 时常领有不错径直应用于这一新扮装的DevOps技巧和辅导

3.5.7. 数据联想师

3.5.7.1. 与分析师密切并吞，匡助他们通过贸易智能可视化或其他框架来阐扬关悉数据的故事

3.5.7.2. 在大型组织中更为常见，况兼时常来自居品联想配景

3.5.7.3. 数据联想师不应与数据库联想师相污染，后者是一个更为精专的扮装，为存储和分娩的数据进行建模和构建

3.5.8. 跟着数据团队扮装的各样化和用例的增多，触及的利益关系方也会增多

3.5.9. 遴聘数据可靠性工程师，东说念主们也无法“措置”数据质料的问题

3.6. 自动化的兴起

3.6.1. 更多应用自动化时常都会是一件积极的事

3.6.1.1. 自动化减少了手工职业，彭胀了访佛过程，并使大型系统更具容错智商

3.6.1.2. 在提高数据质料方面，自动化有许多契机来填补测试、编目和其他更多手动经由失败的空缺

3.6.2. 硬编码数据管说念

3.6.2.1. 自动吸收措置有谋划不错吩咐快速地吸收数据并将其发送到你的数据仓库或数据湖中进行存储和处理

3.6.3. 单位测试和编排查验

3.6.3.1. 单位测试是一个典型的限制问题，因为大多量公司不成能端到端地遮蔽他们统统的管说念，致使无法为数据可能变坏的每种阵势都准备测试

3.6.3.2. 禁受愈加自动化的机制来测试他们的数据并在损坏的管说念上编排断路器

3.6.4. 将数据从暂存环境转动到分娩环境

3.6.4.1. 积极主动的步调将留神下流架构中断并更可靠地激动生

3.6.5. 根因分析

3.6.5.1. 不错期骗这些元数据来勉强出事故发生时的全景，并从中措置问题

3.6.6. 数据记载、编目和发现

3.6.6.1. 不管是通过使用数据目次、数据发现仍是其他器具，都需要某种自动化经由来对数据集进行记载

3.7. 数据工程工夫的立异和卓著意味着更高的自动化进度，并进一步进步了咱们作念好全面准备留神数据宕机方面的智商

3.7.1. 不管奈何进行分别，即使对最新的数据团队来说，追求一定进度的数据可靠性也将成为一种标配

3.7.2. 将数据质料算作数据老到度的一个向量进行评估

4. 更多的分散式环境与数据边界的兴起

4.1. 分散式数据范式，如数据网格，让通盘企业的职能部门都能更容易地期骗数据来处理特定用例

4.2. 面向边界的统统权应用于数据照拂的后劲绝顶之大（更快的数据走访、更强的数据民主化、更知情的关系方等），但潜在的复杂度亦然如斯

4.3. 数据团队只需要望望微服务架构，就不错先睹为快在数据网格激越平息下来况兼团队运转厚爱推论后会发生什么

4.4. 剥离工夫组件会增多数据质料的问题

4.5. 淌若不积极主动意志到问题并创建关系奈何使用数据的一脉相承，对数据网格步调进行彭胀可能会绝顶具有挑战性

4.5.1. 天然数据网格宣扬了跨边界的通用调解层（换句话说，不受终结的治理），但团队必须投降特定合约并使用专用的API，而这可能会带来复杂性并导致稠密

4.5.2. 决定是否挪动到数据网格的公司应该永久厚爱地研讨其能否激动跨组织禁受并幸免不完善微服务推论的陷坑黑丝