拍摄纸牌屋的Netflix为何要迁移数据库入云？

随着运行结果愈发整洁,完全没有出现任何错误,这也进一步增强了我们对数据迁移工作的信心.对于针对各国数据进行的迁移工作我们感到十分激动.最开始我们选择了一个Netflix会员数量比较少的国家,并通过下列步骤将数据迁入云中：

• 禁用待迁移国家的非GET API(该操作不会影响会员服务,但可能导致计费系统中订阅更新工作延迟).

• 使用Sqoop作业将数据从Oracle转移至S3和Hive.

• 使用Pig将其转换为Cassandra格式.

• 将该国家所有会员的记录插入Cassandra.
• 启用非GET API,通过云平台为被迁移国家的用户提供数据.

在确认一切正常后开始迁移下一个国家.随后我们开始突击对所有类似国家一起进行迁移.最后迁移的是美国,因为美国的会员数量最多,并且还提供有DVD订阅服务.至此所有面向Netflix会员客户的数据都已通过云环境提供.对我们来说这是一个巨大的里程碑!

经过第2步工作后,我们的体系结构如下图所示：

第3步 – 再见,数据中心!

至此还有最后(并且最重要)的一件事：数据中心内运行的Oracle数据库.Oracle中存储的数据集具有高度的关系性,我们觉得这些数据并不适合以NoSQL的方式进行建模.

这种数据不能像以前处理面向客户的订阅数据那样构造为单列族的形式,因此我们评估了Oracle和Aurora RDS这两种选项.但Oracle作为云数据库运行的许可成本,以及Aurora依然是Beta测试版这一现状使得则两种方式都不适合我们.

在计费团队忙于执行前两个步骤时,我们的云数据库工程团队正在创建用于将计费数据迁移至EC2上MySQL实例所需的基础结构.在开始执行第三步操作时,在他们的帮助下数据库基础结构部分已经就绪.

因为一些应用程序使用了不包含任何ORM的纯JDBC,我们还需要将批处理应用程序的代码基转换为兼容MySQL的格式.另外我们处理了大量遗留的Pl-sql代码,并重写了应用程序中的逻辑,同时尽可能去除了不再使用的代码.

（编辑：网站开发网_盐城站长网 ）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!