调研报告之数据存储

标签: 无 分类: 未分类 创建时间:2023-12-11 03:23:10 更新时间:2025-01-17 10:39:24

1.前言

最近开发的项目包含了大量的视频资源,一天下来就要有一百多个G的上传量,本篇的文章主要就是为了讨论各种数据存储方案的优缺点。存储方案注意有 网络存储和本地存储。本地存储,最常用的就是NAS了,同时因为是需要在内网中,可能就要涉及到固定IP地址,或者是使用内网穿透的技术,打通内网和外网的隔阂。

2.网络存储

网络存储那就是选用比较成熟的云存储方案,比如:阿里云存储、腾讯云存储、华为云存储,还有其他的比如七牛云之类的,还有就是各大运营商,电信云、移动云和联通云解决方案。在相应的云资源解决方案上,又分为了NAS、OSS以及磁盘挂载的方式。

参考文章:
1.阿里云文件存储NAS和对象存储OSS区别对比如何选择? 从底层技术、使用方式、存储内容、容量大小、性能和集群访问方面对OSS和NAS进行了比较
2.阿里云NAS文件存储、OSS对象存储和EBS块存储有什么区别怎么选择 nage
3.阿里云对象存储OSS与文件存储NAS的区别 NAS和 OSS对比:1、技术:OSS是对象存储;NAS是传统的NFS,即挂载共享文件夹;2、使用方式:OSS使用阿里丰富的API,提供了PHP,Python,Java等多种语言的SDK;而NAS像访问磁盘一样不需要改任何程序,一般高IO带宽或高IOPS应用场景不建议使用NAS作为存储介质;3、存储内容:OSS和NAS的存储内容基本类似,面向的都是图片、文档等静态文件的存储;对于零散的数据(如文本文件、办公文档、图片、视频、音频等)且有多区域或多用户共享或权限要求严格的需求可以使用NAS作为存储介质,且不影响整体交易类数据;4、容量:OSS单个bucket大小无限制;NAS单个文件系统最大1PB;5、性能:系统组之前完成过OSS NAS性能测试,OSS性能不如NAS,可以通过断点续传上传文件/断点续传下载等方式提升性能。6、集群访问:NAS文档中提到NFS 协议本身并没有提供Atomic Append语义的支持,因此可能会出现写覆盖、交叉、串行等异常现象;OSS的无此类问题,即集群文件共享功能。

2.1.NAS

文件共享存储,文件存储NAS提供高吞吐和高IOPS的同时支持文件的随机读写和在线修改。阿里云NAS作为可共享访问的文件系统,使容器Pod无论在哪个ECS实例上运行,都可以访问到原有数据。 阿里云NAS内嵌于容器ACK服务内的加速客户端为容器应用提供了接近本地文件系统的小文件操作性能,可有效支持对I/O性能敏感的核心生产应用。 同时,阿里云NAS提供的目录配额功能可赋予容器PV的容量限制能力。

阿里云包月价格 1TB/310元

2.2.OSS

分布式文件存储,相对于文件存储目录树的组织形式,对象存储OSS采用扁平的文件组织形式,采用RESTFul API接口访问,不支持文件随机读写,主要适用于互联网架构的海量数据的上传下载和分发。

阿里云:包月价格 208元/1TB,流量包月价格 505元/1TB,不包月的话,流量费用8点到24点,1TB/500元
腾讯云:包月价格 99元/1TB, 外网流量 0.5元/1G,除此之外还有管理费、调用费之类的。
华为云:包月价格 92元/1TB, 外网流量 505元/1TB
七牛云:包月价格 95元/1TB, 外网流量 206元/1TB
天翼云:包月价格 102元/1TB, 外网流量 512元/1TB

参考文章:
1.阿里云定价_oss价格详情_对象存储 阿里云oss价格
2.定价对象存储 腾讯云的oss价格
3.对象存储服务 OBS定价 华为云的oss价格
4.七牛云 七牛云的对象存储,比阿里云的更加的优惠
5.开源对象存储MinIO与阿里云和七牛云对比 开源的对象存储
6.计费案例 阿里云oss的计费费用。

2.3.EBS

块集存储,块存储EBS是裸磁盘,也就是类似于买的实体硬盘的样子,挂载到ECS后不能被操作系统应用直接访问,需要格式化成文件系统(ext3、ext4、NTFS等)后才能被访问。块存储EBS的优势是性能高、时延低,适合于OLTP数据库、NoSQL数据库等IO密集型的高性能、低时延应用工作负载。

阿里云包月价格:240元/1TB
腾讯云包月价格:350元/1TB
华为云包月价格:350元/1TB

参考文章:
1.块存储(云盘与快照) 详细价格信息 挂载磁盘的价格
2.阿里云服务器系统盘收费价格(高效云盘/SSD云盘/ESSD云盘) 这里的表格表明的非常的清楚。
3.云硬盘存储空间价格总览 腾讯云磁盘的价格
4.云硬盘 EVS定价 华为云的磁盘价格

3.本地网络

本地存储需要解决的问题就比较多了,主要分为网络问题和存储问题,

  • 网络的问题
    网络连接就是解决公司内网对外访问的技术方案,注意包括:内网穿透、虚拟专线和固定IP地址三种。

  • 存储的问题
    存储主要就是解决的数据存放的问题。

3.1.内网穿透

3.2.IBCS虚拟专线

IBCS虚拟专线(IBCS Cloud Virtual Line)是一种IP专线技术,它基于二层网络架构实现给本地服务器主机分配一个独享的固定的IP, 支持获取源访问IP,和物理专线一样效果,可用于建设本地数据中心、业务后台。IBCS虚拟专线部署非常简单,服务商会给每条专线分配一个线路ID和访问密码,在本地的主机上安装IBCS终端,输入分配的线路ID和访问密码即可生效。生效后该主机和云服务器主机没有区别,来自公网的所有访问该IP的请求都会到达此主机。

参考文章
1.IBCS虚拟专线 IBCS虚拟专线(IBCS Cloud Virtual Line)是一种IP专线技术,它基于二层网络架构实现给本地服务器主机分配一个独享的固定的IP, 支持获取源访问IP(当前仅支持Windows系统),和物理专线一样效果,可用于建设本地数据中心、业务后台。
2.IBCS虚拟专线介绍 IBCS虚拟专线部署和使用方法,IBCS虚拟专线和云服务器区别,IBCS虚拟专线和内网穿透区别,IBCS虚拟专线和电信专线的区别
3.躺平了,云服务器太贵,我用IBCS虚拟专线了 IBCS虚拟专线(IBCS Cloud Virtual Line)是一种IP专线技术,它基于二层网络架构实现给本地服务器主机分配一个独享的固定的IP, 支持获取源访问IP,和物理专线一样效果,可用于建设本地数据中心、APP、小程序、业务后台。

3.3.固定IP

固定ip价格一半比较贵,比如电信的固定ip,10M的带宽一年就要一万多块钱,50M的代码一年两万多,100M的带宽要4万多。

3.4.动态DDNS

找一个动态公网,然后进行动态DNS的解析。

4.本地存储

本地存储主要解决的就是数据存放问题,主要产品有 威连通和群晖两种产品。

参考文章:
1.吐血整理!群晖VS威联通最强对比,10点不同,真的看懂 外网对比、相册工具对比、影音工具对比、安全对比、存储对比、跑分对比、拓展性对比
2.第一期:初识 NAS 之对比和选购 选择 NAS 背后的理由,NAS 对比网盘有着全面的优势,NAS 能整合多台设备的存储方式,NAS 附加功能众多,体验远远超出想象,NAS 的优劣,如何选择适合自己的 NAS,NAS 系统和软件。

4.1.威联通

TS-464C2:四盘位,8G内存,4h核2.9GHz,3939元,
TS-873A:八盘位,8G内存,4核Ryzen,6970元
TS-h973AX:九盘位,8G内存,4核,6630元
TVS-h674:六盘位,16G内存,i3,13940元
TS-832PX:八盘位,4G内存,4核1,7360元
TVS-872XT:八盘位,16G内存,i5,20800元

参考文章:
1.2023年8月更新!一站式NAS入坑指南,NAS选购、硬盘选购、常见玩法教程一网打尽! 双盘位:绿联DH2100+、威联通TS-216、TS-262C;四盘位:绿联DX4600、威联通464C;六盘位及以上:威联通TS-664、TS-h973AX、群晖1821+。还包括了硬盘的选购指南。
2.威联通入门指南:TS-h973AX 九盘位 万兆NAS 体验测评,先进的ZFS文件系统,牛! 介绍了整个机器的内外观和一些性能部分的内容,还有系统安装的介绍。
3.玩转家庭网络 篇十五:威联通新款旗舰4盘位NAS拆解,一起看看TS-464C2有啥升级之处 介绍了 TS-464c2的具体情况。
4.TS-464C2 官方对 TS-464c2 的介绍。
5.QNAP TS973AX开箱——万兆全闪存NAS升级小记

4.2.群晖

DS1821+:八盘位,4G,4核2.2Hz,8899元
DS1621+:六盘位,4G,4核2.2Hz,7999元

5.磁盘柜

磁盘柜,就是多个磁盘的组装起来。经过长时间的NAS选择,我又找到了性价比更高的磁盘柜这个选择,如果有现成的服务器,多加一个磁盘柜岂不是更好,直接就和电脑一样使用了。

参考文章:
1.阵列控制器
2.NAS和阵列硬盘柜,哪个保存数据更为安全,主要是数据有效性方面? 这里有一个问题,就是使用NAS还是磁盘柜更好。
3.有那些比较好的硬盘柜品牌推荐?
4.家用存储,硬盘柜、NAS如何选择? 这里提到了一款产品,就是美帝良心想的产品,这个牌子我不喜欢,不想买。
5. 奇葩好物在这里 篇三十一:折腾NAS半年后的感受:也许我们需要的只是一个硬盘柜而已 奥睿科的9558RU3,可以说是9558U3的升级版

6.云盘

阿里云盘:50TB, 1198元,一年有效
百度网盘;30TB, 1198元,一年有效
天翼云盘:30TB, 1200元,一年有效

参考文章:
1.天翼云盘
小额赞助
本人提供免费与付费咨询服务,感谢您的支持!赞助请发邮件通知,方便公布您的善意!
**光 3.01 元
Sun 3.00 元
bibichuan 3.00 元
微信公众号
广告位
诚心邀请广大金主爸爸洽谈合作
每日一省
isNaN 和 Number.isNaN 函数的区别?

1.函数 isNaN 接收参数后,会尝试将这个参数转换为数值,任何不能被转换为数值的的值都会返回 true,因此非数字值传入也会返回 true ,会影响 NaN 的判断。

2.函数 Number.isNaN 会首先判断传入参数是否为数字,如果是数字再继续判断是否为 NaN ,不会进行数据类型的转换,这种方法对于 NaN 的判断更为准确。

每日二省
为什么0.1+0.2 ! == 0.3,如何让其相等?

一个直接的解决方法就是设置一个误差范围,通常称为“机器精度”。对JavaScript来说,这个值通常为2-52,在ES6中,提供了Number.EPSILON属性,而它的值就是2-52,只要判断0.1+0.2-0.3是否小于Number.EPSILON,如果小于,就可以判断为0.1+0.2 ===0.3。

每日三省
== 操作符的强制类型转换规则?

1.首先会判断两者类型是否**相同,**相同的话就比较两者的大小。

2.类型不相同的话,就会进行类型转换。

3.会先判断是否在对比 null 和 undefined,是的话就会返回 true。

4.判断两者类型是否为 string 和 number,是的话就会将字符串转换为 number。

5.判断其中一方是否为 boolean,是的话就会把 boolean 转为 number 再进行判断。

6.判断其中一方是否为 object 且另一方为 string、number 或者 symbol,是的话就会把 object 转为原始类型再进行判断。

每日英语
Happiness is time precipitation, smile is the lonely sad.
幸福是年华的沉淀,微笑是寂寞的悲伤。