公众号：杨建荣的学习笔记 · 作者：杨建荣 · 发布：2015-11-02 23:44:46 · 原文链接

总是说AWS市场份额相当的大，在海外市场还是有很高的占有率，国内也在风风火火推进这种云服务。自己也体验了一把。
今天接到一个处理请求是把部分备份集通过S3上传到指定目录，后续再进行同步处理。这些服务器在天南海北，要把这些数据整合起来着实是件不容易的事情，有的服务器还要跨越多个网段，连接vpn,总是就是深入简出，想访问同步整合数据还是有诸多限制。
各种服务器访问环境的差别也不小，还要通过S3同步，我对于S3以前也是一知半解。然后听同事解释了一通，好像明白了又感觉没理解，最后直接问是不是类似快盘，云盘之类的东西，得到了肯定答复，总算是基本了解了。
简单申请了环境，在本地网络试了一下访问aws的服务，那速度真是龟速，差不多5分钟才能打开一个网页，而且像继续访问还得再等更长时间，这种情况下只能 使用VPN或者专线了，毕竟服务是在国外，国内慢也还能说得过去。进入aws的首页，感觉服务项目实在是太多了。S3只是其中的一小部分。

通过我的感觉来看，和使用国内的产品还是有一些文化的差异，不过从支持的粒度上，应该是比较全的。明白了它是快盘云盘之类的东西，一下子感觉就亲切起来了。
在S3存储里面，初始的节点就是桶，感觉和文件夹类似。节点里面可以存放各种文件夹和文件。点进去节点，就可以操作各种文件，文件夹，这个就不用多解释了。

怎么从服务器来推送dump文件呢，还是需要在服务器端使用s3cmd这么一个命令行工具。
这个时候需要确认的就是bucket(桶）和目录
比如bucket dba.xxxx.com download 就代表s3中的节点为dba.xxxx.com 目录为download
上传的时候，可以使用sync的选项上传文件。当然这个命令还有很多的选项，比如可以实现分片的功能，一个dump太大，可以分成几片传送，最后的文件还是不变。
# /usr/bin/s3cmd –multipart-chunk-size-mb=4096 sync data_dump_3306_DATA_SERVER_201510290800.sql.gz s3://dba.DATA360.com/download/
data_dump_3306_DATA_SERVER_201510290800.sql.gz -> s3://dba.DATA360.com/download/data_dump_3306_DATA_SERVER_201510290800.sql.gz [part 1 of 3, 4GB]
4294967296 of 4294967296 100% in 100s 40.86 MB/s done
data_dump_3306_DATA_SERVER_201510290800.sql.gz -> s3://dba.DATA360.com/download/data_dump_3306_DATA_SERVER_201510290800.sql.gz [part 2 of 3, 4GB]
4294967296 of 4294967296 100% in 96s 42.36 MB/s done
data_dump_3306_DATA_SERVER_201510290800.sql.gz -> s3://dba.DATA360.com/download/data_dump_3306_DATA_SERVER_201510290800.sql.gz [part 3 of 3, 2GB]
2231587333 of 2231587333 100% in 50s 41.84 MB/s done
Done. Uploaded 10821521925 bytes in 247.9 seconds, 41.63 MB/s. Copied 0 files saving 0 bytes transfer.
总体来看，网络带宽也不错，10多个G几分钟就完成了。

上传完成后通过aws界面就能看到上传的文件了，短暂中转做后续的数据处理。
当然要删文件也很容易,可以使用del的选项即可完成，所以说这种命令的方式也会更加有针对性，效率更高。目前的增量备份就可以直接定时上传，自动同步，还是比较高效的。
/usr/bin/s3cmd del s3://${BUCKET}/${FOLDER}/
通过这个可以看出，如果在数据的安全性不是特别高，网络服务的地域性，为了提高更好的数据整合，还是有很多不错的解决方案。