您好,欢迎来到网暖!
?
当前位置:网暖 » 站长资讯 » 建站基础 » 网络技术 » 文章详细 订阅RssFeed

MinIO 搭建

来源:网络整理 浏览:191次 时间:2019-12-08
MinIO 搭建

MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几 kb 到最大 5T 不等。

MinIO 是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL。

官方对 Minio 的定义是一个高?#38405;?#30340;对象存储。

Build high performance data infrastructure
for machine learning, analytics and
application data workloads with MinIO 。

Minio 的官方网站是 https://min.io ,
Minio 的官方文档是 https://docs.min.io/cn/ ,
GitHub 仓库地址是:https://github.com/minio/minio ,目前有 18.8k Stars (2019.11.9)

Minio 的 benchmark 说明:

https://min.io/resources/docs/MinIO-vs-HDFS-MapReduce-performance-comparison.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-NVMe-SSD.pdf
https://min.io/resources/docs/Performance-comparison-Starburst-Presto-SQL.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-HDD.pdf
https://min.io/resources/docs/Performance-comparison-Apache-Spark.pdf

快速开始一个单节点的 MinIO

MinIO 分为服务端和客户端,服务端提供一个对象存储,也提供一个 Web 的管理页面。客户端是用来管理、查看服务端的一个工具。服务端的二进制文件是 minio ,客户端的二进制文件是 mc

使用二进制文件启动

首先先下载服务端的二进制文件,其次准备一个用来存储的?#25490;?#25110;者目录,

下载好以后赋予执行权限,可以使用如下命令快速启动。

chmod +x minio./minio server /erdong/data

启动后可以通过访问 http://localhost:9000 来访问你的对象存储。

使用 Docker 启动

MinIO 需要一个?#24535;?#21367;来存储配置和应用数据。不过, 如果只是为了测试一下, 您可以通过简单地传递一个目录(在下面的示例中为 /erdong/data)启动 MinIO 。这个目录会在容器启动时在容器的文件系统中创建,不过所有的数据都会在容器退出时丢失。

要创建具有永久存储的 MinIO 容器,您需要将?#38236;爻志?#30446;录从主机操作系统映射到虚拟配置 ~/.minio 并导出 /data 目录。 为此,请运行以下命令

docker run -p 9000:9000 --name minio \  -e "MINIO_ACCESS_KEY=minioadmin" \  -e "MINIO_SECRET_KEY=minioadminpassword" \  -v /erdong/minio/data:/data \  -v /erdong/minio/config:/root/.minio \  minio/minio server /data

启动后,即可访问 http://localhost:9000 来访问你的对象存储。

上述命令中设置了如下参数:

  • MINIO_ACCESS_KEY 管理员的访问秘钥
  • MINIO_SECRET_KEY 管理员的秘钥
  • /erdong/minio/data:/data ?#20197;爻志?#21270;数据目录
  • /erdong/minio/config:/root/.minio ?#20197;?#37197;置文件
  • server 启动 Server 模式,除了该模?#20132;?#26377;一个 Gateway 模式。
  • /data 指定数据目录

如果需要指定端口可以使用如下参数

--address ":9000"
使用 TLS 安全访问 MinIO 服务

接下来我们看看如何在 linux 上配置 MinIO 服务使用 TLS 。

使用 TLS 的前提是先下载好 MinIO Server 。

如果你已经有私钥和公钥证书,你需要将他们拷贝到 MinIO 的 $HOME/.minio/certs 文件夹,私钥的名字必须是 private.key ,公钥证书的名字必须是 public.crt 。 MinIO 在 Linux 只支持使用 PEM 格式的秘钥和证书,在 Windows 上只支持 PEM 格式的秘钥和证书,目前不支持 PFX 证书。

如果这个证书是被证书机构签发的,public.crt 应该是服务器的证书。

Linux 可以使用如下工具来生成证书

  • Let‘s Encrypt
  • generate_cert.go
  • OpenSSL

Windows 可以使用如下工具来生成证书

  • GnuTLS

Minio 也可以配置成连接其它服务,不管是 Minio 节点还是像 NATs、Redis 这些。如果这些服务用的不是在已知证书机构注册的证书,你可以让 Minio 服务信任这些 CA ,怎么做呢,将这些证书放到Minio配置路径下(~/.minio/certs/CAs/ Linux 或者 C:\Users\<Username>.minio\certs\CAs Windows).

如何使用 OpenSSL 来生成自签证书

使用如下命令生成私钥,私钥会生成在执行命令的目录下

openssl genrsa -out private.key 2048

生成自签名的证书,证书会生成在执行命令的目录下

openssl req -new -x509 -days 3650 -key private.key -out public.crt -subj "/C=US/ST=state/L=location/O=organization/CN=domain"

其中相关内容可以按照?#23548;是?#20917;修?#27169;?#27604;如 /C 是国家,中国是 CN ,/ST 是州或者省, /L 是市或者区, /CN 是域名。

秘钥和证书生成好以后,按照上边的要求放置在对应的目?#25216;?#21487;。

Q&A

Thanos 在连接 MinIO 的时候遇到了一些问题,日志里有很多错误提示,?#24615;?#19979;边供参考。

1. 提?#20037;昂盘?#22810;

日志报错如下所示:

level=info ts=2019-11-08T02:43:40.981858805Z caller=main.go:170 msg="Tracing will be disabled"level=info ts=2019-11-08T02:43:40.982326667Z caller=factory.go:39 msg="loading bucket configuration"level=error ts=2019-11-08T02:43:40.982682262Z caller=main.go:200 err="store command failed: create bucket client: create S3 client: initialize s3 client: address http://127.0.0.1:9000: too many colons in address"

日志描述直译过来就是冒?#30424;?#22810;了,原因是在配置文件中,填写了 MinIO 提供的 S3 协议的 endpoint 的时候,多填写了 http:// ,导致提示该错误。本意是在内网使用, HTTP 协议就可以了,不需要要开启 HTTPS ,但是 Thanos 在连接 S3 存储的时候默认是使用 HTTPS 的,不能通过这?#22336;?#24335;来使用 HTTP 。

错误的配置如下:

type: S3config:  bucket: "disk1"  endpoint: "http://127.0.0.1:9000"

正确的配置如下:

type: S3config:  bucket: "disk1"  endpoint: "127.0.0.1:9000"
2. 提示对方没有使用 HTTPS

日志报错如下

level=info ts=2019-11-08T02:42:04.366000876Z caller=main.go:170 msg="Tracing will be disabled"level=info ts=2019-11-08T02:42:04.366417674Z caller=factory.go:39 msg="loading bucket configuration"level=info ts=2019-11-08T02:42:04.384413714Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64level=error ts=2019-11-08T02:42:04.385632149Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://127.0.0.1:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: http: server gave HTTP response to HTTPS client"

这是 Thanos 连接的对象存储只提供了 HTTP ,没有提供 HTTPS,这个时候需要让对象存储添加证书,启用 HTTPS 。

3. 不能够认证某个域名

日志报错如下:

level=info ts=2019-11-08T03:06:57.90508837Z caller=main.go:170 msg="Tracing will be disabled"level=info ts=2019-11-08T03:06:57.905445182Z caller=factory.go:39 msg="loading bucket configuration"level=info ts=2019-11-08T03:06:57.923283984Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64level=error ts=2019-11-08T03:06:57.927125234Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://10.23.80.18:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: x509: cannot validate certificate for minio-erdong.site because it doesn't contain any IP SANs"

因为 Thanos 连接 Minio 的 HTTP 配置里,有一个 insecure_skip_verify 选项,该选项默认为 false ,需要对域名的证书进行验证,由于使用了自签证书,没?#24615;?#26435;威的 CA 机构做认证,所以在连接过程中会提示不安全,将值改为 true,跳过这个验证就可以了。

  http_config:    idle_conn_timeout: 90s    response_header_timeout: 2m    insecure_skip_verify: true
end

推荐?#38236;?/h3>
  • 腾讯腾讯

    腾讯网(www.QQ.com)是中国浏览量最大的中文门户网站,是腾讯公?#23601;?#20986;的集新闻信息、互动社区、娱乐产品和基础服务为一体的大型综合门户网站。腾讯网服务于全球华人用户,致力成为最具传播力和互动性,权威、主流、时尚的互联网媒体平台。通过强大的实时新闻和全面深入的信息资讯服务,为中国数以亿计的互联网用户提供富有创意的网上新生活。

    www.qq.com
  • 搜狐搜狐

    搜狐网是全球最大的中文门户网站,为用户提供24小时不间断的最新资讯,及搜索、邮件等网络服务。内容包括全球热点事件、突发新闻、时事评论、热播影视剧、体育赛事、行业动态、生活服务信息,以及论坛、博客、微博、我的搜狐等互动空间。

    www.sohu.com
  • 网易网易

    网易是中国领先的互联网技术公司,为用户提供免费邮箱、游戏、搜索引擎服务,开设新闻、娱乐、体育等30多个内容频道,?#23433;?#23458;、视频、论坛等互动交流,网聚人的力量。

    www.163.com
  • 新浪新浪

    新浪网为全球用户24小时提供全面及时的中文资讯,内容覆盖国内外突发新闻事件、体坛赛事、娱乐时?#23567;?#20135;业资讯、实用信息等,设有新闻、体育、娱乐、财经、科技、房产、汽车等30多个内容频道,同时开设博客、视频、论坛等自由互动交流空间。

    www.sina.com.cn
  • 百度一下百度一下

    百度一下,你就知道

    www.baidu.com

?
诙谐财富送彩金
李逵劈鱼捕鱼机漏洞规律技巧破解 大乐透开奖结果规则 生肖时时彩 极速pk10计划全天在线 6场半全场 腾讯手机棋牌 麻将怎么玩 河北快3跨度走势图带连 陕西11选5开奖官网 时时彩 上海时时彩 7m足球比分即时比分捷报 时时彩走势图 网络捕鱼赌博平台 重庆时时彩稳赚钱计划 多宝时时彩平台