DevOps学院

DevOps学院

中国新一代IT在线教育平台
运维知识体系

运维知识体系

运维知识体系总结,持续更新,欢迎转载。
缓存知识体系

缓存知识体系

运维知识体系之缓存,分层多级缓存体系。
速云科技

速云科技

DevOps咨询、企业内训、落地解决方案。

使用jenkins构建docker image

DevOpsguoguo0908 回复了问题 • 4 人关注 • 2 个回复 • 1925 次浏览 • 2018-07-23 15:21 • 来自相关话题

linux内核

回复

DevOpsliuhhhhh 发起了问题 • 1 人关注 • 0 个回复 • 971 次浏览 • 2018-01-02 13:49 • 来自相关话题

光环中国·2017敏捷千人峰会

DevOpshuodongjia 发表了文章 • 0 个评论 • 372 次浏览 • 2017-10-24 10:20 • 来自相关话题

本次峰会将于11月25日在北京举办,光环中国·2017敏捷千人峰会报名平台活动家,该峰会含早鸟票。

移动互联网时代的热潮,将敏捷、产品管理、规模化敏捷、DevOps一波一波的推向浪潮之巅。个人面临着学习成长的困境,企业面临着如何加快转型、突破瓶颈。无论是敏捷、还是DevOps,职场发展要求个人技能更复合。

不论过去是CMMI,还是IPD,到现在流行的大规模敏捷框架SAFe和DevOps,一套体系已经不能完全驾驭企业高速发展,企业需要思考如何融合的新体系和新方法,从过去的单引擎变成多发动机。

光环国际致力推进中国新管理和前沿技术,本次第七届敏捷千人峰会,我们聚焦大规模敏捷、产品管理、DevOps三大主题,共同探讨新的未来!

主办单位:光环国际管理咨询集团

参会指南:

联系人:活动家
 
联系电话:028-69761252 查看全部


本次峰会将于11月25日在北京举办,光环中国·2017敏捷千人峰会报名平台活动家,该峰会含早鸟票。

移动互联网时代的热潮,将敏捷、产品管理、规模化敏捷、DevOps一波一波的推向浪潮之巅。个人面临着学习成长的困境,企业面临着如何加快转型、突破瓶颈。无论是敏捷、还是DevOps,职场发展要求个人技能更复合。

不论过去是CMMI,还是IPD,到现在流行的大规模敏捷框架SAFe和DevOps,一套体系已经不能完全驾驭企业高速发展,企业需要思考如何融合的新体系和新方法,从过去的单引擎变成多发动机。

光环国际致力推进中国新管理和前沿技术,本次第七届敏捷千人峰会,我们聚焦大规模敏捷、产品管理、DevOps三大主题,共同探讨新的未来!

主办单位:光环国际管理咨询集团

参会指南:

联系人:活动家
 
联系电话:028-69761252

【8月26日】【广州活动】精益运维与 DevOps 最佳实践

DevOpsbonaornot 发表了文章 • 0 个评论 • 604 次浏览 • 2017-08-18 16:17 • 来自相关话题

活动时间
2017年8月26日(周六)
 
活动地点
广州市越秀区东风东路733号羊城同创汇印刷楼9楼路演中心
 
活动报名
添加又小拍微信“upyun1111”,备注“0826活动报名”
 
嘉宾及主题介绍
 
邵海杨-又拍云运维总监
又拍云运维总监,资深系统运维架构师。来自杭州 Linux 用户组,新浪微博“@海洋之心-悟空”。业余撰稿人,QCon 讲师及出品人,致力于开源软件及前沿科技的研究和探索。
《 Devops 八荣八耻》
主要总结并分享DevOps的八荣八耻、Herku PaaS的12要素宣言和OpenStack IaaS的设计指导思想。
 
 
彭鲤航  优维科技创始人兼COO
拥有十余年IT运维从业履历,曾先后在腾讯负责带队管理及维护Qzone/QQ秀/会员/相册/QQ音乐等国内大型社交平台,农牧场、乐斗、水浒等大型SNS页游平台,以及QTALK等大型及时在线类语音互动平台。
《DevOps与传统的融合落地实践及案例分享》
在DevOps日趋成熟的今天,传统该如何借助DevOps的能力实现变革与创新?
主次主题分享讲从具体案例出发,谈谈企业在落地DevOps中遇到的问题。以及DevOps落地的一些具体方法和技巧
 
 
王喜春 唯品会高级运维研发经理
毕业于中国人民大学,有着近十年的运维开发经验,先后在YY,唯品会 工作,现任唯品会高级运维开发经理一职,负责整个运维系统的建设,在监控,持续集成 和自动化运维方面有较深的理解。
《运维转型之路:从ITIL到DEVOPS》
伴随着业务的高速发展,唯品会的运维也在日新月异的发生着改变,从ITIL体系到 DEVOPS体系都曾经历,每个阶段,每个时期都有不同的选择和壁垒,在效率和质量之间艰难的寻求平衡,ITIL下的理念,系统如何设计,DEVOPS理念,系统如何改造和优化,两种体系的优缺点各是什么,本次分享会给出一一解答。
 
陈 琛 魅族运维架构师
12年开始持续关注和从事虚拟化相关工作,积累了丰富的KVM开发和优化经验。现主要负责魅族云平台、日志平台的架构和开发,包括:KVM虚拟化、docker容器化、分布式存储和集中式日志系统。
《魅族云平台建设》
魅族云平台在建设中遇到过许多挑战,如:高可用方案的选择,如何保证业务可用性达到99.99%;如何保障业务的持续和快速交付;网络和存储的选型及优化。本次分享将围绕魅族云平台建设中遇到的问题和挑战与大家共同探讨。
 
  查看全部
活动时间
2017年8月26日(周六)
 
活动地点
广州市越秀区东风东路733号羊城同创汇印刷楼9楼路演中心
 
活动报名
添加又小拍微信“upyun1111”,备注“0826活动报名”
 
嘉宾及主题介绍
 
邵海杨-又拍云运维总监
又拍云运维总监,资深系统运维架构师。来自杭州 Linux 用户组,新浪微博“@海洋之心-悟空”。业余撰稿人,QCon 讲师及出品人,致力于开源软件及前沿科技的研究和探索。
《 Devops 八荣八耻》
主要总结并分享DevOps的八荣八耻、Herku PaaS的12要素宣言和OpenStack IaaS的设计指导思想。
 
 
彭鲤航  优维科技创始人兼COO
拥有十余年IT运维从业履历,曾先后在腾讯负责带队管理及维护Qzone/QQ秀/会员/相册/QQ音乐等国内大型社交平台,农牧场、乐斗、水浒等大型SNS页游平台,以及QTALK等大型及时在线类语音互动平台。
《DevOps与传统的融合落地实践及案例分享》
在DevOps日趋成熟的今天,传统该如何借助DevOps的能力实现变革与创新?
主次主题分享讲从具体案例出发,谈谈企业在落地DevOps中遇到的问题。以及DevOps落地的一些具体方法和技巧
 
 
王喜春 唯品会高级运维研发经理
毕业于中国人民大学,有着近十年的运维开发经验,先后在YY,唯品会 工作,现任唯品会高级运维开发经理一职,负责整个运维系统的建设,在监控,持续集成 和自动化运维方面有较深的理解。
《运维转型之路:从ITIL到DEVOPS》
伴随着业务的高速发展,唯品会的运维也在日新月异的发生着改变,从ITIL体系到 DEVOPS体系都曾经历,每个阶段,每个时期都有不同的选择和壁垒,在效率和质量之间艰难的寻求平衡,ITIL下的理念,系统如何设计,DEVOPS理念,系统如何改造和优化,两种体系的优缺点各是什么,本次分享会给出一一解答。
 
陈 琛 魅族运维架构师
12年开始持续关注和从事虚拟化相关工作,积累了丰富的KVM开发和优化经验。现主要负责魅族云平台、日志平台的架构和开发,包括:KVM虚拟化、docker容器化、分布式存储和集中式日志系统。
《魅族云平台建设》
魅族云平台在建设中遇到过许多挑战,如:高可用方案的选择,如何保证业务可用性达到99.99%;如何保障业务的持续和快速交付;网络和存储的选型及优化。本次分享将围绕魅族云平台建设中遇到的问题和挑战与大家共同探讨。
 
 

查看日志上下文

DevOpsshuaifred 回复了问题 • 5 人关注 • 5 个回复 • 832 次浏览 • 2017-07-19 21:19 • 来自相关话题

logstash启动报错:IOError: invalid null character in command

DevOps赵班长 回复了问题 • 3 人关注 • 1 个回复 • 1278 次浏览 • 2017-06-04 19:34 • 来自相关话题

运维规划之问题

DevOps赵班长 回复了问题 • 2 人关注 • 3 个回复 • 1168 次浏览 • 2017-05-03 20:51 • 来自相关话题

GOPS2016上海站-赵班长演讲PPT分享-中小企业自动化运维实践

DevOps赵班长 发表了文章 • 0 个评论 • 1865 次浏览 • 2016-09-26 11:10 • 来自相关话题

请查看附件,下载PPT

自动化运维发展历程





数据分析平台





智能化之-自动化扩容




  查看全部
请查看附件,下载PPT

自动化运维发展历程
图片1.png


数据分析平台
图片2.png


智能化之-自动化扩容
图片3.png

 

Kafka快速入门

DevOps赵班长 发表了文章 • 0 个评论 • 2564 次浏览 • 2016-08-27 12:50 • 来自相关话题

        安装、配置、启动、测试。这就是学习所有东西快速入门的四大步骤。首先在开始Kafka快速入门之前你需要学习并部署好Zookeeper。或者在运维社区搜索"zookeeper"。






Kafka三大名词
话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名。生产者(Producer):是能够发布消息到话题的任何对象。已发布的消息保存在一组服务器中,它们被称为代理(Broker)或Kafka集群。消费者:可以订阅一个或多个话题,并从Broker拉数据,从而消费这些已发布的消息

Kafka安装[root@ linux-node1 ~]# cd /usr/local/src
[root@ linux-node1 src]# wget http://www-eu.apache.org/dist/ ... 1.tgz
[root@hadoop-node1 src]# tar zxf kafka_2.11-0.9.0.1.tgz
[root@hadoop-node1 src]# mv kafka_2.11-0.9.0.1 /usr/local/
[root@hadoop-node1 src]# ln -s /usr/local/kafka_2.11-0.9.0.1/ /usr/local/kafka
Kafka配置:设置Zookeeper地址[root@hadoop-node1 ~]# vim /usr/local/kafka/config/server.properties
zookeeper.connect=192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181
Kafka启动[root@hadoop-node1 kafka]# ./bin/kafka-server-start.sh ./config/server.properties
Kafka测试
创建一个topic名称为test,设置一个分区和一个备份[root@hadoop-node1 ~]# cd /usr/local/kafka/bin/
[root@hadoop-node1 bin]# ./kafka-topics.sh --create --zookeeper 192.168.56.11:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".



查看已经存在的topic[root@hadoop-node1 bin]# ./kafka-topics.sh --list --zookeeper 192.168.56.11:2181
test



发送消息
Kafka提供了一个命令行的工具,可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。[root@hadoop-node1 bin]# ./kafka-console-producer.sh --broker-list 192.168.56.11:9092 --topic test
This is a message
This is another message消费消息
Kafka也提供了一个消费消息的命令行工具。[root@hadoop-node1 bin]# ./kafka-console-consumer.sh --zookeeper 192.168.99.97:2181 --topic test --from-beginning
This is a message
This is another message        好的。只要你不Ctrl+C关闭这个经常,现在你可以尝试不停的在发送消息的终端输入内容,你就会在消费消息的终端输出内容。 查看全部
        安装、配置、启动、测试。这就是学习所有东西快速入门的四大步骤。首先在开始Kafka快速入门之前你需要学习并部署好Zookeeper。或者在运维社区搜索"zookeeper"。

1.png


Kafka三大名词
  • 话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名。
  • 生产者(Producer):是能够发布消息到话题的任何对象。已发布的消息保存在一组服务器中,它们被称为代理(Broker)或Kafka集群。
  • 消费者:可以订阅一个或多个话题,并从Broker拉数据,从而消费这些已发布的消息


Kafka安装
[root@ linux-node1 ~]# cd /usr/local/src
[root@ linux-node1 src]# wget http://www-eu.apache.org/dist/ ... 1.tgz
[root@hadoop-node1 src]# tar zxf kafka_2.11-0.9.0.1.tgz
[root@hadoop-node1 src]# mv kafka_2.11-0.9.0.1 /usr/local/
[root@hadoop-node1 src]# ln -s /usr/local/kafka_2.11-0.9.0.1/ /usr/local/kafka

Kafka配置:设置Zookeeper地址
[root@hadoop-node1 ~]# vim /usr/local/kafka/config/server.properties
zookeeper.connect=192.168.56.11:2181,192.168.56.12:2181,192.168.56.13:2181

Kafka启动
[root@hadoop-node1 kafka]# ./bin/kafka-server-start.sh ./config/server.properties

Kafka测试
创建一个topic名称为test,设置一个分区和一个备份
[root@hadoop-node1 ~]# cd /usr/local/kafka/bin/
[root@hadoop-node1 bin]# ./kafka-topics.sh --create --zookeeper 192.168.56.11:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".



查看已经存在的topic
[root@hadoop-node1 bin]# ./kafka-topics.sh --list --zookeeper 192.168.56.11:2181
test



发送消息
Kafka提供了一个命令行的工具,可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。
[root@hadoop-node1 bin]# ./kafka-console-producer.sh --broker-list 192.168.56.11:9092 --topic test
This is a message
This is another message
消费消息
Kafka也提供了一个消费消息的命令行工具。
[root@hadoop-node1 bin]# ./kafka-console-consumer.sh --zookeeper 192.168.99.97:2181 --topic test --from-beginning
This is a message
This is another message
        好的。只要你不Ctrl+C关闭这个经常,现在你可以尝试不停的在发送消息的终端输入内容,你就会在消费消息的终端输出内容。

ELKStack快速安装

DevOps赵班长 发表了文章 • 2 个评论 • 4091 次浏览 • 2016-08-19 11:06 • 来自相关话题

ELKStack简介
        对于日志来说,最常见的需求就是收集、存储、查询、展示,开源社区正好有相对应的开源项目:logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELKStack,所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合,一个通用的架构如下图所示:






Elasticsearch部署
  Elasticsearch首先需要Java环境,所以需要提前安装好JDK,可以直接使用yum安装。也可以从Oracle官网下载JDK进行安装。开始之前要确保JDK正常安装并且环境变量也配置正确:

安装JDK[root@linux-node1 ~]# yum install -y java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)YUM安装ElasticSearch

1.下载并安装GPG key[root@hadoop-node1 ~]# rpm --import [url]https://packages.elastic.co/GPG-KEY-elasticsearch[/url]

2.添加yum仓库[root@hadoop-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/ela ... entos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
3.安装elasticsearch[root@hadoop-node1 ~]# yum install -y elasticsearch
LogStash部署与配置
    和Elasticsearch一样,在开始部署LogStash之前也需要你的环境中正确的安装的JDK。可以下载安装Oracle的JDK或者使用 yum安装openjdk。

安装JDK[root@linux-node1 ~]# yum install -y java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)
YUM部署LogStash

1.下载并安装GPG key[root@linux-node2 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch2.添加yum仓库[root@linux-node2 ~]# vim /etc/yum.repos.d/logstash.repo
[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=13.安装logstash[root@linux-node2 ~]# yum install -y logstash
Kibana简介
        Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索,查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化,以图表的形式展现出来。

Yum安装Kibana
1.下载并安装GPG key[root@linux-node2 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch2.添加yum仓库[root@test ~]# vim /etc/yum.repos.d/kibana.repo
[kibana-4.5]
name=Kibana repository for 4.5.x packages
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=13.安装kibana[root@test ~]# yum install -y kibana
使用Cobbler创建ELKStack仓库
当然生产环境,肯定不能使用外网的YUM仓库,可以使用Cobbler来创建自己的yum仓库。[root@log-node1 ~]# cobbler repo add --name=logstash-2.3 --mirror=http://packages.elastic.co/logstash/2.3/centos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler repo add --name=elasticsearch2 --mirror=http://packages.elastic.co/ela ... entos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler repo add --name=kibana4.5 --mirror=http://packages.elastic.co/kibana/4.5/centos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler reposync 查看全部
ELKStack简介
        对于日志来说,最常见的需求就是收集、存储、查询、展示,开源社区正好有相对应的开源项目:logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELKStack,所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合,一个通用的架构如下图所示:

1.jpg


Elasticsearch部署
  Elasticsearch首先需要Java环境,所以需要提前安装好JDK,可以直接使用yum安装。也可以从Oracle官网下载JDK进行安装。开始之前要确保JDK正常安装并且环境变量也配置正确:

安装JDK
[root@linux-node1 ~]# yum install -y java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)
YUM安装ElasticSearch

1.下载并安装GPG key
[root@hadoop-node1 ~]# rpm --import [url]https://packages.elastic.co/GPG-KEY-elasticsearch[/url] 

2.添加yum仓库
[root@hadoop-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/ela ... entos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

3.安装elasticsearch
[root@hadoop-node1 ~]# yum install -y elasticsearch

LogStash部署与配置
    和Elasticsearch一样,在开始部署LogStash之前也需要你的环境中正确的安装的JDK。可以下载安装Oracle的JDK或者使用 yum安装openjdk。

安装JDK
[root@linux-node1 ~]# yum install -y java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)

YUM部署LogStash

1.下载并安装GPG key
[root@linux-node2 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
2.添加yum仓库
[root@linux-node2 ~]# vim /etc/yum.repos.d/logstash.repo
[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
3.安装logstash
[root@linux-node2 ~]# yum install -y logstash

Kibana简介
        Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索,查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化,以图表的形式展现出来。

Yum安装Kibana
1.下载并安装GPG key
[root@linux-node2 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
2.添加yum仓库
[root@test ~]# vim /etc/yum.repos.d/kibana.repo 
[kibana-4.5]
name=Kibana repository for 4.5.x packages
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
3.安装kibana
[root@test ~]# yum install -y kibana

使用Cobbler创建ELKStack仓库
当然生产环境,肯定不能使用外网的YUM仓库,可以使用Cobbler来创建自己的yum仓库。
[root@log-node1 ~]# cobbler repo add --name=logstash-2.3 --mirror=http://packages.elastic.co/logstash/2.3/centos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler repo add --name=elasticsearch2 --mirror=http://packages.elastic.co/ela ... entos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler repo add --name=kibana4.5 --mirror=http://packages.elastic.co/kibana/4.5/centos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler reposync