在早期的版本中，有一种降低 logstash 过滤器的 CPU 负载消耗的做法盛行于社区直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置！
这个建议依然有效，不过在当前版本中需要稍微做一点配置变动 —— 因为现在有专门的 codec 设置。[root@linux-node1 ~]# vim /usr/local/nginx/conf/nginx.conf
log_format json '{"@timestamp":"$time_iso8601",'
'"@version":"1",'
'"client":"$remote_addr",'
'"url":"$uri",'
'"status":"$status",'
'"domain":"$host",'
'"host":"$server_addr",'
'"size":$body_bytes_sent,'
'"responsetime":$request_time,'
'"referer": "$http_referer",'
'"ua": "$http_user_agent"'
'}';
access_log logs/access_json.log json;




  查看全部

[root@linux-node1 ~]# vim /usr/local/nginx/conf/nginx.conf

log_format json '{"@timestamp":"$time_iso8601",'

               '"@version":"1",'

               '"client":"$remote_addr",'

               '"url":"$uri",'

               '"status":"$status",'

               '"domain":"$host",'

               '"host":"$server_addr",'

               '"size":$body_bytes_sent,'

               '"responsetime":$request_time,'

               '"referer": "$http_referer",'

               '"ua": "$http_user_agent"'

               '}';

access_log  logs/access_json.log  json;

droidcon于2009年由一个Android爱好者国际研究小组在柏林和伦敦发起。droidcon旨在为Android开发工程师、应用人员、创业者以及用户提供一个开放的交流平台，目前已在全球5大洲，26个国家和地区召开，每年上万人参加，成为安卓领域全球最有影响力的技术大会。

2017年，droidcon 第2次来到中国，并将于2017年11月在北京盛大开幕。参会人群包括业界领袖、技术大咖、技术开发者、大众创业者及领域从业者。大会将邀请来自Google、微软、Facebook、Ebay、Intel、Telenav、阿里巴巴、腾讯、小米、乐视、联想等国内外安卓技术与应用领域的大咖，沿袭历年国际大会特色，聚焦行业最前沿技术，碰撞切磋技术火花。

会议时间：2017年11月16-17日

会议地点：北京

主办单位：

北京长风信息技术产业联盟

德国Mobile Seasons GmbH

大会形式：

包括主题演讲、先进技术即兴研讨（Barcamp）、展览展示、培训等。

主题内容：

包括Android设计与架构、UI/UX创新与用户体验、工程与工具、安卓延伸行业应用、虚拟现实与人工智能等。

因篇幅有限，更多会议日程及嘉宾信息，请移步至活动家进行了解。
 
或咨询会务组：
 
联系人：活动家
 
手机：18516272025（同微信）
  查看全部

apache ab压力测试报错（apr_socket_recv: Connection reset by peer (104)）  
今天用apache 自带的ab工具测试，当并发量达到1000多的时候报错如下：

Benchmarking 192.168.1.176 (be patient)
Completed 300 requests
Completed 600 requests
Completed 900 requests
apr_socket_recv: Connection reset by peer (104)
Total of 1085 requests completed
 
查看应用服务器和数据库均未报错，连接被重置，bingyi了以下，apr_socket_recv这个是操作系统内核的一个参数，在高并发的情况下，内核会认为系统受到了SYN flood攻击，会发送cookies（possible SYN flooding on port 80. Sending cookies），这样会减慢影响请求的速度，所以在应用服务武器上设置下这个参数为0禁用系统保护就可以进行大并发测试了：
# vim /etc/sysctl.conf 
net.ipv4.tcp_syncookies = 0 
# 集群内部所有大并发的节点都需要修改

# sysctl -p
然后就可以超过1000个并发测试了。
 
另附其他系统内核参数说明：
 
net.ipv4.tcp_syncookies = 0  
#此参数是为了防止洪水攻击的，但对于大并发系统，要禁用此设置
 
net.ipv4.tcp_max_syn_backlog
#参数决定了SYN_RECV状态队列的数量，一般默认值为512或者1024，即超过这个数量，系统将不再接受新的TCP连接请求，一定程度上可以防止系统资源耗尽。可根据情况增加该值以接受更多的连接请求。
 
net.ipv4.tcp_tw_recycle
#参数决定是否加速TIME_WAIT的sockets的回收，默认为0。
 
net.ipv4.tcp_tw_reuse
#参数决定是否可将TIME_WAIT状态的sockets用于新的TCP连接，默认为0。
 
net.ipv4.tcp_max_tw_buckets
#参数决定TIME_WAIT状态的sockets总数量，可根据连接数和系统资源需要进行设置。  查看全部

本次论坛大会将于2017年10月25日在北京举办，SCA 2017移动安全技术商业模式论坛——移动终端与物联网应用安全报名平台活动家。


请注意：

2017SCA联盟秋季会议为两天两个不同的主题，请大家按需参加：

10月25日：SCA2017移动安全技术商业模式论坛

10月26日：2017金融区块链的未来之路会议

【会议时间】2017年10月25日

【会议地点】北京 唐拉雅秀酒店三楼大宴会厅(北京市西城区复兴门外大街19号)

【主办单位】SCA联盟

上海奥航智能科技有限公司


【大会介绍】

又一年金秋十月，又一次的SCA移动安全盛会。移动安全领域的浪潮汹涌，暗礁不断。在这片大海中行船的舵手必须有勇有谋的做出抉择，才可以扬帆远行，游刃有余。

这次会议我们的两大重点讨论领域，他们既相互独立又互相交织，技术上有重叠之处，业务中有差异的考量，它们就是“移动终端安全”与“物联网应用安全”。2017年10月25日，SCA联盟将在北京举办“SCA移动安全技术商业模式论坛”，期待与大家在北京的相见。

有意参会请联系：
 
联系人：活动家
 
手机：18516272025（同微信） 查看全部

本次峰会将于2017年12月8日至9日在北京国际会议中心举办，ArchSummit全球架构师峰会北京站2017报名平台活动家。

ArchSummit全球架构师峰会是InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会，参会者中超过50%拥有8年以上的工作经验。

ArchSummit秉承“实践第一、案例为主”的原则，展示新技术在行业应用中的最新实践，技术在企业转型中的加速作用，帮助企业技术管理者、CTO、架构师做好技术选型、技术团队组建与管理，并确立技术对于产品和业务的关键作用。

参会者数量

1000+

高级技术专家比例

79%

参会企业

200+

出品人及演讲嘉宾

100+

10年以上开发经验

90%

演讲专题

新一代DevOps

智能技术在助力运维升级，如机器学习算法等技术在智能运维场景下不断落地，本专题就重点分享新一代DevOps和智能技术在企业的实践经验。

人工智能与业务应用

技术的应用离不开场景化的业务。本专题会基于社交、物流、金融等场景，介绍人工智能技术在业务中的应用、变革与效果。

微服务架构

本专题将以微服务真正实践的过程为基础，介绍微服务相关的新技术，例如Service Masher，以及一线企业在使用微服务过程所解决的那些难题。

业务架构

面对不同的业务场景，不同的架构师会有不同选择。一起看看优秀的架构师是如何根据业务场景，考虑问题，作出抉择的。

数据库架构

不同行业对数据库要求不一样，如数据安全、系统可用、客户感知、容量增长等都对数据库架构和性能有着较高要求。本专题将从业务架构和数据架构等角度分享数据库架构设计实践内容。

大前端技术与管理

移动、前端已经占据开发的半壁江山，这些领域也兴起了很多新的技术。大前端的技术升级，系统选型，软件工程管理，团队管理，都有哪些特殊之处呢？

架构升级与优化

这里除了OLTP系统架构之外，还包括OLAP系统架构，让我们一起通过典型的架构设计与优化思路，学习前人的经验。

大数据平台架构

大数据是人工智能应用的一大基础，如何建设好自己的大数据平台，提高数据处理的质量与效率，自然是重中之重。一起看看各大互联网公司在建设大数据平台的过程中积累的一手经验。

互联网视频技术架构：优化和创新

在丰富又极具挑战的应用场景下，在巨大的流量、复杂的网络条件下，架构师们正在利用手中的黑科技点石成金；同时，深谋远虑的他们也在考虑，如何利用下一代技术带动用户体验的创新...

深入机器学习

在本专题中，我们将结合具体的业务场景，看看机器学习技术都有哪些新鲜、深入的应用。

金融应用架构

本专场将聚焦互联网金融和传统金融在IT技术上的创新技术，包括银行、证券、保险在系统架构优化上的实践，以及当前很受关注的区块链话题，都是即将分享的热点内容。

工程师文化与团队建设

有人说，在自由的环境下对提高效率的痴迷，就一定会发生创新。要达到创新结果，就得先打造自由的工程师文化，和高效能的软件开发团队，

国际化架构设计

各大电商平台经过多年实战磨练，在推荐、支付、交付等领域已经很成熟，目前正在寻求业务出海。同时在共享经济风口上，各种共享平台和共享产品不断涌现，并进军海外。

内容分发与精准推荐

众所周知，随着今日头条、微信公众号、知乎等平台的推出，很多企业和个人基于这些平台建立自己的产品和销售，赶上了内容创业的浪潮。本专题会邀请内容阅读，知识服务平台的专家，来分享产品的架构、推荐算法，和未来的如何拥抱电商的发展战略。

互联网产品与创业

经常有人调侃：“我有一个idea，就差一个程序员了。” 那程序员自己有了想法，想创业了，会遇到哪些问题，又该如何解决呢？

个性化智能广告系统

TMT时代，国内外互联网公司通过广告模式获得了不少的收益。随着智能终端的蓬勃发展，图文、视频、AR/VR等多样化的传播方式，信息孤岛、碎片化应用都给数字广告行业带来新的挑战。

移动开发工程化实践

万维网发明人 Tim Berners-Lee 谈到设计原理时说：“简单性和模块化是软件工程的基石；分布式和容错性是互联网的生命” ，由此可见模块化之于软件工程领域的重要性。

有意参会请咨询：
 
联系人：活动家

手机：18516272025（同微信）
  查看全部

环境：centos7.2
软件：redis-3.2.10(yum安装）
 
情景一：公司之前的redis没有开启aof模式，一直是rdb模式，但是数据又非常重要，数据一点也不能丢失，所以需要开启aof，但是redis默认是从appendonly.aof加载数据，systemctl start redis的时候，数据库是空的，因为我们并没有appendonly.aof文件，而且关闭redis的时候，会把dump.rdb清空
 
情景二：redis数据库迁移，我们可以只用dump.rdb文件，因为dump.rdb文件比较小，方便携带
 
第一步：我们在/etc/redis.conf配置文件中，只开启rdb模式，启动redis，这样数据文件就加载进来了
 
第二步：使用redis-cli命令，登录redis，执行BGREWRITEAOF命令，重新生成aof文件
 
第三步：关闭redis，在/etc/redis.conf中开启aof模式
 
第四步：重新开启redis服务，这时候，redis就会读取appendonly.aof文件，加载完整数据库了
 
  查看全部