2017活动家邀你一起学习吧！SDCC 2017在上海共话架构、数据和运维，还有两天！【召开时间为：3月17至3月19日】


在互联网大潮下，2017年的就业环境越发恶劣，技术人如何去适应技术变革和学习新技术，以及如何快速增强自身的技术实力成为亟需解决的问题。如果你在看完一本技术图书后还是疑惑不解，处于目前项目遇到困难时无人请教的尴尬境地，亦不清楚业界同行在使用什么技术以及用得如何……你或许需要别人醍醐灌顶的几句话，优秀的技术人才思考和解决问题的方式，甚而他们在面对成长瓶颈时的晋升之道。

成长固然没有绝对的公式可循，但可以通过别人处事之道来启发自己，而技术人也理应时刻为自己充电，从而有效地为自己的发展保驾护航。由CSDN主办的内容型技术峰会中国软件开发者大会（SDCC）将于2017年3月17日-19日进驻上海，包含三大主题技术峰会：互联网运维开发实战峰会、数据库核心技术与应用实战峰会、互联网应用架构实战峰会（详情请上活动家查看）。
 

大会介绍：

作为SDCC（中国软件开发者大会）系列技术峰会的一部分，SDCC 2017·上海站继续秉承干货实料（案例）的内容原则，这三场峰会将邀请业内顶尖的架构师和技术专家，共同探讨运维工具研发与实践、运维自动化系统的构建、大数据与运维、云上的运维案例分析、虚拟化技术、应用性能检测与管理、游戏行业的运维、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战实践、高可用/高并发系统架构设计、新技术应用、 移动应用架构、微服务、智能硬件架构等领域的话题与技术。

在本次大会上，你会看到如下重量级嘉宾和议题：

 
 
 

业界声音&嘉宾寄语：

陈敏敏 苏宁云商大数据中心技术总监

CSDN的社区和《程序员》影响了无数程序员，旗下的SDCC技术峰会同样继承了“老字号”，以品质和内容为根本，让参会的同学满载而归，结交到更多的朋友，感谢SDCC，提供这样一个好平台，让我们技术人互相交流，共同进步。

陈一方 大众点评交易平台技术团队负责人

非常荣幸受邀参加了SDCC 2016·上海站互联网应用架构峰会，见识了主办方CSDN的专业，认识了很多业内牛人，体验到了参会的技术同学的热情，参与了当天大部分会议，会上处处是干货、实践，线下也有非常多的互动，在微信群里大家都很活跃，希望这个高含金量的技术大会一直办下去，越办越好，也期待深圳站的圆满成功。

刘睿民 柏睿数据董事长兼CTO：

有幸作为讲师参加CSDN举办的多次数据库会议，在数据库这个专业领域CSDN作为主办方确实积累了相当多的资源。通过之前的会议，结交了很多朋友，收获丰厚。

卢亿雷 AdMaster技术副总裁：

SDCC大会带给了我们一场丰富多彩的技术盛宴，挑选的分享主题都有很强的针对性和实用性，全部是干货满满，不管是对参会者还对讲师都受益匪浅，特别是分布式数据库和架构场都是业界最前沿、最实用的分享。

SDCC 2017·上海站的参会者须知：

本次三大峰会都将于上午9：30开始，让出行更加的从容；

每场的演讲时长为50分钟，你将有更多的QA交流时间；

有三大出版社提供技术图书支持，放出百本高评价书籍；

每一位现场提问者都将获得图书等礼品，为爱学习者点赞；

你可以听完所有的演讲topic，无需赶场，精彩不再错过；

推出峰会单独售票机制，你可以选择感兴趣的技术主题；

搭车平台：活动家

另：5人及以上团购立减2000元，更多热门议题详情和听众收益请访问活动家官网。
  收起阅读 »

 时隔一年，2017年中华数据库与运维大会将于06月03日在上海宝丰联大酒店强势回归，届时来自全国各行各业的IT从业人员将欢聚上海，探讨与交流数据库和运维的经验。

 自2009年以来，超过4000位技术总监、技术负责人、架构师、项目经理、运维总监、运维经理、DBA经理、DBA、运维工程师以及研发工程师等出席过该会议。会议涵盖了传统互联网、金融、交通运输、快递物流和制造等行业。自举办以来深受业界关注和赞誉。本届大会邀请了国内富有实战经验的资深专家分享技术与前瞻性的话题。
 
【会议嘉宾】

吴兆松
OneOaaS技术
负责人 
 
黄哲铿
中通快递
IT部总监 
 
王义林
京东金融
杭州研发中心数据库中间件研发 
 
马进
网易杭州研究院
资深开发工程师
 
郑寒
腾讯
高级工程师 
 
邓琼
中信银行
软件开发中心高级经理 
 
王佩
沪江网
经理 
 
孙佳林
美团
点评基础架构部门高级工程师
 
……
 
【会务咨询】
电话：028-69761252（周一至周六：9点30至18点）
手机/微信：18516272025
微信公众号：活动家票务

 
篇幅所限，最新最全中华数据库与运维大会信息，请移步活动家！
 
  收起阅读 »

Python能做什么



    Python 不仅仅是一个设计优秀的程序语言，它能够完成现实中的各种任务，你可以在任何场合应用Python, 从网站和游戏开发到机器人和航天飞机控制。

 

尽管如此，Python 的应用领域分为下面几类。下文将介绍一些Python 具体能帮我们做的事情。但我们不会对各个工具进行深入探讨，如果你对这些话题感兴趣，请从老男孩python培训网站或其他一些资源中获取更多的信息。 







1.python可以用于系统编程 



Python 对操作系统服务的内置接口，使其成为编写可移植的维护操作系统的管理工具和部件（有时也被称为Shell 工具）的理想工具。



Python 程序可以搜索文件和目录树，可以运行其他程序，用进程或线程进行并行处理等等。 



2.python可以用于用户图形接口 



Python 的简洁以及快速的开发周期十分适合开发GUI 程序。此外，基于C++ 平台的工具包wxPython GUI API 可以使用Python 构建可移植的GUI 。

 

诸如PythonCard 和Dabo 等一些高级工具包是构建在wxPython 和Tkinter 的基础API 之上的。通过适当的库，你可以使用其他的GUI 工具包，例如，Qt 、GTK 、MFC 和Swing 等。



3..python可以用于Internet 脚本 



Python 提供了标准Internet 模块，使Python 能够广泛地在多种网络任务中发挥作用，无论是在服务器端还是在客户端都是如此。



而且网络上还可以获得很多使用Python 进行Internet 编程的第三方工具此外，Python 涌现了许多Web 开发工具包，例如，Django 、TurboGears 、Pylons 、Zope 和WebWare ，使Python 能够快速构建功能完善和高质量的网站。 

















4.python可以用于组件集成 



在介绍Python 作为控制语言时，曾涉及它的组件集成的角色。Python 可以通过C/C++ 系统进行扩展，并能够嵌套C/C++ 系统的特性，使其能够作为一种灵活的粘合语言，脚本化处理其他系统和组件的行为。



例如，将一个C库集成到Python 中，能够利用Python 进行测试并调用库中的其他组件；将Python 嵌入到产品中，在不需要重新编译整个产品或分发源代码的情况下，能够进行产品的单独定制。 

    



5.python能用于数据库编程 



对于传统的数据库需求，Python 提供了对所有主流关系数据库系统的接口，Python 定义了一种通过Python 脚本存取SQL 数据库系统的可移植的数据库API ，这个API 对于各种底层应用的数据库系统都是统一的。



所以一个写给自由软件MySQL 系统的脚本在很大程度上不需改变就可以工作在其他系统上（例如，Oracle ）-- 你仅需要将底层的厂商接口替换掉就可以实现。 



6.python 可以用于快速原型 

对于Python 程序来说，使用Python 或C编写的组件看起来都是一样的。正因为如此，我们可以在一开始利用Python 做系统原型，之后再将组件移植到C或C++ 这样的编译语言上。



7.python 可以用于数值计算和科学计算编程 

我们之前提到过的NumPy 数值编程扩展包括很多高级工具，通过将Python 与出于速度考虑而使用编译语言编写的数值计算的常规代码进行集成，其他一些数值计算工具为Python 提供了动画、3D 可视化、并行处理等功能的支持。 



8.python 可以用于游戏、图像、人工智能、XML 、机器人等 

Python 的应用领域很多，远比这里提到的多得多。



例如，可以利用pygame 系统使用Python 对图形和游戏进行编程；用PIL 和其他的一些工具进行图像处理；用PyRo 工具包进行机器人控制编程。 

    。



当然python能干的事情不止上面这么多领域，相信你在学完老男孩python自动化架构课程就能知道python应用的领域之多了。





本文版权归老男孩官网所有，欢迎转载，转载请注明作者出处。谢谢！

作者：老男孩python培训

收起阅读 »

2016年3月18日-19日，SDCC第一次走出了北京来到了上海，怀揣着理想和抱负，本着干货实料的原则，以及诸多CSDN老友的支持和帮忙，终圆满举办，现场火爆，广受好评。在紧接着的一年中，SDCC走到了深圳、成都、杭州等地，每一次都让SDCC成长颇丰，如今，在2017年伊始回到了上海，开启新一轮的征程，在一个多月的精心筹备下，成功完成了各项前期工作，网站信息的上线，以及陆陆续续更新的讲师信息和议题资料等。
 
 
 
回忆如暮，我们不妨来看下SDCC在2016走过的征程和那些可能对你有帮助的资料：

全年五场，累计200+讲师；
我们做了一个全年度的SDCC精华Slides集锦（全部免积分）；
有几十位业内资深认识的好评，不再赘述；
议题内容也非常的多样化，满足了大部分参会者的需求，涵盖了：海量数据下的应用监控系统建设\异常检测的算法和实现\大数据基础架构实践\数据平台的构建及其应用、深度学习、机器学习算法、可用/高并发/高性能系统架构设计、电商核心交易系统架构、智能硬件架构、分布式架构、应用系统架构、数据库访问层的架构设计、Hybrid框架、云服务架构、运维工具研发与实践、运维自动化系统的构建、大数据与运维、云上的运维案例分析、虚拟化技术、应用性能检测与管理、游戏行业的运维实践等；
每一期的嘉宾都来自一线的互联网公司，这些老司机来自的公司有阿里、腾讯、百度、华为、蚂蚁金服、京东、奇虎360、苏宁云商、携程、小米、滴滴出行、美团点评、1号店、聚美优品、当当网、平安科技、饿了么、YY、唯品会、蘑菇街、AdMaster、游族、有赞、Echo、ThoughtWorks、nice、中国电信、亚信、阅文集团、优维科技、出门问问、云霁科技、UCloud、七牛云等，挥洒热血在SDCC这片盛世沃土上；
在现场的所有人都会进入到微信群，内有所有的讲师和参会者，从而增强了师生的探讨和交流，不仅仅是提前将会议课件发放群里，且在提问环节名额有限的前提下，内敛的参会嘉宾亦可在群里交流，包括约起线下交流，甚而后续的持续交流，大大提高了参会者的热情；
每一次的技术大会上，我们会选用不同的礼品作为问答环节的奖品，包括技术人员深爱的技术图书、鼠标垫等，每每他们拿到礼物时欣喜及发自内心的微笑，都会让会议多增加一笔靓丽的色彩；
不仅是线上的沟通交流，也会在开会前一天，所有讲师聚在一起，在宝贵的时间里去探讨如何做好一场走心的演讲，包括节奏的把控、现场的气氛和观众的互动等，这里虽然不能一一而足，但都是在用心去分享；
内容为根基，大会课件经过了讲师多个日日夜夜的精心制作，以及出品人提出修改建议，再反复雕琢之后，从而形成了一份出色的课件。
 
SDCC 2017中国软件开发者大会·上海站大会亮点

3月17日  互联网运维开发实战峰会

1百度、阿里、腾讯、苏宁等企业的顶级运维大牛带来360度无死角的运维盛宴；

2大规模分布式系统运维、自动化运维、云端运维、游戏运维、海量容器运维等等热点技术话题一网打尽。

3月18日  数据库核心技术与应用实战峰会

1集结业界前沿领域的数据库专家，业界巨匠，触手可及；

2围绕MySQL、PostgreSQL、Redis、Oracle等数据库，共同探讨性能调优、数据库自动运维、云端数据库、新一代数据平台等领域的前瞻性话题；

3深度剖析行业痛点，探秘数据库核心技术。

3月19日  互联网应用架构实战峰会

1汇聚互联网应用架构实践的焦点议题；

2海量并发环境下的高可用/高并发/高性能系统架构设计、电商架构、分布式架构、从0到N的系统设计、平台架构演进、微服务等。
 
SDCC 2017中国软件开发者大会·上海站联系方式：
手机  :  13816737564
QQ  :  1040687893
联系人：活动家 收起阅读 »

运维知识体系2017【V2.0】版本发布：

1.     重新编写了PAAS，变更为容器层。
2.     增加了运维产品化、运维服务思路。

请访问：https://www.unixhot.com/page/ops

由于篇幅有限，每层主要列出相对知名的关键字。如有相关建议和意见请留言。

注意：请使用Firefox或者Chome浏览器，最好使用大屏显示器，效果更好！

收起阅读 »

SaltStack 2016.11版本发布了。小伙伴们，赶紧升级吧，其中需要注意的是老的版本，如CentOS 5.8升级的时候一定不要忘记升级zmq 。

建议部署salt-ssh,使用salt-ssh进行minion的升级等管理

使用官方的源：

wget https://repo.saltstack.com/yum/redhat/salt-repo-latest-1.el5.noarch.rpm

sudo rpm -ivh salt-repo-latest-1.el5.noarch.rpm

rm -f salt-repo-latest-1.el5.noarch.rpm

升级开始：

yum install salt-minion python26-zmq -y

注意：一定要升级python26-zmq，不然无法启动。

收起阅读 »

我们知道OpenStack 最新版本Newton，keystone是V3版本，由于之前存在V2版本的应用，如何同时兼容呢？主要需要操作以下四步：

1.获取domain ID

[root@openstack-control-node1 ~]# openstack domain list

+----------------------------------+---------+---------+----------------+

| ID                               | Name    | Enabled | Description    |

+----------------------------------+---------+---------+----------------+

| d0e436a913f94ec28f3a1892e0a7a240 | default | True    | Default Domain |

+----------------------------------+---------+---------+----------------+

2.编写Keystone配置文件，设置default_domain_id

[root@openstack-control-node1 ~]# vim /etc/keystone/keystone.conf 

[identity]



#

# From keystone

#



# This references the domain to use for all Identity API v2 requests (which are

# not aware of domains). A domain with this ID will be created for you by

# keystone-manage db_sync in migration 008. The domain referenced by this ID

# cannot be deleted on the v3 API, to prevent accidentally breaking the v2 API.

# There is nothing special about this domain, other than the fact that it must

# exist to order to maintain support for your v2 clients. (string value)

default_domain_id = d0e436a913f94ec28f3a1892e0a7a240

3.同步数据库

su -s /bin/sh -c "keystone-manage db_sync" keystone

4.重启Keystone服务 收起阅读 »

    2017年是运维年，随着DevOps的云计算的浪潮，运维人需要不断的提升自己的专业技能，运维加油！


 

职位主要负责数据中心技术运维，需要倒班，工作地点在燕郊，技术主要要求硬件/Linux/Network, 英文需要基本沟通，如果您有兴趣我们发简历至yajimeng@amazon.com，谢谢！
 

        DAL是数据访问层的英文缩写，即为数据访问层(Data Access Layer)。用在这里可能不是特别恰当，因为本文主要介绍MySQL访问的中间件，不过也是属于DAL的范畴。本文不会去高可用相关的知识，主要聚焦于MySQL的横向扩展。
       我们知道最简单的一种扩展是MySQL 主从复制，通过1主多从来实现读的性能扩展，但是这样的扩展不仅仅有局限性，而且写入的问题并没有解决。目前市场上用三类解决方案：
       1.客户端分片（推荐）
    程序客户端进行分库分表。也就是直接在程序里面进行数据库和表的拆分，例如用户表。根据用户的UID，例如13678789，根据最后一位，可以拆分为0-9共10个数据库，把尾号是0的存入db_user_0数据库，尾号是1的存入db_user_1数据库，select的时候也是一样。然后根据倒数第二位，可以拆分为0-9共10张表，根据倒数第二的尾号写入相应的表中。例如13678789这个UID的信息，写入db_user_9数据库的table_user_8的表中。
    
 2.各种数据成中间件：
 
  2.1 MySQL-Proxy（不强烈推荐）
      先说MySQL自己的，MySQL Proxy： 是处在你的MySQL数据库客户和服务端之间的程序，它还支持嵌入性脚本语言Lua。这个代理可以用来分析、监控和变换（transform） 通信数据。

    MySQL Proxy最强大的一项功能是实现“读写分离（Read/Write Splitting）”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。



    2.2  Atlas（不强烈推荐）

    Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过800人已加入了我们的开发者交流群，并且这些数字还在不断增加。



主要功能：

1. 读写分离
2. 从库负载均衡
3.  IP过滤
4. 自动分表
5. DBA可平滑上下线DB
6. 自动摘除宕机的DB

     简单的说是在MySQL Proxy的基础上做了二次开发，并支持了自动分表的特性。但是仅支持非常有限的rang进行分表。目前有先的分支Atlas Sharding来实现更多的功能。

具体的功能清看Github，非常详细
https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md

    2.3 Cobar（不强烈推荐）

      Cobar是阿里巴巴开源的一个，提供关系型数据库（MySQL）分布式服务的中间件，它可以让传统的数据库得到良好的线性扩展，并看上去还是一个数据库,对应用保持透明。

• 产品在阿里巴巴稳定运行3年以上。


• 接管了3000+个MySQL数据库的schema。


• 集群日处理在线SQL请求50亿次以上。


• 集群日处理在线数据流量TB级别以上。

详情：https://github.com/alibaba/cobar/wiki

2.4 MyCAT（不强烈推荐）

     MyCAT基于阿里开源的Cobar产品而研发的，目前社区相对比较活跃，功能也是最多的一个MySQL中间件，

    什么是MYCAT

• 一个彻底开源的，面向企业应用开发的大数据库集群


• 支持事务、ACID、可以替代MySQL的加强版数据库


• 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群


• 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server


• 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品


• 一个新颖的数据库中间件产品

3.MySQL 集群

   3.1 MySQL Cluster（强烈不推荐）
      MySQL Cluster 是 MySQL 适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个 Cluster 中运行多个MySQL服务器。几乎无应用案例，不推荐。



    3.2 Percona XtraDB Cluster方案（推荐）

    Percona XtraDB Cluster简称PXC。Percona Xtradb Cluster的实现是在原mysql代码上通过Galera包将不同的mysql实例连接起来，实现了multi-master的集群架构。

    上图中有三个实例，组成了一个集群，而这三个节点与普通的主从架构不同，它们都可以作为主节点，三个节点是对等的，这种一般称为multi-master架构，当有客户端要写入或者读取数据时，随便连接哪个实例都是一样的，读到的数据是相同的，写入某一个节点之后，集群自己会将新数据同步到其它节点上面，这种架构不共享任何数据，是一种高冗余架构。

    以上为个人生产经验，不代表产品本身的相关利益，不过还好了，都是开源的，大家可以根据自身情况选择。你会发现并没有强烈推荐的方案，主要是大家要考虑自身业务的情况进行选择，例如核心业务。连主从切换都不推荐自动，而是手动，宁愿业务不能访问，也不能出现自动主从切换导致数据丢失。
  收起阅读 »