分类目录归档:工具

TiDB 部署

ansible 部署

参考
https://pingcap.com/docs-cn/op-guide/ansible-deployment/

binary部署

参考
https://pingcap.com/docs-cn/op-guide/binary-deployment/

跨公网部署(NAT)环境

跨公网部署NAT要注意,对外发布ip, 和机器实际绑定ip, 官方提供的ansible脚本没有参数设置对外ip和绑定ip, 只能用二进制安装, 不过可以ansible部署完成之后, 直接改动部署后的脚本, 这样就可以继续使用ansible. 这里说一下这种部署的时候的一些坑.

pd-server

  • –advertise-client-urls
  • –advertise-peer-urls
  • –client-urls
  • –initial-cluster
  • –peer-urls
    继续阅读

写一个合适的监控运维系统-05-一年的优化打磨

杂谈

监控运维系统已经运行一年有余, 已经是开发和运维人员不可或缺的工具了, 几乎所有人上班的第一件事就是打开监控系统, 查看服务器状态. 即使出门在外, 也用可以用手机访问. 经过大量使用之后, 很多问题暴漏出来了, 该改的改, 改优化的优化, 这里说一下这一年的优化动作.

微信报警优化

如果服务器发生状况, 发送微信到用户, 可是如果处理不好, 就会产生微信轰炸, 所以后面定义了几个规则, 保证不产生信息轰炸.

  • 分组订阅, 每个人只关心负责的服务器分组
  • 单机报警限制, 如果一个服务, 在2.5分钟之内发生连续报警, 只触发第一次微信报警
  • 单用户报警限制, 单个用户2.5分钟之内, 同一组服务器, 只接受一次报警

这样可以有效的避免微信轰炸.
继续阅读

familia小白使用

familia到底是什么

Familia百度开源的文档主题推断工具、语义匹配计算工具。

主题模型在工业界的应用范式可以抽象为两大类: 语义表示和语义匹配。

  • 语义表示 (Semantic Representation)

    对文档进行主题降维,获得文档的语义表示,这些语义表示可以应用于文本分类、文本内容分析、CTR预估等下游应用。

  • 语义匹配 (Semantic Matching)

    计算文本间的语义匹配度,我们提供两种文本类型的相似度计算方式:

    • 短文本-长文本相似度计算,使用场景包括文档关键词抽取、计算搜索引擎查询和网页的相似度等等。
    • 长文本-长文本相似度计算,使用场景包括计算两篇文档的相似度、计算用户画像和新闻的相似度等等。
      继续阅读

composer 私有项目

接触composer

composer 是php的包管理工具, 有了composer我们可以轻易的从网上获取需要的组件, 构建我们的项目. 最近在写一个软件项目, 需要从C++行情服务器获取一些数据, 准备写一个模块专门用来对接C++接口. 考虑到公司大量的php项目需要获取行情数据, 如果把此模块做成composer包, 将会有很大的帮助.
继续阅读

流量优化

服务器带宽流量

带宽跟流量是个怎么也不能忽略的问题, 如果无法做好流量优化, 服务端写得再好, 客户端依然会卡.

客户端卡顿分析

如果服务器与客户端之间, 平均流量为100k, 客户端的网络情况为200k, 那么平时推送客户端不会卡顿, 可是实际上客户端会生成某些数据,这些数据的生成需要大量的历史数据才能完成, 假设需要2M的历史数据. 那么实际上我们将花费10秒左右的时间才能完成此数据的推送. 这个时候整个客户端会表现为不走数据, 用户就会觉得, 这是什么鬼!!!
继续阅读

mongodb 简单搭建复制集

复制集配置文件参数

|字段|类型|取值|解释|
|:— |:— |:— |:— |
|id| 整数| 从0开始|编号|
|host| 字符串| 192.168.0.235:9990|IP:Port|
|arbiterOnly|布尔值|trre/false|是否投票结点|
|priority|整数|0-1000|权重, 数字越大, 越能成为主节点, 0表示永远不会成为主节点|
|hidden|布尔值|true/false, 0/1|是否是隐藏结点, priority=0|
|votes|整数|0/1|是否能够投票|
|slaveDelay|整数|x秒(3600)|延迟结点(用来保证数据安全,如果主库删了,从库都会同步删)|
|buildIndexes|布尔值|true/false|是否同步建立索引,priority=0|
继续阅读