Q Con 2017 PPT 学习笔记

我一直觉得，每次开技术会议之后，花时间把相关的 PPT 过一遍，无论是预习还是复习，都是开拓视野和思路的好方法。所以凡是能找到下载的，我都会看看，这里是我的学习笔记。

---

更新历史

• 2017.05.24: 完成 Day1 PPT
• 2017.05.21: 开始更新

这里我简单划分成为几大类（及子分类），大家可以使用页面右边的目录挑选自己感兴趣的。

大数据

基于 Impala 构建实时用户行为分析引擎

• 用户行为：Who, When, Where, How, What，本质是一种特殊的日志数据

• 典型应用

  • 运营监控：PV, UV, 销售，活跃用户
  • 产品改进：用户粘性，核心流程转化，新功能使用情况
  • 商业决策

• 灵活性 > 及时性 > 时效性

• 查询引擎：支持 SQL（足够灵活），交互式查询（足够快）

• 架构：底层 HBase + HDFS，上面是 Impala

  • 基于 MPP 的查询引擎
  • 较低的容错性
  • 较高的内存需求
  • 较高的查询效率

• 数据存储 Kudu + Parquet

  • Kudu 存实时数据，Parquet 存历史数据
  • 定期进行数据转储 Kudu -> Parquet

• 优化逻辑

  • 使用每天的活跃用户数据构建 Bloom Filter
  • Join 之前先用 Bloom Filter 进行过滤

FreeWheel 大数据处理实践

• 架构：Kafka + Speed Layer(流处理，Spark，HBase) + Batch Layer(Hadoop，Spark，HDFS) + presto
• Slider + Docker 弹性部署
• Presto + Slider + YARN

人工智能

人工智能技术打造智能商业体

• 人工智能产生价值需要跨越两个门槛

  • 海量精准的大数据：为机器学习提供有价值的素材，需要企业完整的数字化、信息化流程
  • 丰富明确的应用场景

• 京东智能客服机器人

  • 用户需求

    • 售前咨询：咨询商品、查询参数、选择尺码、筛选对比
    • 售后咨询：查询订单、查询物流、处理售后

  • 用户数据：聊天意图、聊天日志、订单信息、账户信息、访问记录

  • 其他数据：商品数据、活动数据、物流数据、评价数据、网络数据

  • 智能服务

    • 实时响应
    • 个性化应答
    • 主动关怀
    • 多终端支持

  • 核心价值：提升服务体验、降低客服成本

团队

技术管理的思考和实践

• 技术团队常见问题：忙乱无章、团队不稳定、缺乏技术含量、结果不满意、看不到发展

• 规划：路线图、目标选择、目标拆解、人才盘点

• 结果：结果呈现、项目总结、绩效结果和沟通

• 过程：把需求篮子建设好、技术需求、梯队建设、有章法地推进事情、能力模型和用人之道、助力员工提升

• 人才盘点：数量、资历、技能、类型、引入方式

• 需求原则

  • 客户为中心
  • 平衡搭配，远近结合，有自己的节奏
  • 关注价值和痛点
  • 前瞻研究

团队和工程管理取舍的实践

• 70% 的工作不是研发过程，而是软件维护
• 70% 的人看到告警之后不会马上采取行动
• 70% 的运维天然对故障和告警敏感
• 没有完整工具链支持，DevOPS 就是瞎扯
• OPSDev 可能更符合国情
• 基于一个成熟产品去研发，最保险，见效快，更从容
• 团队技能书不具备对应的产品要求，千万不要自研
• 直接面向开源去做自研，不仅代码质量号，文档也会更好
• 自研有很大风险，但能提升团队的技术追求和欲望
• 成熟开源软件不解决的问题，通常都是不重要的问题
• 周会是用来同步信息的，不是用来讨论具体问题的