Q Con 2017 PPT 学习笔记

我一直觉得,每次开技术会议之后,花时间把相关的 PPT 过一遍,无论是预习还是复习,都是开拓视野和思路的好方法。所以凡是能找到下载的,我都会看看,这里是我的学习笔记。


更新历史

  • 2017.05.24: 完成 Day1 PPT
  • 2017.05.21: 开始更新

这里我简单划分成为几大类(及子分类),大家可以使用页面右边的目录挑选自己感兴趣的。

大数据

基于 Impala 构建实时用户行为分析引擎

  • 用户行为:Who, When, Where, How, What,本质是一种特殊的日志数据
  • 典型应用
    • 运营监控:PV, UV, 销售,活跃用户
    • 产品改进:用户粘性,核心流程转化,新功能使用情况
    • 商业决策
  • 灵活性 > 及时性 > 时效性
  • 查询引擎:支持 SQL(足够灵活),交互式查询(足够快)
  • 架构:底层 HBase + HDFS,上面是 Impala
    • 基于 MPP 的查询引擎
    • 较低的容错性
    • 较高的内存需求
    • 较高的查询效率
  • 数据存储 Kudu + Parquet
    • Kudu 存实时数据,Parquet 存历史数据
    • 定期进行数据转储 Kudu -> Parquet
  • 优化逻辑
    • 使用每天的活跃用户数据构建 Bloom Filter
    • Join 之前先用 Bloom Filter 进行过滤

FreeWheel 大数据处理实践

  • 架构:Kafka + Speed Layer(流处理,Spark,HBase) + Batch Layer(Hadoop,Spark,HDFS) + presto
  • Slider + Docker 弹性部署
  • Presto + Slider + YARN

人工智能

人工智能技术打造智能商业体

  • 人工智能产生价值需要跨越两个门槛
    • 海量精准的大数据:为机器学习提供有价值的素材,需要企业完整的数字化、信息化流程
    • 丰富明确的应用场景
  • 京东智能客服机器人
    • 用户需求
      • 售前咨询:咨询商品、查询参数、选择尺码、筛选对比
      • 售后咨询:查询订单、查询物流、处理售后
    • 用户数据:聊天意图、聊天日志、订单信息、账户信息、访问记录
    • 其他数据:商品数据、活动数据、物流数据、评价数据、网络数据
    • 智能服务
      • 实时响应
      • 个性化应答
      • 主动关怀
      • 多终端支持
    • 核心价值:提升服务体验、降低客服成本

团队

技术管理的思考和实践

  • 技术团队常见问题:忙乱无章、团队不稳定、缺乏技术含量、结果不满意、看不到发展
  • 规划:路线图、目标选择、目标拆解、人才盘点
  • 结果:结果呈现、项目总结、绩效结果和沟通
  • 过程:把需求篮子建设好、技术需求、梯队建设、有章法地推进事情、能力模型和用人之道、助力员工提升
  • 人才盘点:数量、资历、技能、类型、引入方式
  • 需求原则
    • 客户为中心
    • 平衡搭配,远近结合,有自己的节奏
    • 关注价值和痛点
    • 前瞻研究

团队和工程管理取舍的实践

  • 70% 的工作不是研发过程,而是软件维护
  • 70% 的人看到告警之后不会马上采取行动
  • 70% 的运维天然对故障和告警敏感
  • 没有完整工具链支持,DevOPS 就是瞎扯
  • OPSDev 可能更符合国情
  • 基于一个成熟产品去研发,最保险,见效快,更从容
  • 团队技能书不具备对应的产品要求,千万不要自研
  • 直接面向开源去做自研,不仅代码质量号,文档也会更好
  • 自研有很大风险,但能提升团队的技术追求和欲望
  • 成熟开源软件不解决的问题,通常都是不重要的问题
  • 周会是用来同步信息的,不是用来讨论具体问题的
捧个钱场?