这本书从产品经理的角度梳理了程序化广告的基本概念。
更新历史
- 2020.02.18:重新上线
- 2019.05.10:完成阅读
- 2019.03.13:开始阅读
读后感
这本书从产品经理的角度梳理了程序化广告的基本概念,让我对整体行业有了更加清晰的认识,跳出技术的范畴其实很多概念和分析问题的方法很重要,这部分是最有价值的。
配合《计算广告》这本书就完美。
阅读笔记
第一章 概述
互联网展示广告发展史
- 启蒙时代:1993-1996
- 可点击的 Banner
- DoubleClick 成立
- 直销时代:1997-2002
- 直接售卖广告位,CPT 或 CPM
- 弹窗、背投等广告形式
- 网盟时代:2003-2011
- 百度联盟及百度主题推广
- 移动广告聚合平台
- 程序化时代:2012-now
- DSP, DMP, PA 私有竞价, PD 首选交易, PDB 程序化保量, Header Bidding 头部竞争
程序化广告可以定义为:
- 以人为本的精准广告定向
- 媒体资源的自动化、数字化售卖与采买
广告主的变化:
- 透明程序化的诉求:在流量和数据环节透明化,在财务和合同流程方面也希望能够更加规范化、严谨化
- 盘活私有数据。自建 DSP 和 DMP
- 更合理的 KPI 衡量标准,杜绝作弊
媒体的变化:
- 掌握流量控制权:自建 AdX/SSP
- 完善广告交易模式:实现头部优质流量的价值,提升 Ecpm 价格,升级了 PA, PD, PDB 交易模式
- 广告形式更加丰富
第二章 参与者
程序化市场的新角色及技术服务主要分为以下五类:
- 广告需求方,流量的消费者,包括广告主或代理商
- 需求方服务,包括需求方平台 DSP 和采购交易平台 Trading Desk,为需求方提供精准的广告投放和管理服务
- 流量供应方,包括媒体网站或 App、广告网盟 Ad Network
- 流量方服务,包括广告交易平台 Ad Exchange 和供应方平台 SSP
- 广告服务和数据管理,包括程序化创意平台 PCP、广告验证平台 AVP、数据管理平台 DMP、检测分析平台 MAP,为广告投放策略优化提供数据支持
第三章 交易模式
RTB 实时竞价
Real-Time Bidding
- 公开竞价 Open Auction, Open RTB:实时竞价购买剩余流量
- 用默认/打底广告来确保 100% 填充率
- 按 CPM 出价,价高者得,次高价结算,一般来说会按照比次高价多 1 分钱的价格结算
- 私有竞价 Private Auction, Private RTB:只邀请部分广告主竞价购买,PMP = 私有交易市场,媒体质量更优质
程序化直接交易
Programmatic Direct:买卖双方按照协商好的价格或流量,绕过竞价直接进行一对一交易。品牌广告主一般采用这种模式,并称之为程序化直接采购(Programmatic Direct Buying, PDB)
- 首选交易 Preferred Deals:保价不保量,协商好固定价格进行交易。流量会优先进入 PD,其次进入 PMP,最后才是 Open RTB。
- 溢价:当 RTB 出价减去 PD 价格大于设定的溢价时,RTB 可以优先挑量
- 程序化保量 Programmatic Guaranteed, Programmatic Reserved, Programmatic Premium。品牌客户使用较多的是程序化保量采购(Programmatic Guaranteed Buying, PGB),行业上说的 PDB 一般也是 PGB
基于订单交易,双方根据 Deal ID 作为唯一标识进行交易。Deal 订单通常包含交易期限、价格、数量等信息
头部竞价
Header Bidding
需求方在所有来源中优先级最高,国内没有推行。
第四章 考核指标
广告效果可以分为传播效果、心理效果和行动效果三个层次.
程序化广告的 KPI 评估主要围绕广告效果、成本收益和投放保障三大方面:
- 广告效果:行为效果可以从落地页/网站/App 访问鸡用户互动角度进行考核
- 成本收益:衡量广告投放整体消耗、各渠道等维度的性价比
- 投放保障:衡量广告投放的真实性和安全性,用于保障广告效果以及成本收益
基础指标
- CPM: Cost Per Mille,展示一千次的价格
- CTR: Click Through Rate,指广告的点击率
- CPC: Cost Per Click,指每点击成本
效果指标 Performance
- 点击量:广告被有效点击的次数
- 转化量:包括注册量、激活量等等
- CPA:Cost Per Action 每行动成本
- CPL:Cost Per Lead 每潜在客户获取成本
- CVR:Click Value Rate 点击转化率
- 点击到达率
后续数据指标:
- ROI:Return On Investment 投资回报率,即特定周期内,广告主通过广告投放收回的价值占广告投入的比例。一般会带上周期,如 日 ROI,月 ROI 等
- 留存用户数:通常会带上时间周期,如次日留存用户、3 天留存用户
- 活跃用户数
- 付费用户数
- 充值金额
- DAU:Daily Active User,每日成功登录的用户数量,要排重
- WAU:Weekly Active User,每周成功登录的用户数量,要排重
- MAU:Monthly Active User,每月成功登录的总用户,要排重
品牌指标:
- 广告可视度 Viewability
- 广告可见的 TA 浓度
- 广告可见的 TA 到达率
- 其他还有很多,这里暂略,详情参考书籍
第五章 广告投放
- 广告投放要抓住关键用户群,重视对老用户的重新召回
- 用户模型 4W1H(Who, When, Where, What, How)
广告位类型
常见的程序化广告位类型:
- 横幅广告 Banner Ad
- 富媒体广告 Rich Media Ad
- 视频广告 Video Ad
- 贴片:前贴 pre-roll,,中贴 mid-roll,后贴 post-roll
- 暂停:暂停时覆盖上的广告
- 角标 overlay:覆盖在视频上的角标
- 原生广告 Native Ad:最常见是 Feed
- 全屏/插屏/开屏/退屏/锁屏
- 插屏:应用运行过程中弹出的广告
- 开屏:打开 App 时展示的广告
- 退屏:退出应用时弹出的广告
- 激励广告/推荐广告:完成某一项指定任务会奖励积分
- 激励:激励视频广告、积分墙
- 推荐:推荐墙广告
广告投放阶段
- 技术对接测试阶段(1-3 天)
- 策略测试阶段(3-7 天)
- 策略优化阶段(7 - 31 天)
- 稳定放量阶段(31 天以上)
活动设置
基础设置:
- 出价设置
- 预算控制:每日、每周、每月等
- 日期时间
- 投放速度
- 频次控制:同一个用户在设定时间内可能看到的次数
定向设置:
- 重定向
- 社会化标签
- 兴趣爱好
- 购买倾向
- 地区定向
- 客户端定向
- 运营商定向
- 设备定向
- 网络类型
- 上网场景
- LBS 定向
- 天气定向
- 搜索人群定向
数据分析
常用维度:
- 计划:计划是活动的集合
- 活动:一个可完整独立投放的主体单元。为投放策略的调整提供数据依据
- 创意:判断创意版本的好坏,并优化
- 落地页:判断落地页的好坏,并优化
- 人群标签:包含性别、年龄、兴趣爱好等,为后续人群调整提供数据依据
- 渠道:整体评估不同渠道
- 媒体:整体评估不同媒体
- 广告位:整体评估不同的广告位
- 可视度分析
- 时段分析
- 频次分析:看过 1 次广告的用户、看过 2 次广告的用户 等等的效果比较
- 地域分析
- 操作系统
- 浏览器
前端常用指标:
- 展示量
- 点击量
- 点击率 = 点击量/展示量
落地页常用指标:
- 展示量
- 会话数:从用户打开到离开算一个
- 点击到达率 = 会话数/点击量
- 平均停留时间
- 平均加载时间
- 平均窗口大小
转化常用指标:
- 注册量
- 注册率 = 注册量/落地页展示量
竞价常用指标:
- 流量:即 Bid Request 数量
- 出价数:参与竞价的次数
- 竞得数:竞价成功,广告获得展示的次数
- 竞得率 = 竞得数/出价数
- 使用率 = 展示数/流量
消耗常用指标:
- 总成本:广告投放对应的总消耗金额
- CMP:千次展示价格
- CPC:每点击成本 = 总成本/点击量
- CPA:每注册成本 = 总成本/注册量
数据分析方法:
- 对比
- 时间维度
- 同比:2018 年 3 月 与 2017 年 3 月相比
- 环比:2018 年 3 月 与 2018 年 2 月相比
- 横比和纵比
- 横比:同一维度级别,分析不同成员各个指标的分布(地域、频次常用)
- 纵比:同一纬度成员同一指标级别,对不同时间维度的趋势走向比较(发现异常点)
- 时间维度
- 细分:为了更合理地对比
- 人群特征细分
- 时间细分
- 媒体细分
- 创意细分
- 其他维度细分
- 归因:发现规律或因果关联
- 广告归因:各个节点对转化的贡献评估,分为渠道归因和创意归因
- 站内归因:站内/App内不同内容对转化的贡献率评估
- 归因模型
- 末次转化归因模型
- 平均分配归因模型
- 时间衰减归隐模型
- 价值加权归因模型
- 自定义归隐模型
预警机制
以下是一般需要关注的:
- 流量
- 广告活动
- 广告位
- 尺寸
- 消耗
- 广告活动
- AdX/SSP
- 广告位
- 价格
- CPM
- CPC
- CPA
- 效果
- CTR
- CVR
- 点击到达率
- 使用率
- 广告位
- 站内
- 停留时间
- 窗口大小
广告主看不到广告的原因:
- 出价过低
- 出价过滤
- 不在供应商流量池
第六章 相关技术
DSP 内部竞价排名规则
- eCPM 预估
- 点击率和转化率预估
- 离线模型:按天更新,使用一定时期(如 60 天)的日志数据进行特征分析。特征包括:用户特征、广告位特征、创意特征、广告主特征等
- 实时模型:准实时更新,如 10 分钟
竞价相关指标:
- 竞价请求量
- 过滤后请求量
- 实际发送请求量
- 实际发送率
- 出价次数
- 出价率
- 放弃竞价次数
- 放弃竞价率
- 有效竞次数
- 无效竞价次数
- 响应超时次数
- 响应超时率
- 解析错误次数
- 解析错误率
- 成功竞得次数
- 成功竞得率 = 成功竞得次数/出价次数
- 曝光次数
- 曝光率 = 曝光次数/成功竞得次数
- 竞价失败次数
- 竞价失败率
- 使用率 = 曝光次数/实际发送请求量
DSP 与 AdX/SSP 对接
基本情况确认:
- 竞价计费模式:一般是 CPM
- 资源量级:日均总量
- PC/移动比例
- iOS/Android比例
- eCPM
- eCPC
- CTR
- 广告位类型和占比
- 点击跳转逻辑
- 是否提供 CDN
- 是否提供视频频道分类
- IDFA/iMEI/AndroidID
- 是否提供 DMP
- 行业限制:比如不允许投放金融广告
竞价接口:
- 媒体分类信息
- 上网类型定向
- 设备类型定向
- 设备品牌定向
- 设备型号定向
- 操作系统定向
- 运营商定向
- LBS 定向
- 是否需要审核第三方检测
- 动态创意
- 自定义代码
- 是否含 RTB 市场
- 对 PD PA PDB 的支持
- 是否有订单同步接口
- 是否支持 Cookie Mapping
- 是否有广告位同步接口
- 创意尺寸是否做了特殊处理
创意&创意审核接口:
- 是否有审核接口
- 是否有修改接口
- 审核机制:先审后投还是先投后审
- 是否需要行业分类
- 创意类型
- 视频创意格式
- 是否需要 CDN
- 图文创意说明
- 落地页是否支持 302 跳转
- 应用下载是否需要中间页
- 是否支持曝光监测
- 是否支持点击监测
- https 协议要求
- 代码投放说明
- 动态代码支持情况
- 是否支持重新送审
- 是否支持 mraid
- 是否支持 deeplink
- 客户端资源是否支持 cookie mapping
用户数据中心
为每个用户打人群标签时,主要是基于用户识别号、用户行为、时间、地点、终端等属性进行综合分析,并标记该用户在各个维度上的属性特征。
人群标签原理:
- 用户识别号:cookie,设备号 ID
- 时间
- 间隔时间
- 持续时间
- 发生时间:24 小时段、N 天内、节假日
- 地点:移动轨迹、城市、省份、场所、国家
- 终端
- 语言
- 操作系统
- 浏览器
- 设备:型号、品牌、价格
- 行为
- 行为次数或金额
- 行为介质:广告主网站/APP、广告、媒体
- 行为类型:搜索、购买、注册、登录、下载、浏览、点击
数据统计原理
一般 PC 端的统计值不超过 10%,移动端不超过 5%,常见 DSP 广告监测与第三方不一致的差异原因:
- 站内监测差异
- 检查代码是否正确部署
- 检查代码的逻辑是否一致
- 双方计数机制
- 过滤规则
- 广告监测差异
- 点击差异
- 检查代码是否正确部署
- 代码触发机制
- 广告劫持
- 过滤规则
- 曝光差异
- 地域 gap
- 用户画像 gap
- 检查代码是否正确部署
- 过滤规则
- 网络原因
- 广告劫持
- 日期时段 gap
- 浏览器 gap
- 点击差异
DSP 数据处理系统架构
六大模块:
- 应用层:投放数据报表查看、出价策略设置与应用、防作弊、投放成本预算控制、用户画像等
- 基础数据服务
- Kafka 作为数据通道
- Zookeeper 提供配置同步
- 数据落地到 Hadoop 上
- 实时计算:Storm 和 SparkStreaming 处理流式数据,比如部分 ETL、实时聚合、防作弊和竞价策略反馈
- 离线计算:Hive 和 Spark,对大规模的竞价日志、Cookie Mapping、用户标签等数据进行分析处理,结果存在于 Hive 中
- 在线分析和查询
- IndexR 和 Infobright 用于实时多维分析
- MongoDB 和 Mysql 存放活动产生的各种信息
- ES 用于在线搜索
- Redis 和 Aerospike 为实时竞价提供出价策略数据
- HBase 存储用户标签数据
- 任务调度和监控:Azkaban 和 cronsun 对整个集群上述任务进行管理和监控
反作弊
作弊环节:
- 曝光:常见于 CPM 结算的媒体
- 点击:常用于 CPC 结算的媒体
- 转化
作弊方式
- 假用户:利用机器人,不断变换 IP、cookie 甚至设备 ID 来伪装”用户”
- 真用户假流量:利用真实用户设备来作弊
- 广告堆叠:同一广告位叠加多个,只有顶层可以被看到
- 归因作弊:本来是 B 平台的广告,但 C 平台通过发送用户设备号,让广告主误以为是 C 平台的转化
- 广告容器设置为 1 x1 像素
- 利用插件植入不可见的广告位置(用户无法滚动看到的区域)
- “肉鸡”刷广告
- “枪手”刷广告
- 真用户真流量:用劣质流量滥竽充数;通过 http/DNS 进行流量劫持,称为”非法流量”更合适
常见作弊现象
- 可离线解决
- 一个 cookie 对应超过 N 个 IP 或设备 ID
- 一个设备 ID 对应 N 个以上 IP 或 userAgent
- 点击的 refererurl 包含
display_ad.php
- 有点击无曝光的 IP
- 点击率异常的 IP 和设备 ID (移动端大于 10% 或 PC 端大于 6% 且点击量大于 30)
- 广告位的曝光或点击集中在少量 IP、cookie 或设备 ID,可能是作弊广告位
- 页面停留时间大于平均水平
- PC 端平均窗口大小指标小于 70w 像素或大于 110w 像素
- 移动端平均窗口大小指标小于 1w 像素或大于 50w 像素
- 可实时解决
- 某个 cookie 在 N 分钟内使用的 IP 超过 N 个
- 某个 cookie 在 N 分钟内点击超过 N 次
- 所有 userAgent 出现 java, python 直接拉黑
算法优化
模型的优化主要以活动设置条件作为出价的基础门槛,并结合历史数据和实时数据不断进行特征分析
智能优化分析模型:
- 活动设置:频次、预算、定向条件、投放速度
- 历史数据与实时数据
- 指标:点击、转化、鼠标悬停时间
- 维度:创意、广告位、用户、用户-广告位-创意交叉维度数据
- 特征分析
- 用户:婚姻状况、兴趣爱好、教育程度、用户搜索词、行业、年龄、性别、用户关键词、意向、行为及次数/金额
- 广告位:屏次、频道、广告位类型、页面关键词、页面广告位数量、ADX/SSP、广告位置、媒体类型、尺寸、域名、可视度
- 创意:素材、落地页、行业类别
- 地点:场所、经纬度、国家、城市、IP、省份、商圈
第八章 总结与展望
需求方(买方)广告投放的本质需求是有效地传播广告,实现 ROI 最大化
行业英语词汇(只挑选我不熟悉的)
- Ad Tracking 广告监测
- Ad Verification Platform 广告验证平台
- DCO Dynamic Creative Optimization 动态创意优化
- Default Ad 默认广告、打底广告
- Guaranteed 保量
- Header Bidding 头部竞价
- Nagative Retargeting 否定重定向
- PCP Programmatic Creative Platform 程序化创意平台
- Viewability 广告可视度
- Vieable Impression 可见曝光