项目影响评估 实地实验

影 响评估就是确定 干预是否在 实践意义 上产 生 了预期效 果 。这类 评估 灭 可

能 以十足 的确信度去进行 ,而 只能得 到不 同程度 的似 真 性 。其 一 般 的原则是 :千
究设计越严格 ,干 预效果估 计值越真实。
影响评估设 计需要应对两方面具 有挑 战性 的压 力 :其 一 ,应 充分严格地 'iJ事
评估 ,以 便 能获得相对可 靠 的结论 ;其 二 ,对 时间 、 合作和参 与者保护 的实啸
金钱 、
考虑 ,限 制 了所能采 纳 的设计选择和方 法及程序 。
通过将项 目参与者 的产 出信息 与假 定 他们没 有参加项 目的产 出信 息迸 :硭 Ⅱ
较 ,评 估者对社会项 目效果进行 估计 。本 章将讨论达成这 一 目标最完善 的于二猛
计—— 随机 实地实验 。随机实验 基于 随机分 配 接受干预 的实验 组和 未接 受=骊
的对照组之 间的比较 。尽管实践 考 虑会 限制 随机 实地实验在 某些项 目情麦 t骊
使用 ,但 是 ,评 估者仍需要熟悉 它们 。随机 实验 的逻辑是所有 影 响评 估设 △酃撒
据分析 的基础 ⊙
 : 顼删 ——绝夕
z实地实验 163

在重要
出产 生 了 什 么 样 的 效 果 以及 是 否 存
影 响 评 估 用 来 确 定 项 目对 预 期 产
目标 群 体
目效 果 或 影 响 ,是 指 由项 目引 起 的
药意 外 效 果 。 正 如 第 7章 谈 到 的 ,项
清 楚 项 目效
不 是 发 生 在 项 目影 响 之 外 。 因 此 ,弄
熏社 会 条 件 的 变 化 ,即 这 种 变 化
同一 个 问题 。
昊 与 分 析 项 目之 外 某 些 特 殊 因 素 的效 果 是 “
系 基 本 上 建 立 在 概 率 基 础 之 上 。 因 此 ,如 果 说 A导
在 社 会 科 学 中 ,因 果 关
概 率 大 于 我 们 不 引 进 A时 的 相 应
概 率 。这
聂 B” 就 意 味 着 如 果 引 进 A,B产 生 的
仅 当 A首 先 发 生 时 B才 会 发 生
。举
一 表述 并 不 暗 示 B通 常 由 A引 发 ,也 不 是 说
:地 实验 皮说 明 ,一 项 工 作 培 训 计 划 的 目 是
的 减 少 失 业 :如 果 成 功 ,它 将 增 加
参 与者最终
的可 能 性 还 与
参 与 者 都 带 来 工 作 。找 到 工 作
荻 霍用 的 概 率 ,但 并 不 一 定 给 每 个
目参
医 中 的 经 济 条 件 。相 对 地 ,一 些 项
≡训 项 目影 响 之 外 的 因 素 相 关 ,例 如 ,社
工作
≡者 可 能 没 有 项 目的协 助 也 能 找 到
干预 的
廴 有 干 预 或 在 某 些 案 例 采 用替 代
因 此 ,影 响 评 估 中 的 主 要 问 题 是 ,在
将讨论
进 行 干 预 时 的 对 应 效 果 。本 章 ,我 们
尼效 果 。这 类 评估 不可 嚯况下 ,产 生 的预 期 效 果 是 否 会 超 过
— — 随 机 实 地 实 验 。我 们 从 对 影 响 评 估 的 一 些
一 般 的原 则是 :碲 唾决 这 类 问 题 最 常 用 的研 究 设 计
=其
豆本 考 虑 开 始 展 开 讨 论 。
、
;一应充 分 严格 地 师、
事
作和参 与者 保护 的实瑜 开展影响评估的时间选择

顷 目的产 出信 息进 行 菇 进行 阐
的许 多 节 点 都 可 能 相 关 。在 对 政 策
影 响 评 估 与 社 会 项 目发 展 历 程 中
一 目标 最 完善 的研突让
∶ 将真
行 影 响 评 估 ,以 判 断 提 出 的 项 目是 否
嗄妁 阶 段 ,示 范 性 试 验 项 目可 能 需 要 进
的实 验 组和 未接 受 =骊 限的
到 批 准 后 ,这 种 影 响 评 估 通 常 会 在 有
′ 三地 产 生 预 期 效 果 。而 当 一 个 项 目得
验 在 某 些项 目情 境 罚 估 的 结 果 可 能 是 正 面 的 :即 项 目在
扩展其
疋数 览点 同 时 展 开 。在 这 种 情 况 下 ,影 响评
|所 有 影响 评估 设计 主办者
果 。在 许 多 情 况 下 ,革 新 性 项 目 的
,

覆盖 面 之 前 ,已 经 取 得 了 一 定 预 期 效
进 行 影 响 评 估 ,如 果 干 预 效 果
E如 私 人 基 金 ,会 在 有 限 的范 围 内贯 彻 项 目干 预 并
目的 采 纳 。
导到 证 明 ,就 可 以提 高 政 府 机 构 对 项
改和
响 评 估 。 在 一 些 情 况 下 ,项 目需 要 修
实 施 中 的项 目也 经 常 需 要 进 行 影
么 ,修
正 后 的 项 目 目标 。如 果 变 化 是 显 著 的 ,那
完善 以提 高 它 们 的 效 率 或 适 应 修
的
的 合 理 性 ,因 为 它 实 质 上 成 为 了 一 个 新
王过 的项 目就 可 以保 证 实 施 影 响 评 估
。例 如
的 周 期 性 影 响 评 估 项 目也 是 合 理 的
,

项 目。但 是 ,许 多 稳 定 的 、已 固 定 化
们 与其
法 就 是 不 断 评 价 它 们 的 功 效 ,并 将 它
针 对 某 些 高 成 本 的治 疗 方 式 ,基 本 做
期进行评
。 在 很 多 情 况 下 ,长 期 项 目都 需 要 定
他处 理 相 同 问 题 的方 式 进 行 比较
“ ”① 证 明 ,以 获 取 下 一 步 的 项
估 ,因 为 日落 立 法 要 求 为 政 府 资 助 的 项 目提 供 绩 效
代性干预
的 一 种 方 式 ,影 响 评 估 使 项 目免 于 替
目资 金 ;或 者 ,作 为 项 目 回应 抨 击
击。
方 法 或 其 他 公 共 基 金 支 持 者 的抨
“ ”
上 ,所 谓 日落立法 是指
计划都规定期 限 ,并 须 经过特定 的评估 ,否 则不予拨付运作基金 。在法律 ——
① 各项 译者注
,非 经再授权 ,则 行政机关的行政立
法权 自行失效 。
受予行政机关一定立法权 ,经 过一段时间后
164 沔协方法与技术

要 些 使 其 有 意 义 的 先 决 条 件 。首
不 论 在 何 种 情 况 下 进 行 影 响 评 估 ,都 需 一
评估之前
评 估 基 础 之 上 。在 进 行 项 目的 影 响
,

先 ,影 响评 估 建 立 在 早 期 其 他 形 式
目标 表
。项 目理 论 的评 估 应 该 指 出项 目的
评 估 者 需 要 评 估 项 目理 论 和 项 目过 程
影 响评
为 可 能 一 一 这 是 针 对 项 目效 果 进 行
述 十 分 明 确 ,以 使 具 体 的 预 期 效 果 成
目过 程
设 是 ,项 目活 动 产 生 了 这 些 效 果 。项
估 的 必 要 先 决 条 件 。而 且 ,合 理 的假
生预期
了 充 分 实 施 ,从 而 有 机 会 对 干 预 对 象 产
评 估 则 应 该 显 示 出 ,项 目干 预 得 到
施 的 项 目 ,是 一 种
效 果 。评 估 不 合 理 的 、 不 可 测 量 的项 目产 出或 者 是 尚未 充 分 实
:只
以上 诸 多 考 虑 的一 个 重 要 意 义 是
浪费时间、 精 力 和 资 源 的 做 法 ,很 不 值 得 。
应该来
时 间 ,已 经 消 除 了 基 本 实 施 问题 时 ,才
有 当项 目干 预 已经 介 人 了 足 够 长 的
考 虑 项 目干 预 的影 响 。
非常
要 技 术 和 管 理 的 挑 战 ,认 识 到 这 一 `氪
更 为 严 格 的影 响评 估 形 式 会 涉 及 重
者很 难轻
很 难 接 触 的个 人 或 家 庭 ,或 者 说 ,研究
重 要 。社 会 项 目的 目标 群 体 通 常 是
评估设计
和 跟 踪 数 据 。另 外 ,比 较 可 信 的 影 响
松 地 从 他 们 那 里 获 得 项 目产 出资 料
述 的那
。最 后 ,正 如 我 们 将 在 第 ⒓ 章 详 细 论
要 求 有 技 术 和 时 间 这 两 个 因素 的保 证
目标 参
。评 估 者 必 须 不 断 地 培 养 项 目职 员 和
样 ,评 估 研 究 也 需 要 政 治 背 景 的 支 持
这种 内
时 ,还 须 与 要 求 产 生 及 时 、明确 的 发 现
与 者 之 间 的协 作 ,以 引 导 影 响评 估 :同
境中
“ ” 估 之 前 ,评 估 者 应 该 适 当考 虑 对 项 目环
在 压 力 相 斗 争 。 因此 ,在 进 行 影 响评
为
目各 方 会 经 常 询 问 影 响 评 估 的结 果 ,因
可 利 用 资 源 和信 息 的判 断 是 否 充 分 。项
些先决
是 ,他 们 可 能 并 不 会 认 为 项 目的 某
他 们 对 项 目是 否 产 生 预 期 收益 感 兴 趣 ,但
成这一任务是必要 的。
条 件 和 研 究 资 源 对 于 以可 靠 的方 式 完

影响评估的关键概念

且
的 。要 确 定 影 响 的 大 小 ,就 需 要 严 格
本 质 而 言 ,所 有 影 响 评 估 都 是 比较 性
干 预 的 同 等 对 象 进 行 结 果 比较 。在 实
可行 地 将 接 受 某 种 干 预 的对 象 与 接 受 其 他 “
与 者 与 具 有 其 他 经 历 的 类 似 个 体 进 行 比较 。接 受 其 他 干
践 中 ,通 常 将 项 目参 ”
” 其他 干预 意 味着 接 受某些 替代 性 服
预 的对 象 可 能 有 一 个 或 一 个 以上 的群 体 ,“ “ ” 不
已 。用 于 比较 的 同等 对 象 可 以通 过 各 种
务 或者仅 仅 是不 受 特 定 干预影 响而
项
个 群 体 进 行 比较 ,或 者 根 据 所 要 核 查 的
同 的方 式 选 择 ,或 者 选 取 不 同类 属 的几
测 值 进 行 比较 。
目产 出 观 测 值 与 没 有 干 预 时 同样 对 象 的 先
预 之 外 的所 有 方 面 都 是 相 同 的 。
理 想 而 言 ,用 于 比较 的 对 象 应 该 在 项 目干
(但 不 是 相 互 排 斥 的 )方 法 在 有 效 性 上 有 所 差
近 似 于这 一 理 念 的几 个 替 代 性 的
些对
立—— 确 定 控 制 条 件 以保 证 环 境 中 的 某
异 。不 过 ,它 们 都 涉 及 控 制 组 的 建
项
择 对 象 的方 法 是 不 均 衡 的 :本 质 上 ,在
象 没 有 受 到 评 估 干 预 的影 响 。可 用 的选
、
法 更 可 靠 。各 种 方 法 的 成 本 和 所 需 技 术
目影 响 估 计 方 面 ,一 些 方 法 比另 一 些 方
通常
的 情 况 下 ,产 生 更 有 效 评 估 结 果 的 方 法
技 巧 水 平 也 不 相 同 。其 他 条 件 相 同
一 而 言 ,可 以把 影
要 求 有 更 娴 熟 的评 估 技 巧 、 更 多 的时 间投 人 和 更 高 的成 本 。 般
 8 顷溺刻砌估 一刁嗬祝实地实验 165

论 的 主 要 内容 。
义 的先 决 条 件 。首
∶ 响 评 估 的 设 计 方 法 分 为 两 类 ,这 也 是 我 们 接 下 来 将 要 讨

目 的影 响 评 估 之 前 ,

实验 型 研 究设 计 与 准 实验 型研 究设 计
Ξ指 出项 目的 目标 表
干 预 效 果 的方 式
我 们 对 影 响 评 估 可 选 择 方 法 讨 论 的 基 础 是 :最 有 效 地 确 定
E目 效 果 进 行 影 响 评
叫 作 评 估 项 目效 果 的
L些 效 果 。项 目过 程 是 随 机 实 地 实 验 (Rando血 zed屺 1d experiment),通 常 又 被
“ ” 最常见和最基本 的。
寸干 预 对 象 产 生 预 期 黄 金 标 准 研 究 设 计 。随机 实 验 方 法 的实 验 室 描 述 无 疑 是
(Cclntr。 1group),不 受 干 预 或 干 预 无
实 施 的项 目 ,是 一 种 参 与 者 被 随 机 分 成 至 少 两 组 。一 组 为 控 制 组
预 。 同 时 观 察 和 比较 两
一 个 重 要 意 义 是 :只 效 ;另 一 组 则 为 干 预 组 (Intewention group),接 受 项 目干

乏 问 题 时 ,才 应 该 来
∶ 组 的产 出 ,所 得 差 异 就 可 以归 因 于 项 目干 预 效 果 。
对象 被 随机分 派 进
随 机 实 地 实 验 的控 制 条 件 建 立 在 相 似 构 成 基 础 上 。研 究
干 预 。可 能 同 时 有 几 个
艮.认 识 到 这 一 点 非 常 干 预 组 和 控 制 组 ,干 预 组 接 受 项 目干 预 ,控 制 组 则 不 接 受
同时有 几 个 控 制 组
干 预 组 ,每 组 接 受 不 同 的 干 预 或 同 一 干 预 的 不 同 量 ;也 可 能
,

文者 说 ,研 究 者 很 难 轻 “ ”
以 及 项 目干 预 情 境 中 其 他
可 信 的影 响 评 估 设 计 对 每 组 进 行 不 同 的控 制 ,例 如 ,无 干 预 、 安 慰 剂 干 预

帛 12章 详 细 论 述 的那 正 常 可 用 的控 制 类 型 。
准 实 验 (Quasi
所有 剩 下 的 其 他 影 响 评 估 设 计 共 同 组 成 了 非 随 机 的
养 项 目职 员 和 目标 参 (控 制 组 )作 比较
αpe五 ment)方 法 ,其 目标 是 将 参 与 项 目者 (干 预 组 )与 非 参 与 者
,

时、明确 的发 现 这 种 内
组 所 需 的基 本 条
Ξ当考 虑 对 项 目环 境 中 这些 非参 与者在 主 要 变 量 上 与 参 与 者 相 似 。 因 为 缺 乏 随 机 分
影 响评 估 中建 立 非
彭垧 评 估 的 结 果 ,因 为 件 ,所 以这 些 方 法 被 叫 做 准 实 验 设 计 。 下 一 章 内 容 将 讨 论 在

J、 为项 目的某 些 先 决 随机 控 制 组 的 主 要 方 式 。
出方 面 具 有 更
使 用 非 随 机 控 制 设 计 一 股 比执 行 良好 的 随 机 实 地 实 验 ,在 产
地 实验 通 常是 影 响
低 可 信 度 。 因此 ,从 项 目产 出评 估 有 效 性 的 立 场 上 看 ,随 机 实
时 ,准 实 验 方 法 对
评 估 方 式 的最 佳 选 择 。然 而 ,当 实 施 随 机 实 验 不 实 际 或 不 可 能
于影 响评 估 也 是 有 用 的 。
施 影 响评
评 估 项 目效 果 的 不 同 研 究 设 计 的 优 势 相 弱 点 ,这 些 设 计 方 案 下 实
(这 方 面 的 经 典 文 章 请 参
的大 小 ,就 需 要 严 格 且 估 并 分 析 结 果 数 据 的 技 术 细 节 ,都 是 评 估 的 重 要 话 题
-些
艮进 行 结 果 比较 。在 实 ,mb:campb觇 &Stanley1966,Cook&Campbd11979;评 翟拓旨百r以 杓≡以下 的 一 论
“ 乡有 用 的作勤急 :shadish,Cook,&Campbe11,2002禾 口Mohr,1995)。
亍比较 。 接 受 其 他 干 述 中发 现 更 望
未着 接 受 某 些 替 代 性 服 “ ” “ ”
” 完美 与 足 够 好 的影 响评 估
对 象 可 以通 过 各 种 不 “ ”
响评 估 设
文者 根 据 所 要 核 查 的 项 由于 某 些 原 因 ,评估 者 会 经 常 面 对 这 一 问 题 :实 现 真 正 最 好 的 影
对 象 范 围 内不
计 非 常 困难 。首 先 ,在 技 术 上 最 好 的设 计 ,因 为 在 干 预 群 体 或 目标
机实验就可能
昕有 方 面 都 是 相 同 的 c 适 用 而 只 能 被 放 弃 。例 如 ,在 伦 理 和 实 践 上 与 人 性 问 题 相 关 的 随
总是 会 限制
歹法 在 有 效 性 上 有 所 差 被 评 估 者 弃 用 ,而 换 用 不 太 严 格 的设 计 。第 二 ,时 间 和 资 源 的 有 限 性
(经 常 是 花 费 最 大 的 过 程 )会 随
贞保 证 环 境 中 的 某 些 对 设 计 方 法 的选 择 。第 三 ,对 最 好 评 估 设 计 的 证 明
重 要 的 项 目 (因 为
不均 衡 的 :本 质 上 ,在 项 着 项 目干 预 重 要 性 和 干 预 产 出 的 预 期 利 用 而 不 同 。 同样 ,一 个
重 要 性 的项 目)
法 的成 本 和 所 需 技 术 、
Γ 试 图改 善 一 个 非 常严 重 的条 件 或 采 纳 一 种 有 争 议 的 干 预 而 具 有
些 实 验 项 目可
玟评 估 结 果 的 方 法 通 常 应该 进 行 比其 他 项 目更 为 严 格 的 评 估 。 而 在 其 他 极 端 情 况 下 ,某
吏二一 般 而 言 ,可 以 把 影 能根 本 就 不 用 进 行 影 响评 估 。
166 沔协方法与技术
选择
们 的 立 场 是 :评 估 者 必 须 了解 设 计 ”
为 了 确 定 具 体 评 估 的 最 合 适 设 计 ,我 “ 屋宇
金标准 而
哪 个 设 计 总 是 最 好 的 ,并 能 作 为 黄
的 范 围 。选 择 总 要 涉 及 权 衡 ,没 有 “ ” 教字
。简 单 来
计 时 ,我 们 提 倡 用 足 够 好 的 原 则
被 广 泛 应 用 。相 反 ,在 构 筑 研 究 设 计算
” 在考虑结果潜在重要性 、 每一 设 计 的实 用 性 和
说 ,“ 足 够 好 原 则 就 是 评 估 者 应 该 与者
选择最
可 结 果 的 可 能 性 以 后 ,从 方 法 论 角 度
可 行 性 以及 所 选 设 计 产 生 有 用 及 靠 丰的
谨 的影 响
们将首 先关注在方法论 上最严
可 能 的设 计 方 案 。在 本 章 剩 余 部 分 ,我 1997
评 估设 计一一 随机 实地 实 验 。
≡则

随机实地实验 支隽
≡由
石个
和未 受干
念 化 为 接 受 特 殊 干 预 的 目标 群 体
如 前 所 述 ,项 目产 出或 影 响 可 被 概
程 度 的项
“ ” 。如 果 两 组 完 全 对 等 ,并 将 受 到 相 同
预 的 对 等 群 体 在 产 出方 面 的差 异
目影 响 。影
出 之 间 的任 何 差 异 就 应 该 代 表 着 项
目外 因素 变 化 产 生 的影 响 ;刀 阝么 ,产
。
的 目的 ,是 分 离 和测 量 任 何 此 类 差 异
响评 估 的 目的 ,尤 其 是 随 机 实 地 实 验 (其 成 员 不 参
,就 是 形 成 一 个 控 制 组
以这 种 方 式 评 估 项 目影 响 的 最 重 要 因素 ”
着 以下
目 此 之 外 ,其 他 方 面 与 参 者 相 同 )。 由于 这 些 目的 ,“ 对 等 意 味
与项 ,除 司
这些意义 :

制 组 由 同样 的人 员
・构 成 一 致 :按 照 与 项 目和 结 果 有 关 的 特 性 ,干 预 组 和 控
或单位组成 。
对 同 样 的 项 目环 境
・趋 向一 致 :在 没 有 干 预 的 条 件 下 ,干 预 组 和 控 制 组 面
,

况。
且 具 有 同 等 可 能 性 达 到 既 定 的 产 出状
的与 时 间有 关 的
・经 历 一 致 :在 整 个 观 测 过 程 中 ,干 预 组 和 控 制 组 经 历 同 样
过 程 :成熟 、 长期趋 向 、 干扰事件等 。
匹
两两对等地分别 与干预组和控制组
尽 管 在 理 论 上 ,可 以通 过 将 研 究 对 象
乎 是 不 可 能 的 。没 有 两 个 个 体 、 家庭或其
配 达 到 完 全 相 同 ,但 这 在 项 目评 估 中几
的 。干 预
幸 的 是 ,一 对 一 的 相 同 并 不 是 必 要
他 单 位 在 所 有 方 面 都 是 相 同 的 。所
。对
项 目的 预 期 产 出 有 关 的 方 面 一 样 即可
组 和控 制 组 只需 在 群 体 意 义 上 与评 估
根本 有
没
干 预 组 和控 制 组 成 员 在 出生 地 、 年 龄 方 面 不 同 的 项 目进 行 影 响 评 估 是 分 :

的干
出变 量 。另 一 方 面 ,任 何 与 研 究 结 果 相 关
关 系 的 ,只 要 这 种 差 异 不 影 响 到 产
目效 果 估 计 值 上 的偏 差 。
预 组 和 控 制 组 之 间 的 差 异 ,都 将 引 起 项

使 用 随机 选 择 建 立对 等 性
好 方 式 ,就 是 使 用 随 机 选 择 将 对 象 群
获 得 干 预 组 和 控 制 组 之 间对 等 性 的最
一 种 确 定 个 体 (或 单 位 )是 接 受 项 目干 预 或 替
体 的成 员 分 配 给 这 两 组 。随机 化 是 “ ”
种意义上 的 随机 并 不意 味着偶 然 或
代 性 控 制 条 件 的程 序 。需 要 指 出 的是 ,这
证对象
干 预 组 和控 制 组 需 要 非 常谨 慎 ,以 保
反 复无 常 。相 反 ,将 对 象 随机 分 配 给
被选 择 进 任 意 组 。
群 体 中 的每个 单 位 都 有 同样 的机 会
 : 顷硎 一冂疃硼实地实验 167

分派
者 就 必 须 使 用 以概 率 为 基 础 的精 确
必 须 了解 设 计 选 择 要 创 造 一 个 真 正 的 随 机 配 置 ,评 估
经常使 用 随机
” 轮盘赌 、 掷 骰 子 等 。 为 方 便 起 见 ,研 究 者
“
作为 黄金标 准 而 程 序 ,例 如 ,随 机 数 字 表 、
有 附 带 ,许 多
级 统 计 或 样 本 抽 样 的教 科 书 中都
¨
孓 的 原 则 。简 单 来 数字 表 。随机 数 字 表 在 大 多 数 初
每一个参
随 机 数 字 的 子 程 序 。影 响 评 估 中 ,对
一设 计 的实 用 性 和 计算 机 统计 软 件 包 也 包 含 有 产 生
⒎ 随机数表
选 择 完 全 基 于 下 一 个 随 机 结 果 ,例 如
方法论角度选择最 与 者 进 行 分 组 的基 本 步 骤 是 确 保
、 参 见 Bom山
数 )(对 如 何 实 施 随 机 化 的讨 论 ,请
,

:论 上 最 严 谨 的 影 响 中 的下 一 个 数 字 (例 如 ,奇 数 或 偶
1997;Bomch&W° thke,1985)。 不定
偶 然 的 ,所 以 ,除 非 这 种 机 会 波 动
,

因为 干 预 组 和控 制 组 之 间 的差 别 是
上都是相等 的。
对 照 的任 何 其 他 影 响在 两 组 对 象
否则 ,与 产 生 项 目产 出 的 干 预 相
果让人们
背 面 朝 上 的 几 率 相 等 一 样 。例 如 ,如
就 像 将 一 把 钱 币 抛 向空 中 ,正 面 相
等 的 。所 以
干 预 组 和 控 制 组 的概 率 应 该 是 相
,

自由 选 择 ,由 于 随 机 化 ,那 么 选 择
干预 。
两 个 组 将 有 同 样 比例 的人 趋 向 于 接 受
的 目标 群 体 和 未 受 干 和 控 制 组 绝 不 会 完 全 可 比 。 例 如 ,可
能碰
当然 ,即 使 采 用 随 机 分 组 ,干 预 组
将 受 到 相 同程 度 的项 。但 是 ,如 果 反 复 做 随 机 安 排 ,这
些变化就会平
巧 进 人 对 照 组 的妇 女 比实 验 组 多
∶代表 着 项 目影 响 。影 可 以计 算 出 在 一 系 列 随 机 化 过 程 中 ,对
具有任
均 化 到 零 。用 合 适 的统 计 模 型 ,就
何此类 差 异 。 。 因 此 ,干 预 组 和 控 制 组 在 产 出 方
面
′ 何特 性 、 规 模 差 异 的对 象 进 行 随 机 化 的 次 数
控 制 组 (其 成 员 不 参 (即 随 机 过 程 )的 期 望 值 进 行 比较 。这 样 ,统 计 著
显
” 的任 何 差 异 ,都 可 与 基 于 机 会
,.¨ 对 等 意 味 着 以下 性 引 起 ,从
因偶 然 性 而 发 生 ;或 者 不 是 由偶 然
性检 验 容 许 判 断 某 种 差 异 是 否 仅 仅
预组 和控
运 作 良好 的 实 验 中 ,项 目干 预 是 干
而 ,更 能 代 表 干 预 的 效 果 。 因 为 ,在
控 制 组 由 同样 的 人 员 种 评 价 成 了 辨 别 项 目效 果 存 在 的
剞组之 间 的 、 除 偶 然 性 外 的 唯 一 差 异 ,所 以 ,这
论 的教
相 当 简 单 的 ,可 以 在 任 何 关 于 统 计 推
基础 。进 行 这 种 计 算 的 统 计 程 序 是
盯对 同 样 的 项 目环 境 ,

科 书 中找 到 。
的案 例
一 重 要 暗 示 是 ,影 响 评 估 需 要 有 较 多
偶 然性 和统计 显 著 性 检 验 的 个
组 之 间就 越
F同 样 的 与 时 间 有 关 的 制 组 的 案 例 数 量 越 大 ,那 么 ,组 与
乍为 基 础 。 随 机 分 配 到 干 预 组 和 控
的偏 离 正
于 将 1000枚 硬 币 抛 向 空 中 所 得 到
具 有 统 计 上 的 对 等 性 。其 原 因类 似
一 组评
抛 两 枚 硬 币 时 的 相 应 概 率 低 。如 果 每
I与 干 预 组 和 控 制 组 匹 支面 向 上 次 数 均 等 的 可 能 性 要 比仅
中
不 大 可 能 妥 善 地 进 行 影 响 评 估 ,因 为 其
有两个个体 、 家庭或其 钻对 象 仅 有 一 个 或 少 量 的研 究 单 位 ,就
之相 关
计 上 的 显 著 差 异 。这 一 问 题 以及 与
弓并 不 是 必 要 的 。 干 预 匪何 数 量 个 体 间 的 不 均 衡 将 会 导 致 统
妁其 他 内容 将 在 第 1o章 进 行 更 加 全
面 的讨 论 。
走的方 面 一 样 即 可 。对
亍影 响 评 估 是 根 本 没 有
分析 单位
可与 研 究 结 果 相 关 的 干 位
被 称 作 分 析 单 位 。影 响 评 估 的 分 析 单
|偏
差。 影 响 评 估 中所 禾 用 的 产 出测 量 单 位
邻里、
、
及 各 种 不 同 的 对 象 ,包 括 个 人 、家 庭
卉 不 必 然 是 个 人 。社 会 项 目也 许 要 涉
地
到 整 个 国 家 的 政 治 权 力 机 构 。尽 管 实
吐区、 学 校 和 商 业 公 司 等 组 织 ,以 及 从 县
一种单
的 小 和 复 杂 性 的 增 大 而 增 加 ,但 是 ,从
良用 随 机 选 择 将 对 象 群 实验 的 成 本 和 难 度 可 能 会 随 单 位 大
并对
是 不 变 的 。例 如 ,执 行 一 项 实 地 实 验
D是 接 受 项 目干 预 或 替 立到 另 一 种 单 位 ,影 响 评 估 的逻 辑 思 想
级 或 学 校 进 行 比较 评 估 要 容 易 得
” 2∞ 名 学 生 搜 集 数 据 ,通 常 比对 同 样 数 量 的 班
E机 并 不 意 味 着 偶 然 或
导非 常 谨 慎 ,以 保 证 对 象 多 ,而 且 评 估 成 本 低 得 多 。
通过大
服 务 送 达 的 对 象 单 位 决 定 。 旨在
分 析 单 位 的选 择 由 干 预 的性 质 和 被
168 评估f方 法与技术

宗 拨 款 给 当地 市 级 机 构 来 影 响 社 区 的 项 目 ,其 研 究 单 位 就 是 市 级 机 构 。请 注 意 .

在 这 种 情 况 下 ,每 一 个 市 级 机 构 将 构 成 分 析 的 一 个 单 位 。 因 此 ,通 过 对 比 两 个
市
级 机 构 进 行 的 拨 款 的影 响 评 估 ,其样 本 大 小 是 2(这 对 许 多 统 计 目的 而 言 是 全
完
不 够 的 ),尽 管 可 以在 每 一 个 社 区 内分 别 进 行 大 量 的 个 体 观 测 。
试 图设 计 影 响 评 估 的 评 估 者 应 该 把 被 指 定 的 单 位 作 为 研 究 干 预 的 对 象 看
待 ,并 指 定 为 分 析 对 象 。在 大 多 数 情 况 下 ,确 定 分 析 对 象 是 很 明 确 的 ;在 其 他 一
些 情 况 下 ,评估 者 则 需 要 仔 细 揣 摩 项 目设 计 者 的 意 图 。在 另 一 些 情 况 下 ,干 预 要
涉 及 一 种 以上 的对 象 :如 ,住 房 补 贴 项 目可 能 旨在 提 高 各 贫 困 家 庭 的 居 住 水 平 和
当 地 住 房 储 备 。这 里 ,评 估 者 可 能 希 望 设 计 一 种 由 当 地 社 区 内 家 庭 样 本 组 成 的
影 响 评 估 。 这 样 一 个 设 计 将 涵 盖 两 类 分 析 单 位 ,以 评 估 项 目活 动 对 单 个 家 庭 住
房 以及 社 区 住 房 储 各 的 影 响 。这 种 多 层 级 设 计 与 仅 有 一 个 分 析 单 位 类 型 但 却 包
含 更 为 复 杂 统 计 分 析 的 实 地 实 验 遵 循 同样 的 逻 辑 。

随机 实验 的逻辑

专 栏 8— A列 出 了一 个 简 单 的 “干 预 前 一 后 ”随 机 控 制 实 验 的示 意 图 ,阐 明 了
随 机 实 验 进 行 项 目效 果 评 估 的 逻 辑 。 在 项 目实 施 前 后 ,分 别 计 算 干 预 组 和
控制
组 产 出 变 量 上 的平 均 值 变 化 。如 果 组 与 组 之 间 (除 项 目参 与 者 之 外 )对 性
等 的假
设 是 成 立 的 ,控 制 组 变 化 的 数 量 就 代 表 着 在 没 有 接 受 项 目干 预 的 成 员 身 上 所 可
能 会 发 生 的产 出数 量 。 当 把 这 个 数 值 从 干 预 组 产 ,出 变 量 的 变 化 值 中 减 去 时
,剩
下 的 变 化 量 就 直 接 意 味 着 项 目效 果 。
但 是 ,干 预 组 和 控 制 组 之 间 的 差 异 (专 栏 8— A中 的 I减 C),也 可 以 来 自最
初 随 机 样 本 配 置 时 的 统 计 因 素 。 因 而 ,干 预 组 和 控 制 组 之 间 平 均 结 果 的
具体数
字 差 异 并 不 能 简 单 地 被 解 释 作 项 目效 果 。 我 们 必 须 提 供 一 种 合 适 的 统 显
计 著性
检 验 ,以 判 断 某 种 程 度 上 的 差 异 是 否 由偶 然 性 所 致 。适 用 于 这 种 情 形 一
的 些常
规 统 计 检 验 包 括 t检 验 、方 差 分 析 和 协 方 差 分 析 (用 先 测 值 作 为 协 变 量 )。
专 栏 8— A的 示 意 表 达 式 将 效 果 表 示 为 干 预 前 和 干 预 后 产 出 的 差 异 。不 过
,

对 某 些 类 型 的产 出 ,我 们 不 可 能 确 定 干 预 前 的 测 量 值 。例 如 ,在 ˉ
个 预 防性 的项
目中 ,在 项 目服 务 送 达 之 前 ,通 常 不 会 出 现 体 现 预 防 对 象 的 相 应 产
出 。我 们 可 以
看 一 下 预 防 青 少 年 怀 孕 的 一 个 项 目 ,虽 然 也 针 对 那 些 尚 未 怀 孕 的 少
“ 青 年 ,但 是
”
怀 孕 却 是 项 目意 欲 影 响 的 主 要 产 出 。 同样 ,帮 助 高 中生 进 人 大 学 的 项 目
,其 主
要 产 出 也 只 能 在 干 预 之 后 才 看 到 。但 是 ,如 果 条 件 允 许 的 话 ,同 时
获得干预前和
干 预 后 的 测 量 值 ,往 往 具 有 统 计 上 的 优 势 。例 如 ,当 进 行 干 预 时
,获 得 每 一 个 初
始 点 的测 量 值 ,将 会 使 项 目效 果 评 估 的估 计 值 更 加 精 确 。

C=C2~c1
 召 顼蛳 ——随矽z实地实验 169

廴机 构 。请 注 意 ,
项 目效果 =I-C,其 中 :

⒒,C1=项 目开始前 ,干 预组 和控制组各 白的产 出变量测量值 。

通 过 对 比两 个 市
⒓ ,C2=项 目完成后 ,干 预组 和控制组各 白的产 出变量测量值 。
目的而 言 是 完 全
I, C=干 预组和控制组各 自的总产 出。
究干 预 的对 象 看
目确 的 ;在 其 他 一
些情 况 下 ,干 预 要 影 响评 估 中随机 实验 的几个 例 子
:莛 的 居 住 水 平 和 有 几 个 例 子 可 以说 明应 用 于 影 响 评 估 中 的 随 机 卖 地 实 验 方 法 ,也 可 以解 决
|家 庭 样 本 组 成 的 现实 生 活 中遇 到 的 一 些 困难 。专 栏 8— B描 述 了 一 项 旨在 评 价 改 变 学 生 不 良饮
;动 对 单 个 家 庭 住
食 习惯 干 预 效 果 的随机 实 验 。这 里 ,有 几 个 实 验 特 性 是 有 关 的 ,需 要 注 意 :第 一 ,

单 位类 型但 却 包
亍 分析 单 位 是 学 校 ,而 不 是 学 生 个 体 ;然 后 ,将 所 有 学 校 分 配 到 干 预 组 或 控 制 组 。
第 二 ,多 元 产 出测 量 包 括 了多个 营养 干 预 目标 ,另 一 个 重 要 的方 面 是 用 统 计 检 验
帮助 判 断 (干 预 组 的能 量 摄 取 总 量 和从 脂 肪 中摄 取 能量 较 少 时 )净 效 果 是 否 只是
随机 误 差 所 致 。
∶的 示 意 图 ,阐 明 了
专 栏 8— C描 述 了 一 项 旨在 评 价 案 例 管 理 效 果 的 随 机 实 验 。该 案 例 管 理 是
十算 干 预 组 和 控 制
由前 面 的精 神 病 患 者 项 目提 供 的 ,与 通 常 的 精 神 健 康 人 员 提 供 的 案 例 相 关 。这
之 外 )对 等 性 的 假
个 例 子 说 明 了利 用 实 验 设 计 比较 服 务 改 革 与 例 行 服 务 的 效 果 。尽 管 这 个 设 计 不
页的 成 员 身 上 所 可
能 说 明相 对 于 无 案 例 管 理 的 对 照 是 否 有 效 果 ,但 说 明 了 一 种 不 同 的 方 法 是 否 比
化 值 中减 去 时 ,乘
∶
现 在 的方 法 更 好 。这 项 影 响 评 估 的 另 一 个 有 趣 的 方 面 是 参 加 实 验 的 人 员 样 本 。
尽管 合 格 的 案 例 管 理 职 员 代 表 组 是 征 召 来 的 ,但 是 乃 %的 人 拒 绝 参 加 (当 然 ,这
C),也 可 以来 自最
是 他 们 的 权 利 ),这 样 便 留下 了关 于 这 一 实 验 结 果 是 否 能 推 广 到 所 有 合 格 职 员 的
平均 结 果 的 具 体 数
闩题 。这 是 相 当典 型 的 服 务 情 形 (影 响 评 估 中 不 能 覆 盖 所 有 合 适 对 象 的 原 因 总
台 适 的统 计 显 著 性
是 多 样 化 的 )。 即便 覆 盖 所 有 的合 适 对 象 ,也 可 能 因 为 其 他 原 因 而 不 能 得 到 最 终
这 种 情 形 的一 些 常
的产 出测 量 值 。在 专 栏 8— C所 描 述 的 实 验 中 ,评 估 者 是 幸 运 的 ,%个 参 与 者 中
为协 变 量 )。
±出 的差 异 。 不 过 ~ 只有 2个 因不 能 完 成 服 务 而 缺 失 ,3个 因不 能 完 成 一 年 跟 踪 而 缺 失 。
.在 一 个 预 防 性 的项
蚕立 产 出 。我 们 可 0
下孕 的 青 少 年 ,但 是 一 项 旨在 改变在校 学生饮食 习惯 的示范项 目实验
入 大 学 的 项 目 ,其 主
按 照推荐 的饮食容量 ,一 股美 国人 消费来 源于脂 肪 的能量 过 多 ,特 别 是 饱 和脂 肪 ,而 且 ,钠 的消
~同 时 获 得 干 预 前 节 血 系统 研 究 所 发 起 了
责量也太高 。这些 消费类 型与冠 心病 和肥胖 症 的高 发率 有 关 。因此 ,心 、 肺、
顷 时 ,获 得 每 一 个 ——
= 一项 旨在改 善在 校 学 生 营 养 吸 收 的 随机 实 地 干 预 实 验 丿L童 和 青 少 年 心 血 管 健 康 实 验 (The
Cluld and Adolescent Trial for C盯 山ovascular Health,CATCH)。

儿童和青少年心血管健康实验是一项随机控制实地实验。在这个实验中 ,基 本单位是加州、
路
明尼苏达州和德克萨斯州的 9t,所 小学。把其 中的 56所 学校随机分配作为干预 组 ,另
弓斯安娜州 、
i′
硐 所学校则作为控制组。干预项 目包括举办训练班、
给饮食服务人员讲授均衡 营养菜谱基本原
差值 差以及提供达到这一 目的的食谱和菜单。同时 ,针 对教师举办关于营养和实践的训练班 ,说 服管理
I=⒓ -n 改变学生的体育课程。另外 ,项 目方努力将有关营养的信息送达给参与项 目学生的父母 。
`员
C=C2— C1 通过在项 目开始时以及 19%年 对儿童进行 ⒛ 小时饮食摄人的访谈 ,结 果显示 :接 受干预学校
170评估 ;方 法与芨术
和 最好 的
的儿 童食 物 总摄人量 、 总脂肪 和饱 和脂 肪摄 人 的能量低 于对 照组 学 校学 生 ,但 是 ,两 者 在 胆 固醇
以 里 的食 物类 型变化 既有学校 持费是
钠 的摄人量 上没有差异 。因为测量 包 括 ⒛ 小 时 内的所有 食物 ,所 ,这
血 中的胆 固醇 水 平 没 有 显 著 下 5项 系
午餐 中的 ,也 有其他膳食 中的 。还有 ,在 接 受 干预 的学 校 中 ,学 生 液
固醇水平 并 没 有下 降 ,也 不 比对 会办公
降 。重要 的是 ,研 究 者发现 :在 被纳人干 预组 的学 校里 ,学 校午 餐 胆
不 同形
照组学校低 。
行 了料
资 料 来 源 :R Ⅴ Lueplcer,C L Pc唧 ,s M Mckiday,P R Nadcr,GSP盯 ce1,E J stone,
厂u,“ Outcomes 面遇囝
L S, 环℃bber,J. P E1der,H, A Feldman,C C, John son,s H Kelder,and M 珥
ty: The Chi1d and Adolesccnt
of a Fleld T△ al to Improve Children’ s Die妇 吲 Pattems and Physical Actl“ 受抑

⒇圉
,

d qf访 e⒕ naezlcoⅡ 〃edjcΩ J⒕“ocjo莎 jo屁 , 1996,275

TⅡ al for Cardlov凼 cLllar Healtll(CATCH),” Jo叻 r乃
Resear
(March):768刁 76

的病 人 提 供 强 化 病 例 管 在
费城 的一个社 区精 神 健 康 中 心 主要 为诊 断有 精 神 病 或 有 显 著 治疗 史
(asscItive comllluni坪 tre甜 ment,ACT)来 帮 助有 各 年 收入
理 。病例管 理员采用 一 种 有 把握 的社 区治疗 模 式
题 :经 讠
康 复 和社 会 活 动 。病 例 管 理 队伍 由一 位 病 例 管 理 员 及
种 问题 的病人 ,为 他们 提供服务 ,包 括 住 房 、
实
其指导 下 的、受过训 练 的精神病康复 人员组成 。
九e
(lf° 氵
提 供 服 务 。这 个 社 区精
提供精神 健康 服务 的最 近趋势 是 ,由 白身 患有 精 神病 并 接 受治 疗 的人
150%丿
对 象 作 为管 理 员 更 有 效 果 。病
神健康 中心感 兴趣 的是 ,用 服务对 象 作 为病 例 管 理 员 可 能 比非 服务
庭的收
人 因其 自身 经历可 能对精神病 有更深 的理解 、 与病人 能建 立 较好 的感 情 纽带 ,因 此 可 能产生 更合 适
没有人
的服务计 划 。
者 进 行 了一 项 实 这个 家
为 了研究服务 对象病例管 理相对 于精 神 健 康 中心通 常病 例 管 理 的效 果 ,评 估
的 %名 给予 了 条件 由
地 随机实验 。开始 时 ,128名 合格 的病人被征 召参 与这 项研 究 ;32人 拒绝 参 与 ,剩 余
服务对 象组成 ,作 为 当地 何收
书面 同意 ,并 被 随机分配 到通 常病例 管理组或实 验 组 。实验组 由精 神健 康 ^实
服务对象举 办 的倡导 和服务 组织 的一 部分 。
家庭讲
分别在分 配病例管 理 的开始 、 一 年 后 ,通 过 访谈 和标 准 化 测 量 搜 集 数 据 。测 量 值 包
一 个 月后 、
住 院治 疗 、急诊 室 就 分配鲜
括社会效 果 (住 房 、 就业 、
收人 、
拘 留、 社 会 网络 )和 临床效 果 (症 状 、功 能水 平 、
们 。杓
医、医疗态度 和顺从 、对治疗 的满 意程 度 、生 活 质量 )。 为 了获得 具 有 统计 意 义 的测 量 结 果 ,评 估 煮
这 种 比较 集 的蛩
对样本 规模 和统计 分析 进行 了规划 ,特 别关 注 了不 出现有 意义 差异 的可 能性 ,这 将 是进行
一起挝
一
的重要发现 。在 %个 参 与者 中 ,%个 在研究期 间继 续接 受 服务 ,91个 被 确 定 在 年
的跟踪 观察 中
工 作丬
接受访谈 。
￡
组 的任 何 其 他
除 了服务对象病例管 理组 的病 人 报告 对 治 疗 不 太满 意 和 与家 人 接 触 较 少 外 ,两
庭错 文
行 进 一 步 的研 究
产 出测量值 间没有发 现统计 上 的显 著 差异 。虽 然有 必要 对 这 两 个 不 利 的产 出进
,

家庭 9
服务对 象 与非 服务
但评估者 根据 主要 产 出的相似性 作 出结论 :在 这 一 特殊 的服务 模 式 中 ,精 神健 康
相 关 的就 业 资料 歹
对 象 一 样 ,具 有 同样 的能力 来 管 理 病 例 。而 且 ,这 种 方 法 会 为 前 面 的精 神 病 患 者 提 供
Acade
机会 。

资料来 源 :Phy11is Solomon and Jcfflcy Dn血 e,“ One Year Outcomes of a Randomlzcd T五 al of Consumer
￡0@J△ a莎 jo屁 @nd Prog厂 0吼 PJon瓦
jnbJ,1995,18(2)△ 17-127
Casc Managemcnt”
随 lJ

专 栏 8— D描 述 了 一 项 曾 经 在 评 估 领 域 做 的 、与 国 家 政 策 有 关 的 、
最大 的和
 : 页咖 一 η 罅汐z实地实验 171

E是 ,两 者 在 胆 固醇 和 完 整 家 庭 (两 配 偶 )提 供 收 人 维
最 好 的 实 地 实 验 。这 个 实 验 是 为 了 确 定 向 贫 穷 、
食物类 型变化 既有 学校 持 费 是 否 会 引 起 他 们 的有 偿 工 作 量 减 少 ,即 ,使 得 工 作 积 极 性 受 挫 。这 项 研 究 是
E彐 醇水 平 没 有 显 著 下 5项 系 列 研 究 中 的 第 一 项 ,每 — 项 与 其 他 项 稍 有 不 同 ,这 一 系 列 研 究 是 由经 济 机
L丰 没有下
降 ,也 不 比对 会 办 公 室 和 健 康 教 育 福 利 部 (后 续 机 构 ,健康 和 人 类 服 务 部 )管 理 的 ,目 的 是 检 验
不 同形 式 的 收 人 保 障 及 其 对 穷 人 和 准 穷 人 工 作 努 力 程 度 的 影 响 。 5个 实 验 均 进
S Parcel, E J stone. 行 了相 当 长 时 间 ,最 长 的 一 个 进 行 了 五 年 多 ;所 有 的 实 验 都 在 参 与 家 庭 的 合 作 方
如 dM Wu,“ Outcomes 发 现 :收 人 维 持 费 的 给 付 引 起 了 工 作 积 极 性 的 微 小
面 遇 到 了 困难 ;所 有 的 实 验 者阝
Le Chi1d and Adolescent
△Jsr,cj@rlon, 1996, 275
受 抑 ,特 别 是 对 青 少 年 和 有 孩 子 的 母 亲 (次 要 劳 动 力 )(Mathemauca P。 hcy
Research, 1983; Robins et a1。 , 198O; Rossi and Lya11, 1976; SRI Intemationa1,
1983)。

t看 人 提 供 强 化 病 例 管 在 ⒛ 世纪 ω 年代末期 ,当 关心贫 困的联邦 官员开 始考 虑 改变 福 利政 策 、

向所 有 家庭 提供 某 种
吐nt‘ ACT)来 帮 助 有 各 年收人保证 时 ,经 济机会 办公 室 (OEO)发 起 了一项 大规模 的实地 实 验 ,以 检验项 目中的一个 关 键 问
三由一位 病 例 管 理 员 及 题 :经 济预测 理论认 为 ,向 贫 困家庭 给付补充 收人会 产生抑 制效果 。
实验 开 始 于 1968年 ,由 新 泽 西 州 普 林 斯 顿 的 一 家 研 究 公 司一 计量政策研究公 司
(lfΩ 腕e叼 色‘
泌己)和
威斯康 星 大 学 的贫 困研 究 所 执 行 ,为 期 三 年 。研 究 的对 象 群 体 是 收人 在 贫 困线
是拱服务 。这 个 社 区精
方管理 员 更 有 效 果 。病 男 主人 的年龄 为 18~58岁 的完整家庭 。设 定 当时 的贫 困水平 和报酬 的征税 率 (根 据 家
1sO%以 下 、
F.因 此 可 能产生更 合适 莛的收人 调节 ),8个 实验条件 由各种 收人保 障组合 构 成 。例 如 ,在 其 中一 种条 件 下 ,如 果 一 个 家庭
没有人挣 钱 ,这 个家庭便 接受 当时贫 困水平 125%的 保 障 收人 。但 是 如 果他 们 的计 划 有 sO%的 税 ,

∶
.评 估者 进 行 了一 项 实 这个家庭 的某 个成员有 收人 ,他 的工作 收人每增加 1美 元 ,就 减少 0美 分 的保 障收人 。其他 的实验Dˉ

≡ 剩余 的 %名 给予 了 条件 由⒛ %~⒛ %的 税 率 和相 当于贫 困线 的 50%~125%的 保 障 收入 水 平 组 成 。对 照 组 由没 有 任

艮务对象组成 ,作 为 当地 何收人 的家庭 组成 。
实验在新泽西州 的 四个 社 区和 宾夕 法 尼 亚 州 的一 个 社 区 进行 。开 始 时 ,进 行 了一 项 大 规模 的
量麦集 数 据 。测 量 值 包 家庭调查 以确定合格 的家庭 ,然 后邀请 那些合格 的家庭参 与实验 。如果他们 同意 ,随 机将 这些家庭
二 住院治 疗 、急诊室就 分配给实验组之 一 或对 照 组 。实 验 组 家 庭 报 告 他 们 的月 收人 ,如 果 能 转 账 支 付 ,便 将 支 票 邮 给 他
蚤
义 的测 量 结果 ,评 估 者 们。在进人项 目之前 和在实验进行 三 年 中的每个 季度 末 ,对 参 与家 庭 进行 详 细访 谈 调 查 。访 谈 搜
≡ 这将 是进 行这 种 比较 集 的数据包 括就业 、收人 、 健康 和各种社会 心理 指标 。然后 ,研 究 者对 这些数 据 与月 收人 报 告
消费 、

乏在一 年 的跟 踪 观察 中 一起进行分析 ,确 定相对 于对 照组 的可 比家 庭 而 言 ,接 受 报酬 是 否 削弱 了他 们 的 工 作 努 力 程 度 (按

工作小 时数测量 )。

∶
少 外 ,两 组 的任何 其 他 尽管开始招 收了大约 1300个 家庭 ,但 是 到实 验 结 束 前 ,” %的 家庭 停 止 了合 作 。其 他 一 些 家
=彐 进 行 进 一 步 的研 究 庭错过 了一 次或 一 次 以上 的调查 ,或 者 在不 同的时期 退 出了实验 。剩 下 的连续参 与 的 、
可供 分析 的

霆 隶服务对 象 与非 服务 家庭不 到 ⒛ 0个 。结果是 实验组家庭 的工 作努力程度 降低 了 5%。

亏恿 者 提 供 相 关 的就 业 资料来 源 :D Kcrshaw and J Fair,%e肠 v乃 Ⅱey‰ co化 -Ⅰr@沅 莎

e屁 @,ace EYP召 而menJ,Ⅴ o11:New York:
Academic P∞ ss,1976,

omlzed Thal of Consumer

随机 实 地 实 验 的先 决 条 件

良有 关 的 、最 大 的 和 在影 响评估 中 ,进 行 随机评估设计 的必要性得 到 了广泛认 同 ,关 于如何 提高

172 评佑;方法与技术

随机 评 估 成 功 率 的 文 献 不 断 ± 曾多 (Bon】 ch, 1997; Dennis, 1990; Dunfm,

的 例 子 ,证
1∞ O)。 另 外 ,许 多 应 用 于 影 响 评 估 的 实 验 设 计 例 子 ,比 如 本 章 所 引 用
明 了 随 机 设 计 在 适 当条 件 满 足 下 的 可 行 性 。
响 评 估 中 ,随 机 实 验 只
尽 管 随 机 实 验 能 够 最 有 效 地 阐 明 干 预 效 果 ,但 是 在 影
机 化 过 程 ,特 别 是 当 干 预 违 反
占相 对 较 小 的 比例 。政 治 和 伦 理 的 考 虑 会 排 斥 随
些 选 择 性 的 干 预 送 达 控 制 组 )。
伦 理 或 法 规 而 被 拒 绝 时 (尽 管 实 验 的 本 意 是 将 某
的 实 施 仍 然 具 有 挑 战 性 :如
即使 随 机 化 是 可 能 的 和 被 允 许 的 ,随 机 实 地 实 验 设 计
果 大 规 模 实 施 耗 费 大 ,需 要 足 够 的 时 间 、 专 门技 术 、 参 与 者 的合 作 和 服 务 提 供 者
—— 能 够 通
地 实 验 ,例 如
的 支 持 ,那 么 ,就 只 能 在 条 件 特 别 有 利 的 情 况 下 进 行 实
引 力 的 不 同 项 目时 ,又 或 者
过 抓 阄法 分 配 稀 有 服 务 时 ,或 者 能 随 机 安 排 有 同 等 吸
当项 目影 卩 向对 政 策 特 另刂屋 亘要 时 。 丹 丿己斯 禾口伯 珲叻帚手(Dennis and Bomch, 1989)认
条 件 (Dmnis,19∞ ):
为 ,在 进 行 随 机 实 地 实 验 之 前 ,应 该 满 足 五 个 基 本
・现 有 实 践 必 须 得 到 改 善 。
・预 期 干 预 的效 力 在 实 地 条 件 下 必 须 是 不 确 定 的 。
・没 有 更 简 单 的替 代 性 干 预 评 估 方 法 。
・评 估 的结 果 对 政 策 必 须 具 有 潜 在 重 要 性 。
・研 究 设 计 必 须 符 合 研 究 者 和 服 务 提 供 者 的道 德 伦 理 标 准 。
在本 章后 面部 分 进 一
某 些 有 利 于 或 阻碍 随机 实 验 应 用 于评 估 影 响 的条 件 将
步讨论 。

近似 随机分 组
无偏地分配给干预
随机 选 择 的可 取 之 处 在 于 随机 化 本 身 是 一 种 将 合 格 对 象
预 组 和 控 制 组 的概 率
组 和 控 制 组 的 可 靠 方 法 ;无 偏 分 组 要 求 所 有 参 与 者 进 人 干
法 ,在 某 些 恰 当 条 件 下
相 同 。有 几 种 获 得 干 预 组 和 控 制 组 随 机 选 择 的 替 代 性 方
些案例也说 明
也 是 相 对 无 偏 的 ,因 此 也 在 随 机 选 择 的 可 接 受 范 围 内 。另 外 ,某
,

差 。例 如 ,随 机 选
尽 管 群 体 之 间存 在 差 异 ,那 些 差 异 也 不 会 导 致 测 量 结 果 产 生 偏
据 中进 行 系 统 分 组 c
择 评 估 对 象 的 常 见 的 替 代 方 式 是 ,依 据 某 些 标 准 从 连 续 数
的随机化 替代方 法 就
如 果 表 单 不 是 以某 种 导 致 偏 差 的方 法 制 订 的 ,那 么 ,最 常 用
果 的 程 序 ),在 将 高 中
是 由连 续 表 单 产 生 的 系 统 分 组 (一 种 经 常 能 实 现 随 机 化 结
在 干 预 组 ,将 所 有
学 生 分 配 为 干 预 组 和 控 制 组 时 ,将 所 有 持 单 数 学 号 的 学 生 安 排
排 原 本 没 有 区别 对
持 双 数 学 号 的学 生 安 排 在 控 制 组 。 只要 在 学 生 中单 双 数 的 安
已经 给 予 了女 生 单 数 、
待 ,其结 果 在 统 计 上 将 与 随 机 安 排 一 样 。 当 然 ,如 果 学 校
组 和 控 制 组 。 因 此 ,在
男 生 双 数 ,这 样 ,系 统 偏 差 就 会 产 生 只 有 一 种 性 别 的 干 预
何 完成连续列表
采 用 系 统 选 择 程 序 之 前 ,研 究 者 必 须 确 定 产 生 表 单 的 机 构 是 如
的系统差 异 。
的 ,并 判 断 编 码 过 程 是 否 会 在 表 单 的 不 同部 分 之 间 产 生 不 希 望
母 表 可 能诱 使 某
有 时 ,制 订 的对 象 表 单 有 微 小 的难 以鉴 定 的 偏 差 。 例 如 ,字
人 将 所 有 姓 氏 以 D开 头 的人 安 排 到 干 预 组 ,将 以
H开 头 的 人 安 排 到 控 制 组 。在
多法 国 、 加拿大人 的
新 英 格 兰 的 一 个 城 市 ,这 会 导 致 种 族 偏 见 式 的 选 择 ,因 为 ,许
 s 卯 翱 惭 一 随机实地实验 173
199O; DunJ匚 D开 头 (女 口DeFleur),而 很 少 西 班 牙 人 的 名 字 以 H开
"= ≡字 以
头 。类 似 地 ,如 果 数
;|用 的 例 子 .证 孚是 按 顺 序 排 列 的 ,那 么 数 字 表 可 能 包 括 年 龄
偏 差 。 例 如 ,联 邦 政 府 按 年 龄 顺 序
云排 社 会 保 险 号 ,这 样 ,编 号 小 的人 一 般 比 编 号
大 的人 年 长 。
卜.随 机 实 荭 = 在 一 些 情 况 下 ,有 偏 分 配 是 可 以 “忽 略 ”的 (Rog,1994;Rosenbaum and
是 当干预圭 ≡ R山 h,198)。 例 如 ,在 明 尼 阿 波 利 斯 的 一
项 评 估 ,在 检 验 将 可 放 在 看 护 中 心 的
送达 控 制 ￡ L童 放 在 家 里 项 目效 果 的 实 验 中 ,因 为 在 提
名 时 ,咨 询 机 构 的 能 力 已 到 极 限 ,那
辈有 扫‘战 性 :Ⅷ 些 不 能 得 到 家 庭 咨 询 项 目服 务 的 儿 童 便 被 安 排
在 没 有 干 预 的 控 制 组 (Auchr
布 眼务 提 △ 詈 丑d Schwaiz,1呒 6)。 “可 忽 视 性 ”
假 设 是 :孩 子 被 送 交 的 时 间 与 孩 子 对 家 庭 和 解
——
i口 能 纟逗 荮期 望 无 关 。 因此 ,如 果 决 定 给 对 象 提 供 或 不 提
供 服 务 (或 者 ,也 许 是 等 待 批 准
帚目 时 ,又 亥 詈 务 对 象 名 单 列 表 )的 因 素 与 对 象 的 特 征 无 关 ,那 么
uch. 1989 .Ⅱ =哏 ,结 果 就 处 于 随 机 选 择 的
可接 受 范 围 之 内 。
,Cl):
无 论 是 按 照 无 偏 分 组 方 法 把 对 象 划 分 为 接 受 项 目服
务 和不 接受 服务 的两个
蒂 体 ,还 是 虽 然 配 置 有 偏 但 能 够 被 忽 略 掉
,都 必 须 对 具 体 情 形 进 行 详 细 审 查 来 帮
;慎 重 判 断 。如 果 有 任 何 理 由怀 疑 所 研 究 的 事 件 对 具 有 某 些 特 征 的
对 象 的影 响
驭 其 他 单 位 更 多 ,那 么 就 不 是 可 接 受 的 随 机 选 择
,除 非 能 确 信 无 疑 地 说 明 那 些 特
正与将 要 研 究 的 干 预 和 产 出无 关 。 例 如
,饮 水 中加 人 少 量 氟 的 社 区 就 不 能 简 单
靼 蔹视 为 干 预 组 ,并 拿 来 与 无 意 评 估 氟 化 作 用 对
牙 齿 健 康 影 响 的社 区进 行 对 比。
三 为 ,采 纳 加 氟 措 施 的社 区 可 能 具 有
与 众 不 同 的 特 点 (例 如 ,社 区 居 民 平 均 年 龄
∶.有 更 具 服 务 导 向 的 管 理 ),这 些 特 点 不 能
被 简 单 地 认 为 与 牙 齿 健 康 无 关 ,而 是
r=表 了 此
处 所 指 意 义 上 的偏 差 。

嗟机 实 验 数 据 搜 集 策 略
迄分 ≡ 幸 二
骊
随机 实 验 的两个 数 据 收集 策 略 可 以 改 善 项 目
空气 红 巫 效 果 评 估 。 首 先 ,是 对 产 出 变
=薤
兰古 当 条 仨 T
量迸 行 多 重 测 量 ,最 好 对 干 预 前 后 的 结 果 都 进
行 测 量 。 在 某 些 情 况 下 ,产 出 变 量
:圭 在 干 预 后 测 量 ,事 先 测 量 是 不 可 能 的 。 除 了
案 元也 l定 乏 这 种 情 况 ,一 般 的 规 律 是 ,干 预
可和 干 预 后 对 产 出 变 量 所 做 的 测 量 越 多
瓦如 .∶ ∶
∶
∶Ⅰ 迤 ::∶
,那 么 所 得 的 净 效 果 的 估 计 值 越 好 。 多
扛 万时 测 量 会 增 加 测 量 的 可 信 度 、提 供 更 多
行 系麦 △￡ 的信 息 以供 获 得 净 效 果 估 计 值 。干
厅 前 测 量 提 供 的是 干 预 组 和 控 制 组
匕彗 代 方 扛 勐 实 验 前 状 态 的 估 计 值 ,对 调 整 两 者 之 间 原 来
≡ .在 弓在 的差 异 以及 测 量 干 预 的影 响 是 有 用 的 。
存冒= 例 如 ,在 一 项 职 业 再 培 训 项 目 中 ,干
页前 干 预 组 和 控 制 组 的 收人 测 量 值 会 使
≡ ≡ ∶孓 百 .丿
:∶

::∶
研 究 者 更 好 地 估 计 由于 培 训 所 获 得 的 收
I没 育 三 弓1Γ 善 程 度 ,同 时 提 供 了一 个 在 结 果 分 析 中保 持 恒
`攻 定 的参 照 量 。
第 二 个 策 略 是 随 着 干 预 的 展 开 ,进 行 周 期 性 的
了女 兰 兰 颚 数 据 收 集 。这 些 周 期 性 的 测
量 容许 评 估 者 建 立 对 干 预 如 何 随 时 间 而 起
::::∶
=[:::i乏 ~匚 作 用 的 描 述 性 解 释 。 例 如 ,如 果 发 现
一 项 为 期 6周 的 职 业 再 训 练 项 目在
:::;:∶ :∶ :::∶ :∶ ∶
:T!手 前 4周 中产 生 了 大 部 分 效 果 ,这 样 的 评 估 结
寻芄 可 能 导 致 在 不 严 重 降 低 项 目
莛差 弄 效 果 的 情 况 下 缩 短 训 练 期 的 建 议 。 同 样 ,多
:
次
乏朝 测 量 能 获 得 对 象 对 服 务 反 应 的 更 全 面 理
:可 能 诱 解 。 某 些 反 应 可 能 开 始 较 慢 ,而 后
丨
≡亨￡
=帚 疋加 快 ;其 他 一 些 反 应 则 是 开 始 强 烈
,随后 很 快 降 到 干 预 前 水 平 。
=≡
亡[^大 Ι
`卩
174 评佑;方法 与皮术

‘
复杂 随机 实验

在 复 杂 设 计 中 ,影 响 评 估 可 检 验 具 体 干 预 的 内 部 变 化 或 几 个 不 同 的 干 预 。
例 如 ,在 新 泽 西 一 宾 夕 法 尼 亚 收 入 维 持 实 验 中 (专 栏 8— D),对 8种 不 同 的 干 预
进 行 了测 量 ,每 种 干 预 的 保 障 收 人 量 和 家 庭 收 人 税 相 互 不 同 。 实 验 中 之 所 以 设
方 案 中的工 作 积极
置 不 同 的 干 预 ,是 为 了 考 察 工 作 努 力 程 度 对 包 含 在 不 同 报 酊Ⅱ
性 受 挫 程 度 的依 赖 。关 键 的 评 估 问 题 是 :报 酬 对 工 作 的 影 响 是 否 会 随 ① 给 付 报
酬 量 和 ② 工 作 收 人 减 少 报 酬 的程 度 而 变 化 。
顺 着 这 些 思 路 ,复 杂 实 验 特 别 适 合 评 估 新 政 策 。 因 为 新 政 策 将 是 或 将 采 用
什 么 形 式 ,事 先 并 不 清 楚 。 一 定 范 围 的 项 目变 化 为 可 能 采 纳 的 具 体 项 目提 供 了
更 多 的 机 会 ,进 而 增 加 了 影 响 评 估 的 可 概 化 性 。而 且 ,评 估 的 变 化 能 提 供 信 息 ,

有 利 于 指 导 项 目的建 构 ,使效 果 和 效 率 最 优 化 。
例 如 ,专 栏 8— E描 述 了 一 项 在 明 尼 苏 达 进 行 的 关 于 福 利 政 策 的 实 地 实 验 。
实 验 条 件 中涉 及 两 种 项 目变 型 ,两 者 都 给 予 被 雇 佣 的 福 利 受 益 人 一 定 量 的 救 济
金 。 一 种 有 强 制 性 就 业 和 训 练 活 动 ,一 种 没 有 。 如 果 证 明 这 两 种 项 目变 型 有 同
样 的效 果 ,很 清 楚 ,执 行 没 有 强 制 性 工 作 、训 练 活 动 和 相 关 管 理 成 本 的 项 目会 更
节 省 成 本 。但 是 ,财政 救 济 金 和 强 制 性 训 练 的 结 合 获 得 了 最 大 的 效 果 。这 一 信
息 使 政 策 制 定 者 考 虑 在 较 精 细 但 昂 贵 的 项 目变 型 (对 收 人 和 就 业 增 加 较 大 影 响
的 )和 成 本 较 低 但 效 果 较 小 (却 仍 然 呈 积 极 影 响 )项 目变 型 之 间 进 行 权 衡 。

对家有小儿帮助 (缸 d ω dependcnt chi1山 en,AFDC)项 目的一种常见批评是 ,项 目没有鼓励受益

者离开福利资助去寻找工作 ,因 为 AFDC的 报酬明显高于低薪工作所能挣得的收人。明尼苏达州接
受了一项来 自联邦健康 和人类服务部的授权 :进 行一项实验 ,鼓 励 AFDC顾 客去寻找工作 ,如 果他们
取得成功 ,允 许他们接受 比 AFDC更 高的收入。如果参与者就业 ,按 就业所得 ,每 3美 元只减少他们
的津贴 1美 元 。明尼苏达家庭投资项 目(M∏ P)的 这些主要变化 ,使 AFDC的 救济金增加 了 ⒛ %。
还提供了一项儿童看护津贴 ,以 便那些就业者在工作时 ,孩 子能得到照顾 。这意味着在这一项 目条
件下就业的 AFDC接 受者 比他们在 AFDC项 目中有更高的收人。
在 19%-19%年 期间 ,在 明尼苏达州的许多县 ,大 约 15CluXl名 AFDC接 受者被随机安排到三种情
况之一 :① 接受较多的救济金与强制性参与就业和培训活动的 M∏ P实 验组 ;② 只接受较多的救济金
不接受强制性就业和培训的 M∏ P实 验组 ;③ 继续接受旧的 AFDC津 贴和服务的对照组。通过管理数
据和重复调查 ,对 所有三个组进行督导 。产出的测量包括就业、 收人和参与教育及培训服务。
涉及第一批 9OO0名 参与者为期 18个 月项 目干预的中期报告表明 ,实 验是成功的。M∏ P实 验
家庭更有可能就业 ,就 业时比对照组家庭有更高 的收人⊙而且 ,既 接受 MFIP津 贴又接受强制性就
业和培训活动的实验组家庭就业 比例更高 ,并 且 比只接受 MFIP津 贴的实验组家庭挣得的钱更 多。

资料来源 :Cuthia Mnler,Ⅴ 订ginia Knox,Patrioa Auspos,Jo Anna Hunter-Manns,and Alan Prenstein,
跖or凡 函蒯 lT/or品 P岬 :JmPJeme乃 莎
Pfc凡 j昭 WBlra比
η o莎
jo瓦 @乃 d18Jrozlr九 JlnPocJs or访 e Mj刀 乃eso汩 F@mjJγ

f,ll es莎 lm e乃 莎Progr@m New York: Manpower Demonslration Research CoIlDOration, 1997
 8 顼溺 刻 聊 估
——膪夕z实地实验 175

分析 随机 实验
当 的 话 ,可 由 随 机 化 产 生 统 计 上
′不 同 的 干 预 。 简 单 随 机 实 验 分 析 是 相 当 容 易 的 。操 作 得
比 较 便 提 供 了 对 项 目效 果 的 估 计
种不 同 的干 预 对 等 的 干 预 组 和 控 制 组 ,所 以 ,对 两 组 结 果 的
果 干 预 真 的 没 有 效 果 ,那 么 误 差 值
壶 中 之 所 以设 直 。如 前 所 述 ,统 计 显 著 性 检 验 会 观 察 到 ,如
随 机 实 验 基 础 上 进 行 分 析 的例 子 。
中 的工 作 积 极 乱 会 大 于 效 果 值 。专 栏 8— F列 举 了 在 简 单
果 进 行 分 析 ;然 后 ,借 助 于 更 复 杂 的
会 随① 给付 报 盲 先 ,简 单 比较 实 验 组 和 对 照 组 ;进 而 ,对 结
多元 回归模 型 进 行 分 析 。
的 复 杂 分 析 模 型 。尽 管 简 单 的
正 如 可 预 期 的那 样 ,复 杂 随 机 实 验 要 求 相 应
将是或将 采用
确 的 分 析 技 术 对 揭 露 内情 和 解
ˉ 方 差 分 析 足 以 获 得 总 体 效 果 的 估 计 值 ,但 更 为 精
体 项 目提 供 了
可 以 提 供 更 为 精 确 的 干 预 评 估 ,并 允
t能 提 供 信 息 释结 果 的作 用 更 大 。例 如 ,严 谨 的 多 元 分 析
题 。专 栏 8— G描 述 了 一 项 复 杂 随 机
,

许 评 估 者 提 出简 单 随 机 实 验 无 法 回答 的 问
析 的实 例 。
焘的 实 地 实 验 3 实验 如 何 运 用 方 差 分 析 和 因果 模 型 来 进 行 分

一 定 量 的救 济
Ⅱ
:项 目变 型 有 同
者少量 财政资助是 否有助 于他
本 的 项 目会 更
∶ 巴尔的摩生活实验 (LI亡 E)项 目的设 置是为了评估给予刑满释放
监禁期 不能积累工作
F效 果 。 这 一 信
・
1过 渡到正常生活 、减少他们被捕 和重新 人狱 的可能性 。由于大多数 囚犯在
,他 们就不能获得失业保险金 。所以 ,项
目仿照失业保险金设定 财政资助 。
增加较大影 响
二 =款 验组成 员
将从 马里兰州监狱释放 、 返回巴尔的摩的人 员随机安排到干 预组或控制组。告诉实
,

行 权衡 。 正在参加一
只要他们失业了就够资格领取 13周 、 每周 ω 美元 的报酬 。同时 ,告 诉控制组成员 ,他 们
且对他们的拘 留记录进行为期 一年的督
丁研究项 目,但 不给报酬 ⊙研究者定期采访 这些参 与者 ,并
的拘留记 录结果见表 8— F1。
寻 k从 每位参与者 的获释时 间开始算 起 )。 释放后一年间
京 目没有鼓励 受 益 表 8— F1 释放后第一年的拘留率
∶ 尼苏达州接 对照组
`=明 实验组 差异
手找 工 作 ,如 果他 丨
I 拘 留指控 (n=216) (n=216)
3美 元 只减少他 丨
∶ 1 22 2% 30,6% -84
盗窃 (如 ,抢 掠 ,人 室行窃 ,盗 窃 )
疒 金 增 加 了 ⒛ %∶
∶ 19.4% 162% +32
其他严重犯罪 (如 ,谋 杀 ,强 奸 ,袭 击 )
禾着在这 一项 目条 79% 10 2% -23
轻罪 (如 ,破 坏治安 ,公 开酗酒 2

琏机安排到 三种情
乏
简单 表 达 。因为 随 机化 使 得 干预 组 和控 制
表 中的结 果被认 为是 主效应 ,构 成 了实 验结 果 的最
‘
接 受较 多 的救济全
之 间拘 留率 的差 异 是 由干 预 和任 何 随机
￡馀 了干预之外 ,在 统计 上是对等 的 ,所 以 ,可 以设 想 它们
「
照组 。通过管理轰
≡异引起 。
≡训服务 。
示 干 预 组 和控 制 组 之 间各 类 犯 罪 拘 留率 的差
实验 的实 质性结 果表现 为表右 边 的最 后 一 列 ,表
贡功 的。MFIP实 荭 题 成 了隹 给
三 :在 释放后一 年里 ,-84%的 盗 窃 罪 差 异 表 明 了期 望 的潜 在 干 预效 应 。那 么 ,问 便
贮又接 受 强 制性 乱
。在这种情 况下 ,可 以应用各种统 计检 验方
≡咩本大 小 (n)情 况下 ,8,4是 否是在期 望 的误 差范 围内
莛挣得 的钱更 多
T检 验和方 差分析 。因为 两组 间差异 的方 向是 由干预 的期望效 果决 定 的 ,所 以研
:

三,包 括卡方 检验 、
的差异 在 同样 大小 样本 的 100次 实 验 中发 生
≡者 使用 了单 尾 T检 验 。结果表 明 :ˉ 8.4%或 者更 大
and Alan Prenmein~
‘
⒉
于是 ,研 究者得 出结论 ,至 少对盗窃 而言 ,这 一 差 异是
zl es0莎 o jF・ mfj1
0・ ∞ )。
' lfJ瓦
数 小 于 5次 (统 计显著水平 为 p≤
=次
三著 的 ,可 以认 为干 预获得 了期望 的效果 。
 176萍镱 J方法与技术

其他类 型的犯罪没有表现 出足
够的、 达到 T检 验标准 的差 异。换
(p)0,o5),干 预组 句话说 ,按 照常用的统计标准
和控 制组之 间的差异仍在随机
误差足够解释 的范 围内。
如果是这样 ,下 一个问题就是 :在
政策 意义上 ,这 些差异是 否足
够大 ?盗 窃犯 罪减少 8,4%能 证
明所付报酬和相应 的管理开
支是 合理 的吗 ?为 了回答后面一
个问题 ,劳 动部 进行 了成本一
析 (参 见第 1I章 的讨论 ),表 明收 收益 分
益远远大于投资⊙ 刊用 声
用多元 回归分析盗 窃犯罪数据 美 犯钐
的更 复杂和更大程度上 利用
信 '息 的方法列 于表 8~” 之中。
出的问题 与前 面分析 中的问题是一 提
样 ,但 是 ,多 元 回归模型考虑 过渍 帚
的事实是 :除 了给付 的报gll外
许多因素也可能影 响拘 留。多元 ,其 他
回归 分析 在 比较对照组 和实 页少 津
验组 拘 留比例的同时 ,在 统计上
了其他因素的影响。 控扛

燕
_〓
干

・
实际上 ,对 干预组和控制组之 间的

一
比较包括 了分 析 中所 用 的、
其他变 量 的每个层 面。例如 ,E
尔的摩失业率在实验两年期 间的变

〓
化是 :某 些囚犯在容 易找 到工
作的时候被 释放 ,而 其他人 被释
的幸运次数较少 。把释放 时的失
业率 添加 到分析 中 ,就 减少 了因 一
这 因素引起的个体 间差 异 =
净化了干预效果 的估计值 。 ,因 t

8-” 因盗 窃罪 拘 留的多元 回归 分析
茔
自变量
回归系数 (b) 回 归 系数 b的 标 准误
干预 组 成员
- 083本
041
释放 时 的失 业率
o41^ ,022
释放 后 当季度工 作 的周 数
- 006
005
释放 时 的年龄
-,009珠
,004
第 一 次拘 留的年龄
-,010壮
006
以前 的盗 窃拘 留
,028艹
008
种族
。056
064
教育
- 025
022
以前 的工 作经验
- 009
008
婚姻 - 074
,065 —

假释 - 025
051
截距
263
185 —
出 ⒄ .N翊 ⒎ *表 示 咚 Obˉ 的显嬴
注 意 ,增 加 到表 8— ” 多元
回归 分析 中的所 有变 量
,是 从 以前 的研 究 中得 知
员 或就业 机 会 的那些 变量 。 的影 响刑≡ 忌 肀
这些 变量 的增 加在 相 当程度
上 增 强 了实 验 结果 的可
表示 释放后 拘 留概 率 的变 信度 。每 一 军辙
化 与每个 自变 量 相关 。这
样 ,与 实 验 组 的相关 系数 -调 3意
盗 窃罪 拘 留率减少 了 83%。 味 言 二 硎屮
这与 表 8_Fl中 显示 的结
果是 密切对 应 的。但是 ,因
变量 的统 计 控 制 ,回 归 系数 为对 分 f=〓 蔽
的误 差期 望值 降低 很多 ,直
到在 100次 实验 中只有 2次
结果
结 果 提供
提 供 了干
了 干 预净
而 净 栅 里 龆 亩 蛙 磁 /+`】 艹 ,¨ 。所 以 彡 t咖 奸
效果 的更
精确估计龟 也叁赤 毳i犄
¨

矿嘏 澄 毓 撺 镫
时的年龄 ,以 及 以前的盗窃 蜊 禺
拘 留情况 ,都 是对 拘留率有显
著影响 的因素 ,所 以 ,这 些因 膦硎
的产 出。 素影 —
=驯
・ ・‰刁
摆 j蔬 阝工k血 乩
s1a1焦
皴季
罕击、
。冫 锣 ,l⒄ d‰ ,w。 :.Ⅱ,刀 !e二 ˉ
ˉ
 : 顼蛳 一刁 罅朗实地实验 177

≡常用 的统计 标 准

——
三霏减少 8,4%能 证 专栏 8— F中 描述 的 巴尔 的摩 生活实验令人鼓舞 ,劳 工 部 因此进 行 了一 项更 大规模 的实验
厅 了成本一 收益分 利用两个 州现存 的机构管理发放 给前 重 罪 犯 失 业保 险金 。这 个 新 项 目的 目的也 是 一 样 的 :使 前 重
罪犯够资格领取 失业保 险金 ,进 而减少他们靠犯 罪来 获得 收人 的需要 。但是 ,新 项 目叫做 刑满释放
F表 8—⒚ 之 中。提 过渡帮助 (TARP),其 中有不 同的干预设 置 ,包 括 合 格 接 受 津 贴 的不 同期 限和对 每 1美 元 就业 所 得
圭 竹的报酬 外 ,其 他 减少津贴 (税 率 )的 不 同 比例 。
百 时 ,在 统 计 上控 制 干预 的主要 效果见表 8— G中 的方 差 分 析 (为 了简 便 起 见 ,仅 将 德 克 萨斯 州 TARP实 验 的结 果
列 出 )。 干预对 与财产有关 的拘 留没 有 影 响 :干 预 组 和控 制 组 的差 异 未 超 过 抽样 误 差 。但 是 ,干 预

F每 个层 面 。例 如 ,巴 对释放期 间的工 作周数影 响很大 :接 受 报酬 的前 重 罪 犯 平 均 工 作 时 间少 于对 照 组 人 员 ,而 且 ,其 差

景莰 ,而 其 他人 被 释放 异达到 了统计 上 的显著水平 。简 而言之 ,增 加报酬似乎没 有构成对犯 罪 的抑 制 ,但 却 成 功地抑 制 了

三力个体 间差 异 ,因 而 就业 !

表 8-G 与财产 有关拘捕 的方差分析 (德 克萨斯 州数据 )

A释 放期 间与财产有关 的拘 留
b的 标 准误 干预 组 拘 留平 均 数 被 拘 留百 分 数
Μ口吣⑾蛐 Ⅲ⒅口蝴吣

2
给付 “ 周 报酬 ,100%税 22,3 176
4

给付 13周 报酬 ,⒛ %税 27.5 200

给付 13周 报酬 ,100%税 .30 23,5 200

不 付报酬 ,安 排 工 作
a
,30 20 0 200

被访谈 的对 照组 33 22 0 200

没被访谈 的对 照组
b
33 23 2 1 000

方差分析 的 F值 1 15(p=:33) 70(p=,63)

"灬

B释 放期 间工 作周数
干预 组 工作 周 平 均 数

支付 “ 周 报酬 ,100%税 20.8

早知 的影 响刑 满释放丿̀ 支付 13周 报酬 ,b%税 24.6

:可 信度 。每 一 个 系轰 支付 13周 报酬|,100%税 27 1
-083意 味着 干 预
= 不付报酬 ,安 排 工 作 29 3
是 .因 为对 分 析 中其 +ˉ
被访谈 的对照组 28 3
2次 。所 以 ,多 元 回
= 方差分析 的 F值 6 98(p< 000 1)
扌约年龄 和第 一 次 拘 ≡
.这 些 因素影 响到项 匡 a提 供 给这 一 干预组 中的前罪犯特别 的工 作 安 置 服 务 (很 少 被 采 纳 ),根 据 工 作 需 要 提供 工 作
工 具 和制服 。但 支付 给这些前罪犯 的报酬很少 。

fmc:some丿 E⒎ x丿 ,er讠 m沼 n扌 j b只 是通过拘 留记 录对对 照组进行 观察 ,所 以 ,没 有关 于 工 作周数 的资料 。

总之 ,以 上结果似乎表 明实验干预 没 有 以预期 的方 式起 作 用 ;而 且 实 际上 ,还 产 生 了预期 不 到

178 评估 J方法与技术

的效果 。但是 ,这 种方差分析 只是分析 的开始 。对评估 者 来 说 ,这 些结 果 暗示 着 一 些平衡 过程 可 能

在其 中起作用 。从犯 罪学文献可 知 ,前 重 罪犯 的失业 与他 们 再 次 被 捕人 狱 的可 能性 增 加 有 关 。所
以 ,研 究 者推 断失业津贴挫伤 了工 作积极性 ,具 体 表现在 接受较 多 工 作 津贴 或较低税 率 的参 与者 的
工 作周数较少 ,进 而使犯 罪行 为增加 。另 一 方 面 ,报 酬 也会 减 少 靠从 事犯 罪 而挣得 收人 的需 要 。这
样 ,报 酬在减少犯 罪 中的正效果 可能会被 报酬 给付期 间减 少 就业 的副效果 所 抵 消 ,以 致对 拘 留的实
际总效果 为零 。
“ ”
为 了检测对 实验结果 的这种 平衡 效果 解释 的合 理 性 ,研 究 者建 构 了一个 因子模 型 ,如 图 8—
0。 在这个模 型 中 ,负 系数是报酬对就业 的影 响 (工 作 积极 性受 挫 )和 对 拘 留的影 响 (期 望 的干预效
果 )。 反过来 ,失 业 的平衡效果表 现为拘 留和就 业 之 间 的一 种 负 系数 ,这 表 明工 作 周 数 减 少 与拘 留
增 多相关 。图 8— G中 显示 的系数来 自于结构方程模 型分 析 。如 图所示 ,在 德 克 萨斯 和佐 治 亚州 的
数据分析 中均呈现 出了被假设 的关 系 。

想 将
德州估计模 型

TARP支 付 与财产

处
有关的拘留

目i
/t’

的」
丿L'
:尽

实
￡孑:
产亡
亻
`I三
彡
嗟拿纟

乔治亚州估计模型
伦 ]

TARP支 付 与财产
有关的拘 留
为丿
'个 I

务虐
坐监时间 不i
(周 数 )

这t
不去

扌比诏
歹忑扉
当名
图 8— G
因此 ,与 复杂多元分析相 结合 的复杂 实 验 表 明 ,干 预 的净 效 果 是 可 以忽 略不 计 的⊙ 即使 如 此 ,
多争X
 s 项 Ξ影孵 昭 宀 一膪汐z实地实验 179

旨一 些平衡 过程 可就 笙亮 真了对 评 估 结 果 的某 些 解 释 。特 别 是 有 关 数 据 证 明 了 :增 加 报 酬 所 期 望 的作 用 是 减 少 犯 罪 行
丁能性 增 加 有 关 [千 ± 三是 ,一 个 成 功 的项 目不 得 不 设 法 弥 补 随 之 而 来 的副 效 果 (工 作 积 极 性 受 挫 )。
夏低税率 的参 与者置
辟粒 丧 源 :P H Rossi,R A BeIk,and K J Le【 llhan,M⒄ eγ ,Worl色 nd Cr氵 me:some ElPerjme刀 莎
oJ
争得 收人 的需要 :迈
JⅡ i=ce New York: Academic Prcss, 1980
f肖 ,以 致 对 拘 留旷买

′彐子模 型
,如 图 s—

影 响 (期 望 的干≡π 随机实验的局限性
匚作周数 减 少 与拧 垩
乏萨斯 和佐 治 亚廾 万
随机 设 计 原 本 是 为 实 验 室 和 农 业 田 间 研 究 而 产 生 的 。尽 管 其 自身 的 逻 辑 思
皙 f炅 适 合 评 价 社 会 项 目的影 响 ,但 却 并 不 适 用 于 所 有 的 项 目情 形 。在 本 节 ,我 们
彐

晖孑 述 其 局 限 性 。

赆于早期 实施 阶段 的项 目
9

正 如 本 章 已经 列 举 的 某 些 例 子 那 样 ,示 范 性 项 目的 随 机 实 验 能 为 政 策 和 项
≡设 计 提 供 非 常 有 用 的信 息 。但 是 ,一 旦 项 目设 计 被 采 纳 并 进 人 实 施 ,在 项 目稳
≡和 操 作 成 熟 之 前 ,并 不 能 马 上 知 道 随 机 实 验 影 响 评 估 是 否 良好 。在 项 目实 施
彐 盯旦 期 阶段 ,为 了 完 善 干 预 及 其 他 服 务 的 送 达 ,经 常 需 要 改 变 项 目的 各 种 特 征 。
亍詈随 机 实 验 能 将 项 目的 产 出与 未 干 预 对 象 的 产 出进 行 比较 ,但 是 ,如 果 项 目在
乓圭 过 程 中发 生 了变 化 ,其 产 出 将 不 能 提 供 应 有 的 信 息 。 如 果 在 测 量 参 与 者 的
=出 之 前 ,项 目发 生 了 略 微 的 变 化 ,不 同 类 型 干 预 的 效 果 混 在 一 起 ,也 就 无 法 确

彐 =壬
意 给 定 干 预 的效 果 。所 以 ,昂 贵 的 实 地 实 验 最 适 合 对 实 验 过 程 中 干 预 活 动
亡终 如 一 的项 目效 果 进 行 评 估 。

仑理 的考虑
彐

应 用 随 机 实 验 经 常 遇 到 的 障 碍 是 ,某 些 管 理 者 对 随 机 化 有 伦 理 上 的 疑 虑 ,认
t是 对 控 制 组 实 际 利 益 的 专 横 和 任 意 剥 夺 。 这 种 批 评 的 理 由是 :如 果 值 得 对 一
ο

′项 目进 行 实 验 (例 如 ,如 果 项 目可 能 有 助 于 研 究 对 象 ),那 么 从 那 些 需 要 项 目服

号的对 象 撤 销 潜 在 的有 帮 助 的 服 务 ,便 是 一 种 实 实 在 在 的 伤 害 。 因 此 ,这 样 做 是
t道 德 的 。相 反 的论 点 也 显 而 易 见 :人们 通 常 不 知 道 干 预 活 动 是 否 有 效 ,实 际 上
彐 辽也 是 实 验 的 理 由 。 因 为 研 究 者 事 先 不 知 道 一 项 干 预 是 否 会 有 帮 助 ,所 以 实 验

=是 在 剥 夺 控 制 组 的某 些 被 认 为 将 是 有 益 的东 西 。
有 时 ,一 项 干 预 可 能 意 味着 某 些 危 害 ,在 这 种 情 况 下 ,决 策 者 仍 然 可 能 会 勉 强
茭准 随机 化 。例 如 在 定 价 实 验 中 ,某 些 实 验 组 家 庭 的 非 食 物 日常 费 用 会 增 加 。研

彐 乏者则 认 为 ,他 们 对 实 验 家 庭 许 诺 ,任 何 这 样 的超 支 在 研 究 结 束 后 都 会 得 到 补 偿 。
≡然 ,这 种 偿 还 的许 诺 改 变 了干 预 的特 性 ,可 能会 助 长 对 家 庭 用 具 的过 量 使 用 。
一 般 来 说 ,最 引 人 注 目的伦 理 性 反 对 意 见 与 控 制 组 的状 态 相 关 。如 果 常 规 服
|不 计 的。 即使 如 皮 吾对 问题 是 有 效 的 ,那 么 为 了评 估 一 项 常 规 服 务 的 替 代 性 服 务 效 果 而 撤 销 原 来 的
180评估功法与技术

服 务 就 是 不 道 德 的 。例 如 ,我 们 不 会 剥 夺 学 龄 儿 童 的数 学 教 育 以使 他 们 能 组 成 一 其如此 :

个 评 估 新 数 学 课 程 的控 制 组 。但 是 ,在 这 些 情 况 下 ,重 要 的 问题 不 是 引 人 新 课 程 是 想 ;或 者 Ⅱ
否 比没 有 相 应 教 育 更 好 ,而 是 是 否 比现 在 的 教 育 更 好 。 因 此 ,合 适 的 实 验 是 ,在 新 随机 实翅
课 程 与 现 有 课 程 之 间进 行 比较 ,而 不 是 让 学 生 去 上 没 有 任 何 保 证 的课 程 。
当项 目资 源 不 充 足 和 不 符 合 需 求 时 ,实 验 控 制 条 件 下 的 随 机 分 组 会 出 现 伦 实 验 (专
理 上 进 退 两 难 的 困境 。 一 方 面 ,这 个 过 程 会 导 致 随 机 选 择 那 些 不 太 合 格 的 对 象 花了 7
接 受 项 目服 务 。另 一 方 面 ,如 果 不 能 将 干 预 送 达 所 有 合 格 的 对 象 ,随 机 化 本 身 就 持作 为
会 变 成 一 种 谁 将 得 到 公 平 对 待 的决 策 ,进 而 引 发 争 议 ,因 为 所 有 对 象 本 应 有 同 等
的被 择 机 会 。假 若 干 预 的效 果 很 不 确 定 ,这 种 做 法 也 许 能 被 接 受 。 问 题 是 ,当 服
务 提 供 者 相 信 干 预 有 效 (尽 管 他 们 经 常 缺 乏 实 验 证 据 ),他 们 可 能 强 烈 反 对 通 过
抽 签 安 排 服 务 ,而 坚 持 让 最 需 要 的 对 象 有 优 先 权 。 正 如 将 在 下 一 章 讨 论 的 — 样,

这 种 情 况 很 适 合 回归 一 间 断 点 设 计 ,尽 管 对 随 机 设 计 来 说 ,回 归 一 间 断 点 设 计 有
很 大 的 问题 。 估 的开i

实验 和 实 际干预 送达 之 间的差异
制组之
评 估 中 ,随 机 实 验 的 另 一 个 局 限 是 :在 实 验 类 型 的 影 响 评 估 中 ,干 预 的 送 达 庭更可
很 可 能 与 在 项 目实 施 时 的实 际 送 达 在 关 键 方 式 和 具 体 情 形 上 有 所 不 同 。 因 为 只
确保其
有 有 限 的方 法 能 使 干 预 送 达 ,所 以 利 用 这 些 标 准 的 、容 易 送 达 的 干 预 ,研 究 者 相
应潜在
对 能 确 信 实 验 干 预 类 似 于 一 个 完 全 得 到 实 施 的 项 目干 预 。 然 而 ,劳 动 力 较 密 集 、
另
技 能 较 高 的 干 预 (譬 如 工 作 安 置 服 务 、 教 学 等 )在 实 地 实 验 中 可 能 比项 目实
咨询 、
某种干
对 设 计 者 意 图 更 了 解 的 方 式 送 达 。实 际 上 ,如 在 第 6章 所 见 ,项
施 时 以更 高 的 、
目督 导 的 目的之 一 就 是 督 导 干 预 在 实 施 过 程 中发 生 变 化 的 可 能 性 。
由于 存 在 这 样 的 可 能 性 ,所 以需 要 至 少 两 轮 实 验 :在 第 一 轮 实 验 中 以最 单 纯
事实上 ~

的形 式 对 干 预 进 行 测 量 ,在 第 二 轮 实 验 中 对 通 过 公 共 机 构 的 有 效 服 务 送 达 进 行
测 量 和 比较 。专 栏 8— F和 8— G描 述 的 给 刑 满 释 放 人 员 提 供 就 业 保 险 津 贴 的 劳
工 部 项 目 ,两 个 实 验 阶 段 均 采 用 了 这 种 策 略 。第 一 阶 段 工 作 由在 巴 尔 的 摩 进 行
的涉 及 们 2个 从 马 里 兰 州 监 狱 释 放 囚犯 的 小 规 模 实 验 组 成 。研 究 者 在 释 放 前 对
囚犯 进 行 选 择 ,提供 给 他 们 津 贴 ,并 对 他 们 的 工 作 和 拘 留情 况 进 行 为 期 一 年 的 观
察 。结 果 如 专 栏 8— F显 示 :接 受 失 业 保 险 津 贴 的 实 验 组 在 释 放 后 的 一 段 时 间 里
行 窃 拘 留减 少 了 。
第 二 轮 更 大 的实 验 是 在 乔 治 亚 州 和 德 克 萨 斯 州 进 行 的 。 每 个 州 有 200O名
刑 满 释 放 人 员 (专 栏 8— G)。 在 这 个 实 验 中 ,津贴 是 通 过 各 个 州 的 职 业 保 障 机 构
来 管 理 的 ,并 且 由他 们 和 州 监 狱 系 统 联 合 在 释 放 期 间 跟 踪 调 查 项 目对 象 。 如 果
该 项 目当 时 得 到 联 邦 立 法 通 过 ,第 二 阶 段 的 实 验 管 理 系 统 就 接 近 于 实 际 实 施 的
情 形 。但 是 ,第 二 阶 段 的结 果 表 明 :当 按 既 有 就 业 保 险 机 构 (Emp1oyment阮 curity
Agel△ cy)的 规 则 和 程 序 进 行 管 理 时 ,给 付 报 酬 是 无 效 的 。

时 间和 成 本

应 用 随 机 实 地 实 验 时 ,一 个 突 出 的 障 碍 就 是 耗 资 耗 时 ,大 规 模 的 多 点 实 验 尤
 : 顼硎 一一膪仍实她实验 181

来 评 估 决 策 者 很 可 能 不 会 采 纳 的 项 目设
削 也πl能 红l成 一 其 如 此 。 因 此 ,不 应 该 用 随 机 实 地 实 验
目影 响 的 证 据 感 兴 趣 时 ,也 不 适 合 运 用
邑引 人 新 课 程 是 想 ;或 者 ,当 没 有 重 要 的 相 关 利 益 方 对 项
目。 另 外 ,当 急 需 产 出信 息 时 ,也 不 应 采
:的 实 验 是 ,在 新 随 机 实 地 实 验 方 法 来 评 估 业 已 实 施 的项
—
注 意 到新 泽 西 宾 夕法 尼 亚 州 收人 维 持
课程 。
Ⅰ 用这 类 实 验 。 为 了 强 调 最 后 一 点 ,应 该
19“ 年 的美 元 计 )美 元 ,从 设 计 到 发 表 结 果
几分 组 会 出 现 伦 实 验 (专 栏 8— D)耗 资 狃 oOO oOO(按
人 维 持 实 验 花 的 时 间 则 更 长 ,在 收 人 维
下太 合 格 的 对 象 花 了 7年 多 的 时 间 。西 雅 图 和 丹 佛 的 收
世
消 失 后 很 久 ,最 终 的 实 验 结 果 才 面
乏.随 机 化 本 身 就 持作 为 一 项 政 策 从 国 家 议 事 日程
(Matl・ emat忆 a Polky Re∞ arch, 1983; office of Income secuhty, 1983; SRI
对象 本 应 有 同等
邑: 问 是
垂赁邑,当 月
艮 Internation龃 ,1983)。

能强烈反对通过
实验 的 完整 性
一章 讨 论 的 一 样 ,

的 完 整 性 很 容 易 受 到 威 胁 。尽 管 在 评
— 间断点设 计 有 最 后 ,我 们 应 该 注 意 到 ,一 项 随 机 实 验
的进
制 组 在 统 计 上 是 对 等 的 ,但 随 着 实 验
估 的开 始 阶 段 ,随 机 形 成 的 干 预 组 和 控
题 。不 同 损 耗 率 可 能 引 起 干 预 组 和 控
展 ,一 些 非 随 机 过 程 可 能 威 胁 到 对 等 性 问
组家
验 中 ,接 受 较 少 津 贴 的 干 预 组 及 控 制
制 组 之 间 的 差 异 。例 如 ,在 收 人 维 持 实
信 ,在 只 有 很 少 成 员 退 出 的 条 件 下 ,能
言中 ,干 预 的 送 达 庭更 可 能 停 止 参 与 实 验 。我 们 没 有 理 由相
评 估 中 ,干 预 组 和 控 制 组 的 可 比性 是 与 相
孑斫 不 同 。 因 为 只 确 保 其 他 条 件 的完 全 对 等 ,在 项 目效 果
Ξ∶干 预 ,研 究 者 相 应潜 在 偏 差 相 妥 协 的 产 物 。
“ ” 评估 者 可 能设 计 一 项 实 验 去评 估
〔.劳 动 力 较 密 集 、 另 外 ,送 达 一 项 纯 项 目 是 困 难 的 。尽 管
件 事 情 都 会 成 为 干 预 的 一 部 分 。例 如
某 种 干 预 的效 果 ,但 对 实 验 对 象 所 做 的 每
,

±中 可 能 比项 目实
是这项
在 第 6章 所 见 ,项 TARP实 验 (专 栏 8— G)原 本 是 为 了 测 量 刑 满 释 放 后 财 力 资 助 的 效 果 ,但
的操 作 过 程 随 之 变 成 了干 预 的一 部 分 。
邕性 t 资 助 是 通 过 现 有 的 州 机 构 管 理 的 ,后 者
老实 验 中 以 最 单 纯 机 社 会 实 验 几 乎 不 存 在 。 当 然 ,即 便 随 机
事 实 上 ,不 受 这 种 过 程 影 响 的 大 规 模 随
笥效 服 务 送 达 进 行 果 分 析 得 当 ,仍 然 可 能 在 可 信 度 上 优 于
化被 折 衷 到 某 种 程 度 ,随 机 实 验 的结 果 如
茭业 保 险 津 贴 的 劳 下 一 章 将 要 讨 论 的非 随机 设 计 。
刍在 巴 尔 的 摩 进 行
研究 者 在 释 放 前 对
逆 行为期一年 的观
玟 舌的一 段 时 间里

每 个 州 有 20OO名
¨
Hl的 职 业 保 障 机 枯
|查 项 目对 象 。 如 果
接 近于 实 际实施 的
∶
Emp1oyment secuht】

辶规 模 的 多 点 实 验 尤
△
=究 者 把 由 浸

T1象
的能 力 ^=
替 代方 注
=1=些
|廷 机化 过程
1△ 量 以及 以
=莛 时 问所产 三
:
项目影响评估 备选设计
≡永更 为复杂
=
≡运 用 于项 目≡
△△ 不 明 朗 cF 。不
由于可 以对项 目产 出进行无偏 估计 ,影 响评估更容 易选择 随机 实验方法
≡下 允许 进 行 论项 目产 出
= 过 ,更 为常 见 的是 ,评 估者 必须依赖非随机 设计 。在本章 中 ,我 们将讨
能将参
评估 中干预 组和控制 组 的非随机 设计 方法 。这样 的设计 方法通 常用于不
子这 达 中断 旷 : 一 用反 身
T石 于实践 中二 与和不参与项 目的对象 进行 随机分 组 的情 况 中。我们 也将讨论 另 种利
有 哪一 种
控制的设计 (对 象与其 自身相 比较 )。 无论 如何 ,在 这些各选设计 中 ,没
能达到随机 实验估计 项 目产 出的无偏程度 。

厂 ≡千预 的对 寻

三 测值进 :
=观

Ⅰ讠
殳计 。

二景j裥 研究 设 △

￡ 杲来判 断项 ≡

二乏 ‘
所得测 量 手
÷1
三可 以是 家庭 、
184 评估;方法与汶术
、可 信 的影 响评 估 设 计
我们在第 8章 已 经 讨 论 过 ,随 机 实 地 实 验 是 最 科 学 的
就 是 说 ,没 有 内 在 的 缺
。如 果 进 行 得 好 ,对 项 目影 响 的 估 计 将 是 无 偏 的 ,也
方法 的
的 目标 ,当 然 应 该 是 对 项 目
去 高 估 或 低 估 项 目产 出 。评 估 者 进 行 影 响 评 估
陷
下 ,人 πl通 常 选 择 随 机 实
效 果 做 出公 正 、精 确 的估 计 。这 就 是 在 可 行 的 条 件
真实
验 方 案 的原 因 。
选 择 。但 是 ,这 些 各
时 候 ,评 估 者 也 可 以有 其 他
不 过 ,当 随 机 设 计 不 可 行 的
出的估 计 可 能 还 有 偏 差 。
计 有 一 个 共 同 的 问 题 :即 使 执 行 得 很 好 ,对 项 目产
选设
的方 向 通 常 不 可 预 测 。这
些 偏 差 会 系 统 地 增 大 或 者 缩 小 项 目效 果 ,而 且 ,作 用
这
差使 得 一个 无效 或 者有 害
的偏 差 当然 会 影 响 到 项 目各 方 的利 益 。如 果 这 些 偏
样
。而 投 资 者 和 政 策 制 定
现 出有 效 的 状 态 ,其 对 项 目参 与 者 将 是 不 利 的
的项 目呈 以使 一
下 ,浪 费 资 源 且 于 事 无 补
。另 外 一 方 面 ,偏 差 也 可
者 担 心 的是 在 这 种 情 况
对 项 目人 员 工 作 成 果 的 认
真 正 有 效 的项 目看 起 来 无 效 或 有 害 ,不 公 平 地 降 低
个
或者取 消投资 。
可 ,从 而 很 可 能 让 赞 助 者 减 少
题是如何使估计偏差
响 评 估 设 计 时 ,最 关 心 的 问
对 于 评 估 者 来 说 ,在 进 行 影
偏 差 的可 能 性 最 小 。因为
机 设 计 时 ,主 要 关 注 如 何 使
最 小 化 。相 应 地 ,进 行 非 随
面 或 多 或 少 存 在 问题 。
随 机 设 计 的影 响 评 估 在 这 方
不 能 确 保 没 有 偏 差 ,所 以 ,非
道 偏 差 从 何 而 来 。我 们
者 应 当 如 何 应 对 ,我 们 必 须 知
为 了 了解 为 什 么 以及 研 究
行 时如何运用非 随机设计
形 式 ,以 及 当 随 机 设 计 不 可
将 了解 非 随 机 设 计 的 各 种
来 估 计 项 目产 出 。

项 目效果估计的偏差

且 通过效 度 和信 度
就 能 够 观 测 产 出状 况 了 ,并
在 项 目 目标 确 定 之 后 ,评 估 者
经 到 ,项 目效 果 是 干 预
描 述 项 目产 出 。第 7章 已 谈
的测 量 ,以 可 接 受 的精 确 度 来
种 比较 被 限 定 在
产 出测 量 上 的 差 值 。 当 然 ,这
组 和 控 制 组 (未 接 受 项 目 干 预 )在
或 没 有 项 目介 人 时 的
差 来 自于 对 项 目产 出 的 测 量 值
其 他 条 件 对 等 的前 提 下 。偏
个 产 出被 课 判 时 ,对 项
数 据 中 ,当 上 述 两 者 任 意 一
测 量 值 的 高 估 或 低 估 。在 评 估
果 大 或 小 ,这 就 是 估 计 偏 差 。
目效 果 的估 计 就 会 比实 际 效
出时 所 出现 的僬
后 ,针 对 目标 人 群 测 量 可 观 测 产
第 一 个 问题 是 ,在 干 预 进 人 自:
测 量 在 目标 人 群 中 所 产 生
差 。通 过 采 用 真 实 的 、 贴 切 的 、全 面 的 测 量 手 段 ,来
的 偏 差 经 常 来 自于 研 究
容 易 避 免 的 。影 响 评 估 中
项 目产 出 ,这 一 类 偏 差 是 比较
的 产 出 。关 于 这 类 偏 差
没 有 项 目干 预 情 况 下 可 观 测
.

设 计 系统 性 地 高 估 或 低 估
用 了第 7章 (专 栏 7一
A)中 展 示 项 目效 果 的 图 .

可 以参 见 专 栏 9一 A,这 个 专 栏 使
以 ,我 们 没 有 现 成 自:
观 测 到 不 施 加 干 预 的 效 果 ,所
由于 无 法 在 施 加 干 预 的项 目中
内 在 的 不 确 定 性 ,使 得
何 时 会 出 现 这 类 偏 差 。这 种
手 段 来 测 定 项 目效 果 估 计 中
必 要 提 及 随 机 设 计 的空
发 生 潜 在 威 胁 。在 这 里 ,有
估 计 偏 差很 可 能对影 响评 估
干 预 时 的 产 出 ,但 随 机 化
例 中可 能会 错 误 地 估 计 没 有
处 ,尽 管 这 种 设 计 在 某 些 案
 9 顼 目影昀评佑——各选炭计 185

的影 响 评 估 设 计 方法 使 得 这 种 情 况 随 机 发 生 ,高 估 和 低 估 的 概 率 相 近 ,而 且 不 存 在 系 统 偏 差 。

L.没 有 内 在 的 缺
匚该 是 对 项 目的
通常选 择 随机 实

昏.但 是 ,这 些 各 项 目的产 出状

产 出 变 量
存在干预时的观测产出
廿可 能 还 有 偏 差 : 目的实际敕杲~~
芎 不 可 预 测 。这
个无效 或 者 有 害 没有干预时的观测产出
资者和政策制定
扁差 也 可 以使 一
Ⅱ
员 工 作 成 果 的 丿、

如 何使 估 计 偏 差
∶ 项 目前 项 目中 项 目后

r能 性 最 小 。 因 为
多或 少 存 在 问 题 =
壹呔何 而 来 。 我 忙
举 个 例 子 来 说 明有 可 能 存 在 相 当 明显 的 偏 差 。假 设 正 在 评 估 一 项 旨在 提 高
r运 用 非 随 机 设 计
丿L童 词 汇 量 的 阅读 计 划 ,并 且 我 们 有 合 适 的 词 汇 测 量 工 具 。 我 们 用 这 个 词 汇 测
量 工 具 在 项 目开 展 的 前 后 ,分 别 测 量 儿 童 的 词 汇 量 。 由 于 这 个 测 验 对 于 项 目着
词 汇 量 提 升 具 有 信 度 和 效 度 ,并 且 非 常 敏 感 ,所 以 ,我 们 对 参 加 项 目后 孩 子
aFK的

们 的词 汇 状 况 有 信 心 做 出 真 实 的 描 述 。 为 了 估 计 项 目对 词 汇 量 增 加 的 效 用 ,我
们应 该 将 参 加 项 目后 孩 子 们 的词 汇 水 平 与 假 定 没 有 参 加 项 目可 能 具 有 的水 平 进
行 比较 。为 了 达 到 这 个 目的 ,我 们 决 定 使 用 在 项 目开 展 前 词 汇 测 量 的 结 果 。 由
△通 过 效 度 和 信 度
此 可 以假 定 ,如 果 没 有 这 个 项 目 ,孩 子 们 的 词 汇 水 平 将 不 会 发 生 改 变 。 随 后 ,我
”项 目效 果 是 干 顸
们将 项 目实 施 后 得 到 的 测 量 均 值 减 去 前 测 的 词 汇 量 均 值 ,就 得 到 项 目效 果 的 估
比较 被 限 定 在
=种 测 值 。这 种 处 置 流 程 图见 专 栏 9— B。
殳有 项 目介 人 时 自: 不 过 ,在 对 上 述 项 目效 果 的估 计 中存 在 着 偏 差 ,因 为 孩 子 们 的 词 汇 量 事 实 上
:出
被 误 判 时 ,对 项
并 不 是 静 态 的 ,而 是 随 着 时 间 不 断 增 长 的 (并 且 在 通 常 情 况 下 根 本 不 可 能 减 少 )。
这 就 意 味 着 ,即 使 没 有 上 述 项 目 的 存 在 ,孩 子 们 的 词 汇 量 也 会 增 长 ,尽 管 增 长 的
=出 时 所 出 现 的 僬 幅度 不 一 定 高 于 有 项 目帮 助 时 的 情 况 。 实 际 上 ,孩 子 们 自发 增 长 的 词 汇 数 量 也
示人 群 中所 产 生 的 (专 栏
被计 人 到 对 项 目实 际 效 果 的估 计 之 中 ,这 就 是 我 们 估 计 过 程 中偏 差 的 来 源
圭经 常 来 自于 研 究 9— B展 现 了 这 一 点 )。 由 于 在 人 类 行 为 的 许 多 方 面 都 存 在 着 这 种 自然 的 变 化 ,

:二 关 于这类偏 差 .

昕 以前 一 后 测 `总 是 会 在 对 项 目绩 效 的估 计 中产 生 偏 差 。对 于 从 事 影 响 评 估 的 工
邑示 项 目效 果 的 图 .
作者 而 言 ,很 不 幸 的 是 ,并 不 是 各 种 形 式 的 偏 差 都 像 上 述 例 子 中 一 样 明 显 地 威 胁
丈.我 们 没 有 现 成 自: 到 项 目的影 响 评 估 ,并 且 能 被 轻 易 地 发 现 ,下 面 我 们 就 要 对 此 展 开 讨 论 。
E的 不 确 定 性 ,使 得
提 及 随 机设 计 的益
寸的 产 出 ,但 随 机 化
186 汊嘛 法与技术
`方

一 ~一~
一 ~一
一
有项 目条件下 的

干预后的观测产 出
兰
卩旯f1嘤 一
项 目对提升词汇
词 汇 量

没有项 目干预
量效果的估计值
条件下实 际的
词 汇 量 (观 项刂
不到的 )

根据前测值估

一 一
计 的、没有干

少r一
_~~一

・ 〓
预的观测产 出

一
一`
阅读项 目 阅读项 目 阅读项 目
实施前 实施 中 实施后

选择性偏差

一
冖
见形式是包含两组个体或
在 前 面 的 章 节 中 已 经 说 到 ,影 响 评 估 设 计 的 最 常

一一
组 则 不 接 受 干 预 。 因 此 ,对

彡
者 组 织 的 比较 设 计 ,其 中 项 目组 接 受 项 目干 预 ,控 制

・・
一
(例 如 ,项 目组 的 平 均 得 分 减 去 控 制 组 的 平 均

六一
项 目效 果 的估 计 基 于 合 适 测 量 手 段
干 预 的 情 况 下 ,只 有 两

且
不
得 分 )之 下 项 目组 与 控 制 组 之 间 的测 量 差 别 。在 都 接 受

⌒
差 别 才 是 对 项 目效 果 的
组 的平 均 得 分 在 实 验 时 间 间 隔 内 始 终 不 变 ,上 述 的 简 单

≡一居一
上 的 差 别 都 是 项 目的 效
无 偏 估 计 。如 果 上 述 预 设 成 立 ,那 么 两 组 之 间 任 何 数 值
两 组 是 对 等 的 ,并 通 过 统 计
果 。将 个 体 随 机 分 配 到 干 预 组 和 控 制 组 ,就 可 以认 为

F
显 著 性 检 验来 判 断差 异 的显 著 性 。

亠
立 就 值 得 怀 疑 。无 论

≡
如 果 分 组 不 是 随 机 指 定 的 ,那 么 ,上 述 等 值 预 设 能 否 成

六一
被 称 为 非 对 等 比较 设 计

郑〓
各 组 看 起 来 如 何 等 值 ,只 要 不 是 随 机 分 组 的 比较 设 计 都
(Nonequiva1ent∞ mp盯 汛 m design)。 这 一 称 谓 强 调 在 没 有 项 目干 预 的 情 况 下 ,不
能 作 出结 果 对 等 的 预 设 。

一”
目效 果 估 测 产 生 偏
当不 能 作 出对 等 预 设 时 ,就 无 法 避 免 原 有 组 间 差 异 对 项

亠λ
(se1ection bias)。 对 于 使 用 非 对 等 (即 非 随 机
差 效 应 ,这就 是 所 谓 的 选 择 性 偏 差
地 估 测 项 目效 果 的 内 一△
化 的 )分 组 比较 设 计 的任 何 影 响 评 估 ,选 择 性 偏 差 都 是 真 实
H→

在威胁 。
彐一

不 道分 组 的哪些
选 择 性 偏 差 的得 名 ,是 因 为 与 随 机 分 组 相 对 应 ,我 们 完 全 知
彐亻

预 ,而 将 非 自愿 的 个 体 划
过 程 会 产 生 影 响 。例 如 ,对 自愿 参 与 的个 体 实 施 项 目干
6v
_'

体 。选 择 性 偏 差 是
人 到 控 制 组 。 自愿 参 与 的个 体 已 经 自主 选 择 了 将 参 与 哪 个 群
出测 量 差 别 。 由于 不
在 没 有 项 目干 预 条 件 下 ,任 何 自愿 者 和 非 自愿 者 之 间 的 产
 9 项Ξ影响评佑——备选殳廾 187

定 这 类 偏 差 的性 质 和
文可 能 知 道 自愿 者 与 非 自愿 者 之 间 的 所 有 相 关 差 别 ,在 确
时所 能做 到 的就 相 当有 限 。
=围 由非 随 机 分 组 造 成 的偏
选 择 性 偏 差 并 非 只 指 类 似 自愿 者 和 非 自愿 者 这 样
如 ,假 设 评 估 校 园 毒 品 预 防 项
耋 =选 择 性 偏 差 常 常 表 现 为 更 加 隐 蔽 的 形 式 。例
个 项 目 ,且 在 其 他 方 面 很 类
彐影 响 的评 估 者 ,发 现 另 一 个 临 近 的学 校 没 有 参 与 这
匹下 的 衤j2评 估 者 可 能 就 会 拿 临 近 学 校 的 学 生 作 为 控 制 组 ,来 同 参 与 了 项 目 的 本 校 学
的 状 况 。 即使 在 学 年 初 ,两 校 学 生
三进 行 对 比 ,比 较 两 个 群 体 在 学 年 末 毒 品使 用
。于
帚 廴 排 除 项 目影 响 的 条 件 下 两 校
品使 用 状 况 类 似 ,然 而 ,研究 者 怎 么 能 够 确 定 在
L扌
--
:∶

=毒 ?在 孩 子 们 居 住 的 地 区 和 他 们 所 上
=预 ≡生 的 毒 品使 用 状 况 在 学 年 末 仍 然 会 一 样 呢
F的 。这 些 因 素
嗄浏 校 ,有 许 多 个 人 的 、文 化 的和 经 济 的 因素 对 他 们 行 为 发 生 着 影 响
=学 “ ” 校 ,而 另 一 些 孩 子 上 另 外 一 所 学
着 某 种 选 择 作 用 ,使 得 某 些 孩 子 上 这 所 学
=挥 可 能 同样 影 响 到 他 们 在 学 年 内 的毒
啶 二那 些 影 响 孩 子 们 上 某 所 学 校 的 因 素 ,也
用 情 况 和 毒 品 预 防 项 目效
昱 使用 情 况 。 一 旦 存 在 这 种 状 况 ,对 两 所 学 校 毒 品 使
寻 的任 何 估 测 都 可 能 存 在 选 择 性 偏 差 。
或 人 为 过 程 ,也 是 引 发 选 择
导 致 项 目组 或 控 制 组 成 员 产 出数 据 损 失 的 自然
(虹 triti° n)。 损 耗 可 能 产 生 于 下 面 两 种
叮 偏差 的 一 个 原 因 ,这 种 情 况 被 称 作 损 耗
也 接 触 不 到 ;② 评 估 对 象 拒 绝 就
唔况 :① 对 象 从 项 目组 或 者 控 制 组 离 开 ,并 且 再
量 中 出 现 了 样 本 缺 失 ,原
万 目产 出进 行 测 量 。 问 题 的 关 键 是 在 项 目结 束 后 的 测
用 的精 确 随 机 过
疋 被 分 配 到 控 制 组 或 项 目组 的 某 些 个 体 被 剔 除 。 无 论 何 时 ,常
卫含 两 组 个 体 或 会 带 来 不 同程 度 的损
∈、 例 如 使 用 随 机 数 表 或 者 抛 硬 币 法 )以 外 的 任 何 因 素 ,都
l干 预 。 因 此 ,t 控 制 组 中缺 失 的产 出数 据
砭 二也 就 是 说 ,项 目组 中缺 失 的 产 出数 据 ,不 能 假 设 与
去控 制 组 的 平 之 后 保 留在 各 组 中 的 数 据
j情 况 下 ,只 有 贡
= 具有 同样 的 特 征 。 由于 选 择 性 偏 差 的存 在 ,排 除 损 耗
,

冥可 比性 也 会 产 生 变 化 。
邑对 项 目效 果 ΞI 择 性 偏 差 。随 机 分 组 在 分
随 机 分 组 设 计 显 然 也 不 能 摆 脱 因损 耗 所 导 致 的 选
引都 是 项 目 的 苁 中 也 保 持 均 衡 ,才 能 减 少 选
￡ 之 初 是 统 计 均 衡 的 ,但 只 有 在 项 目结 束 之 后 的 测 量
藁韵 ,并 通 过 统 △ 在 的 损 耗 而 产 生 ,会 造 成
景性 偏 差 。 因此 ,选 择 性 偏 差 由于 控 制 组 及 项 目组 中存
=出 数 据 不 能 涵 盖 最 初 随 机 选 定 的 每 一 个 测 量 单 元 。 因 此 ,为 了 保 证 随 机 实 地
直 得 怀 疑 。无 七
耗 ,不 然 ,这 一 实 验 设 计
乓验 的效 度 ,研 究 者 就 应 该 防 止 或 降 低 产 出测 量 上 的 损
非对 等 比较 设计
乱吸 可 能 蜕 变 为 非 对 等 比较 分 组 实 验 。
F预 的 情 况 下 ,T 的样 本 丢 失 带 来 的 。
应 该 注 意 到 ,危 害 研 究 设 计 的这 类 损 耗 是 由产 出 测 量 中
不 成选择性偏差。
丁果 干 预 对 象 从 项 目 中 退 出 以 后 仍 然 参 与 产 出 测 量 ,这 就 构
效果估测产生 旄
行 结 果 怎 样 ,都
t1果 干 预 对 象 没 有 完 成 项 目 ,这 会 影 响 到 项 目执 行 ,但 是 不 管 执
F对 等 (即 非 随 i
丁 会 危 害 到 对 项 目影 响 的 研 究 设 计 。 因 此 ,研 究 者 应 该 尽 量 获 取 每 一 个 项 目组
F测 项 目效 果 的 宀
个 项 目过 程 。类 似 地 ,控 制
莪员 的产 出测 量 值 ,无 论 他 πl是 不 是 完 整 地 参 与 了 整
是 不 是 提 前 退 出 了 项 目或
:知 道 分 组 的 哪 ≡ ￡ 每 一 个 成 员 的 产 出数 据 也 应 该 尽 量 获 取 ,无 论 他 们
么 ,比 较 两 组 测 量
非 自愿 的 个 体 翅
蓍接 受 了其 他 相 关 服 务 。如 果 得 到 了 完 整 的 项 目产 出 数 据 ,那
「
组 接 受 的类 似 服 务 如 果
E=选 择 性 偏 差 是 亘的效 度 就 能 够 得 到 保 证 。项 目组 接 受 的 干 预 或 者 控 制
体的
瓦 完 全 ,那 么 ,对 项 目效 果 估 计 以及 比较 的 显 著 性 将 受 到 影 响 。无 论 目标 群
i量 差 别 。 由 于 丌
188 评估 :方法与皮术

最 终 项 目效 果 如 何 ,都 会 小 于 完 整 执 行 项 目情 况 下 的 产 出 。 如 果 控 制 组 接 受 了
服 务 ,那 么 ,对 项 目效 果 的 估 测 就 代 表 了 相 对 于 控 制 组 的 最 后 收 获 ,无 论 项 目红
的执 行 多 么完 善 。
总 之 ,选 择 性 偏 差 并 不 只 是 适 用 于 对 目标 群 体 的 最 初 分 组 ,也 关 涉 到 在 产 土
测 量 阶 段 各 组 数 据 的 可 用 性 。也 就 是 说 ,选 择 性 偏 差 包 含 了 诸 多 情 形 ,在 这 些 情
形 中 ,撇 开 那 些 直 接 关 联 项 目参 与 的 特 征 不 谈 ,项 目组 和 控 制 组 产 出 测 量 比较 自:
某 些 内在 特 征 差 异 ,也 会 影 响 到 产 出测 量 的 状 况 。

偏差 的其他来 源

除 了选 择 性 偏 差 之 外 ,还 有 一 些 因 素 也 会 导 致 影 响 评 估 结 果 的偏 差 ,这 些 区
素 总 体 上 与 干 预 阶 段 中接 受 项 目影 响 之 外 的 其 他 事 件 和 经 验 相 关 。通 过 对 项 目
组 和 控 制 组 进 行 比较 ,从 而 估 测 项 目效 果 ,这 不 仅 要 求 两 组 样 本 在 相 关 于 产 出汉
量 的特 征 上 对 等 ,也 要 求 除 了是 否 参 与 项 目之 外 ,研 究 中 的 其 他 经 验 也 对 等 。如
果 某 一 项 目组 具 有 另 一 组 没 有 的 其 他 经 历 ,并 且 这 些 经 历 会 影 响 到 项 目产 出 ,那

〓 剧
么 两 个 项 目组 结 果 的 差 别 就 不 仅 反 映 项 目的 效 果 ,也 反 映 其 他 经 历 的 效 果 。其

证 烈〓谳
他 因 素 带 来 的效 果 当 然 会 使 项 目的效 果 放 大 或 缩 小 ,构 成 评 估 的偏 差 。
即使 是 在 前 一 后 测 设 计 中 ,当 接 受 项 目干 预 的 个 体 在 与 接 受 干 预 之 前 对 比
时 ,干 扰 事 件 或 干 扰 性 经 历 仍 然 是 潜 在 的 问 题 。有 时 候 ,个 体 的 经 历 或 是 在 项 目
进 行 过 程 中发 生 的重 大 事 件 ,即 便 与 项 目本 身 无 关 ,也 可 能 影 响 到 项 目产 出 。这
样 ,前后 比较 就 会 产 生 出 对 项 目效 果 的 有 偏 估 计 。譬 如 ,对 于 儿 童 来 说 ,在 阅 读
项 目进 行 中 ,词 汇 量 的 自然 增 长 就 是 一 个 干 扰 因 素 (专 栏 9— B)。
对 评 估 者 来 说 ,困 难 在 于 项 目的 运 作 需 要 社 会 环 境 的 支 持 。 在 这 个 环 境 中 .

平 常 的 或 自然 的 事 件 演 进 不 可 避 免 地 影 响 到 项 目关 注 的 结 果 。 例 如 ,许 多 人 能
从 急 症 中 自然 地 恢 复 ,因 为 情 绪 的放 松 显 然 有 助 于 这 类 疾 病 的 康 复 。 因 此 ,检 验
治 疗 某 种 疾 病 — — 比如 说 感 冒— — 方 案 的 医 学 试 验 ,必 须 区 分 治 疗 的 效 果 与 没
有 治 疗 情 况 下 的 病 情 变 化 ;否 则 ,对 治 疗 方 案 效 果 的 估 计 就 具 有 很 大 的 偏 差 。社
会 干 预 也 具 有 类 似 性 。训 练 年 轻 人 掌 握 某 项 技 能 的 项 目必 须 认 识 到 ,有 些 人 即
便 不 参 加 项 目也 能 够 掌 握 这 些 技 能 。类 似 地 ,对 于 评 估 减 轻 贫 困 的 某 些 项 目来
说 ,必 须 考 虑 到 某 些 家 庭 和 个 人 在 没 有 外 援 的情 况 下 ,经 济 状 况 也 会 逐 渐 转 好 。
在 对 项 目效 果 的 评 估 中 ,那 些 可 能 造 成 偏 差 的 经 历 和 事 件 可 以 大 致 归 人 以
下 三 类 :长 期 趋 势 ,短 期 事 件 和 成 熟 过 程 。

长期趋 势

在社 区 、
地 区 或 国家 中 ,较 为 长 久 的态 势 通 常 用 长 期 趋 势 来 表 达 ,长 期 趋 势
所 带来 的变 迁 可 能会 增 进 或 者 掩 盖 项 目的外 显 效 果 。在 社 会 生 育 率 下 降 的 阶段
中 ,一 个 减 低 生 育 率 的项 目就 可 能 表 现 为 有 效 ,其 原 因实 际上 极 有 可 能是 生 育 率
下 降趋 势 本 身 造 成 的偏 差 。 同样 ,一 个 改 善 贫 困家 庭 居 住 质 量 的项 目也 许 比其
实 际效 果 表 现 得 更 加 有 效 ,因 为 国 民实 际 收人 增 长 的趋 势 使 得 每 一 个 人 都 能 在
 9 顶目影驹评佑——备进发廾 189

其 住 房 上 投 人 更 多 的 资 源 。 另 一 方 面 ,长 期 趋 势 也 可 能 掩 盖 项 目 的 真 实 效 果 。
空制组接 受了
组 一 个 有 效 地 促 进 粮 食 产 量 的 项 目 ,会 由 于 项 目实 施 期 间 不 良气 候 的 影 响 而 得 不
灵.无 论 项 目
到 真 实 体 现 。 类 似 地 ,一 个 为 获 释 犯 人 提 供 就 业 机 会 的 项 目 ,很 可 能 受 到 项 目执
出 行 期 间就 业 市 场 不 景 气 的影 响 而 变 得 效 果 不 明显 。
L关 涉 到 在 产
情 形 ,在 这 些 情 短 期 事件
贝刂
=出 氵 量 比较 的
与 长 期 趋 势 一 样 ,短 期 事 件 也 可 能 造 成 一 些 意 外 变 化 ,给 对 项 目效 果 的估 计
带 来 偏 差 。 比如 ,停 电 就 可 能 中 断 通 讯 并 影 响 食 物 的 发 放 ,于 是 ,停 电 事 件 就 可
能 影 响 某 个 营 养 项 目 的 运 作 。 同 样 ,一 场 自然 灾 害 可 能 使 得 增 进 社 区 团 结 的 项
因 目表 现 得 有 效 ,而 实 际 上 是 突 发 危 机 使 社 区成 员 团结 了起 来 。
艮的 偏 差 ,这 些
l夫 。通 过 对
项 目
成 熟 过程
1在 相 关 于 产 出汊
。妊 前 面 提 起 过 ,影 响 评 估 必 须 常 常 应 对 这 样 的 挑 战 ,即 自然 的 成 熟 和 发 展 过 程
红经 验 也 对 等
Ⅰ 可 能 独 立 地 对 项 目产 生 相 当 大 的 影 响 。 如 果 把 这 些 变 化 纳 人 项 目效 果 的 估 算
响 到 项 目 产 出 ,荛
± .那 么 ,估 算 就 有 偏 差 。例 如 ,一 项 激 发 年 轻 人 体 育 运 动 兴 趣 的 社 会 项 目 的 效
。冥
色经 历 的 效 果
昊 .可 能 会 因 为 他 们 进 人 劳 动 年 龄 所 导 致 总 体 兴 趣 下 降 而 掩 盖 。成 熟 的 自然 过
的偏差 。
对L 礓也 可 能 影 响 到 年 龄 较 大 的 成 年 人 :在 成 年 人 中 推 进 预 防 性 医 疗 实 践 的 项 目可
妾受 干 预 之 前
项≡ 毫看 起 来 会 没 有 效 果 ,因 为 随 着 年 龄 增 长 ,人们 的健 康 状 况 总 体 上 会 不 断 下 降 。
的经 历或 是 在
铜 到 项 目产 出
3辶
丰随机设 计 中的偏 差
嚣
F儿 童 来 说 ,在 阅
在 所 有 并 非 完 美 实 施 随 机 实 验 的 情 况 下 ,影 响 评 估 中 的 这 些 偏 差 对 所 有 评
B、 c

环 境 =ˉ 唁设计 和 分 析 而 言 ,都 是 一 个 关 键 问 题 。事 实 上 ,在 某 些 情 况 下 ,随 机 实 验 中 也
寺 =在 这 个 ∷
人戟 可≡ 包含 偏 差 。在 随 机 实 验 中 ,产 出测 量 没 有 损 耗 的 完 美 随 机 过 程 应 该 避 免 选
杲 。例 如 ,许 多
,佳 驰
虐 差 。从 随 机 分 组 到 产 出测 量 ,精 心 地 在 项 目组 和 控 制 组 之 间 维 持 可 比性
的 蒹复 。因此
∶ =偏 ,

与惟 璇钅避 免 其 他 经 历 或 者 事 件 所 造 成 的 偏 差 。 如 果 一 个 设 计 方 案 不 能 满 足 上 述 两
豇分 治 疗 的 效 果 吐丢件
差 :杜 ,那 么 ,在 对 项 目效 果 的评 估 中 ,就 可 能 潜 藏 偏 差 。
具有 很 大 的 偏
i`鲡 在 使 用 非 随 机 化 影 响 评 估 设 计 以及 具 有 高 度 损 耗 或 项 目组 和 控 制 组 受 到 不
些
|须 认 识 到 ,有
孔
湄 部 事 件 及 经 验 影 响 时 ,评 估 者 必 须 关 注 估 计 中 的 偏 差 ,并 尽 量 减 小 偏 差 ,这
项 ≡躲
弪贫 困 的 某 些
≡ 帚了 究 设 计 的关 键 问 题 。 因 此 ,下 面 将 围 绕 给 项 目效 果 评 估 带 来 偏 差 的 影 响 因
状况也会逐渐转
ψⅧⅡ 孺 冖.叉 降低 偏 差 的方 法 ,来 讨 论 随 机 实 验 的备 选 方 案 。
归 ˉ
事 件可 以大致

准实验影响评估
≡
趋 势 来 表 达 ,长
手 8章 已经 说 过 ,准 实 验 是 指 没 有 随 机 分 配 控 制 组 的 研 究 设 计 。 在 准 实 验
降芑
眭会 生 育 率 下
三 =.接 受 项 目干 预 的 对 象 ,与 选 定 的 、
非 随机 指 定 的对 象 或 没 有 接 受 实 验 干
际上 极 有 可 能 是
也△ 叮雪在 对 象 构 成 的控 制 组 进 行 比较 。控 制 组 在 某 些 相 关 特 征 或 经 历 上 类 似 于
庄 质量 的 项 目
Ξ￡ ~或 者 可 以通 过 统 计 手 段 对 之 进 行 调 整 以 使 两 者 类 似 ,这 样 ,就 可 以在 相
个 丿`都
势 使得 每 一
190 评佑;方法与技术

当 可 靠 性 的 基 础 上 评 估 项 目的 效 果 。
准 实 验 设 计 适 用 于 可 以利 用 随 机 方 法 却 不 能
自始 至 终 地 保 持 其 随 机 性 莳 ~ll
目。 举 例 言 之 ,关 于 新 奥 尔 良无 家 可 归 的
药 物 或 酒 精 滥 用 者 项 目 ,是 一 个 为 无 冢
可 归 的酒 精 或 药 物 滥 用 者 服 务 的 安 居 性 成 人
再 社 会 化 项 目 (De访 ne,W五 ght,搠 :
B△・
od1・ ,1” 5)。 一
这 影 响 评 估 是 作 为 随 机 实 验 设 计 的 ,但 是 正
真 随 机 分 组 的台 适
对 象 不 到 三 分 之 一 。项 目人 员 改 变 了 随 机 过 程
,他 们 只 在 观 察 到 “好 的 ”对 象 △
才 运 用 随 机 结 果 ,否 则 就 置 之 一 边 。 而 且 ,人 员
减 少 以及 进 — 步 的 资 料 搜 集 也 ≡
坏 了最 初 的 随 机 设 计 。 由此 产 生 的 干 预 组 和
控 制 组 不 再 符 合 随 机 实 验 的要 求 Ⅱ
因而评 估 者 不 得 不 将 之 视 为 准 实 验 设 计 。
具 体 的 准 实 验 设 计 是 否 能 对 项 目效 果 进 行 无
偏 估 计 ,很 大 程 度 上 取 决 于 设
计 能 在 多 大 程 度 上 减 少 控 制 组 与 项 目组 之 间 的关
键 差 别 。准 实 验 研 究 的 各 组 =
常 常 存 在 着 相 关 差 别 ,因 此 也 就 存 在 对 项 目效 果
的 估 计 产 生 偏 差 的 可 能 。举 n
来 说 ,假 设 有 一 个 旨在 促 进 农 业 生 产 的 政 府 项 目
,通 过 广 泛 的 教 育 运 动 指 导 农 三
如 何 通 过 合 理 施 肥 来 增 产 。评 估 者 通 过 寻 问
农 业 管 理 部 门 获 知 自愿 参 与 项 目苎
地 区 并 展 开 评 估 ;同 时 ,还 在 没 有 自愿 参 与 项 目的
地 区挑 选 了一 些 与 影 响农 业 三
产 的 特 征 (例 如 平 均 降 水 量 、耕 作 面积 、农 作 物 和 单 位 面 积 的平 均 投 人 )相 匹 配
地 区 作 为 控 制 组 。难 题 在 于 ,也 许 在 两 组 之
间 还 存 在 某 些 未 知 的 因 素 ,同 样 影 迥=
着 农 业 产 量 。也 许 自愿 参 与 项 目的 地 区 更 加
热衷 于采 用 新 技 术 或 更 加 愿 意 承≡
风 险 。如 果 这 些 地 区也 采 取 了 其 他 手 段 来 增
产 ,那 么 选 择 性 偏 差 就 会 导 致 对 j
目效 果 的夸 大 。
因 此 ,准 实 验 设 计 要 求 对 项 目组 和 控 制 组
采 取 严 格 的措 施 来 保 障 两 者 的一
致 性 。这 里 要 介 绍 的 准 实 验 设 计 技 术 ,包 括
通 过 配 对 来 建 构 控 制 组 ,通 过 统 计 ≡
序 来 均 衡 控 制 组 与 项 目组 ,还 包 括 回 归 一 断
点 设 计 以及 反 身 性 控 制 的 使 用 (在 这
种 技 术 中 ,目 标 群 体 与 其 自身 进 行 比较 )。

通 过 配对 来 建 立控 制组

配对 是 准 实 验 设 计 中建 构 控 制 组 的一 种
方 法 。 在 配 对 设 计 中 ,常 常 是 首 先
确 定 干 预 组 ,然 后 评 估 者 通 过 一 些 特 征 的 匹
配来 决定 哪些 对 象 可 以和 干 预组 框
配对从 而建 构 控 制 组 。这 种 设 计 的逻
辑 是 在 两 组 都 没 有 接 受 项 目干 预 的 情 况
下 ,任 何 可 能 导 致 产 出 差 异 的 特 征 都 是 相 匹
配 的 。如 果 配 对 不 能 充 分 地 平 衡 可
能 影 响 到 项 目产 出 的 特 征 ,那 么 对 于 项 目产
出 的 评 估 中就 会 存 在 偏 差 。

选择 用 以配对 的变 量

对 于 尝 试 使 用 配 对 设 计 的 评 估 者 来 说 ,首
要 的 困难 就 是 了解 哪 些 特 征 对 于
配 对 来 说 是 重 要 的 。评 估 者 应 该 通 过 已
有 的知 识 和 对 相 关 理 论 的 了解 来 决 定 E

相 关 信 息 也 可 以通 过 项 目关 联 领 域 中 的 研
究 文 献 来 获 取 。 例 如 ,对 于 要 减 少 未
成 年 怀 孕 的项 目来 说 ,未 成 年 少 女 怀 孕 的 研
究 就 有 益 于 确 定 其 性 行 为 以及 怀 孕
等 行 为 的 动 因 。建 构 一 个 匹 配 的 控 制 组 ,就 要
尽 可 能选 择 与早 孕 重 要 特 征 相 符
 9 项Ξ影昀潲 ——备选发计 191

士妁 年 轻 人 。
与 项 目 的 变 量 。举 例 来
也保 持 其 随 机 性 的 项 应 该 特 别 关 注 项 目活 动 所 针 对 的 变 量 ,即 选 择 谁 参
人 对 训 练 的 态 度 以及 对 就 业
∶
项 目 ,是 一 个 为 无 家 走 .就 对 失 业 年 轻 人 进 行 职 业 培 训 的项 目而 言 ,年 轻
(Chen,1990)。 即便 选 择 分 组 的 变 量
Devine, ηVright, and 价 就 是 匹配 过 程 需 要 考 虑 的重 要 因素
=评 并 测 量 这 些 变 量 。倘 若 能 够 使 之 整 合 到 资
蔓正 随 机 分 组 的 合 适 =能 够 完 全 匹 配 ,评 估 者 也 应 该 确 定
“ ” 粒 分析 中去 ,就 更 易 于 发 现 选 择 性 偏 差 并 对 之 进 行 可 行 的 统 计 调 整 。
察到 好的 对象时‘
影 响 产 出 的变 量 来 进 行 配 对 。
一步 的 资 料 搜 集 也 破 幸 运 的是 ,并 不 总 是 必 须 使 用 文 献 提 供 的 每 个
在 统 计 上 就 是 冗 余 的 ,可 以 不 加 考
合 随机 实 验 的要 求 圬又 的特 征 之 间 常 常 是 相 关 的 ,因 此 有 的 因 素
对 学 生 进 行 配 对 ,也 可 以利 用 各
.

恿 =比 如 ,教 育 干 预 的评 估 者 可 以基 于 智 力 水 平
的相 关 性
三级 学 生 的考 试 平 均 成 绩 进 行 匹 配 ,因 为 智 力 测 验 的 结 果 与 考 试 成 绩
艮大 程 度 上 取 决 于 设
响力但 又不冗
Ι 常强 。评 估 者 应 该 对 这 些 相 关 关 系 有 所 认 识 ,尽 量 在 各 个 有 影
隹实 验 研 究 的 各 组 中
出 的 特 征 变 量 ,两 组 的 测 量 结
崇妁 因素 基 础 上 进 行 匹 配 。如 果 不 能 区分 影 响 产
拦偏 差 的 可 能 。 举 伍
。
昊 孰会 产 生 很 大 差 异 ,那 么 ,将 会 对 项 目效 果 产 生 有 偏 估 计
苻教 育 运 动 指 导 农 民
沃知 自赝孓参与 项 目 自
: 配对 程 序
了一 些 与 影 响 农 业 生
构 。在 个 体 配 对 时 ,需 要 在
配 对 的控 制 组 ,可 以通 过 个 体 或 整 体 的 配 对 来 建
丨
平均投人 )本 目匹 配 莳 “ ”
搭 档 。例 如 ,如 果 认 为 年 龄 、性
∶
彡与 项 目的学 生 群 体 中 为 每 个 参 与 对 象 抽 出其
知 的 因 素 ,同 样 影 响 么 在 为干 预 组 的每个
气、 兄 弟 姊 妹 数 量 以及 父 亲 职 业 是 相 关 的 配 对 变 量 的话 ,那
支术 或 更 加 愿 意 承 拦
目的 孩 子 名 单 。 为 了 配 对 成 功
二 子 匹配 最 相 似 的 孩 子 时 ,应 该 仔 细 考 察 参 与 项
,

圭偏 差 就 会 导 致 对 丁
可 以适 当调 整 近 似 的 标 准 。例 如 ,也 可 以 在 年 龄 相 差
6个 月 的 范 围 对 两 组 进 行
配对 。专 栏 9一 C提 供 了个 体 配 对 的说 明 。
旨施 来 保 障 两 者 的 一
I控 制 组 ,通 过 统 计 ≡
性 控 制 的 使 用 (在 这
室里学 习的 ,但 当前 的政策讨 论集 中
具有严重残疾 的学生一直以来都是在 封闭式特殊教育教
之一在于 ,是 否混合式 学校能促进
≡是否在普通教育设施 中安排更 多的混合 式教育 。我们 的兴趣
的研究 ,研 究表 明在传统 的特殊
≡=重 残疾的学 生的发展 。混合式教 育 的合 理性主要来 自于这样
萁育制度 中 ,残 疾学生和非残疾学生的社会关系非 常弱。
设 计 中 ,常 常 是 首 ≡ 究小 组用夏威夷 瓦胡 岛上 的
为了评估混合式教育 中残疾学 生和普通学 生社会关 系的作用 ,研
寸象 可 以 和 干 预 组 茫 学生在普 通教育 的教室 中接受
∶享高年级学生设计 了一个影响评估。在 瓦胡 岛 ,某 些学校的残疾
萋受 项 目干 预 的 情 五 教室中学习。
≡末教育 ,然 而在另外一些学校 ,残 疾学生在具有特殊教育设施 的封闭式
堂
扌不 能 充 分 地 平 衡 可
根据年龄 、 性别、 适当的沟通能力以及适当的社会行为 ,来 自于常规 小学高 年级课
残疾程度 、
荇在偏差 。 显示两组学 生之间没有显
≡ s个 残疾学生每一个都有一个处于特殊教育 的学生来配对。统计分析
互动特征 ,对 两个组进行了
≡差异。然后 ,根 据学生 之间的朋友 网络以及他们 与非残疾学生之间的
互动也更为频 繁 ,其 所
、
3结 果显示 :在 普通教育课堂中的学生与非 残疾学生的互动范 围更广
=莰 残疾学生更为持久 的关系 。
己了 解 哪 些 特 征 对 亍 旱到和付出的社会支持水平也更高 ,而 且有更广的朋友 网络以及和非
理 论 的 了解 来 决 ≡
:钭 来 源:⒍ 缸 gH knne曲 ,sllllta shllqla,and⒉
鉴J莨 ⒊
怼。猫
∶鞋
n鼾
吃
絮:扌 ∶I抽1扌 叶
列 如 ,对 于 要 减 少 元
:∶
:l:cement on the social Re1ationships of Interm(
r叩 扌joⅡ σJ
三百 ChjJdlF,n,1997,64(1):31-47
苣其 性 行 为 以 及 怀 孕
≡早 孕 重 要 特 征 柜 矸
192评估J方法与茭术

对 于 整 体 配 对 而 言 ,并 不 是 一 对 一 的个 体 配 对 ,而 是 让
干预组和控制组在每 序 。在 许 多
个 配 对 变 量 的 总 体 分 布 上 一 致 。 例 如 ,我 们 发 现 干 预
组 和控 制 组 在 孩 子 的年 龄 评 估 中仍 然
和 性 别 上 具 有 相 同 的 比 例 ,但这 一 结 果 可 能 来 自于
包 括 一 个 12岁 女 孩 和 8岁 男 目标 对 象 是
孩 的 控 制 组 以及 包 括 一 个 9岁 女 孩 和 11岁 男 孩 的 干
预 组 ,而 两 组 在 总 体 分 布 上 如 在对 医疗
是 平 衡 的 。专 栏 9— D给 出 了一 个 整 体 配 对 的 例 子 。
常被 称作 案

通 过统 计 翟
这个 项 目始 于 巴尔 的摩 ,旨 在通过整 套措施 为生 活在 公 共住
房 的贫 困家庭 提供 服 务 ,希 望 能帮 在最 常
助他 们摆脱 长期 的贫 困。这 些 服 务 措 施 包 括 孩 子 和 大 人
的特 殊 教 育 项 目、 就 业 培 训 项 目、 儿 童项 比较 ,而 控 芾
目、 特殊健 康 护理 以及 便利 的儿 童看 护等各种干 预 ⊙尽 可能在
拉法 耶特 (LaF叩 ette c⑾ ns)公 共 住 房 有所 区别 。
计划 范 围内提 供这些服务 。负 责住 房计划 的管理 者 帮助 不
同家庭 挑选 适 合 于他们 的服 务 。项 目的 一个 易 于人
显 著特点在 于 ,其 重点是 服务 于家庭 而不是个人 。总共 125个
有 家庭 参加 了这一 项 目。 项 目影 响 评 '

为 了建立 控制组 ,从 对应 的一个 名 为 墨 菲 (Mu屮 hl/Homes)的

公 共 住 房 计划 中挑 选 了 125个 家 就 可 以运用 .

庭 。这 样 ,通 过与墨菲 计划抽 出来 的家 庭 比较 ,来 评 估
家庭 发展 项 目的效 果 。一 年 以后 ,所 有 参 与 偏差 。
项 目的家庭表现 出更 强 的 自尊 以及 控 制 自己命 运 的感
觉 ,但 是 还 未 出现 就 业 和 收 人 方 面 的积 极
为 了解 9

影响。
9—E是 一 个
:瓶 &印 s%v色 rd J,a咖 施″硼 e肠 腕ε 设计这种部.
” 骓 呵
爱榷 F{∶ )∶ ∶
|i丨:|丨:∶
秽 铣 彳∶∶
}∶
},尻 乃f孩 r岁 黯
|l∶
。
re,MD: Institutc for Policy Studies,Johns Hopkins
University, 1991 高 的工 作 。 I
年之后 对 他 f
龄 的另 l OO0
个 体 配 对 通 常 比整 体 配 对 更 好 一 些 ,尤 其 是 几
当 个 特 征 同时被 用 来 作 配 对 被 问及 当前 自
标 准 时 。 终 而 个 体 配 对 的 缺 点 是 费 用 大 、费 时 而 且
很 难 对 大 量 的配对 变 量 进 行 在专栏 ~
操 作 。 而 且 ,个 体 配 对 有 时 会 导 致 大 量 的 数 据
损 失 。如 果 干 预 组 之 中 的个 体 在 的平 均 工 资 列
控 制 组 中找 不 到 配 对 ,就 会 被 从 数 据 库 中剔 除
出 去 。在 某 种 情 况 下 ,无 配 对 个 体 是 8.2O美 元
的 比 例 会 很 大 ,以 至 于 有 配 对 的个 体 不 再 具 有
实 施 干 预 的代 表 性 。 的 结 果 ,那 么
补 充 一 点 ,如 果 用 来 配 对 的 变 量 可 靠 性 低 ,就 可
能 出现 严 重 的统 计 假 象 。 当 外 ,两 组 在 许
用 来 配 对 的个 体 来 自变 量 分 布 的 不 同 状 态 时
,这 种 情 况 尤 为 可 能 发 生 。 假 设 有 括 了选 择 性 镅
这 么 个 例 子 ,根 据 教 师 学 术 才 能 的 排 名 来 配
对 学 生 ,这 种 配 对 就 有 一 定 的 可 靠 9~
专栏
性 。如 果 一 个 补 习 计 划 的 干 预 组 来 自于 差
学 校 且 分 数 较 低 ,而 与 其 配 对 的 学 生
育 ,对 两 种 具 ;
来 自于 好 学 校 且 分 数 较 高 ,很 可 能 是 从 差 学 校
来 的 高 分 学 生 与 来 自好 学 校 的 低 与者并 未完 威
分 学 生 配 对 。如 果 根 据 这 种 情 况 下 获 得 的
结 果 进 行 组 间 比较 ,就 可 能 出 现 与 项
受 教 育水 平 者
目效 果 无 关 的 伪 差 异 (即 对 均 值 的 回 归
;更 多 信 息 请 参 见 Campbe11,I996; 非 常 接 近 ,即 氵
Campbell and B。 mch,1975;Hsu,1995)。
分 别 是 8.10多
无 论 怎 样 小 心 配 对 ,干 预 组 和 控 制 组 之
间 总 可 能存 在 某 些 与 结 果 相 关 的重
与 者 的工 资 差
要 差 异 。如 果 相 关 变 量 已 知 且 可 测 量 ,就 可
将 其 用 作 统 计 控 制 变 量 (将 在 下 一 部
第 三部分
分 讨 论 ),尽 管 不 能依 此 配对 。 实 际上 ,在 控 制 组 配
对 设 计 中 ,一 个 有 角 的策 略 就 处 于失业 状 态
是 只使 用 部 分 重 要 变 量 来 进 行 配对 ,对 其 他 变 量
则进行统计控制 。 是 恰 当 的 。在
实 际 而 言 ,统 计 控 制 在 近 些 年 中 已经 在 很 大 程 度 上
替 代 并 且 完 善 了配对 程 失业 两部 分 。
 9 项目影饷评佑——各崖没廾 193
毗 舴 耐 附
控 孩 孩 总
一
一
刘 〓一 一
一一

在 许 多 操 作 中 成 为 了 配 对 的 等 价 物 。 不 过 ,至 少 在 某 些 变 量 上 ,配 对 在 影 响
一一
.

=∶
一 〓 一

证 古 中仍 然 较 为 常 见 。 例 如 ,牵 涉 到 少 数 整 体 单 位 的 比较 ,比 如 学 校 和 社 区 。 当
_一

只 ~

≡乐 对 象 是 特 定 人 群 (例 如 具 有 某 种 医 学 的 、
私 人 的 或 者 情 景 的 特 征 的 人 )日 寸,譬
'

丁≡ 对 医 疗 或 相 关 健 康 干 预 项 目 的 评 估 中 ,配 对 也 是 常 用 的 方 法 (此 时 ,配 对 通
一
二

聿豉 称 作 案 例 控 制 设 计 )。

瘥过统计 程序 来对 等分 组

在 最 常 见 的非 对 等 比较 设 计 中 ,项 目组 的 产 出 被 拿 来 与 控 制 组 的 产 出 进 行
是乓 哏务 ,希 望乏 哥
l≡ 训 项 目、儿 重Π
丽 t交 ,而 控 制 组 是 在 相 关 性 和 便 利 性 基 础 上 产 生 的 ,且 其 相 关 建 构 方 式 与 项 目组
i:CclLlds)公 共 三 ≡ 亏丁 区别 。例 如 ,为 了 给 年 长 公 民全 社 区 干 预 项 目建 构 控 制 组 ,评 估 者 也 许 会 从
′ 勹服舅ˉ 一 卜易 于 入 手 的社 区获 得 控 制 组 。任 何 基 于 对 项 目组 和 控 制 组 产 出 简 单 比较 的
三 ∶Ξ 。项 ≡三
【
市 彐影 响评 估 ,都 必 须 预 设 选 择 性 偏 差 的存 在 。如 果 可 以测 量 相 关 的 原 有 差 别 ,

一丁 目c
L=挑 选 了 125′ 丽 豇可 以 运 用 统 计 手 段 来 对 组 间 差 别 进 行 控 制 ,否 则 将 会 导 致 对 项 目效 果 的 估 计
一 手 以后 ,所 有 彡 孑 丽差 D

匚t牧 人 方 面 的 可
孑 为 了解 释 统 计 控 制 背 后 的 逻 辑 ,我 们 将 从 下 面 这 个 简 单 的 例 子 人 手 。 专 栏
L E是 一 个 假 设 的 准 实 验 影 响 评 估 ,这 是 一 个 针 对 35~们 岁 失 业 人 员 的 项 目。
t寸 这 种 部 分 覆 盖 项目 ,是 为 了提 高 参 与 者 的 就 业 技 能 ,使 他 们 能 够 获 得 收 入 更
Ed厂 氵 ￡
1Ι Ξr。 crs?T!i.

鬲E∶ 工 作 。项 目评 估 抽 取 10O0个 参 与 者 样 本 ,并 在 他 们 完 成 职 业 培 训 之 前 和 一
:∶

Ldies,Johns HOP上Jj
三之 舌对 他 们 进 行 访 问 。 另 外 ,在 实 施 项 目的 大 城 市 的 总 人 口 中 抽 取 了 同 样 年
带L荮 另 100O个 样 本 ,在 项
目开 始 和 结 束 一 年 之 后 对 他 们 进 行 访 问 。两 个 样 本 都

∶ 用来作巨t 忙 可及 当前 的 收 入 状 况 ,并 且 从 第 二 次 访 问 中统 计 他 们 的 小 时 工 资 水 平 。
=被 在 专 栏 9— E的 第 一 部 分 中 ,比 较 了 两 组 在 没 有 任 何 统 计 控 制 情 况 下 培 训 后
苟配 对 变 量 迕 吁
【
垣 之 中的个
∶ uⅠ Ι二 均 工 资 水 平 。参 与 项 目的个 体 平 均 每 小 时 挣 7.%美 元 ,而 没 有 参 加 的 个 体
∴ 下 ,无 酉Ⅱ 寸个
"王 盂s⒛ 美 元 。显 然 ,项 目参 与 者 比非 参 与 者 挣 得 更 少 ,如 果 这 是 一 个 随 机 实 验
∷≡ 果 ,那 么 这 个 差 异 应 该 是 一 种 无 偏 估 计 。但 实 际 上 ,除 了 是 否 参 与 项 目之
Ⅱ 两 组 在 许 多 与 收 人 有 关 的 变 量 上 几 乎 都 存 在 差 异 ,显 然 ,未 经 调 整 的 比较 包
蔓葑 统 计 假 象 .兰
了青≡发 生 。 假 设 ≡ f了 选 择 性 偏 差 ,并 且 可 能 会 产 生 误 导 。
i乏 有 一 定 的 可 霏 专 栏 9— E的 第 二 部 分 引 人 了 其 中 的 一 种 差 异 ,就 是 根 据 是 否 完 成 高 中 教
T与 其 配 对 的 学 三 亏 .对 两 种 具 有 不 同 教 育 水 平 的人 分 别 计 算 其 工 资 水 平 。请 注 意 ,⒛ %的 项 目参

≡来 自好 学 校 自:{吾 ≡耆并 未 完 成 高 中教 育 ,而 相 应 的 非 参 与 者 中 只 有 40%。 当 我 们 通 过 比较 同 等

.芙 可 能 出 现 与 厂 乏荬育 水 平 者 的 工 资 水 平 ,进 而 控 制 教 育 水 平 时 ,参 与 者 和 非 参 与 者 的 小 时 工 资
L Campbe11, 199刂
三言 接 近 ,即 未 完 成 高 中教 育 的分 别 是 7.ω 美 元 和 7.T~s美 元 ,完 成 高 中教 育 的
丁≡!是 8.1O美 元 和 8.⒛ 美 元 。显 然 ,控 制 同等 受 教 育 水 平 减 少 了 参 与 者 和 非 参

≡与 结 果 相 关 莳 重 ≡彗的工 资 差 异 ,因 为 受 过 高 中教 育 的人 通 常 获 得 更 高 的 工 资 。
变 量 (将 在 下 一 乎
∶ 第 三 部 分 又 引 人 了 一 个 新 的差 异 。 由于 所 有 参 与 者 在 其 参 加 项 目培 训 之 初
一 个有 用 的 策 略 乱 △亍失 业 状 态 ,因 此 ,将 参 与 者 与 项 目开 始 时 也 一 样 失 业 的 非 参 与 者 进 行 比较 才
≡
刮 :
是唁 当 的 。在 这 一 部 分 ,非 参 与 者 根 据 项 目开 始 之 时 的 情 况 被 分 成 了 失 业 和 未
△且 完 善 了配 对 E 干⊥ 两 部 分 。这 样 的 比 较 表 明 ,项 目参 与 者 在 每 一 种 教 育 水 平 上 都 比非 参 与 者
194 评估 f方法与变术

要 挣 得 多 ,即 :未 受 过 高 中 教 育 分 别 是 7.∞ 美 元 和 7。 So美 元 ,受 过 高 中 教 育 者 分
别是 8.1O美 元 和 8.Oo美 元 。 总 之 ,当 我 们 引 人 了 教 育 和 失 业 两 个 因 素 之 后 ,这
个 职 业 培 训 项 目显 示 了 某 种 积 极 的 效 果 ,项 目参 与 者 的 小 时 工 作 增 长 了 O.lo
美元 。

1.s~s~们 岁的培训项 目参与者和非参与者样本之间的产 出比较

参 与者 非参与者
平 均 工 资水平 $7 75 $8 20
1 000 1000

2控 制教 育水平 之后 的 比较
参与者 非参 与者
高 中教 育水 平 以下 高 中教 育水 平 高 中教 育水 平 以下 高 中教 育水 平
平 均 工 资水平 $7,60 $8 10 $7 75 $8 50
700 300 400 600

3教 育获得和培训项 目开始 时就业状况比较 (或 者说是非参与者的数据平衡 )

参与者 非参与者

高 中教 育 高 中教育水 高 中教 育 水 高 中 教 育 高 中教 育 高 中教 育

水平 以下 , 平 ,失 业 平 以下 ,失 业 水 平 以下 , 水 平 ,失 业 水 平 ,就 业

失业 就业
工资
$760 $8 10 $7 50 $7 83 $8 00 $8,60
柔罩
n= 700 300 100 300 100 500

在 任 何 一 个 实 例 中 ,都 可 以 加 人 一 些 控 制 变 量 ,譬 如 先 前 的 就 业 经 历 、
婚妊
所 要 负 担 的人 口数 量 以 及 种 族 等 这 些 我 们 所 知 道 的 与 工 资 水 平 有 关 的 医
状况 、
素 。 即便 如 此 ,我 们 也 不 能 保 证 对 所 有 变 量 的 统 计 控 制 能 够 从 项 目效 果 的 估 讦
值 中完 全 剔 除 选 择 性 偏 差 ,因 为 控 制 组 和 项 目组 之 间 有 影 响 力 的 差 异 可 能 仍 舛
存 在 。例 如 ,参 与 项 目的 失 业 者 与 未 参 与 项 目的 失 业 者 的 差 异 恰 恰 是 其 更 强 良
就 业 动 机 ,这 — 差 异 是 很 难 在 我 们 的分 析 中得 以测 量 的 。

多元 统 计 技 术

专 栏 9— E中 的 调 整 ,以 一 种 简 单 的方 式 展 现 了 统 计 控 制 的 逻 辑 。在 实 际 提
作 中 ,评 估 者 通 常 采 用 多 元 统 计 方 法 来 同 时 控 制 组 间 的 各 种 差 异 。用 这 些 方 洼
产 生 统 计 模 型 ,来 表 达 控 制 变 量 与 产 出变 量 之 间 的关 系 。分 析 的 目的 在 于 ,解 霍
干 预 组 和 控 制 组 之 间 的 原 始 差 异 ,通 过 减 去 完 全 属 于 原 始 差 异 的 部 分 来 调 整 其
 夕 页目影昀评偌——各选芨廾 195

最 终 差 异 。不 论 调 整 之 后 还 剩 多 少 差 异 ,只 要 还 存 在 着 差 异 ,就 被 当 作 干 预 的 净
乏过 高 中教 育 者 分
效 果 。 当 然 ,如 果 模 型 中 还 有 没 有 测 量 到 的 原 始 差 异 ,如 果 这 样 的 效 果 没 有 减
两 个 因 素 之 后 ,这
10 去 ,那 么 剩 下 的差 异 也 不 是 干 预 的 真 正 净 效 果 。 这 就 是 为 什 么 在 准 实 验 影 响 评
}ェ 作 增 长 了
O・

估 中确 定 和 测 量 所 有 与 组 间 原 始 差 异 有 关 的 变 量 是 如 此 重 要 ,因 为 这 种 差 异 与
后 来 计 算 的产 出变 量 净 效 果 有 关 。
适 用 于 非 对 等 控 制 组 设 计 的 多 元 统 计 模 型 ,一 般 包 括 一 种 或 两 种 不 同 类 型
的控 制 变 量 。其 中 一 种 是 与 产 出变 量 有 关 的 成 员 特 征 。如 果 假 定 干 预 并 不 产 生
“
效 果 的话 (或 是 根 本 就 没 有 干 预 ),那 么 正 是 这 些 研 究 之 初 测 量 的 变 量 可 以 预
”
测 产 出 。例 如 ,在 专 栏 9— E中 ,教 育 水 平 就 是 这 样 的 一 个 变 量 。 如 果 其 他 条 件
都 一 样 的话 ,在 研 究 之 初 就 具 有 更 高 教 育 水 平 的 人 最 后 也 会 得 到 更 高 的 工 资 。
类 似 的 ,如 果 没 有 任 何 干 预 作 用 的话 ,那 些 工 作 经 验 丰 富 的 、
社会 地 位 优 越 的或
在 劳 动 力 市 场 中 比较 抢 手 的人 ,也 会 获 得 更 高 的 工 资 。
另 一 类 型 的控 制 变 量 ,是 与 把 成 员 选 人 干 预 组 还 是 控 制 组 有 关 的 变 量 。 这
非参 与者
平 类 控 制 变 量 与 选 择 性 偏 差 直 接 相 关 ,而 选 择 性 偏 差 是 准 实 验 设 计 中 的关 键 问 题 。
F以 下 高 中教 育水
$8・ 50 这 类 控 制 变 量 包 括 如 下 几 种 :项 目对 象 居 住 地 离 项 目实 施 地 的距 离 ,参 加 项 目的
600
动 力 有 多 大 ,是 否 具 有 项 目特 征 ,诸 如 此 类 。这 些 控 制 变 量 的 重 要 性 在 于 ,如 果
能 充 分 说 明把 项 目对 象 选 人 干 预 组 的 特 征 ,就 能 对 该 特 征 进 行 统 计 控 制 ,从 而 很
匡平衡) (地 抵 消 选 择 性 偏 差 。
在 下 面 的 两 部 分 中 ,我 们 将 讨 论 相 关 的 两 种 多 元 统 计 分 析 ,首 先 讨 论 假 设 与
高 中教 育 高 中教 育 砉 果 直 接 相 关 的控 制 变 量 ,然 后 是 假 设 与 选 择 相 关 的 控 制 变 量 。后 者 无 非 是 前
水 平 ,失 业 水平 ,就 业 音 的 一 种 特 殊 情 况 ,但 在 程 序 上 有 很 大 的差 别 ,因 而 有 必 要 单 独 讨 论 。

建 立 产 出 因子 模 型
s8 00 $8 60
对 非 对 等 控 制 组 设 计 的 数 据 进 行 多 元 统 计 分 析 的 目标 ,在 于 建 立 一 个 统 计
1∞ 500 “ ”
蟆型 ,根 据 每 个 人 在 研 究 之 初 的 控 制 变 量 测 量 值 来 预 测 其 产 出 变 量 值 。 如 果
=预 组 的平 均 产 出优 于 根 据 其 原 始 情 况 的 预 测 ,这 种 差 异 就 可 以 被 看 作 是 干 预
售Ⅱ
、 劂 虻效 果 。换 一 种 说 法 ,我 们 的 分 析 旨在 确 定 是 否 在 已 经 解 释 了 控 制 变 量 的 情 况
I先 前 的 就 业 经 历
药跚 t.干 预 对 于 产 出 预 测 还 是 重 要 的 。
的与 工 资 水 平 有 关
的吃 基 于 这 个 目的 的 统 计 程 序 和 统 计 模 型 有 赖 于 各 种 测 量 值 的 特 征 、模 型 中 所
能 够 从 项 目效 果
黻 设 的变 量 间关 系 形 式 、认 定 的 真 实 统 计 假 设 以及 分 析 员 的 技 术 水 平 和 偏 好 。
影 响力 的差异可能
:

彐本目似 (Mohr, 1995; Rochardt and

距 芎 情 况 下 ,FJ「 用 扛E术 与 多 j瓦 统 计 回 丿
的差异恰恰是其更
田‰c=11ann, 1994),珲 事哥寸刊巳厂目结 巾勾丿亍禾呈柜莛卫型(Loehhn, 1992; Wu and Campbe11,

专 栏 9— F是 一 项 多 元 统 计 回归 的应 用 实 例 ,其 数 据 来 自于 对 参 加 以饮 酒 量
实 主题 的酗 酒 者 匿 名 (AA)会 议 的效 果 评 估 。 专 栏 9— F中 的 表 格 是 其 回归 分 析
十控 制 的 逻 辑 。在
圣 总结 性 统 计 图 表 ,呈 现 了 通 过 与 饮 酒 量 有 关 的 项 目变 量 预 测 项 目活 动 后 使 用
自各 种 差 异 。用 这 “ ”
在于 嚎 式 量 表 测 量 的 得 分 。作 为 干 预 变 量 ,把 参 加 AA会 议 引 人 回归 方 程 ,通
∶=分 析 的 目 的
.

来调 习控 制 变 量 来 判 断 它 对 预 测 结 果 是 否 有 显 著 贡 献 ,是 否 超 越 了 控 制 变 量 的
秉始 差 异 的 部 分
196 评估 f方法与胶术

影 响 。

系 数 栏 中 的数 值 是 非 标 准 化 的 回 归 系 数 ,表 达 的 是 每 个 变 量 增 加 一 个 单 位

Π
对 于 饮 酒 模 式 量 表 测 量 得 分 增 加 的数 量 。参 加 了 AA会 议 的 系 数 是 -2.眇 ,意 味

L亻
着 在 其 他 变 量 相 同 的情 况 下 ,参加 了 AA会 议 的饮 酒 者 比没 有 参 加 的饮 酒 模 式 量

Ⅰ丿
表 得 分 要 低 2.昀 。 因 此 ,参 加 AA会 议 这 一 变 量 的 回 归 系 数 就 是 要 估 计 的 项 目
效 果 ,表 明参 加 AA会 议 的酗 酒 者 在 会 后 要 比没 有 参 加 的 人 更 少 饮 酒 。

_,_瓦
在 这 个 多 元 回归 分 析 中 ,控 制 变 量 是 挑 选 出 来 的 ,因 为 以往 的 研 究 表 明 :饮

二 笤
对酗酒
酒 量 与 参 加 治 疗 项 目或 饮 酒 行 为 有 关 。 因 此 ,饮 酒 者 的 性 别 、信 息 搜 寻 、
严 重 性 的认 知 、基 本 酒 量 以及 婚 姻 状 况 都 是 在 参 加 AA会 议 的 效 用 之 外 对 酗 酒 者

~I丁
的饮 酒 量 发 生 独 立 影 响 的 变 量 。专 栏 9— F显 示 出 ,在 这 些 变 量 中 ,只 有 一 个 对
— — 基 本 酒 量 越 大 的 人 ,更 可 能 在 产 出 测 量 时 饮
于 饮 酒 量 的结 果 有 显 著 性 影 响
更 多 的酒 。
专 栏 9— F展 现 的分 析 结 果 有 多 大 意 义 ,很 大 程 度 上 取 决 于 回归 模 型 中使 用
资料爿
ln Eva
的控 制 变 量 在 多 大 程 度 上 把 握 住 了 在 饮 酒 问 题 上 将 人 们 区 别 为 参 加 AA会 议 与 Stage ,

不 参 加 会 议 的那 些 因素 。如 果 所 有 的差 别 都 在 回归 模 型 中得 到 了体 现 ,那 么 ,是
否 参 加 AA会 议 对 于 产 出 数 值 的 贡 献 值 就 是 项 目的 效 果 。 如 果 这 些 控 制 变 量 不
足 以解 释 选 择 性 偏 差 ,那 么 对 项 目效 果 的 最 终 评 估 就 会 带 有 某 种 程 度 的 未 知
偏差 。
趣的
产出
参加酗酒者 匿名会 (AA)会 议会影 响酒徒们 的饮酒 量 么 ?酒 徒们 的 自愿参 加正是 AA哲 学 的一 和控
部分 ,因 此 自我选 择就成 了干预 的一部 分 ,若 要通过 比较 AA会 议 的参 加 者 与非 参 加者 来 评 估 其 效 了三
・阿 图退 伍 军人 事 务 健 康 照料 系统 (Pdo
果 的话 ,必 须先处理有关参 与者特征 的选择性偏 差 。帕罗 酗酒
Alto Ⅴderans Affairs Heath Care system)的 研究 者运 用 了包 括 简单 多 元 回归模 型在 内的几 种 统计 方
择的 :

法 ,通 过统计控制建立对等组 (控 制组 )。
其所 :

首先考虑 的是可 以预测是否参加 AA会 议 的变 量 。根据 以前 的研 究 ,我 们 选 择 了三个 变量 :对

通过搜 寻信启、
酗酒严 重性 的 自我认 知 、 和建议 以合作方 式解决 问题 的倾 向 、性别 。另外 两个 变量 因
相关
——
:

为对饮酒量 的作 用也 被纳人进来 基本酒量 和婚 姻 状况 。我们 感 兴趣 的产 出变 量 即饮 酒 量 是 通

是使
过饮酒 模式量表测量 的 。
断被
我们选取 了 218个 有酗酒 问题 的个 体作 为样本 来测 量 这些 变量 值 ,在 我们 建 立 的 回归模 型 中
:

一种
饮酒 量是 因变量 ,其 他变量都是 自变量 。干预变量 即参 加 AA会 议 (0=不 参 加 ,1=参 加 )也 是 预测 :

为干
变量 之一 ,用 来估 算在其他变量得 到统计 控制 的情况下 ,其 对预测结果 的影 响 ⊙
“ ” “ mode∶
如下 表所示 ,有 两个 变量对产 出有显著影 响 ,其 中包 括干预变量 即 参 加 AA会 议 。 参加 AA
”
会议 的显著性 负值 系数表 明 ,控 制 了模 型 中的其他变量之后 ,参 加 者 比非 参 加 者 的饮酒 量 减 少 了。
“ ” 乐 )千
如果所有统计模 型 中的变量完 全 涵 盖 了选 择 性 偏 差 ,那 么 参 加 AA会 议 这 个 变量 的非 标 准 化 回
归 系数 就是对饮酒模 式这个 产 出变量 的项 目效果估计值 。 , 如 :

・J选 :

△对
-

H。 tz.
 夕 顷 Ξ影昀评佑—— 各选芨计 197

预 测饮 酒量 的 回归结果

之量 增 加 一 个 单 仁 预 测 变量 系 数 标 准误

镦 是 -2.82,意 味 -116 1 09
性别 (0=男 性 ,1=女 性 )
参加 的 饮 酒 模 式 量 - 04
信启、
搜寻
元是 要 估 计 的 项 目
- 44 57
对酗酒 严重性 的认知
少饮酒 。
.09
往 的 研 究 表 明 :饫 基本酒量
-1.69
信 息 搜 寻 、对 酗 滔 是否再婚 (0=否 ,1=是 )

茨罔 之 夕卜对 酗 酒 者 AA(0=否 ,1=是 ) -2 82*

参加
量 中 ,只 有 一 个 耵 R2= 079
巨在 产 出 测 量 时 饫 *表
示统计 显著性是 p≤ ∞ 。

资料 来 源 :K血 h Humphrcys,Ciaran s Ph此

bs,and Ruddf H.Moos,“ Addressing Self-selection Effetts
F回 归 模 型 中 使 用
Lltual Help G1・ oups and Prclfessional Melltal Health services:An Introducton to TWo-
n Evaluatlons of⒈ 江
∶
勾参 力口AA会 议 与 Stage sample Sdection Mode1s
”
Ev耐 Ⅱ@莎 joⅡ Ω几d Progr@m PJG乃 瓦jmg,1996,19(4):301J08
刂了 体 现 ,那 么 ,是
乏这 些 控 制 变 量 不
某 种程度 的未 知 建 立选 择 因子模 型

如 专 栏 9一 F所 示 的 一 步 回 归 模 型
(one~stage)是 根 据 控 制 变 量 与 我 们 感 兴
一个可 能影 响
趣 的产 出变 量 之 间 的 关 系 来 构 造 的 。要 使 方 程 有 效 ,必 须 整 合 每
干预组
产 出 的 变 量 和 使 干 预 组 与 控 制 组 产 生 差 异 的 变 量 值 。 而 且 ,也 可 以 将 与
旁 是 AA哲 学 的一 和 控 制 组 选 择 有 关 的 变 量 纳 人 模 型 之 中 。例 如 ,在 专 栏
9一 F中 ,研 究 人 员 选 择
=正 ” — — 性 别 、信 息 搜 寻 和 对
“
了 三 个 被 认 为 与 参 加 AA会 议 可 能 相 关 的 控 制 变 量
圭 参 加者 来 评 估 其 效
各霆 隶照料 系统 (P赳 o 而不是选
酗 酒 严 重 性 的认 知 。然 而 在 回归 模 型 中 ,是 将 其 作 为 产 出 的 预 测 变 量
亘 在 内的几 种 统 计 方 充分利用
择 的决 定 因 素 来 看 待 的 。尽 管 与 选 择 相 关 ,但 并 不 因 此 在 方 程 中 就 能
其 所 携 带 的具 有 选 择 影 响 的信 息 。
I运 择 了三个 变量 :对 -stage)回 归 分 析 。第 一 步 是 使 用
另 一 种 越 来 越 普 遍 的 方 法 是 利 用 两 步 (加 。
∶
≡∶=另 外 两个 变量 医
组 。第 二 步
相 关 控 制 变 量 建 立 一 个 统 计 模 型 ,以 将 个 案 分 配 到 干 预 组 或 者 控 制
三 变量 即饮酒 量 是逼 (来 判
一
是 使 用 分 析 的结 果 ,将 各 个 控 制 变 量 整 合 成 一 个 判 别 变 量 或 个 倾 向评 分
被 当作
I≡ 立 的 回归 模 型 中
断被 选 择 到 哪 一 组 )。 在 对 我 们 关 注 的项 目效 果 的 评 估 分 析 中 ,倾 向评 分
一 种 整 合 的控 制 变 量 。 在 两 步 分 析 中 ,第 一 步 的 目的 在 于 对 个 体 分 选 到 非 随 机
,

:.1=参 加 )也 是 预涎
(Se1ective
的干 预 组 或 控 制 组 进 行 统 计 描 述 。 这 就 是 所 谓 的 选 择 性 建 模
u会 议 ”。 “参加 AA modeling)。
(如 自
E耆 的饮酒 量 减少 了 :
选 择 性 建 模 有 赖 于 评 估 者 确 定 和 测 量 相 关 选 择 变 量 ,即 与 个 体 选 择
一 二分变量
人
变量 的非 标 准 化 回 愿 )和 被 选 择 (如 行 政 安 排 )过 程 有 关 的 变 量 。 因 为 所 属 组 别 是 个
(如 :1=干 预 组 ,O=控 制 组 ),适 用 于 因 变 量 为 二 分 变 量 的 回 归 模 型 常 被 用 来 进
型以
行 选 择 性 建 模 ,例 如 罗 吉 斯 蒂 (1ogi血 c)回 归 。 现 在 有 几 种 不 同 的 选 择 性 模
(Heckman and
及 对 干 预 效 果 的 两 步 估 算 。其 中 包 括 赫 克 曼 的 计 量 经 济 学 方 法
Hotz,1989;Heckman and Robb,1985),罗 森 鲍 姆 赫 鲁 宾 (Rosenbaum and Rubin,
198 评佑J方法与技术

1983,1984)的 倾 向评 /,Jx(pr。 pensity soreg)和 工 具 性 变 量 (Greene,1993)。 关 于 这

个 问题 的 一 般 性 讨 论 ,请 参 见 汉 弗 里 、弗 布 斯 和 摩 斯 (Humphreys,Phibbs and
Mo∞ ,1∞ 6)以 及 司 徒 恩 博 格 和 罗 丽 斯 (sto1∞ be喟 and Re1h,1∞ 7)等 人 的论 著 c
专 栏 9— G是 一 个 关 于 选 择 性 模 型 的 更 详 细 的 例 子 ,这 个 模 型 解 释 了 专 栏
9— F中 酒 徒 们 参 加 酗 酒 者 匿 名 会 (AA)的 自我 选 择 过 程 。研 究 者 识 别 了 三 个 以
往 研 究 文 献 中认 为 有 可 能 与 参 加 AA会 议 有 关 的 控 制 变 量 。专 栏 9— G表 明 ,这
些 变 量 用 于 第 一 步 分 析 ,预测 参 加 AA会 议 的情 况 。我 们 运 用 这 个 分 析 的 结 果 创
造 了 一 个 新 的 变 量 λ,λ 是 第 一 步 模 型 中 各 变 量 的 最 优 拟 合 ,我 们 用 λ来 判 别 酗
酒 者 中谁 将 会 参 加 AA会 议 。
源 自第 一 步 分 析 的变 量 λ,在 第 二 步 回 归 中被 作 为 控 制 变 量 来 预 测 结 果 ,即
饮 酒 模 式 量 表 测 量 的 得 分 。 为 了 达 到 这 个 目 的 ,回 归 分 析 中 又 纳 人 了 另 外 两 个
被 认 为 有 可 能 与 饮 酒 量 相 关 的 控 制 变 量 。 专 栏 9— G中 展 现 的 两 步 选 择 建 模 分
析 的 结 果 ,与 专 栏 9— F中 的 一 步 分 析 建 模 的 结 果 有 明 显 差 异 。最 明 显 的 是 ,通
过更好地控制 AA参 加 者 与 非 参 加 者 之 间 的相 关 选 择 的差 异 ,两 步 分 析 模 型 对 项
目效 果 的估 计 比 — 步 模 型 在 已 有 分 析 中估 计 的 要 大 (用 饮 酒 模 式 量 表 得 到 测 量
值 是 -6.31,l而 不 是 -2.82)。

通过单独估测选择效应对产 出变 量 的影 响 ,较 之 于专 栏 9— F中 的一 步 多元 回归 分 析 ,两 步 选
“ ”
择建模方法 能对 参加 AA会 议 的项 目效果作 出更好 的估 计 。研 究 者认 为有 以下 三 个 可 以预测是
否参加 AA会 议 的变量 :对 酗酒严 重性 的认 知 (认 识 到酗酒 问题 的人 更 可 能参 加 )、 通 过搜 寻信 息 和
性别 (女 性 比男 性 更 可 能寻 求 帮 助 )。 这 些变 量 在 第 一 步 分 析 中被 用
建议 以合作解决 问题 的倾 向、
来 预测是否参加 AA会 议 ,而 不是像在 一 步模 型 中那样 ,直 接用来 预测 产 出。正如下 表所 示 ,其 中有
“ ”
两个变量 与 参 与会议 有显著 的独立性关 系 。

第 一 步 :预 测参加 AA会 议 的概率 回归分析

预 测 变量 系 数 标 准误

性 别 (0=男 ,1=女
9
2

)
9

信息搜 寻

对 酗 酒 严 重 性 的认 知

R2=.129
*p~≤
05

然后 ,用 选择性模型来建构一个新的变量 λ,λ 表达 了每个个体参与到干预组而不 是控制组 的

可能性。在第二 步回归中 λ被用作控制变量来预测产 出 ,即 根据饮酒模式量表测 出的饮酒量。这
—步也纳人了另外两个与产出相关 的控制变量 ,即 基本酒量和婚姻状况。最后 “
,纳 人干预变量 参
”
加 AA会 议 (0=否 ,1=是 ),我 们可以对包括选择变量在 内的其他预测变量进行统计控制 ,进 而评
估干预变量与产出变量的关系。
 夕 页目影昀惭 ——各选毋廾 199

“ ”
1” 3)。 关 于 这 参加 AA会 议 的显著性 系数表 明 ,控 制 了基本酒量和 自我选择之后 ,参 加者 比非参 加者 的饮酒
”
Ⅰs, Phibbs and 量减少 了。事实上 ,在 使用 `总 分为 sO分 的饮酒模式量表测量后 ,“ 参加 AA会 议 的净效果至少使之 降
7)等 人 的 论 著 c 沃了 6分 。请 注意 ,使 用两步模 型得 到 的对参 加 AA会 议 效果 的估计值 比使 用 一 步模 型增 加 了将 近
型解 释 了专 栏
∶ 一倍 。

识别 了三个 以
手 第 二 步 :预 测最终饮酒量 的最小 二 乘法 回归
:9一 G表 明 ,这 预 测 变量 系 数 标 准误
卜分 析 的 结 果 创 20* .08
基本 酒 量
]用 λ多
苌≠刂另刂酗
已婚 (0〓 否 ,1=是 )
-1 68 1 23

λ 2 10 1 98
来 预 测 结 果 ,即
ξ人 了 另 外 两 个 参加 AA会 议 -631* 3 04

厅步 选 择 建 模 分 R2=,084
最 明 显 的 是 ,通 米P≤ ≤ 05
步分 析 模 型 对 项
食料 来 源 :Keith Humphreys,Ciaran S Phibbs,and Rudolf H Moos,“ Addressing%F阮1ection Effects
弋量 表 得 到 测 量 h Evaluatons of Mutual Help Groups and Pmfessional Mental Health sewkes:An Intlclduction to Two-
3hge sample Selcction Models” Et@J切 0扌 jo瓦 @几 d Prog⒑ m PJ@Π nl瓦 g,1996,19(4):30⒈ 308

由第 一 步 分 析 所 得 到 的 整 合 的 选 择 变 量 也 可 以用 作 配 对 变 量 ,在 干 预 组 和
弓回归 分 析 ,两 步运 空 制 组 中 再 建 立 子 群 体 。 这 种 方 法 被 称 作 倾 向 评 分 分 析 (p⒛ pensity score
下 三个可 以预测 是
厅 这一分才
analysis)(Rosenbaum and Rubin,1983,1984)。 斤通 常 将 倾 向评 分 选 择 变
乏
;`通 过搜 寻信 、 v自 量 值 的分 布 进 行 五 等 分 (分 成 规 模 相 等 的 五 个 组 ),每 一 个 五 等 分 群 体 都 包 括 了
毳 一 步分 析 中被 ≡
≡ 顷 向评 分 相 近 (在 每 一 个 五 等 分 范 围 之 内 )的 干 预 组 和 控 制 组 成 员 。 因 此 ,可 以
表所 示 ,其 中 对 每 个 五 等 分 群 体 独 立 评 估 项 目的效 果 ,并 最 后 形 成 一 个 整 体 性 的估 计 。
=下 =
相 对 于 专 栏 9— F和 9— G的 两 步 多 元 回 归 方 法 ,倾 向 评 分 配 对 技 术 的 优 点
是 :统 计 假 设 更 少 。但 这 种 方 法 调 整 选 择 性 偏 差 的 能 力 仍 然 严 重 依 赖 于 对 影 响
分组 变 量 的 确 认 ,以 及 将 其 纳 人 到 产 生 倾 向评 分 统 计 模 型 的 能 力 。

回归 一 间 断 点 设 计

前 面 关 于 选 择 性 模 型 的 讨 论 应 该 已 经 阐 明 ,影 响 到 是 否 纳 入 准 实 验 干 预 组
和 控 制 组 的基 本 变 量 数 据 如 果 充 分 有 效 ,就 能 够 建 立 非 常 有 效 的 统 计 控 制 。假
设 现 在 无 须 知 道 什 么 变 量 与 选 择 有 关 ,而 是 直 接 给 评 估 者 列 出选 择 变 量 ,然 后 挨
个计 算 项 目对 象 在 这 些 变 量 上 的 得 分 ,再 据 此 将 其 分 成 干 预 组 和 控 制 组 。在 这
种 情 况 下 ,由 于 没 有 任 何 关 于 选 择 的不 确 定 因 素 ,而 且 评 估 者 手 头 掌 握 着 决 定 模
页组 而 不 是 控 制组 茁 型 的 已测 数 据 ,那 么 肯 定 能 建 立 一 个 选 择 性 模 型 。
“ ”
授测 出的饮 酒 量 c运 结 构 化 控 制 组 准 实 验 的一 种 特 殊 情 况 即我 们 所 谓 的 回归一 间 断 点 设 计 ,

“
舀.纳 人 干 预 变量 参 就 是 基 于 这 样 的情 况 。尽 管 这 种 设 计 的 应 用 受 到 某 种 程 度 的 限 制 ,但 一 旦 被 运
行统计 控 制 ,进 而 评
三 习 ,却 可 以 获 得 比其 他 准 实 验 影 响 评 估 设 计 更 小 偏 差 的 项 目效 果 估 计 。 回 归 一
司断 点 设 计 适 用 于 这 样 的 情 况 ,即 评 估 者 无 法 将 对 象 随 机 分 配 到 干 预 组 但 却 能
200怦估;方法与歇术

乖抑吐别由抑〓
与 项 目人 员 合 作 将 对 象 基 于 其 需 求 、
价 值 或 其 他 情 况 进 行 系 统 分 配 ,可 以把 最 有
需求 、
最 有 价 值 等 特 点 的个 体 指 派 到 干 预 组 ,而 其 他 人 则 作 为 控 制 组 。
回归 一 间 断 点 的 一 个 更 形 象 的 说 法 就 是 临 界 点 设 计 ,因 为 这 种 方 法 是 对 一
些诸如需求 、 价 值 等 具 有 连 续 性 特 征 的变 量 设 定 一 个 临 界 点 ,得 分 高 于 临 界 点 豇
人 则 被 归 为 一 组 (例 如 控 制 组 ),得 分 低 于 临 界 点 的人 则 被 归 为 另 一 组 (例 如 干 歹

亠
组 )。 由于 是 根 据 一 个 可 测 量 变 量 的 得 分 来 选 择 参 与 者 的 ,从 而 选 择 过 程 是 清 湃

〓
明 确 的 ,这 个 可 测 量 的 变 量 也 使 得 对 选 择 性 偏 差 的 统 计 控 制 变 得 相 对 简 单 。 在

Γ
已 知 的选 择 过 程 有 一 个 恰 当 模 型 的 情 况 下 ,才 在 产 生 对 项 目效 果 的 无 偏 估 计 方

〓
面 使 得 回归 一 间 断 点 设 计 近 似 于 随 机 实 验 。

一〓
例 如 ,为 了评 估 加 利 福 尼 亚 刑 满 释 放 人 员 获 取 失 业 保 险 资 格 认 证 的项 目 (有 ≡

打一
类 似 于 专 栏 8— F所 描 述 的 巴 尔 的 摩 LIFE实 验 ),伯 克 和 骆 马 (Berk and Rauma.

〓宀
1呒 3)利 用 了项 目中 的资 格 认 证 (主 要 依 据 罪 犯 在 监 狱 中 的 工 作 天 数 )。 这 些 释 莰

憝
人 员 必 须 在 狱 中 工 作 满 s~s2天 才 有 资 格 获 得 失 业 保 险 ,而 且 保 险 金 额 是 按 照 工 {=

冖
天 数 进 行 比例 划 分 的 。这 个 公 式 是 明确 的 ,而 且 是 定 量 的 ,保 险 金 获 取 资 格 的 临 界

一
一
∷
点 一 律 是 工 作 甾 2天 ,高 于 这 个 点 就 给 失 业 保 险 ,低 于 这 个 点 则 没 有 。

匚 ∵
将 获 得 保 险 金 与 没 有 获 得 保 险 金 的 再 犯 率 比较 ,若 以 狱 中 工 作 时 间 为 控 轰
变 量 (即 建 立 选 择 性 模 型 ),可 以估 计 保 险 金 对 于 再 犯 的作 用 。 回 归 分 析 表 明 ,冢

~~一
得 保 险 金 的 获 释 人 员 再 犯 率 要 低 13%。 只 要 选 择 过 程 是 已 知 的 ,且 在 统 计 分 杆
中是 以变 量 (狱 中 工 作 时 间 )来 表 述 的 ,那 么 这 一 估 计 就 是 无 偏 的 。

T荮
一Ⅰ・
尽 管 有 某 些 优 势 ,但 临 界 点 设 计 却 不 经 常 使 用 ,部 分 原 因 在 于 并 不 是 所 有 项
“ ”
目都 按 照 评 估 者 希 望 有 资 格 认 证 那 样 明 确 的 、 精 确 的规 则 或 者 愿 意 采 用 这 样
的 规 则 。然 而 ,另 一 个 原 因 可 能 是 评 估 者 本 身 对 这 种 方 法 理 解 不 够 充 分 ,因 此

.~.〓
.

即使 在 适 合 运 用 的情 况 下 ,也 常 常 没 有 采 用 。无 疑 ,进 行 项 目影 响 评 估 的 评 估 者
应 该 能 从 学 习 这 些 设 计 中 获 益 匪 浅 (有 关 此 类 设 计 的 资 料 有 T∞ chm,19浒 :

Braden and Bryant, 199O;shadish, Cook and Campbe11, 2OO2; and Mobr, 1995)c

反身控 制

在 使 用 反 身 控 制 (re且 exive∞ ntrc,1s)的 研 究 中 ,对 于 项 目效 果 的估 计 完 全 来

自干 预 对 象 在 两 个 或 者 更 多 时 点 上 的信 息 ,这 些 时 点 中至 少 有 — 个 处 于 项 目开
展 之 前 。在 使 用 反 身 控 制 时 ,除 了干 预 变 量 引起 的改 变 ,必 须 确 定 干 预 对 象 的产
出变量 在 观察 过 程 中没 有 改 变 。如 果 是 这 样 ,项 目干 预 前 后 产 出状 况 的任 何 差
别 都 可 以被 认 为 是 项 目的 效 果 。假 设 某 大 公 司 原 来 通 过 邮 寄 支 票 来 发 放 退 休
金 ,现 在 则 自动 存 人 退 休 人 员 的银 行 账 户 。如 果 邮箱 遭 窃 的发 生 率 、邮政 服 务 的
水 平 等 条 件 没 有 发 生 变 化 ,那 么 比较 一 下 这 个 程 序 执 行 前 后 项 目对 象 对 发 放 延
迟 和错 漏 的抱 怨 ,就 可 以分 析 出这 个 程 序 变 化 作 用 的显 著 程 度 。这 是 一 个 简 单
的事 前 一 事 后 分 析 例 子 ,接 下 来 我 们 要 描 述 其 基 本 程 序 。随后 ,还 会 讲 到 反 身 控
制 设 计 的典 型 类 型 ,即 时 间序 列 设 计 。

简 单 事 前一 事 后 研 究

在 一 个 简 单 的事 前 一 事 后 设 计 (或 者 事 前 与 事 后 研 究 )中 ,进 行 产 出测 量 的 洫 l-
 9 页 膨 昀评佑—— 各选茨计 201

是 同 一 组 干 预 对 象 ,在 参 与 项 目前 做 一 次 ,在 项 目进 行 到 足 够 产 生 一 定 效 果 的 一
^殛

J`三 景 ≡
⒈ r

爰 时 间 之 后 再 做 一 次 。然 后 ,对 这 两 次 测 量 结 果 作 比较 ,就 能 提 供 对 项 目效 果 的
古计 。这 种 设 计 的 主 要 缺 点 在 于 :如 果 在 前 后 测 之 间 有 其 他 因 素 对 测 量 结 果 产
主影 响 ,那 么 ,对 于 项 目效 果 的 评 估 就 是 有 偏 的 。例 如 ,可 以 通 过 比较 参 与 医 疗
保险 制 度 前 和 几 年 之 后 同 一 批 人 的 健 康 状 况 来 评 估 医 疗 保 险 制 度 的 效 果 。 但
是 ,这 种 比较 很 可 能 会 引 起 误 导 — — 人 们 自身 的 衰 老 会 使 得 健 康 状 况 整 体 性 降
低 ,这 将 会 使 得 对 项 目效 果 的估 计 带 有 向下 的 偏 差 。在 个 体 参 与 医 疗 保 险 期 间 ,

其 他 生 活 变 化 例 如 退 休 和 收 人 减 少 ,也 可 能 影 响健 康 状 况 。
有 时候 ,时 间性 的变 化 是 不 易 被 察 觉 的 。例 如 ,在 对 抑 郁 症 医治 方 法 的效 果 研
丁 ≡ ≡苎 究 中 ,运 用 反 身 控 制 是 否 合 适 就 值 得 考 虑 。 当人 们 觉 得 情 绪 低 落 时 ,更 容 易 寻 求 治
md R三 u=△土 疗 ;后 来 ,症 状 很 可 能会 自然 地 减 轻 ,会 不 再 觉 得 那 么 抑 郁 。 因此 ,对 抑 郁 状 况 的前
这≡羟豇 舌测 ,即 便 在 治 疗 没 有 发 生 积 极 效 果 的情 况 下 ,也 `总 会 表 现 出状 态 的某 种 改 善 。
wL
量芸 ≡ 二 总 的说 来 ,简 单 事 前 一 事 后 自反 设 计 将 产 生 对 项 目效 果 的有 偏 估 计 ,因 而 对 影
— — 比如 说 一 年
奚亍珞 ≡∶E唇 △ 垧评 估 来 说 没 有 太 大 价 值 。尤 其 是 当两 次 测 量 的 时 间 间 隔 太 长 时
或 一 年 以上 — — 因为 随着 时 间流 逝 ,其 他 过 程 更 可 能 使 项 目的作 用 模 糊 化 。 因此 ,

寸闫 方 ≡ 制 笥单 事 前 — 事 后 设 计 主 要 适 合 旨在 对 基 本 条 件 不 会 变 化 的 项 目进 行 短 期 影 响 评
・
秆 表 ≡ ~萨 告。在 第 7章 也 说 过 ,简 单 事 前 — 事 后 设 计 也 适 宜 用 于 对 日常 产 出 的监 测 ,其 目的
笠麦 △ △斫 主要 是 为 项 目管 理 者 提 供 信 息 反 馈 ,而 不 是 对 项 目效 果 进 行 可 靠 估 测 。
—
如 果 可 以在 项 目实 施 前 后 的 时 间 跨 度 内对 产 出 进 行 多 次 测 量 ,简 单 事 前
下雯J二 Ⅰ≡彐
丽 事 后 设 计 的作 用 就 能 够 得 到 加 强 。在 这 个 时 间 序 列 中 进 行 的 反 复 测 量 ,使 人 们
慧采 甬 运 伴 有可 能 描 述 出 当时正 在 发 展 的 、 使 事 前 一 事 后 效 果 评 估 产 生 偏 差 的趋 势 与 因素 ,

充分 .三 蛙 ~
并 用 于 修 正 对 项 目效 果 的 有 偏 估 计 ,这 就 是 时 间 序 列 设 计 的 基 本 理 念 。 下 面 我
≈ ≡∶,-仨 詈 勹将 简 要 讨 论 时 间 序 列 设 计 。
L△ im.19“ ¨

lr. 1995 ∶ 时 问序 列 设 计

时 间序 列 设 计 这 种 反 身 控 制 设 计 ,包 括 在 整 个 干 预 期 间 多 次 进 行 的 观 察 。举
刊来 说 ,对 退 休 金 发 放 的反 馈 不 仅 仅 是 前 测 、 后 测 各 一 次 ,而 是 支 付 程 序 变 更 两 年
叶

士 ~≡ 一 歹 一
霖 〓⊥

・
J到 变 更 一 年 之 后 每 个 月 测 量 一 次 。在 这 种 情 况 下 ,对 项 目效 果 的 确 定 程 度 将 会
屿 形 时

冕升 ,因 为 有 更 多 的信 息 用 来 估 计 在 支 付 方 式 没 有 发 生 变 化 的情 况 下 事 情 将 会 怎
咩 ε第 二 步 是 将 产 出数 据 依 据 对 象 的不 同 特 征 进 行 分 解 。例 如 ,通 过 考 察 犯 罪 率
.

亠
≡ 喻 鳊Ⅰ 逖 韭 汇一

高 低不 同地 区 以及 城 乡 地 区 支 票 收 取 的 不 同状 况 ,来 进 一 步 分 析 对 养 老 金 发 放 抱
.乓
啦

:的 时 间序 列 数 据 ,就 会 得 到 养 老 金 发 放 程 序 变 更 影 响 的更 多 洞 见 。
~丞 一 〓 ~● _贯
女 转

在 时 间序 列 设 计 的每 次 测 量 中 ,被 测 量 的 对 象 可 以 是 同 一 些 个 体 ,也 可 以 不
一 样 。 时 间序 列 方 法 经 常 从 与 研 究 结 果 (例 如 生 育 、
死 亡 和 犯 罪 )相 关 的 、可 以得
一

三 阶段 性 信 息 的 既 有 数 据 中 抽 取 数 据 。 可 用 的 数 据 通 常 包 括 总 体 性 数 据 ,例 如
杜

肯某 种 政 治 目 的 而 计 算 出 的 均 值 或 者 比 例 。 譬 如 ,美 国 劳 动 部 (Dep碰 ment。 f
T月 bor)就 保 存 着 很 好 的 时 间 序 列 数 据 ,即 19鲳 年 以 来 美 国全 国 以及 各 个 主 要 地

玉每 个 月 的失 业 率 。
当通 过 采 用 干 预 前 的观 察 建 立 了 一 个 较 长 的 时 间 序 列 时 ,就 可 以 针 对 目标 群
吐 建 立 长 期 趋 势 模 型 ,考 察 干 预 持 续 期 间甚 至 更 长 时 间 内 的趋 势 ,且 预 测 干 预 后 某
 〓
⒀
202 评佑f方法与技术

蚝
ˉ
“ 峋
涸
这种 差分 自回归滑 动平 均模 互
I

段 时期 内 是 不 是 有 显 著 差 别 。运 用

盯
鞯r,觜 稷甜 T荐 估

畸 c叶
Ⅰ 藓
长 期 趋 势 和 周 期 性 变 量 用 以识 别 最 优 统 I∶
这 是 一 个 技 术 含 量 很 高 的 工 乍 ~± 旦
∶
∴
∶
∶蹁
∶
∶
∶
::∶

于 此 前 取 值 的情 况 (技 术 上 被 称 作 自相 关 )。

.沔
需 要 对 统 计 知 识 相 当熟 悉 。
疋哪

.冖
据 的 例 子 ,人 们 用 时 间 序 列 数 壶
专 栏 9— H展 现 了 一 个 使 用 时 间 序 列 数
枉
引 起 交 通 事 故 的 效 果 。正 因 为 采 用 丁 豕
估 提 高法 定饮 酒 年 龄对减 少酒 后驾 车
(超 过 200个 )进 行 评 估 。这 项 分 f通 J
时 间 序 列 的测 量 ,才 可 以对 多 产 出变 量
驾 车 交 通 事 故 政 策 出 台 前 8~1O三 更 心
收 集 不 同合 法 饮 酒 年 龄 人 群 在 降 低 酒 后
法 饮 酒 年 龄 提 高 之 后 的事 故 率 增 加 兰
:搬
故 率 数 据 ,与 根 据 先 前 趋 势 预 测 的 合
较 ,提 供 了对 项 目效 果 的测 量 。

三
18岁 提高 到 21岁 ,特 别 是联邦 19阱 矸蛳
⒛ 世 纪 ⑽ 年代 ,美 国许 多州都将 最低饮 酒 年龄从
了对最低 饮酒 年龄 在 21岁 以下 各 州 的公路 建设 资
; 驷
一饮 酒 年龄法 案通过 之后 ,这 项 法案削减
剀邺
导致 了更 多 的十几 岁青 少 年酒 后 驾 车 ,并 造 咬于
变 的原 因是基 于这样 的观念 :较 低 的饮酒 年龄
艹肺
较 为复杂 ,因 为新 型汽车安 全技术 的引人 以及△
增长 。然而 ,对 于提高饮 酒 年龄 的效果评估 却
呈现下 降趋势 。
酒 后驾车危 险性 的认 知 ,都 会使得事 故发生率 —
到 19岁 〉 随后 19屺 年 又提高到 21岁 。为 了评 仨￡
威斯康 星州 19阱 年将 最低饮 酒 年龄提高
的 早
察 了 18年 中每个 月酒 后 驾 车造 成 交 通 事 故 =夏
变化 的影 响 ,菲 格利 (Figlio)通 过年龄分 层 ,考
1^ˉ 卜
(Wisconsin DcPaItment of Tlanspon趾 ion),时 间跨 度 为
列数 据 。数据来 自威斯康 星交 通 部 门
(1984年 以前 可 以合法 饮酒 )、 19岁 和 ⒛ 岁 (1986三 ‖
19叨 年 。时间序 列统计模 型分别针 对 18岁
(始 终 可 以合 法 饮 酒 )样 本 的数 据 。产 出变 量 是 各 个 年 妾 芝 耍
前 可 以合法饮 酒 )以 及 21岁 以上
1000个 持照驾驶 者 中因饮 酒 引起 的撞 车率 。 二
到 19岁 ,使 得 因饮酒 引起 的撞 车在 此前 的≡
|Ⅱ

结果表 明 :对 于 18岁 组而言 ,将 饮酒 年龄提高

21岁 ,浸 导胝
“ %。 对 于 19岁 和 ⒛ 岁组来说 ,将 饮酒 年龄提高 到
每 月平 均 22起 的基础 上减少 了
型
1,8起 的基 础上减少 了 9%。 作 为对 比 ,法 案变化 对于
~

饮酒 引起 的撞 车在 此前 的每干 人每月平 均
岁 以上组而言 ,效 果 只有25%,并 且在统计 上并不
显著 。
的实施具 有 迅 速且 确切 的效果 ,较 之于法 秉娈
评估者 的结论 是 :威 斯康 星州提高饮 酒 年龄法 案
有 了实质性减 少 。
施前 的平均状 况而言 ,十 几岁 的年轻 人酒后驾 车事故
珈
丨丿
普
】 『 足
鼷 。℃
劈
}i早 ;;拣 Ⅰ
∶ 讠
∶ I;∶:卩 :`∷ }∶;扌 l〗 ;.蚤 ;;亻 ∶;岁 1品
〗 ∶
l;叩 ;J∶ ff∶ F←

析 单 位 通 常 是 高 度 `总 体 性 占
前 文 已 经 提 到 过 ,社 会 项 目时 间 序 列 数 据 的 分
量 整 合 了 全 州 的 相 关 数 据 ,且 以 鼋
专 栏 9— H中 的例 子 是 威 斯 康 星 州 的 ,事 故 测
型
10OO个 有 照 驾 驶 者 中 事 故 率 的 形 式 表 达 出来 。 与 我 们 讨 论 过 的 其 他 类 似 模
来 说 ,如 果 在 威 斯 康 星
一 样 ,适 用 于 此 类 数 据 的 统 计 模 型 容 易 带 有 偏 差 。举 例
显 著 性 影 响 ,那 么 分 析 的 结 寻
州 ,存在 有 模 型 没 有 表 达 出 的在 涉 酒 事 故 上 的 其 他
就不真实 。
 9 顷目影狗评佑——各迸荧z+ 203
动 平 均 模 型 ” 彐垭Ⅲ
=滑 描 述 干 预 前 后 时 间 序 列 数 据 的 简 单 图 示 方 法 ,可 以 对 我 们 了 解 项 目的
效果
争自回 归 滑 动 平 均 摸 二P
提哄粗 略 但 有 益 的线 索 。 如 果 混 淆 在 干 预 效 果 上 的 干 扰 性 影 响 已
壹模 程 序 ,可 以 通 过 亏 知 ,且 有 很 大
窬 t屋 确 认 其 作 用 很 小 ,那 么 ,通 过 对 时 间 序 列 图 的 简 单 考 察 就 可 以 确 定 项 目的 显
L理 某 一 时 点 的
取 值 天璐 蓍苡果 。专 栏 9—I展 示 了在 项 目评 估 中 时 间 序 列 原 始 数 据 的 一 经
衣含 量 很 高 的 ェ 作 .=三 个 典应用——
乓 彐的酒 精 测 定 条 例 (Ro“ ,Cambe11alld α孔s,19⒛ )。 该 图展 示 了酒
后驾车罚
圭大 幅 调 整 的 法 案 实 施 前 后 英 国 车 祸 的 发 生 率 。 随 附 的 图 表 说 明
f1用 时 间 序 列 数 据 :侧 ,该 法 案 具 有
可识 别 的 干 预 效 果 :法 案 生 效 后 ,事 故 明显 减 少 ,尤 其 是 在 消 酒
杲 c正 因 为 采 用 了 ≡ + 费 类 较 多 的周 末 。
三詈从 图表 上 看 效 果 是 明 显 的 ,但 是 最 好 再 用 统 计 分 析 方 法
亍评 估 。 这 项 分 析 逞 「 来 确 证 一 下 ,而 专 栏
E — I所 示 的
・
焘 出 台 前 8~lO年 玎 事 故 减 少 ,实 际 上 ,在 统 计 上 也 具 有 显 著 性 。
睾
≡的 事 故 率 增 加 进 ≡
咄

19臼 年 ,英 国政府实施 了一项 新政策 ,允

许警察在交通 事故现场进行 酒 精测试 。该 测试 旨在测
亲
量 疑人 血液 中的酒精含量 。同时 ,对 于酒后 驾车者设定 了更 高 的罚金 。对这项 19臼
从 年 10月 开
歹.特 别是 联 邦 I9弘 三 FΓ }买 施 的新 法案 ,英 国政府进行 了大量 的宣传 。
骊Ⅱ
T各 州 的公路建 设 资 下 图展示 了新法 案实施 前 后 一 周 之 内不 同时段 的车 祸 发 生 率 。对 于 下
帅 图 的直 观 考 察 可 以发
圭酒后 驾 =
车 ,并 造成 芒 彐 邓
△ 在法案 实施 后 ,事 故 明显 减少 ,一 周 内绝大多 数 时 间都是 如 此
,尤 其 是在周末 时段 出现 了急剧 的
tˉ
t全 技 术 的 引人 以及 坌 十肺 同时 ,统 计检验确证 了较之 于偶 然 因素所 带 来 的影 响 ,法 案 实施 导 致 的
=k。 降低 更 为 明显 ,具 有
乏计显 著性 c
言到 21岁 。为 了评 亡 ~
乏
三造 成 交 通 事 10000
故 的时 可 ≡
atIcn),时 间跨
度 为 19△ ~
19岁 和 ⒛ 岁 (1986三 9000
∷ ALL HOURs AND DAYs
=出 变 量 是 各
个 年 龄 f县
8000

乏 的撞 车在 此 前 的每 =Ⅱ
三 龄提 高到 21岁 7000
,便 淳Ⅰ 1 300
:为 对 比
,法 案变 化对 亍 二
6000 1200
1 100
|诱 的效 果 ,较 之 于法 聂再 I000
5000
900
厶ted crashcs:Time~⒌ 400o 800
:。中
.I4(4):555566 700
3000 600
500
莆是 高 度 总 体 性
勺相 关 数 据 ,且 以=≡
400
300
过 的其 他 类 似 模 旦 200
己.如 果 在 威 斯 康 星 100

旬.那 么 分 析 的 结 吴
204 评估 f方法 与技术

资 料 来 源 :№ mmary of H L,Ross,D T Campbell,and G Ⅴ α ass/Ddemini吧 the№ od Enec△

”
Legal Refonn: The British Breathalyzer Crackdown of 1967 Amcr讠 c色 ⅡBe九 ovjo,tzJ scjc乃 ,19ˉ
J氵 s扌
|I

(Marcˇ Aplll):碉 ⒋509

时 间 序 列 方 法 并 不 只 限 于 对 单 一 案 例 的研 究 。 当 时 间 序 列 数 据 包 含 不 Ei=
间 地 点 的 不 同 干 预 因素 时 ,也 可 据 以进 行 更 加 复 杂 的 分 析 。例 如 ,帕 克 和 雷 IⅠ
(Parker&Rebhun,1995)运 用 1976— △983年 间 美 国 50个 丿 叫以及 哥 伦 比亚 特 三 J∶
时 间序 列 数 据 ,考 察 了设 定 买 酒 最 低 年 龄 的 国 家 法 令 变 化 与 杀 人 率 变 化 之 乏∷
关 系 。他 们 使 用 了集 合 的截 面 时 间 序 列 分 析 (poo1浏 αos⒌ sec乩 n andysis).≡ 孟
拟 编码 (O和 1)来 代 表 是 否 达 到 了 法 定 购 酒 年 龄 。该 模 型 中 的 其 他 变 量 包 ≡ 凹
鼬
精 消 费 量 (入 均 消 费 啤 酒 的桶 数 )、 婴 儿 死 亡 率 (作 为 贫 困 指 标 )、 不 平 等 指 鼓
族 构成 、 地 区 以及 各 州 总 人 口 。这 个 模 型 用 于 研 究 不 同 年 龄 群 体 的 死 亡 率 :T
究 发 现 ,提 高 允 许 买 酒 的年 龄 与 21~叨 岁 年 龄 组 的杀 人 事 件 受 害 者 数 量 减 丿
=
间有 显 著 关 联 。
尽 管 我 们 讨 论 过 的 时 间 序 列 分 析 都 使 用 总 体 数 据 ,但 同 样 的 分 析 逻 辑 -适
用 于 非 总 体 数 据 。例 如 ,对 一 些 小 群 体 进 行 干 预 效 果 分 析 ,在 参 加 项 目的 前 ≡≡
至 在 项 目进 行 过 程 中 ,对 这 些 人 的 行 为 进 行 多 次 测 量 。 例 如 临 床 医 学 家 逼 辽 玎
间 序 列 设 计 来 评 估 治 疗 措 施 对 患 者 的 效 果 。 因 此 ,用 成 绩 测 试 来 测 量 儿 童 三I最
现 ,也 许 要 在 新 的教 学 方 法 使 用 前 后 都 进 行 阶 段 性 测 量 ;对 成 年 人 酗 酒 行 为 =眍
量 也 要 在 针 对 酗 酒 治 疗 开 展 前 后 都 进 行 。 当 运 用 于 单 一 案 例 时 ,适 用 的 统 △ t
丁
法 会 有 所 不 同 (Kazdh,19昀 ),长 期 趋 势 和 周 期 性 问题 对 于 单 独 案 例 来 讲 并 是
那 么 突 出 ,但是 时 间 序 列 分 析 的逻 辑 仍 然 是 一 样 的 。

在影响评估中运用准实验方法的注意事项

执 行 良好 的 实 地 实 验 在 项 目效 果 无 偏 估 计 上 的 科 学 可 靠 性 ,使 得 这 秆 云 ∵
成为最方便 易行 、 最 经 济 实 惠 的选 择 。不 幸 的 是 ,社 会 项 目的 大 环 境 使 得 眨 FI-
验 难 以 实 施 。准 实 验 设 计 的 价 值 在 于 ,如 果 谨 慎 运 用 的 话 ,即 使 与 项 目环 境 =L
—
相 对 适 应 且 与 社 会 研 究 的 要 求 并 不 具 有 内 在 致 性 ,也 可 以 对 项 目的 净 效 早 Ⅱ
出较 可 信 的估 计 。 总 之 ,对 于 项 目评 估 而 言 ,准 实 验 研 究 设 计 的 好 处 在 于 ‘兰 腿
机 实 地 实 验 不 可 行 时 ,准 实 验 设 计 方 便 并 可 行 。
关 键 在 于 ,好 的 准 实 验 设 计 如 何 才 能 对 项 目净 效 果 作 出 有 效 的 估 计.≡ i

话 说 ,就 是 基 于 现 实 原 因运 用 准 实 验 设 计 来 取 代 随 机 实 验 的 时 候 ,评 估 者 在 f吓
过 程 中犯 严 重 错 误 的 风 险 有 多 大 ?我 们 希 望 引 用 一 项 比 较 研 究 来 回 答 这 Ⅱ

题 ,即 对 不 同项 目环 境 中 随 机 实 验 与 多 种 准 实 验 的 结 果 进 行 比较 。 然 而 这 =阝
一
研 究 很 少 ,所 以我 们 很 难 拿 出 确 凿 的证 据 来 证 明 我 们 的 判 断 。然 而 ,仅 有 莳 雌
例 子 已经 说 明 :在 良好 的项 目环 境 和 谨 慎 的 操 作 下 ,准 实 验 研 究 设 计 既 能 够 淳
j
与 随 机 设 计 相 当 的项 目净 效 果 ,也 可 以谬 之 千 里 。
 9 页目影昀评佑——各迸发计 205
Ι
1ing the Social EfecL~∶ [ 弗 雷 克 和 梅 拉 德 (Frak∝ aI.dM叩 na1・d,19泓 )比 较 了 配 对 建 构 控 制 组 和 随 机
〖
i∶ forclJ scfe/z氵 js莎
,1970 买莹 两 种 方 法 获 得 的对 一 项 就 业 计 划 效 果 的估 计 。他 们 利 用 不 同 的 方 法 进 行 个
怔 E对 ,但 没 有 一 个 结 果 与 随 机 实 验 的 结 果 非 常 接 近 。 但 是 ,赫 克
曼 和霍 兹
,±

Heckman and Hotz,1兜 9)使 用 同样 的 资 料 ,采 用 更 合 适 的 控 制 变 量 和 更 复 杂 的

宇列 数 据 包 含 不 F玎
窥计 模 型 ,却 得 到 了 类 似 于 随 机 实 验 的 结 果 。类 似 的 是 拉 隆 德 (Lalc,nde,19⒆ )
列如 ,帕 克 和 雷 市 Ⅰ 一 个 就 业 培 训 项 目 的 比较 。在 研 究 中 ,拉 隆 德 拿 非 随 机 设 计 的 统 计 控 制 结
以 及哥 伦 比亚 特 区 裂 =另
畏 与 随 机 实 验 的评 估 结 果 进 行 比 较 ,也 发 现 了 致 命 的 矛 盾 ,其 中 之 一 就 是 女 性
≡杀 人 率 变 化 之 间 可
左 准 实 验 中其 作 用 被 低 估 )与 男 性 (被 高 估 )的 偏 差 。
ecti° n ana1ysis),厂 甬三
匮 最 近 ,来 自于 不 同 项 目领 域 中 的 证 据 已 经 有 所 进 展 。 艾 肯 (虬 ken d龃 。 ,

卜的 其 他 变 量 包 括 殛
9Q8)等 人 在 一 项 大 学 新 生 拼 写 纠 正 项 目 中 ,比 较 了 不 同 影 响 评 估 设 计 的 结 果
二
洫
,

标 )、 不 平 等 指 数 、
吃 们发 现 :在 利 用 统 计 控 制 的 非 对 等 (非 随 机 )比 较 设 计 和 回 归 一 间 断 点 设 计 以
令群 体 的 死 亡 率 ￡ Ⅱ “
灭随 机 实 验 中 ,项 目效 果 估 计 高 度 相 似 ”。 然 而 ,在 简 单 的 事 前 一 事 后 比较 中
丰受 害 者 数 量 减 少 二
,

彐 高估 了项 目净 效 果 。
在 同 一 项 目领 域 中 ,一 系 列 独 立 影 响 评 估 研 究 的 广 泛 比 较 也 说 明 了 结 构 化
弓样 的 分 析 逻 辑 也 适
空 制 的有 效 性 。李 普 希 和 威 尔 森 (Lips叩 and wi1sc,n,19叨 )在 心 理 学 、
教 育 学及
≡参 加 项 目的 前 后 ≡
行为 学 研 究 的 砰 个 事 后 分 析 中 ,比 较 了 随 机 实 验 和 非 随 机 实 验 的 平 均 效 果 。 在
匚临 床 医 学 家 通 过 玎
许 多 包 含 事 后 分 析 的 研 究 中 ,非 随 机 实 验 的 效 果 估 计 值 与 随 机 实 验 所 得 值 非 常
刂试 来 测 量 儿 童 的 袤
近 似 。然 而 ,也 有 同 样 多 的 案 例 表 明 两 者 有 重 大 差 异 。 海 茵 兹 曼 和 谢 德 西
炅年 人 酗 酒 行 为 的 卫
Heinsman a1△ d Shadish,1996)曾 对 4个 项 目领 域 中 的 98项 研 究 的 果
效 估计值作
列 时 ,适 用 的 统 计 万
了更 精 确 的 比较 ,得 到 了 同 样 的 结 果 :非 随 机 设 计 与 随 机 设 计 的 比 较 有 多 种 结
自独 案 例 来 讲 并 不 是
果 — — 有 时 候 两 者 差 不 多 ,有 时 候 大 一 些 或 小 一 些 。
这 些 比较 的结 果 表 明 :在 一 个 既 定 的应 用 项 目中 ,运 用 结 构 化 控 制 的 项 目评
估所 产 生 的项 目效 果 估 计 值 与 随 机 实 验 中 的 结 果 是 类 似 的 ,但 两 者 也 经 常 会 有
∶
事项 不 小 差 异 。 而 且 这 些 经 验 研 究 也 并 不 能 说 明 对 于 准 实 验 设 计 而 言 ,什 么 样 的 项
目环 境 或 什 么 样 的设 计 会 得 到 更 好 的 或 是 更 差 的 结 果 。 因 此 ,评 估 者 在 项 目评

堇 性 ,使 得 这 种 设 △
估 中运 用 非 随 机 设 计 时 必 须 根 据 具 体 的假 设 、已 经 选 定 了 的 设 计 要 求 、
项 目特 征
以及 对 象 总 体 属 性 逐 个 进 行 分 析 ,这 样 才 有 最 大 可 能 得 出 有 效 的 项 目效 果 评
:大 环 境 使 得 随 机 实
估值 。
「史 与 项 目环 境 只 是
l对 项 目 的 净 效 果 l^ 在 本 章 已经 考 察 过 非 随 机 效 果 评 估 设 计 的 所 有 局 限 性 之 后 ,使 用 这 些 方 法

十 的 好 处 在 于 ,当 眭
是 不 是 就 变 得 可 接 受 了 呢 ?很 显 然 ,在 可 以运 用 随 机 设 计 的 时 候 ,就 不 应 该 运 用
非 随 机 设 计 。然 而 ,当 随 机 设 计 不 能 应 用 而 又 有 必 要 进 行 效 果 评 估 时 ,如 果 评 估

}有 效 的 估 计 。 换 钉 者 能 够 认 识 到 非 随 机 设 计 的局 限性 ,并 且 努 力 克 服 这 些 局 限 性 ,那 么 评 估 者 仍 然

讨 侯 ,评 估 者 在 评 佶 可 以应 用 非 随 机 设 计 来 进 行 研 究 。
r+究 来 回 答 这 负 责 任 的 承 担 一 项 只 能 用 非 随 机 设 计 方 式 完 成 的 评 估 任 务 的 研 究 者 ,有 责
个匚
=比 较 。 然 而 这 样 莳 任 向项 目方 事 先 说 明 这 种 方 法 对 项 目效 果 的 评 估 结 果 并 不 是 确 切 无 误 的 。 不
过 ,一 旦 决 定 进 行 非 随 机 设 计 ,研 究 者 就 应 该 回 顾 相 关 研 究 文 献 ,以 搜 集 可 用 于
=然 而 ,仅 有 的 一 些
F究 设 计 既 能 够 得 出 统 计 控 制 和 选 择 性 建 模 的 变 量 。 同 时 ,在 报 告 非 随 机 影 响 评 估 的 结 果 时 ,评 估 者
也 有 义 务 表 明对 于 结 果 的估 计 可 能 是 有 偏 的 ,并 尽 可 能 指 明偏 差 有 多 大 。
 9 项黝 评估 —— 各选设廾 207

≡ 祭