Dealing with validity, reliability, and ethics

研究信度、效度和倫理的處理

Chapter 10

（P198）所有的研究在處理知識的信度和效度時都會面臨倫理問題。對應用領域的

專業人員來說，能夠信任研究成果尤其重要，因為研究人員會干預人們的生活。例如，沒有

任何一位課堂老師在教學中願意嘗試一種新的閱讀方式，也不會有一位輔導員想要實施一種

新的技術，與失去親人的家庭接觸，而不對其可能取得的成功抱有一定的信心。但是你怎麼

知道什麼時候研究結果是可信的呢？他們是值得信賴的，因為在進行這項研究時有一些嚴格

的規定。由於定性研究（又稱質性研究，下同）所依據的是與定量研究（又稱量化研究，下

同）不同的對現實的假設(見第一章)，定性研究的嚴謹性標準必然與定量研究的標準不同。

然而，由於定性研究中討論和評估嚴謹性的標準和術語都在不斷變化，我們選擇參照傳統效

度和信度術語，在解釋定性研究中討論可信度和嚴謹性，儘管我們認識到這些都是有爭議的

術語。確保定性研究的效度和信度涉及到以道德的方式進行調查。雖然關於研究倫理行為的

既定準則可以追溯到 20 世紀 40 年代末，但只有在過去幾十年中才對定性研究特有的倫理

問題給予了關注。在結束這一章時，我們會考慮道德實踐在建立你的學習的可信度方面也是

多麼的重要。

效度與信度

（P199）要想對某一領域的實踐或理論產生任何影響，就必須嚴格地進行研究；他

們需要提供給讀者、實踐者和其他研究人員真實的見解和結論。因此，由於大多數社會科學

調查的應用性質，研究人員和其他人必須對調查的過程和任何特定研究的結果有信心。強調

這一點，問一項研究的結果是否“足夠真實的…”我可以相信自己會對它們的影響採取行動
嗎？更重要的是，我對這些調查結果是否有足夠的安全感，可以在此基礎上制定社會政策或

立法？

不管研究的類型如何，有效性和可靠性都是可以通過仔細關注研究的概念化、數據的

收集、分析和解釋的方式以及結果的呈現方式來解決的。Firestone(1987)探討了定量和定

性範式如何使用不同的修辭方法來說服消費者相信他們的可信度。“定量研究必須使讀者相

信程式得到忠實遵守，因為幾乎沒有具體描述任何人所做的事情。定性研究為讀者提供了足

夠詳細的描述，以表明作者的結論是有意義的。”此外，“定量研究描繪了一個變數和靜態

的世界。相反，定性研究描述了人們在事件中的行為“在最近的混合方法設計中，採用定性

和定量標準來評估研究的可信度。

（P200）研究設計是基於對被調查對象的不同假設，他們試圖回答不同的問題。如

果像定性研究一樣，理解是調查的主要依據，那麼相信研究的標準將不同於以發現定律或檢

驗假設作為研究目的。實驗研究的科學性、嚴謹性、可信賴性在於研究者對研究的精心設計，

採用了科學界公認的標準。定性研究也有確定研究的真實性和可信度的策略——基於世界

觀和解決問題的戰略以及與這一觀點所依據的哲學假設相一致。

許多關於這一主題的作者認為，基於對現實和不同世界觀的不同假設的定性研究應該

從與範式所依據的哲學假設相一致的角度來考慮有效性和可靠性。這甚至可能導致命名不同

的概念本身，如林肯和古巴(1985)。作為內部效度、外部效度、信度和客觀性的替代物，可

信性、可轉移性、可靠性和可證實性在定性研究中被廣泛採用。最近從後現代、後結構、建

構主義、批判性和行動研究角度撰寫的文章呼籲通過完全不同的有效性和可靠性概念進行仔

細思考。

談到敘事研究，Connelly 和 Clandinin(1990)提出了另一種觀點。他們寫道，這種

類型的研究“依賴於有效性、可靠性和普遍性以外的標準”，這些標準是“在研究社區中正
在發展中的”。他們指出，“每個問詢者必須尋找和捍衛最適用於他或她的工作的標準；”，

並提出“表像性、真實性和可轉移性作為可能的標準”。

（P201）Wolcott(1994)採取了另一個方向，主張“有效性的荒謬”。他所追求的不

是有效性，而是“另一種品質，它更多地指向識別關鍵因素，並從這些要素中得出合理的解

釋，這是人們可以追求的，而不必癡迷於找到正確或最終的答案，正確的版本或真理”。對

沃爾科特來說，“其他東西”就是理解。

大多數從事定性調查的教育工作者不希望等待研究中心就評估價值和可靠性的適當

標準達成共識。儘管理論辯論仍在進行，但這方面迫切需要得到滿足。Stake(1994)認為在

一次調查中獲得的知識“面臨著從一個作家到另一個讀者的危險通道。作者想出了保護旅行

的方法”。幸運的是，有幾種策略可以用來提高定性研究的效度和信度。為了與我們基於建

構主義世界觀向讀者介紹定性研究的目標保持一致，我們選擇了關注方法論的嚴謹性，也就

是說，作為一名研究者，你可以做些什麼來確保你的研究的可信度。以下各節討論了建構主

義定性研究中關於內部有效性、信度和外部有效性的具體關切，並提出了處理這些問題的適

當戰略。

內部效度

內部有效性涉及研究結果如何與現實相匹配的問題。這些發現與現實的一致性有多

大？這些發現是否反映了實際情況？調查人員是否在觀察或測量他們認為自己正在測量的

東西？因此，所有研究的內在有效性都取決於現實的意義。Becker(1993)幽默地指出，“現

實是我們現在選擇不去質疑的東西”，以及“那些接觸它的人壓力的主要原因”。更為嚴肅

的是，Ratcliffe(1983)提供了一個有趣的視角來評估各種研究的有效性。他說，應該記住，

(1)“數據並不代表自己，總是有一名翻譯或一名翻譯”（P202）(2)“一個人不能觀察或衡

量一個現象/事件而不去改變它，即使在物理學中，現實不再被認為是單面的”；(3)數字、
方程式和詞語“都是對現實的抽象、象徵性的表示，而不是現實本身”。因此，有效性必須

用現實本身以外的東西來評估(這是永遠無法把握的)。

Exhibit 10.1 對定性研究可信度的挑戰

1.從 1(3，15，29 等)的 n 可以看出什麼？

2.讓研究人員解釋參與者對正在發生的事情有什麼價值？

3.你怎麼能從一個小的，非隨機的樣本中歸納出來呢？

4.如果研究人員是數據收集和分析的主要工具，那麼如何才能確保研究人員是一個有效和可

靠的工具？

5.你怎麼知道研究人員沒有偏見，只知道他或她想要找到什麼？

6.研究人員的存在是否會導致參與者正常行為的改變，從而污染數據？

7.人們不是經常對實地研究人員撒謊嗎？

8.如果有人做了這項研究，他們會得到同樣的結果嗎？

定性研究的基本假設之一是，現實是整體的、多維的和不斷變化的；它不是一個單一

的、固定的、客觀的現象，等待被發現、觀察和測量，就像在定量研究中那樣。因此，評估

所收集的數據與由此產生數據的“現實”之間的同構是一個不適當的有效性決定因素。斯坦

貝克(1941)在寫他五十多年前科特茲海的科學之旅（Sea of Cortez）時，雄辯地對比了兩

種關於現實的觀點：

墨西哥山脈的背鰭上有“XVII-15-1x”山脊。這些都可以很容易地計算出來。但是，
如果塞拉人猛烈地攻擊我們的手，使我們的手被燒焦，如果魚發出聲音，幾乎逃脫，最後從

欄杆上進來，他的顏色在跳動，他的尾巴拍打著空氣，那麼一種全新的關係外部性就產生了

-這個實體不僅僅是魚加漁夫的總和。唯一不受第二種關係現實影響的塞拉氏刺的計數方法

是坐在實驗室裏，打開一個惡臭的罐子，從福馬林溶液中取出一條僵硬無色的魚，數一下刺，

並寫出真相“D.XVII-15-1x”。在那裏，你已經記錄了一個無法被攻擊的現實-可能是關於

魚或你自己的最不重要的現實。那個帶著醃魚的人說出了一個事實，並在他的經歷中記錄了

許多謊言。魚不是那種顏色、那種質地、那種死魚，也不是那種味道。

（P203）那麼，定性研究中正在研究的是什麼，以及研究者如何評估這些觀察的有效

性？正在調查的是人們對現實的建構-他們是如何理解世界的。

由於人是定性研究中數據收集和分析的主要工具，因此可以通過觀察和訪談直接獲得對

現實的解釋。因此，我們“更接近”現實，而不是在我們和參與者之間插入了一種數據收集

工具。大多數人都認為，如果以這種方式看待嚴格性，內部有效性是定性研究的一種肯定的

力量。在這類研究中，重要的是要瞭解參與興趣現象的人的觀點，在語境框架內揭示人類行

為的複雜性，並對正在發生的事情作出全面的解釋。

LeCompte 和 Preissle(1993)列舉了支持民族志研究高內在有效性的四個因素：

首先，民族志工作者在參與者之間生活和長期收集數據的共同做法為持續的數據分析和

比較提供了機會，以細化結構；它確保了研究人員類別和參與者現實之間的匹配。第二，作

為一種主要的民族志數據來源，線人訪談是在參與者的經驗類別中表述的；它們不像其他研

究設計中使用的許多工具那樣抽象。第三，參與者觀察-民族志學家的第二個主要數據來源-

是在自然環境中進行的，比在更多的人為或實驗室環境中更準確地反映了參與者的生活經

歷。最後，民族志分析結合了研究人員的反思、反思和自我監控，埃裏克森(1973)稱之為自

律的主體性，這些都使研究的各個階段都受到持續的質疑和重新評估。
 （P204）根據我的研究經驗和定性研究的文獻，研究者可以使用六種基本策略來提高

內部效度:

1.三角檢證（Triangulation）：使用多個數據源意味著通過不同時間或不同地點的觀察

收集到的數據進行比較和交叉核對，或者從不同視角的人那裏收集到的訪談數據，或者從對

同一人的後續訪談中收集到的數據。當有多個調查人員收集和分析數據時，就會發生三角檢

證。巴頓(2015)提出了一種相關的策略，即“三角分析——即讓兩個或兩個以上的人獨立

地分析相同的定性數據並比較他們的發現”(原文強調)。這種多個研究人員的概念也在其他

情況下討論過，如協作研究或團隊研究。在參與式研究中，研究的目標是賦予政治權力，參

與者和研究人員共同確定要解決的問題，進行研究，並採取集體行動實現變革。

2.成員檢查（Member checks）:把數據和試探性的解釋帶回給他們的人，並詢問他們

的結果是否可信。許多作者建議在整個研究過程中繼續這樣做。這是一種最重要的方式，可

以排除誤解參與者所說和做的意思的可能性，以及他們對正在發生的事情的看法，也是確定

自己對觀察到的東西的偏見和誤解的一種重要方式。雖然你可能使用了不同的詞(畢竟是你

的解釋，但直接來源於他們的經驗)，參與者應該能夠識別他們在你的解釋中的經驗，或者

建議一些微調來更好地捕捉他們的觀點。

3.長期觀察(Long-term)：在研究地點進行長期觀察或重複對同一現象的觀察——在一

段時間內收集數據，以提高研究結果的有效性。一個人需要觀察多長時間，或者有多少人需

要接受採訪，這都是很難回答的問題，因為答案總是取決於特定的研究本身。最好的經驗法

則是，數據和正在出現的發現必須感到飽和；也就是說，你開始一遍又一遍地看到或聽到相

同的東西，當你收集更多的數據時，沒有新的資訊表面。

4.同儕審查（Peer examination）:當這些發現出現時，請同事們對此發表評論。所有

的研究生都有這樣一種感覺：他們的論文或論文委員會都有這個過程，因為委員會的每一位
成員都會閱讀和評論研究結果。當一篇文章被發送到同行評審的期刊發表時，也會發生類似

的過程；“同行”瞭解該主題和方法，審查手稿並推薦出版(或不推薦)。但是，這樣的檢查

或審查也可以由熟悉研究的同事進行，也可以由新的研究人員進行。這兩種方法都有好處，

但無論是哪種方式，徹底的同行審查都需要要求同事掃描一些原始數據，並根據數據評估這

些結果是否可信。

(P205)5.參與性或合作性研究模式(Participatory or collaborative modes of

research):讓參與者參與研究的各個階段，從研究的概念化到研究結果的撰寫。

6.研究者偏見(Researcher’s biases):在研究開始時，澄清研究者的假設、世界觀和理

論取向。

信度

信度是指在多大程度上可以複製研究結果。換句話說，如果重複這項研究，會不會產生

同樣的結果？可靠性在社會科學中是有問題的，因為人類的行為從來都不是靜止的。即使是

硬科學領域的人也在就現象的恒久性提出類似的問題。研究設計的可靠性是基於這樣一個假

設，即存在一個單一的現實，反復研究它將產生同樣的結果。這是傳統實驗研究的一個核心

概念，其重點是發現變數之間的因果關係，揭示解釋現象的規律。

然而，質的研究並不是為了孤立人類行為的規律而進行的。相反，研究人員試圖描述和

解釋世界上的人所經歷的世界。由於對正在發生的事情有許多解釋，因此沒有任何基準可以

用來重複採取措施和建立傳統意義上的可靠性。Wolcott(2005)強調，在研究人類行為時考

慮可靠性是不恰當的：“為了在技術意義上實現可靠性，研究者必須操縱條件，以便評估可

複製性。通常，現場工作人員根本不想讓事情發生，但無論在什麼情況下，我們肯定不可能
使事情發生兩次。如果某件事確實不止發生過一次，我們一分鐘也不會堅持重複是準確的”。

從傳統觀點來看，信度與內部效度之間的聯繫是基於這樣一種假設：如果在同一研究中

重複觀察或重複整個研究產生相同的結果，則研究更有效。這種邏輯依賴於建立真理的重複，

但眾所周知，測量、觀察和人都可能是反復錯誤的。溫度計可以重複記錄 85 華氏度的沸水；

它是非常可靠的，因為測量是一致的，但一點也不有效。而在社會科學中，僅僅因為許多人

經歷過同樣的現象，並不能使觀測結果更加可靠。

（P206）然而，令人感興趣的是，與儀器有關的可靠性概念可以適用於定性研究，其

意義與傳統研究中的意義相似。正如定量研究人員改進儀器和使用統計技術以確保可靠性一

樣，人類儀器也可以通過訓練和實踐變得更加可靠。此外，可以通過各種分析和三角剖分技

術來評估檔和個人帳戶的可靠性。

因為在社會世界中正在研究的東西被認為是流動的、多方面的和高度語境的；因為收集

到的資訊取決於誰給它，以及研究人員在獲取它方面的技能；而且由於一項定性研究的緊急

設計排除了先驗控制，在傳統意義上實現可靠性不僅是幻想的，而且是不可能的。

Wolcott(2005)想知道我們是否需要“解決可靠性問題”，而不是說為什麼它是評估定性研

究的嚴謹性的一個不恰當的方法。他的反對意見是，“反應的相似性被視為與反應的準確性

相同”，我們知道這是一個有問題的假設。

由於傳統觀點中的可靠性一詞在定性研究中似乎有些不合適，林肯和古巴建議考慮從數

據中得到的結果的“可靠性”或“一致性”。也就是說，比起要求局外人得到同樣的結果，

一個預備役者希望局外人同意，考慮到收集到的數據，結果是有意義的——它們是一致的和

可靠的。因此，問題不在於是否會再次發現調查結果，而在於調查結果是否與所收集的數據

一致。調查人員可以使用幾種技術來確保調查結果是可靠的：
 調查員的立場。調查人員應解釋研究的假設和理論，他或她相對於被研究群體的立場，

選擇被調查者的依據和描述，以及收集數據的社會背景。

（P207）三角檢證。尤其是在使用多種數據收集和分析方法時，三角檢證增強了信度

和內部效度。

審計追蹤（audit trail）。正如一名審計師對一家企業的賬目進行認證一樣，獨立評審

可以跟蹤研究人員的線索來驗證研究結果。“如果我們不能指望其他人複製我們的敘述，我

們能做的最好就是解釋我們是如何得出結果的。”為了進行審計，調查人員必須詳細證實如

何收集數據。如何得到類別，以及在整個調查過程中是如何作出決定的。