Chapter 10

Standards of Validation and Evaluation

Qualitative researchers strive for "understanding," that deep structure of knowledge

that comes from visiting personally with participants, spending extensive time in the field,
and probing to obtain detailed meanings. During or after a study, qualitative researchers ask,
"Did we get it right?" (Stake, 1995, p. 107) or "Did we publish a `wrong' or inaccurate
account?" (Thomas, 1993, p. 39). Is it possible to even have a "right" answer? To answer these
questions, researchers need to look to themselves, to the participants, and to the readers.
There are multi- or polyvocal discourses at work here that provide insight into the validation
and evaluation of a qualitative narrative.
In this chapter, I address two interrelated questions: Is the account valid, and by whose
standards? How do we evaluate the quality of qualitative research? Answers to these
questions will take us into the many perspectives on validation to emerge within the
qualitative community and the multiple standards for evaluation discussed by authors with
procedural, interpretive, emancipatory, and postmodern perspectives.

Questions for Discussion

• What are some qualitative perspectives on validation?

• What are some alternative procedures useful in establishing validation?
• How is reliability used in qualitative research?
• What are some alternative stances on evaluating the quality of qualitative research?
• How do these stances differ by types of approaches to qualitative inquiry?

Validation and Reliability in Qualitative Research Perspectives on Validation

Many perspectives exist regarding the importance of validation in qualitative research,
the definition of it, terms to describe it, and procedures for establishing it. In Table 10.1, I
illustrate several of the perspectives available on validation in the qualitative literature. These
perspectives are viewing qualitative validation in terms of quantitative equivalents, using
qualitative terms that are distinct from quantitative terms, employing postmodern and
interpretive perspectives, considering validation as unimportant, combining or synthesizing
many perspectives, or visualizing it metaphorically as a crystal.
Writers have searched for and found qualitative equivalents that parallel traditional
quantitative approaches to validation. LeCompte and Goetz (1982) took this approach when
they compared the issues of validation and reliability to their counterparts in experimental
design and survey research. They contended that qualitative research has garnered much
criticism in the scientific ranks for its failure to adhere to canons of reliability and validation"
(p. 31) in the traditional sense. They applied threats to internal validation in experimental
research to ethnographic research (e.g., history and maturation, observer effects, selection
and regression, mortality, spurious conclusions). They further identified threats to external
validation as "effects that obstruct or reduce a study's comparability or translatability" (p. 51).
Some writers argue that authors who continue to use positivist terminology facilitate the
acceptance of qualitative research in a quantitative world. Ely and colleagues (Ely, Anzul,
Friedman, Garner, & teinmetz, 1991) asserted that using quantitative terms tends to be a
defensive measure that muddies the waters and that "the language of positivistic research is
not congruent with or adequate to qualitative work" (p. 95). Lincoln and Guba (1985) have
used alternative terms that, they contended, adhered more to naturalistic research. To
establish the "trustworthiness" of a study, Lincoln and Guba (1985) used nique terms, such as
"credibility," "authenticity," "transferability," "dependability," and "confirmability," as "the
naturalist's equivalents" for "internal validation," "external validation," "reliability," and
objectivity" (p. 300). To operationalize these new terms, they propose techniques such as
prolonged ngagement in the field and the triangulation of data of sources, methods, and
investigators to establish credibility. To make sure that the findings are transferable between
the researcher and those being studied, thick description is necessary. Rather than reliability,
one seeks dependability that the results will be subject to change and instability. The
naturalistic researcher looks for confirmability rather than objectivity in establishing the
value of the data. Both dependability and confirmability are established through an auditing of
the research process.

Rather than using the term "validation," Eisner (1991) discussed the credibility of
qualitative research. He constructed standards such as structural corroboration, consensual
validation, and referential adequacy. Instructural corroboration, the researcher relates
multiple types of data to support or contradict the interpretation. As Eisner (1991) stated,
"We seek a confluence of evidence that breeds credibility, that allows us to feel confident
about our observations, interpretations, and conclusions" (p. 110). He further illustrated this
point with an analogy drawn from detective work: The researcher compiles bits and pieces of
evidence to formulate a "compelling whole." At this stage, the researcher looks for recurring
behaviors or actions and considers disconfirming evidence and contrary interpretations.
Moreover, Eisner (1991) recommended that to demonstrate credibility, the weight of
evidence should become persuasive. Consensual validation sought the opinion of others, and
Eisner referred to "an agreement among competent others that the description,
interpretation, and evaluation and thematics of an educational situation are right" (p. 112).
Referential adequacy suggested the importance of criticism, and Eisner described the goal of
criti-cism as illuminating the subject matter and bringing about more complex and sensitive
human perception and understanding.
Validation also has been reconceptualized by qualitative researchers with a postmodern
sensibility. Lather (1991) commented that current "paradigmatic uncertainty in the human
sciences is leading to the re-conceptualizing of validation" and called for "new techniques and
concepts for obtaining and defining trustworthy data which avoids the pitfalls of orthodox
notions of validation" (p. 66). For Lather, the character of a social science report changes from
a closed narrative with a tight argument structure to a more open narrative with holes and
questions and an admission of situatedness and partiality. In Getting Smart, Lather (1991)
advanced a "reconceptualization of validation." She identified four types of validation,
including triangulation (multiple data sources, methods, and theoretical schemes), construct
validation (recognizing the constructs that exist rather than imposing theories/constructs on
informants or the context), face validation (as "a click of recognition' and a `yes, of course,'
instead of `yes, but' experience" (Kidder, 1982, p. 56), and catalytic validation (which
energizes participants toward knowing reality to transform it).
In a later article, Lather's (1993) terms became more unique and closely related to
feminist research in "four frames of validation." The first, "ironic" validation, is where the
researcher presents truth as a problem. The second, "paralogic" validation, is concerned with
undecidables, limits, paradoxes, and complexities, a movement away from theorizing things
and toward providing direct exposure to other voices in an almost unmediated way. The third,
"rhizomatic" validation, pertains to questioning proliferations, crossings, and overlaps
without underlying structures or deeply rooted connections. The researcher also questions
taxonomies, constructs, and interconnected networks whereby the reader jumps from one
assemblage to another and consequently moves from judgment to understanding. The fourth
type is situated, embodied, or "voluptuous" validation, which means that the researcher sets
out to understand more than one can know and to write toward what one does not
understand.
Other writers, such as Wolcott (1990a), have little use for validation. He suggested that
"validation neither guides nor informs" his work (p. 136). He did not dismiss validation, but
rather placed it in a broader perspective. Wolcott's goal was to identify "critical elements" and
write "plausible interpretations from them" (p. 146). He ultimately tried to understand rather
than convince, and he voiced the view that validation distracted from his work of
understanding what was really going on. Wolcott claimed that the term "validation" did not
capture the essence of what he sought, adding that perhaps someone would coin a term
appropriate for the naturalistic paradigm. But for now, he said, the term "understanding"
seemed to encapsulate the idea as well as any other.
Validation has also been cast within an interpretive approach to qualitative research
marked by a focus on the importance of the researcher, a lack of truth in validation, a form of
validation based on negotiation and dialogue with participants, and interpretations that are
temporal, located, and always open to reinterpretation (Angers, 2000). Angen (2000)
suggested that within interpretative research, validation is "a judgment of the trustworthiness
or goodness of a piece of research" (p. 387). She espouses an ongoing open dialogue on the
topic of what makes interpretive research worthy of our trust. Considerations of validation
are not definitive as the final word on the topic, nor should every study be required to address
them. Further, she advances two types of validation: ethical validation and substantive
validation. Ethical validation means that all research agendas must questions their underlying
moral assumptions, their political and ethical implications, and the equitable treatment of
diverse voices. It also requires research to provide some practical answers to questions. Our
research should also have a "generative promise" (Angen, 2000, p. 389) and raise new
possibilities, open up new questions, and stimulate new dialogue. Our research must have
transformative value leading to action and change. Our research should also provide
nondogmatic answers to the questions we pose.
Substantive validation means understanding one's own understandings of the topic,
understandings derived from other sources, and the documentation of this process in the
written study. Self-reflection contributes to the validation of the work. The researcher, as a
sociohistorical interpreter, interacts with the subject matter to co-create the interpretations
derived. Understandings derived from previous research give substance to the inquiry.
Interpretive research also is a chain of interpretations that must be documented for others to
judge the trustworthiness of the meanings arrived at the end. Written accounts must resonate
with their intended audiences, and must be compelling, powerful, and convincing.
A synthesis of validation perspectives comes from Whittemore, Chase, and Mandle
(2001), who have analyzed 13 writings about validation, and extracted from these studies key
validation criteria. They organized these criteria into primary and secondary criteria. They
found four primary criteria: credibility (Are the results an accurate interpretation of the
participants' meaning?); authenticity (Are different voices heard?); criticality (Is there a
critical appraisal of all aspects of the research?); and integrity (Are the investigators self-
critical?). Secondary criteria related to explicitness, vividness, creativity, thoroughness,
congruence, and sensitivity. In summary, with these criteria, it seems like the validation
standard has moved toward the interpretive lens of qualitative research, with an emphasis on
researcher reflexivity and on researcher challenges that include raising questions about the
ideas developed during a research study.
Finally, a recent postmodern perspective draws on the metaphorical image of a crystal.
Richardson (in Richardson & St. Pierre, 2005) describes this image:

I propose that the central imaginary for "validation" for postmodern texts is not the
triangle-a rigid, fixed, two dimensional object. Rather the central imaginary is the crystal,
which combines symmetry and substance with an infinite variety of shapes, substances,
transmutations, multidimensionalities, and angles of approach. Crystals grow, change, and are
altered, but they are not amorphous. Crystals are prisms that reflect externalities and refract
within themselves, creating different colors, patterns, and arrays casting off in different
directions. What we see depends on our angle of response---not triangulation but rather
crystallization. (p. 963)

Given these many perspectives, I will summarize my own stance:

 I consider "validation" in qualitative research to be an attempt to assess the "accuracy"
of the findings, as best described by the researcher and the participants. This view also
suggests that any report of research is a representation by the author.
 I also view validation as a distinct strength of qualitative research in that the account
made through extensive time spent in the field, the detailed thick description, and the
closeness of the researcher to participants in the study all add to the value or accuracy
of a study.
  I use the term "validation" to emphasize a process (see Angen, 2000), rather than
"verification" (which has quantitative overtones) or historical words such as
"trustworthiness" and "authenticity" (recognizing that many qualitative writers do
return to words such as "authenticity" and "credibility," suggesting the "staying power"
of Lincoln and Guba's 1985 standards; see Whittemore, Chase, & Mandle, 2001). 1
acknowledge that there are many types of qualitative validation and that authors need
to choose the types and terms in which they are comfortable. I recommend that writers
reference their validation terms and strategies.
 The subject of validation does arise in several of the approaches to qualitative research
(e.g., Stake, 1995; Strauss & Corbin, 1998), but I do not think that distinct validation
approaches exist for the five approaches to qualitative research. At best, there might be
less emphasis on validation in narrative research and more emphasis on it in grounded
theory, case study, and ethnography, especially when the authors talking about these
approaches want to employ systematic procedures. I would recommend using
validation strategies regardless of type of qualitative approach.
 My framework for thinking about validation in qualitative research is to suggest that
researchers employ accepted strategies to document the "accuracy" of their studies.
These I call "validation strategies."

Validation Strategies
It is not enough to gain perspectives and terms; ultimately, these ideas are translated
into practice as strategies or techniques. Whittemore, Chase, and Mandle (2001) have
organized the techniques into 29 forms that apply to design consideration, data generating,
analytic, and presentation. My colleague and I (Creswell & Miller, 2000) have chosen to focus
on eight strategies that are frequently used by qualitative researchers. These are not
presented in any specific order of importance.
• Prolonged engagement and persistent observation in the field include building trust
with participants, learning the culture, and checking for misinformation that stems from
distortions introduced by the researcher or informants (Ely et al., 1991; Erlandson, Harris,
Skipper, & Allen, 1993; Glesne & Peshkin, 1992; Lincoln & Guba, 1985; Merriam, 1988). In the
field, the researcher makes decisions about what is salient to the study, relevant to the
purpose of the study, and of interest for focus. Fetterman (1998) contends that "working with
people day in and day out, for long periods of time, is what gives ethnographic research its
validation and vitality" (p. 46).
• In triangulation, researchers make use of multiple and different sources, methods,
investigators, and theories to provide corroborating evidence (Ely et al., 1991; Erlandson et
al., 1993; Glesne & Peshkin, 1992; Lincoln & Guba, 1985; Merriam, 1988; Miles & Huberman,
1994; Patton, 1980, 1990). Typically, this process involves corroborating evidence from
different sources to shed light on a theme or perspective.
• Peer review or debriefing provides an external check of the research process (Ely et al.,
1991; Erlandson et al., 1993; Glesne & Peshkin, 1992; Lincoln & Guba, 1985; Merriam, 1988),
much in the same spirit as interrater reliability in quantitative research. Lincoln and Guba
(1985) define the role of the peer debriefer as a "devil's advocate," an individual who keeps
the researcher honest; asks hard questions about methods, meanings, and interpretations;
and provides the researcher with the opportunity for catharsis by sympathetically listening to
the researcher's feelings. This reviewer may be. a peer, and both the peer and the researcher
keep written accounts of the sessions, called "peer debriefing sessions" (Lincoln &. Guba,
1985).
• In negative case analysis, the researcher refines working hypotheses as the inquiry
advances (Ely et al., 1991; Lincoln & Guba, 1985; Miles & Huberman, 1994; Patton, 1980,
1990) in light of negative or disconfirming evidence. The researcher revises initial hypotheses
until all cases fit, completing this process late in data analysis and eliminating all outliers and
exceptions.
• Clarifying researcher bias from the outset of the study is important so that the reader
understands the researcher's position and any biases or assumptions that impact the inquiry
(Merriam, 1988). In this clarification, the researcher comments on past experiences, biases,
prejudices, and orientations that have likely shaped the interpretation and approach to the
study.
• In member checking, the researcher solicits participants' views of the credibility of the
findings and interpretations (Ely et al., 1991; Erlandson et al., 1993; Glesne & Peshkin, 1992;
Lincoln & Guba, 1985; Merriam, 1988; Miles & Huberman, 1994). This technique is considered
by Lincoln and Guba (1985) to be "the most critical technique for establishing credibility" (p.
314). This approach, writ large in most qualitative studies, involves taking data, analyses,
interpretations, and conclusions back to the participants so that they can judge the accuracy
and credibility of the account. According to Stake (1995), participants should "play a major
role directing as well as acting in case study" research. They should be asked to examine
rough drafts of the researcher's work, and to provide alternative language, "critical
observations or interpretations" (p. 115). For this validation strategy, I convene a focus group
composed of participants in my study and ask them to reflect on the accuracy of the account. I
do not take back to participants my transcripts or the raw data, but take them my preliminary
analyses consisting of description or themes. I am interested in their views of these written
analyses as well as what was missing.
• Rich, thick description allows readers to make decisions regarding transferability
(Erlandson et al., 1993; Lincoln & Guba, 1985; Merriam, 1988) because the writer describes in
detail the participants or setting under study. With such detailed description, the researcher
enables readers to transfer information to other settings and to determine whether the
findings can be transferred "because of shared characteristics" (Erlandson et al., 1993, p. 32).
• External audits (Erlandson et al., 1993; Lincoln & Guba, 1985; Merriam, 1988; Miles &
Huberman, 1994) allow an external consultant, the auditor, to examine both the process and
the product of the account, assessing their accuracy. This auditor should have no connection
to the study. In assessing the product, the auditor examines whether or not the findings,
interpretations, and conclusions are supported by the data. Lincoln and Guba (1985) compare
this, metaphorically, with a fiscal audit, and the procedure provides a sense of interrater
reliability to a study.

Examining these eight procedures as a whole, I recommend that qualitative researchers

engage in at least two of them in any given study. Unquestionably, procedures such as
triangulating among different data sources (assuming that the investigator collects more than
one), writing with detailed and thick description, and taking the entire written narrative back
to participants in member checking all are reasonably easy procedures to conduct. They also
are the most popular and cost-effective procedures. Other procedures, such as peer audits and
external audits, are more time consuming in their application and may also involve
substantial costs to the researcher.

Reliability Perspectives
Reliability can be addressed in qualitative research in several ways (Silverman, 2005).
Reliability can be enhanced if the researcher obtains detailed fieldnotes by employing a good-
quality tape for recording and by transcribing the tape. Also, the tape needs to be transcribed
to indicate the trivial, but often crucial, pauses and overlaps. Further coding can be done
"blind" with the coding staff and the analysts conducting their research without knowledge of
the expectations and questions of the project directors, and by use of computer programs to
assist in recording and analyzing the data. Silverman also supports intercoder agreement.
 Our focus on reliability here will be on intercoder agreement based on the use of
multiple coders to analyze transcript data. In qualitative research, "reliability" often refers to
the stability of responses to multiple coders of data sets. I find this practice especially used in
qualitative health science research and within the form of qualitative research in which
inquirers want an external check on the highly interpretive coding process. What seems to be
largely missing in the literature (with the exception of Miles and Huberman, 1994, and
Armstrong, Gosling, Weinman, & Marteau, 1997) is a discussion about the procedures of
actually conducting intercoder agreements checks. One of the key issues is determining what
exactly the codings are agreeing on, whether they seek agreement on codes names, the coded
passages, or the same passages coded the same way. We also need to decide on whether to
seek agreement based on codes, themes, or both codes and themes (see Armstrong et al.,
1997).
Undoubtedly, there is flexibility in the process, and researchers need to fashion an
approach consistent with the resources, and time to engage in coding. At the VA HealthCare
System, Ann Arbor, Michigan, I had an opportunity to help design an intercoder agreement
process using data related to the HIPPA privacy act (Damschroder, personal communication,
March, 2006). In a project at the VA Ann Arbor Health Care System, we used the following
steps in our intercoder agreement process:

• We sought to develop a codebook of codes that would be stable and represent the
coding analysis of four independent coders. We all used NVivo as a software program to help
in this coding.
• To achieve this goal, we read through several transcripts independently and coded
each manuscript.
• After coding, say, three to four transcripts, we then met and examined the codes, their
names, and the text segments that we coded. We began to develop a preliminary qualitative
codebook of the major codes. This codebook contained a definition of each code, and the text
segments that we assigned to each code. In this initial codebook, we had "parent" codes and
"children" codes. In our initial codebook, we were more interested in the major codes we
were finding in the database than in an exhaustive list. We felt that we could add to the codes
as the analyses proceeded.
• We then each independently coded three additional transcripts, say, transcripts 5, 6,
and 7. Now we were ready to actually compare our codes. We felt that it was more important
to have agreement on the text segments we were assigning to codes than to have the same,
exact passages coded. Intercoder agreement to us meant that we agreed that when we
assigned a code word to a passage, that we all assigned this same code word to the passage. It
did not mean that we all coded the same passages-an ideal that I believe would be hard to
achieve because some people code short passages and others longer passages. Nor did it mean
that we all bracketed the same lines to include in our code word, another ideal difficult to
achieve.
• So we took a realistic stance, and we looked at the passages that we all four coded and
asked ourselves whether we had all assigned the same code word to the passage, based on our
tentative definitions in the codebook. The decision would be either a "yes" or "no" decision,
and we could calculate the percent age of agreement among all four of us on this passage that
we all coded. We sought to establish an 80% agreement of coding on these passages (Miles
and Huberman, 1994, recommend an 80% agreement). Other researchers might actually
calculate a kappa reliability statistic on the agreement, but we felt that a percentage would
suffice to report on our published study. After we collapsed codes into broader themes, we
could conduct the same process with themes, to see if the passages we all coded as themes
were consistent in the use of the same theme.
• After the process continued through several more transcripts, we then revised the
codebook, and conducted anew an assessment of passages that we all coded and determined if
we used the same or different codes or the same or different themes. With each phase in the
intercoder agreement process, we achieved a higher percentage of agreed upon codes and
themes for text segments.

Evaluation Criteria

Qualitative Perspectives
In reviewing validation in the qualitative research literature, I am struck by how
validation is sometimes used in discussing the quality of a study (e.g., Angen, 2000). Although
validation is certainly an aspect of evaluating the quality of a study, other criteria are useful as
well. In reviewing the criteria, I find that here, too, the standards vary within the qualitative
community (see my contrast of three approaches to qualitative evaluation, Creswell, 2005). I
will first review three general standards and then turn to specific criteria within each of our
five approaches to qualitative research.
A methodological perspective comes from Howe and Eisenhardt (1990), who suggest
that only broad, abstract standards are possible for qualitative (and quantitative) research.
Moreover, to determine, for example, whether a study is a good ethnography cannot be
answered apart from whether the study contributes to our understanding of important
questions. Howe and Eisenhardt elaborate further, suggesting that five standards be applied
to all research. First, they assess a study in terms of whether the research questions drive the
data collection and analysis rather than the reverse being the case. Second, they examine the
extent to which the data collection and analysis techniques are competently applied in a
technical sense. Third, they ask whether the researcher's assumptions are made explicit, such
as the researcher's own subjectivity. Fourth, they wonder whether the study has overall
warrant, such as whether it is robust, uses respected theoretical explanations, and discusses
disconfirmed theoretical explanations. Fifth, the study must have "value" both in informing
and improving practice (the "So what?" question) and in protecting the confidentiality,
privacy, and truth telling of participants (the ethical question).
A postmodern, interpretive framework forms a second perspective, from Lincoln (1995),
who thinks about the quality issue in terms of emerging criteria. She tracks her own thinking
(and that of her colleague, Guba) from early approaches of developing parallel methodological
criteria (Lincoln & Guba, 1985) to establishing the criteria of "fairness" (a balance of
stakeholder views), sharing knowledge, and fostering social action (Guba & Lincoln, 1989) to
her current stance. The new emerging approach to quality is based on three new
commitments: to emergent relations with respondents, to a set of stances, and to a vision of
research that enables and promotes justice. Based on these commitments, Lincoln (1995)
then proceeds to identify eight standards:

• The standard set in the inquiry community, such as by guidelines for publication.
These guidelines admit that within diverse approaches to research, inquiry communities have
developed their own traditions of rigor, communication, and ways of working toward
consensus. These guidelines, she also maintains, serve to exclude and legitimate research
knowledge and social science researchers.
• The standard of positionality guides interpretive or qualitative research. Drawing on
those concerned about standpoint epistemology, this means that the "text" should display
honesty or authenticity about its own stance and about the position of the author.
• Another standard is under the rubric of community. This standard acknowledges that
all research takes place in, is addressed to, and serves the purposes of the community in
which it was carried out. Such communities might be feminist thought, Black scholarship,
Native American studies, or ecological studies.
 • Interpretive or qualitative research must give voice to participants so that their voice
is not silenced, disengaged, or. marginalized. Moreover, this standard requires that alternative
or multiple voices be heard in a text.
• Critical subjectivity as a standard means that the researcher needs to have heightened
self-awareness in the research process and create personal and social transformation. This
"high-quality awareness" enables the researcher to understand his or her psychological and
emotional states before, during, and after the research experience.
• High-quality interpretive or qualitative research involves a reciprocity between the
researcher and those being researched. This standard requires that intense sharing, trust, and
mutuality exist.
• The researcher should respect the sacredness of relationships in the research-to-action
continuum. This standard means that the researcher respects the collaborative and
egalitarian aspects of research and "make[s] spaces for the lifeways of others" (Lincoln, 1995,
p. 284).
• Sharing of the privileges acknowledges that in good qualitative research, researchers
share their rewards with persons whose lives they portray. This sharing may be in the form of
royalties from books or the sharing of rights to publication.

A final perspective utilizes interpretive standards of conducting qualitative research.

Richardson (in Richardson & St. Pierre, 2005) identifies four criteria she uses when she
reviews papers or monographs submitted for "social science publication:

• Substantive contribution. Does this piece contribute to our understanding of social life?
Demonstrate a deeply grounded social scientific perspective? Seem "true?"
• Aesthetic merit. Does this piece succeed aesthetically? Does the use of creative
analytical practices open up the text and invite interpretive responses? Is the text artistically
shaped, satisfying, complex, and not boring?
• Reflexivity. How has the author's subjectivity been both a producer and a product of
this text? Is there self-awareness and self-exposure? Does the author hold himself or herself
accountable to the standards of knowing and telling of the people he or she has studied?
• Impact. Does this piece affect me emotionally or intellectually? Generate new questions
or move me to write? Try new research practices or move me to action? (p. 964)

As an applied research methodologist, I prefer the methodological standards of

evaluation, but I can also support the postmodern and interpretive perspectives. What seems
to be missing in all of the approaches discussed thus far is their connection to the five
approaches of qualitative inquiry. What standards of evaluation, beyond those already
mentioned, would signal a high quality narrative study, a phenomenology, a grounded theory
study, an ethnography, and a case study?

Narrative Research
Denzin (1989a) is primarily interested in the problem of "how to locate and interpret
the subject in biographical materials" (p. 26). He advances several guidelines for writing an
interpretive biography:

• The lived experiences of interacting individuals are the proper subject matter of
sociology.
• The meanings of these experiences are best given by the persons who experience
them; thus, a preoccupation with method, validation, reliability, generalizability, and
theoretical relevance of the biographical method must be set aside in favor of a concern for
meaning and interpretation.
 • Students of the biographical method must learn how to use the strategies and
techniques of literary interpretation and criticism (i.e., bring their method in line with the
concern about reading and writing of social texts, where texts are seen as "narrative fictions";
Denzin, 1989a, p. 26).
• When an individual writes a biography, he or she writes himself or herself into the life
of the subject about whom the individual is writing; likewise, the reader reads through her or
his perspective.

Thus, within a humanistic, interpretive stance, Denzin (1989b) identifies "criteria of

interpretation" as a standard for judging the quality of a biography. These criteria are based
on respecting the researcher's perspective as well as on thick description. Denzin (1989b)
advocates for the ability of the researcher to illuminate the phenomenon in a thickly
contextualized manner (i.e., thick description of developed context) so as to reveal the
historical, processual, and interactional features of the experience. Also, the researcher's
interpretation must engulf what is learned about the phenomenon and incorporate prior
understandings while always remaining incomplete and unfinished.
This focus on interpretation and thick description is in contrast to criteria established
within the more traditional approach to biographical writing. For example, Plummer (1983)
asserts that three sets of questions related to sampling, the sources, and the validation of the
account should guide a researcher to a good life history study:

• Is the individual representative? Edel (1984) asks a similar question: How has the
biographer distinguished between the reliable and unreliable witnesses? What are the
sources of bias (about the informant, the researcher, and the informant-researcher
interaction).? Or, as Edel (1984) questions, how has the researcher avoided making himself or
herself simply the voice of the subject?
• Is the account valid when subjects are asked to read it, when it is compared to official
records, and when it is compared to accounts from other informants?

In a narrative study, I would look for the following aspects of a "good" study. The author:

• Focuses on a single individual (or two or three individuals)

• Collects stories about a significant issue related to this individual's life
• Develops a chronology that connects different phases or aspects of a story
• Tells a story that restories the story of the participant in the study
• Tells a persuasive story told in a literary way
• Possibly reports themes that build from the story to tell a broader analysis
• Reflexively brings himself or herself into the study

Phenomenological Research
What criteria should be used to judge the quality of a phenomenological study? From the
many readings about phenomenology, one can infer criteria from the discussions about steps
(Giorgi, 1985) or the "core facets" of transcendental phenomenology (Moustakas, 1994, p. 58).
I have found direct discussions of the criteria to be missing, but perhaps Polkinghorne (1989)
comes the closest in my readings when he discusses whether the findings are "valid" (p. 57).
To him, validation refers to the notion that an idea is well grounded and well supported. He
asks, "Does the general structural description provide an accurate portrait of the common
features and structural connections that are manifest in the examples collected?"
(Polkinghorne,1989, p. 57). He then proceeds to identify five questions that researchers might
ask themselves:
 1. Did the interviewer influence the contents of the participants' descriptions in such a
way that the descriptions do not truly reflect the participants' actual experience?
2. Is the transcription accurate, and does it convey the meaning of the oral presentation
in the interview?
3. In the analysis of the transcriptions, were there conclusions other than those offered
by the researcher that could have been derived? Has the researcher identified these
alternatives?
4. Is it possible to go from the general structural description to the transcriptions and to
account for the specific contents and connections in the original examples of the experience?
5. Is the structural description situation specific, or does it hold in general for the
experience in other situations? (Polkinghorne, 1989).

My own standards that I would use to assess the quality of a phenomenology would be:

• Does the author convey an understanding of the philosophical tenets of

phenomenology?
• Does the author have a clear "phenomenon" to study that is articulated in a concise
way?
• Does the author use procedures of data analysis in phenomenology, such as the
procedures recommended by Moustakas (1994)?
• Does the author convey the overall essence of the experience of the participants? Does
this essence include a description of the experience and the context in which it occurred?
• Is the author reflexive throughout the study?

Grounded Theory Research

Strauss and Corbin (1990) identify the criteria by which one judges the quality of a
grounded theory study. They advance seven criteria related to the general research process:
Criterion #1: How was the original sample selected? What grounds?
Criterion #2: What major categories emerged?
Criterion #3: What were some of the events, incidents, actions, and so on (as indicators)
that pointed to some of these major categories?
Criterion #4: On the basis of what categories did theoretical sampling proceed? Guide
data collection? Was it representative of the categories?
Criterion #5: What were some of the hypotheses pertaining to conceptual relations (that
is, among categories), and on what grounds were they formulated and tested?
Criterion #6: Were there instances when hypotheses did not hold up against what was
actually seen? How were these discrepancies accounted for? How did they affect the
hypotheses?
Criterion #7: How and why was the core category selected (sudden, gradual, difficult,
easy)? On what grounds? (p. 253)

They also advance six criteria related to the empirical grounding of a study:

Criterion #1: Are concepts generated?

Criterion #2: Are the concepts systematically related?
Criterion #3: Are there many conceptual linkages, and are the categories well
developed? With density?
Criterion #4: Is much variation built into the theory?
Criterion #5: Are the broader conditions built into its explanation?
Criterion #6: Has process (change or movement) been taken into account?
(Strauss & Corbin, 1990, pp. 254-256)
 These criteria, related to the process of research and the grounding of the study in the
data, represent benchmarks for assessing the quality of a study that the author can mention in
his or her research. For example, in a grounded theory dissertation, Landis (1993) not only
presented these standards but also assessed for her readers the extent to which her study met
the criteria. When I evaluate a grounded theory study, I, too, am looking for the general
process and a relationship among the concepts. Specifically, I look for:

• The study of a process, action, or interaction as the key element in the theory
• A coding process that works from the data to a larger theoretical model
• The presentation of the theoretical model in a figure or diagram
• A story line or proposition that connects categories in the theoretical model and that
presents further questions to be answered
• A reflexivity or self-disclosure by the researcher about his or her stance in the study

Ethnographic Research
The ethnographers Spindler and Spindler (1987) emphasize that the most important
requirement for an ethnographic approach is to explain behavior from the "native's point of
view" (p. 20) and to be systematic in recording this information using note . taking, tape
recorders, and cameras. This requires that the ethnographer be present in the situation and
engage in constant interaction between observation and interviews. These points are
reinforced in Spindler and Spindler's nine criteria for a "good ethnography":

Criterion I. Observations are contextualized.

Criterion II. Hypotheses emerge in situ as the study goes on.
Criterion III. Observation is prolonged and repetitive.
Criterion IV. Through interviews, observations, and other eliciting procedures, the
native view of reality is obtained.
Criterion V. Ethnographers elicit knowledge from informant-participants in a systematic
fashion.
Criterion VI. Instruments, codes, schedules, questionnaires, agenda for interviews, and
so forth are generated in situ as a result of inquiry.
Criterion VII. A transcultural, comparative perspective is frequently an unstated
assumption.
Criterion VIII. The ethnographer makes explicit what is implicit and tacit to informants.
Criterion IX. The ethnographic interviewer must not predetermine responses by the
kinds of questions asked. (Spindler & Spindler, 1987, p. 18)

This list, grounded in fieldwork, leads to a strong ethnography. Moreover, as Lofland

(1974) contends, the study is located in wide conceptual frameworks; presents the novel but
not necessarily new; provides evidence for the framework(s); is endowed with concrete,
eventful interactional events, incidents, occurrences, episodes, anecdotes, scenes, and
happenings without being "hyper-eventful"; and shows an interplay between the concrete and
analytical and the empirical and theoretical.

My criteria for a good ethnography would include:

• The clear identification of a culture-sharing group

• The specification of a cultural themes that will be examined in light of this cul ture-
sharing group
• A detailed description of the cultural group
 • Themes that derive from an understanding of the cultural group
• The identification of issues that arose "in the field" that reflect on the relationship
between the researcher and the participants, the interpretive nature of reporting, and
sensitivity and reciprocity in the co-creating of the account
• An explanation overall of how the culture-sharing group works
• A self-disclosure and reflexivity by the researcher about her or his position in the
research

Case Study Research

Stake (1995) provides a rather extensive "critique checklist" (p. 131) for a case study
report and shares 20 criteria for assessing a good case study report:

1. Is the report easy to read?

2. Does it fit together, each sentence contributing to the whole?
3. Does the report have a conceptual structure (i.e., themes or issues)?
4. Are its issues developed in a serious and scholarly way?
5. Is the case adequately defined?
6. Is there a sense of story to the presentation?
7. Is the reader provided some vicarious experience?
8. Have quotations been used effectively?
9. Are headings, figures, artifacts, appendixes, and indexes used effectively?
10. Was it edited well, then again with a last-minute polish?
11. Has the writer made sound assertions, neither over- nor under-interpreting?
12. Has adequate attention been paid to various contexts?
13. Were sufficient raw data presented?
14. Were data sources well chosen and in sufficient number?
15. Do observations and interpretations appear to have been triangulated?
16. Is the role and point of view of the researcher nicely apparent?
17. Is the nature of the intended audience apparent?
18. Is empathy shown for all sides?
19. Are personal intentions examined?
20. Does it appear that individuals were put at risk? (Stake, 1995, p. 131)

My own criteria for evaluating a "good" case study would include the following:

• Is there a clear identification of the "case" or "cases" in the study?

• Is the "case" (or are the "cases") used to understand a research issue or used because
the "case" has (or "cases" have) intrinsic merit?
• Is there a clear description of the "case"?
• Are themes identified for the "case"?
• Are assertions or generalizations made from the "case" analysis?
• Is the researcher reflexive or self-disclosing about his or her position in the study?

Comparing the Evaluation

Standards of the Five Approaches
The standards discussed for each approach differ slightly depending on the procedures
of the approaches. Certainly less is mentioned about narrative research and its standards of
quality and more is available about the other approaches. From within the major books used
for each approach, I have attempted to extract the evaluation standards recommended for
their approach to research. To these I have added my own standards that I use in my
qualitative classes when I evaluate a project or study presented within each of the five
approaches.

Summary
In this chapter, I discuss validation, reliability, and standards of quality in qualitative
research. Validation approaches vary considerably, such as strategies that emphasize using
qualitative terms comparable to quantitative terms, the use of distinct terms, perspectives
from postmodern and interpretive lenses, syntheses of different perspectives, or descriptions
based on metaphorical images. Reliability is used in several ways, one of the most popular
being the use of intercoder agreements when multiple coders analyze and then compare their
code segments to establish the reliability of the data analysis process. A detailed procedure
for establishing intercoder agreement is described in this chapter. Also, diverse standards
exist for establishing the quality of qualitative research, and these criteria are based on
procedural perspectives, postmodern perspectives, and interpretive perspectives. Within
each of the five approaches to inquiry, specific standards also exist; these were reviewed in
this chapter. Finally, I advanced the criteria that I use to assess the quality of studies
presented to me in classes in each of the five approaches.

Additional Readings
Key reading on the issue of validation in qualitative research can be found in:

Angen, M. J. (2000). Evaluating interpretive inquiry: Reviewing the validity debate and
opening the dialogue. Qualitative Health Research, 10, 378--39S.
Lincoln, Y. S. (1995). Emerging criteria for quality in qualitative and interpretive
research. Qualitative Inquiry, 1, 275-289.
Silverman, D. (1993). Interpreting qualitative data: Methods for analyzing talk, text, and
interaction. London: Sage.
Whittemore, R., Chase, S. K., & Mandle, C. L. (2001). Validity in qualitative research.
Qualitative Health Research, 11, 522-537.

For understanding further the issue of reliability in qualitative research, look at:

Armstrong, D., Gosling, A., Weinman, J., & Marteau, T. (1997). The place of inter-rater
reliability in qualitative resesearch: An empirical study. Sociology, 31, 597-606.
Miles, M. B., & Huberman, A.M. (1994). Qualitative data analysis: A sourcebook of new
methods (2nd ed.). Thousand Oaks, CA: Sage.
Silverman, D. (2005). Doing qualitative research: A practical handbook (2nd ed.).
London: Sage.

For evaluation standards, look at:

Lincoln, Y. S. (1995). Emerging criteria for quality in qualitative and interpretive

research. Qualitative Inquiry, 1, 275-289.
Richardson, L., & St. Pierre, E. A. (2005). Writing: A method of inquiry. In N. K. Denzin &
Y. S. Lincoln (Eds.), The Sage handbook of qualitative research (3rd ed., pp. 959-978).
Thousand Oaks, CA: Sage.

Also, look at specific standards used in the methods books in each of the five approaches.
In narrative research:
Clandinin, D. J., & Connelly, F. M. (2000). Narrative inquiry: Experience and story in
qualitative research. San Francisco: Jossey-Bass.
Czarniawka, B. (2004). Narratives in social science research. Thousand Oaks, CA: Sage.
Denzin, N. K. (1989a). Interpretive biography. Newbury Park, CA: Sage.

In phenomenology:

Moustakas, C. (1994). Phenomenological research methods. Thousand Oaks, CA: Sage.

van Manen, M. (1990). Researching lived experience: Human science for an action
sensitive pedagogy. Albany: State University of New York Press.

In grounded theory:

Charmaz, K. (2006). Constructing grounded theory. London: Sage.

Strauss, A., & Corbin, J. (1990). Basics of qualitative research: Grounded theory
procedures and techniques. Newbury Park, CA: Sage.

In ethnography:

LeCompte, M. D., & Schensul, J. J. (1999). Designing and conducting ethnographic

research. Walnut Creek, CA: AltaMira.
Madison, D. S. (2005). Critical ethnography: Methods, ethics, and performance.
Thousand Oaks, CA: Sage.
Wolcott, H. F. (1999). Ethnography: A way of seeing. Walnut Creek, CA: AltaMira.

In case study:

Stake, R. (1995). The art of case study research. Thousand Oaks, CA: Sage.
Yin, R. K. (2003). Case study research: Design and methods (2nd ed.). Thousand Oaks,
CA: Sage.

Exercises
1. Identify one of the procedures for validation mentioned in this chapter and use it in
your study. Also, indicate whether your study changed as a result of its use or remained the
same.
2. For the approach you used or are planning to use, identify the criteria for assessing
the quality of the study and present an argument for each criterion as to how the study meets
or will meet each standard.
Bab 10
Standar Validasi dan Evaluasi

peneliti kualitatif berusaha untuk "memahami," bahwa struktur dalam pengetahuan yang
berasal dari mengunjungi secara pribadi dengan peserta, menghabiskan waktu yang luas di
lapangan, dan menyelidik untuk memperoleh makna rinci. Selama atau setelah studi, peneliti
kualitatif bertanya, "Apakah kita bisa melakukannya dengan benar?" (Stake, 1995, hal 107)
atau "Apakah kita mempublikasikan` salah 'atau akun tidak akurat? " (Thomas, 1993, hal 39).
Apakah mungkin bahkan memiliki "hak" menjawab? Untuk menjawab pertanyaan ini, peneliti
perlu untuk melihat ke diri mereka sendiri, kepada para peserta, dan untuk para pembaca.
Ada multi-atau wacana polyvocal bekerja di sini yang memberikan wawasan tentang validasi
dan evaluasi dari sebuah narasi kualitatif.
Dalam bab ini, saya alamat dua pertanyaan yang saling terkait: Apakah account yang valid,
dan dengan yang standar? Bagaimana kita mengevaluasi kualitas penelitian kualitatif?
Jawaban atas pertanyaan-pertanyaan akan membawa kita ke dalam banyak perspektif
validasi muncul dalam komunitas kualitatif dan standar ganda untuk evaluasi dibahas oleh
penulis dengan perspektif prosedural, interpretif, emansipatoris, dan postmodern.

Pertanyaan untuk Diskusi

• Apakah beberapa perspektif kualitatif di validasi?
• Apakah beberapa prosedur alternatif yang berguna dalam membangun validasi?
• Bagaimana kehandalan digunakan dalam penelitian kualitatif?
• Apakah beberapa posisi-posisi alternatif untuk mengevaluasi kualitas penelitian kualitatif?
• Bagaimanakah sikap ini berbeda dengan jenis pendekatan untuk penyelidikan kualitatif?

Validasi dan Reliabilitas dalam Perspektif Penelitian Kualitatif di Validasi

Ada banyak perspektif tentang pentingnya validasi dalam penelitian kualitatif, definisi itu,
istilah untuk menggambarkannya, dan prosedur untuk mendirikan itu. Pada Tabel 10.1, saya
beberapa menggambarkan perspektif yang tersedia di validasi dalam literatur kualitatif.
Perspektif ini sedang melihat validasi kualitatif dalam hal setara kuantitatif, menggunakan
istilah-istilah kualitatif yang berbeda dari segi kuantitatif, menggunakan perspektif
postmodern dan interpretatif, mengingat validasi sebagai tidak penting, menggabungkan atau
sintesis berbagai perspektif, atau visualisasi itu metaforis sebagai kristal.
Penulis telah mencari dan menemukan setara kualitatif yang paralel pendekatan kuantitatif
tradisional untuk validasi. LeCompte dan Goetz (1982) mengambil pendekatan ini, saat
mereka membandingkan masalah validasi dan keandalan untuk rekan-rekan mereka dalam
desain eksperimen dan penelitian survei. Mereka berpendapat bahwa penelitian kualitatif
telah mengumpulkan banyak kritik di jajaran ilmiah untuk kegagalan untuk mematuhi kanon
dari reliabilitas dan validasi "(hal. 31) dalam pengertian tradisional Mereka diterapkan.
Ancaman untuk validasi internal dalam penelitian eksperimental untuk penelitian etnografi
(misalnya, sejarah dan pematangan, efek pengamat, pemilihan dan regresi, kematian,
kesimpulan palsu). Mereka diidentifikasi lebih lanjut ancaman untuk validasi eksternal
sebagai "efek yang menghambat atau mengurangi komparatif studi atau translatability" (hal.
51).
Beberapa penulis berpendapat bahwa penulis yang terus menggunakan terminologi positivis
memfasilitasi penerimaan penelitian kualitatif di dunia kuantitatif. Ely dan rekan (Ely, Anzul,
Friedman, Garner, & teinmetz, 1991) menegaskan bahwa menggunakan istilah-istilah
kuantitatif cenderung menjadi langkah pertahanan yang Muddies air dan bahwa "bahasa
penelitian positivistik tidak sebangun dengan atau memadai untuk bekerja kualitatif" (hal.
95). Lincoln dan Guba (1985) telah menggunakan istilah alternatif itu, mereka berpendapat,
diikuti lebih untuk penelitian naturalistik. Untuk membangun "kepercayaan" dari studi,
Lincoln dan Guba (1985) menggunakan istilah nique, seperti "kredibilitas," "keaslian,"
"transfer," "mandiri," dan "konfirmabilitas," sebagai "setara naturalis" untuk "internal
validasi," "validasi eksternal," "keandalan," dan objektivitas "(hal. 300). Untuk
mengoperasionalkan istilah-istilah baru, mereka mengusulkan teknik seperti ngagement
berkepanjangan di lapangan dan triangulasi data sumber, metode, dan simpatisan untuk
membangun kredibilitas. Untuk memastikan bahwa temuan dapat dialihkan antara peneliti
dan orang-orang yang dipelajari, deskripsi tebal diperlukan Daripada kehandalan,. satu
mencari ketergantungan bahwa hasil akan berubah dan ketidakstabilan. Para peneliti
naturalistik mencari konfirmabilitas daripada obyektivitas dalam menetapkan nilai data Baik
ketergantungan dan konfirmabilitas adalah. dibentuk melalui audit proses penelitian.

Alih-alih menggunakan istilah "validasi," Eisner (1991) membahas kredibilitas penelitian

kualitatif. Dia dibangun standar seperti menguatkan struktural, validasi konsensual, dan
kecukupan referensial. bukti yg menguatkan Instructural, peneliti berkaitan beberapa jenis
data untuk mendukung atau bertentangan dengan penafsiran. Sebagai Eisner (1991)
menyatakan, "Kami mencari suatu pertemuan bukti bahwa keturunan kredibilitas, yang
memungkinkan kita untuk merasa yakin tentang pengamatan kami, interpretasi, dan
kesimpulan" (hal. 110). Dia lebih jauh menggambarkan poin ini dengan analogi yang diambil
dari pekerjaan detektif: Peneliti mengkompilasi potongan-potongan bukti untuk merumuskan
suatu "keseluruhan menarik." Pada tahap ini, peneliti mencari perilaku berulang atau
tindakan dan mempertimbangkan bukti disconfirming dan interpretasi sebaliknya. Selain itu,
Eisner (1991) merekomendasikan bahwa untuk menunjukkan kredibilitas, bobot bukti harus
menjadi persuasif. validasi konsensual meminta pendapat orang lain, dan Eisner disebut
"kesepakatan antara lain kompeten bahwa deskripsi, interpretasi, dan evaluasi dan tematik
dari situasi pendidikan adalah benar" (hal. 112). kecukupan Referential menyarankan
pentingnya kritik, dan Eisner menggambarkan tujuan kritis-cism sebagai menerangi subjek
dan membawa persepsi manusia tentang yang lebih kompleks dan sensitif dan pemahaman.
Validasi juga telah reconceptualized oleh para peneliti kualitatif dengan sensibilitas
postmodern. Busa (1991) berkomentar bahwa saat ini "ketidakpastian paradigmatik dalam
ilmu-ilmu manusia adalah menuju konseptualisasi ulang validasi" dan menyerukan "teknik
baru dan konsep untuk mendapatkan dan mendefinisikan data terpercaya yang menghindari
perangkap gagasan ortodoks dari validasi" (p 66).. Untuk sampai berbusa, karakter dari suatu
perubahan laporan ilmu sosial dari sebuah narasi tertutup dengan struktur argumen yang
ketat untuk narasi yang lebih terbuka dengan lubang dan pertanyaan-pertanyaan dan
pengakuan situatedness dan keberpihakan. Dalam Mendapatkan Smart, sampai berbusa
(1991) maju sebuah "reconceptualization validasi." Dia mengidentifikasi empat jenis validasi,
termasuk triangulasi (sumber data, metode, dan skema teoritis), membangun validasi
(mengakui konstruksi yang ada daripada memaksakan teori / konstruksi pada informan atau
konteks), wajah validasi (sebagai "klik pengakuan 'dan `ya, tentu saja,' dan bukan` ya,
pengalaman tapi '"(Kidder, 1982, hal 56), dan validasi katalitik (yang memberikan energi
peserta terhadap mengetahui realitas untuk mengubahnya).
Dalam sebuah artikel kemudian, (1993) sampai berbusa's persyaratan menjadi lebih unik dan
erat berhubungan dengan penelitian feminis dalam "empat frame validasi." , Pertama "ironis"
validasi, adalah dimana peneliti menyajikan kebenaran sebagai masalah. Kedua, "paralogic"
validasi, berkaitan dengan undecidables, limit, paradoks, dan kompleksitas, suatu gerakan
menjauh dari teori hal dan terhadap memberikan kontak langsung dengan suara lain dengan
cara yang hampir unmediated. Ketiga, "rhizomatic" validasi, berkaitan dengan pertanyaan
proliferations, penyeberangan, dan tumpang tindih tanpa struktur yang mendasari atau
koneksi berakar. Para peneliti juga pertanyaan taksonomi, konstruksi, dan saling
berhubungan jaringan dimana pembaca melompat dari satu kumpulan untuk bergerak lagi
dan akibatnya dari penghakiman untuk memahami. Jenis keempat adalah terletak,
diwujudkan, atau "menggairahkan" validasi, yang berarti bahwa peneliti menetapkan untuk
memahami lebih dari satu bisa tahu dan menulis terhadap apa yang tidak mengerti.
penulis lain, seperti Wolcott (1990a), memiliki sedikit digunakan untuk validasi. Dia
menyarankan bahwa "validasi baik pemandu maupun menginformasikan" pekerjaannya (hal.
136). Dia tidak menampik validasi, melainkan ditempatkan dalam perspektif yang lebih luas.
Wolcott Tujuan adalah untuk mengidentifikasi "elemen kritis" dan menulis "penafsiran masuk
akal dari mereka" (hal. 146). Dia akhirnya mencoba memahami daripada meyakinkan, dan ia
menyuarakan pandangan bahwa validasi terganggu dari pekerjaannya memahami apa yang
sebenarnya terjadi. Wolcott mengklaim bahwa "validasi" Istilah tidak menangkap esensi dari
apa yang dicari, menambahkan bahwa mungkin seseorang akan koin sesuai istilah untuk
paradigma naturalistik. Tapi untuk saat ini, kata dia, "pemahaman" istilah tampaknya
merangkum ide serta yang lain.
Validasi juga telah dilemparkan dalam pendekatan interpretatif untuk penelitian kualitatif
ditandai dengan fokus pada pentingnya peneliti, kurangnya kebenaran dalam validasi, bentuk
validasi berdasarkan negosiasi dan dialog dengan peserta, dan interpretasi yang temporal,
terletak, dan selalu terbuka untuk reinterpretasi (Angers, 2000). Angen (2000) menyarankan
bahwa dalam penelitian interpretatif, validasi adalah "suatu penilaian dari kepercayaan atau
kebaikan bagian dari penelitian" (hal. 387). Dia dukung dialog terbuka yang dilakukan
terhadap topik apa yang membuat penelitian interpretif layak kepercayaan kita.
Pertimbangan validasi tidak definitif sebagai kata terakhir pada topik, tidak harus
mempelajari setiap diperlukan untuk mengatasinya. Selanjutnya, dia muka dua jenis validasi:
validasi etika dan validasi substantif. validasi Etis berarti bahwa semua agenda penelitian
harus pertanyaan asumsi yang mendasarinya moral, implikasi politik dan etika, dan
perlakuan adil suara beragam. Hal ini juga memerlukan penelitian untuk memberikan
beberapa jawaban praktis atas pertanyaan. Penelitian kami juga harus memiliki "janji
generatif" (Angen, 2000, hal 389) dan meningkatkan kemungkinan-kemungkinan baru,
membuka pertanyaan baru, dan merangsang dialog baru. Penelitian kami harus memiliki nilai
transformatif yang mengarah ke tindakan dan perubahan. Penelitian kami juga harus
memberikan jawaban nondogmatic terhadap pertanyaan-pertanyaan kita mengajukan.
validasi substantif berarti memahami pemahaman sendiri dari topik, pemahaman yang
berasal dari sumber lain, dan dokumentasi dari proses ini dalam studi tertulis. Refleksi diri
memberikan kontribusi terhadap validasi pekerjaan. Peneliti, sebagai penerjemah
sociohistorical, berinteraksi dengan masalah yang dibahas untuk co-menciptakan interpretasi
berasal. Pemahaman yang berasal dari penelitian sebelumnya memberikan substansi
penyelidikan. Interpretasi penelitian juga merupakan rangkaian interpretasi yang harus
didokumentasikan untuk orang lain untuk menilai kepercayaan dari makna tiba di akhir.
Ditulis account harus beresonansi dengan penonton yang dimaksudkan, dan harus menarik,
kuat, dan meyakinkan.
Sebuah sintesis perspektif validasi berasal dari Whittemore, Chase, dan Mandle (2001), yang
telah menganalisis 13 tulisan tentang validasi, dan diambil dari penelitian ini kriteria validasi
kunci. Mereka terorganisir kriteria ini menjadi kriteria primer dan sekunder. Mereka
menemukan empat kriteria utama: kredibilitas (? Apakah hasil interpretasi yang akurat
makna peserta '); keaslian (Apakah mendengar suara yang berbeda?); Kekritisan (Apakah ada
penilaian kritis dari semua aspek penelitian?), Dan integritas ( Apakah para peneliti kritik
diri?). terkait dengan ketegasan, kejelasan, kreativitas, ketelitian, kongruensi, dan sensitivitas
Sekunder kriteria. Singkatnya, dengan kriteria ini, tampaknya seperti standar validasi telah
bergerak ke arah lensa interpretatif penelitian kualitatif, dengan penekanan pada refleksivitas
peneliti dan tantangan peneliti yang memasukkan pertanyaan-pertanyaan meningkatkan
tentang ide-ide yang dikembangkan selama studi penelitian.
Akhirnya, perspektif postmodern baru-baru ini mengacu pada gambar metafora dari kristal.
Richardson (dalam Richardson & St Pierre, 2005) menjelaskan gambar ini:
Saya mengusulkan agar pusat imajiner untuk "validasi" untuk teks postmodern bukan
segitiga-kaku, tetap, dua objek dimensi. Sebaliknya yang imajiner pusat kristal, yang
menggabungkan simetri dan substansi dengan berbagai bentuk yang tak terbatas, zat,
transmutasi, multidimensionalities, dan sudut pendekatan. Kristal tumbuh, berubah, dan
diubah, tetapi mereka tidak amorf. Kristal adalah prisma yang mencerminkan eksternalitas
dan membiaskan dalam dirinya, menciptakan warna yang berbeda, pola, dan array casting ke
arah yang berbeda. Apa yang kita lihat tergantung pada sudut kami kristalisasi respon ---
tidak triangulasi melainkan. (Hal. 963)
Mengingat banyak perspektif ini, saya akan meringkas sikap saya sendiri:
• Saya menganggap "validasi" dalam penelitian kualitatif untuk menjadi upaya untuk menilai
"akurasi" dari temuan, sebaik yang digambarkan oleh peneliti dan peserta. Pandangan ini juga
menunjukkan bahwa setiap laporan penelitian adalah representasi oleh penulis.
• Saya juga melihat validasi sebagai kekuatan penelitian kualitatif yang berbeda dalam
account dilakukan melalui waktu yang ekstensif dihabiskan di lapangan, deskripsi tebal rinci,
dan kedekatan peneliti untuk peserta dalam penelitian ini semua menambah nilai atau
ketepatan dari studi.
• Saya menggunakan "validasi" untuk menekankan suatu proses (lihat Angen, 2000), bukan
"verifikasi" (yang memiliki nada kuantitatif) atau kata-kata sejarah seperti "kepercayaan" dan
"keaslian" (mengakui bahwa banyak penulis kualitatif kembali kata-kata seperti "keaslian"
dan "kredibilitas," menyarankan "daya tahan" Tahun 1985 Lincoln dan Guba's standar, lihat
Whittemore, Chase, & Mandle, 2001). 1 mengakui bahwa ada banyak jenis validasi kualitatif
dan bahwa penulis perlu memilih jenis dan istilah di mana mereka merasa nyaman. Saya
sarankan bahwa istilah penulis referensi validasi dan strategi.
• Subyek validasi ini muncul dalam beberapa pendekatan untuk penelitian kualitatif
(misalnya, Stake, 1995; Strauss & Corbin, 1998), tapi saya tidak berpikir bahwa pendekatan
validasi yang berbeda ada untuk lima pendekatan penelitian kualitatif. Paling-paling, mungkin
ada kurang penekanan pada validasi dalam penelitian narasi dan lebih menekankan pada
dalam teori grounded, studi kasus, dan etnografi, terutama ketika penulis berbicara tentang
pendekatan-pendekatan ingin menggunakan prosedur yang sistematis. Saya akan
merekomendasikan menggunakan strategi validasi terlepas dari jenis pendekatan kualitatif.
• kerangka saya untuk berpikir tentang validasi dalam penelitian kualitatif adalah untuk
menunjukkan bahwa peneliti menerapkan strategi diterima dokumen "akurasi" dari studi
mereka. Ini saya sebut "strategi validasi."

Validasi Strategi
Tidaklah cukup untuk mendapatkan perspektif dan persyaratan; akhirnya, ide tersebut
diterjemahkan ke dalam praktek sebagai strategi atau teknik. Whittemore, Chase, dan Mandle
(2001) telah mengorganisir teknik ke 29 formulir yang berlaku untuk merancang
pertimbangan, menghasilkan data, analitik, dan presentasi. rekan saya dan saya (Creswell &
Miller, 2000) telah memilih untuk fokus pada delapan strategi yang sering digunakan oleh
para peneliti kualitatif. Ini tidak disajikan dalam urutan tertentu penting.
• keterlibatan berkepanjangan dan observasi terus-menerus di lapangan termasuk
membangun kepercayaan dengan peserta, belajar budaya, dan memeriksa informasi yang
salah yang berasal dari distorsi yang diperkenalkan oleh peneliti atau informan (Ely et al,
1991;. Erlandson, Harris, Kapten, & Allen, 1993; Glesne & Peshkin, 1992; Lincoln & Guba,
1985; Merriam, 1988). Di lapangan, peneliti membuat keputusan tentang apa yang penting
untuk studi, relevan dengan tujuan penelitian, dan bunga untuk fokus. Fetterman (1998)
berpendapat bahwa "bekerja dengan orang-orang hari demi hari, untuk jangka waktu yang
lama, adalah apa yang memberikan penelitian etnografi validasi dan vitalitas" (hal. 46).
• Dalam triangulasi, peneliti menggunakan berbagai sumber dan berbeda, metode, penyidik,
dan teori untuk memberikan menguatkan bukti (Ely et al, 1991;. Erlandson et al, 1993;.
Glesne & Peshkin, 1992; Lincoln & Guba, 1985; Merriam, 1988; Miles & Huberman, 1994;
Patton, 1980, 1990). Biasanya, proses ini melibatkan bukti yang menguatkan dari sumber
yang berbeda untuk menjelaskan tema atau perspektif.
• peer review atau pembekalan memberikan pemeriksaan eksternal dari proses penelitian
(Ely et al, 1991;. Erlandson et al, 1993;. Glesne & Peshkin, 1992; Lincoln & Guba, 1985;
Merriam, 1988), banyak dalam semangat yang sama sebagai kehandalan interrater dalam
penelitian kuantitatif. Lincoln dan Guba (1985) mendefinisikan peran debriefer peer sebagai
"pembela setan," seorang individu yang membuat peneliti jujur; mengajukan pertanyaan-
pertanyaan sulit tentang metode, makna dan interpretasi, dan menyediakan peneliti dengan
kesempatan untuk katarsis oleh simpati mendengarkan perasaan peneliti. resensi ini
mungkin. peer, dan kedua rekan dan peneliti tetap akun tertulis dari sesi, yang disebut "peer
sesi tanya jawab" (Lincoln & Guba,. 1985).
• Dalam analisis kasus negatif, peneliti memurnikan hipotesis kerja sebagai uang muka
penyelidikan (Ely et al, 1991;. Lincoln & Guba, 1985; Miles & Huberman, 1994; Patton, 1980,
1990) dalam terang bukti negatif atau disconfirming. Peneliti merevisi hipotesis awal sampai
semua pas kasus, menyelesaikan proses ini terlambat dalam analisis data dan menghilangkan
semua outlier dan pengecualian.
• Memperjelas bias peneliti sejak awal penelitian ini penting agar pembaca memahami posisi
peneliti dan setiap bias atau asumsi-asumsi yang mempengaruhi penyelidikan (Merriam,
1988). Dalam klarifikasi ini, komentar peneliti pada pengalaman masa lalu, bias, prasangka,
dan orientasi yang cenderung berbentuk penafsiran dan pendekatan untuk mempelajari.
• Pada pemeriksaan anggota, peneliti solicits pandangan peserta tentang kredibilitas temuan
dan interpretasi (Ely et al, 1991;. Erlandson et al, 1993;. Glesne & Peshkin, 1992; Lincoln &
Guba, 1985; Merriam, 1988; Miles & Huberman, 1994). Teknik ini dianggap oleh Lincoln dan
Guba (1985) menjadi "teknik yang paling penting untuk membangun kredibilitas" (hal. 314).
Pendekatan ini, tertulis besar dalam studi kualitatif kebanyakan, melibatkan pengambilan
data, analisis, interpretasi, dan kesimpulan kembali ke peserta sehingga mereka dapat menilai
keakuratan dan kredibilitas account. Menurut Stake (1995), peserta harus "memainkan peran
utama mengarahkan serta bertindak dalam studi kasus" penelitian. Mereka harus diminta
untuk meneliti draf kasar dari pekerjaan peneliti, dan untuk menyediakan alternatif bahasa,
"pengamatan kritis atau interpretasi" (hal. 115). Untuk strategi ini validasi, aku mengadakan
kelompok fokus terdiri dari peserta dalam penelitian saya dan meminta mereka untuk
merenungkan keakuratan account. Saya tidak mengambil kembali ke transkrip peserta saya
atau data mentah, tetapi mengambil mereka analisis awal saya terdiri dari deskripsi atau
tema. Saya tertarik pada pandangan mereka tentang analisis ini ditulis serta apa yang hilang.
• Kaya, deskripsi tebal memungkinkan pembaca untuk membuat keputusan mengenai
transfer (Erlandson et al, 1993;. Lincoln & Guba, 1985; Merriam, 1988) karena penulis
menjelaskan secara rinci peserta atau pengaturan yang diteliti. Dengan penjelasan rinci
tersebut, peneliti memungkinkan pembaca untuk mentransfer informasi ke pengaturan lain
dan untuk menentukan apakah temuan dapat ditransfer "karena karakteristik bersama"
(Erlandson et al, 1993, hal 32.).
• audit eksternal (Erlandson et al, 1993;. Lincoln & Guba, 1985; Merriam, 1988; Miles &
Huberman, 1994) memungkinkan konsultan eksternal, auditor, untuk memeriksa baik proses
dan produk dari account, menilai akurasi mereka . auditor ini seharusnya tidak ada
hubungannya dengan penelitian. Dalam menilai produk, auditor memeriksa apakah atau tidak
temuan, interpretasi, dan kesimpulan didukung oleh data. Lincoln dan Guba (1985)
membandingkan ini, kiasan, dengan audit fiskal, dan prosedur memberikan rasa keandalan
interrater sebuah penelitian.
Memeriksa delapan prosedur secara keseluruhan, saya merekomendasikan bahwa peneliti
kualitatif terlibat dalam setidaknya dua dari mereka dalam studi yang diberikan. Tidak
diragukan lagi, prosedur seperti triangulating antara sumber data yang berbeda (dengan
asumsi bahwa peneliti mengumpulkan lebih dari satu), menulis dengan deskripsi rinci dan
tebal, dan mengambil seluruh narasi ditulis kembali ke peserta anggota memeriksa semua
prosedur cukup mudah untuk melakukan. Mereka juga adalah prosedur yang paling populer
dan efektif biaya. prosedur lain, seperti rekan audit dan audit eksternal, lebih memakan waktu
dalam aplikasi mereka dan mungkin juga melibatkan biaya besar untuk peneliti.

Keandalan Perspektif
Keandalan dapat diatasi dalam penelitian kualitatif dalam beberapa cara (Silverman, 2005).
Keandalan dapat ditingkatkan jika peneliti memperoleh catatan lapangan rinci dengan
menggunakan sebuah tape berkualitas untuk merekam dan menyalin rekaman itu. Juga,
rekaman itu perlu dituangkan untuk menunjukkan sepele, tetapi sering penting, jeda dan
tumpang tindih. Coding lebih lanjut dapat dilakukan "buta" dengan staf pengkodean dan para
analis melakukan penelitian mereka tanpa pengetahuan harapan dan pertanyaan dari direksi
proyek, dan dengan menggunakan program komputer untuk membantu dalam pencatatan
dan menganalisis data. Silverman juga mendukung perjanjian intercoder.
Fokus kami pada keandalan di sini akan perjanjian intercoder berdasarkan penggunaan
coders berganda untuk menganalisis data transkrip. Dalam penelitian kualitatif, "keandalan"
sering merujuk pada stabilitas tanggapan terhadap coders beberapa set data. Saya
menemukan praktek ini terutama digunakan dalam penelitian kualitatif ilmu kesehatan dan
dalam bentuk penelitian kualitatif di mana inquirers ingin pemeriksaan eksternal pada proses
pengkodean yang sangat interpretatif. Apa yang tampaknya sebagian besar hilang dalam
literatur (dengan pengecualian dari Miles dan Huberman,, 1994 dan Armstrong, Gosling,
Weinman, & Marteau, 1997) adalah sebuah diskusi tentang prosedur benar-benar melakukan
perjanjian intercoder cek. Salah satu masalah utama adalah menentukan apa sebenarnya
kodenya setuju pada, apakah mereka mencari kesepakatan mengenai nama kode, kode ayat-
ayat, atau bagian-bagian kode yang sama dengan cara yang sama. Kami juga perlu
memutuskan apakah untuk mencari kesepakatan berdasarkan kode, tema, atau keduanya
kode dan tema (lihat Armstrong dkk, 1997.).
Tidak diragukan lagi, ada fleksibilitas dalam proses, dan peneliti perlu mode pendekatan yang
konsisten dengan sumber daya, dan waktu untuk terlibat dalam coding. Pada Sistem
HealthCare VA, Ann Arbor, Michigan, saya memiliki kesempatan untuk membantu merancang
proses intercoder perjanjian menggunakan data yang berkaitan dengan tindakan privasi
HIPPA (Damschroder, komunikasi pribadi, Maret, 2006). Dalam sebuah proyek di VA Ann
Arbor Health Care System, kami menggunakan langkah-langkah berikut dalam proses
perjanjian intercoder kami:
• Kami berusaha mengembangkan codebook kode yang akan stabil dan merupakan analisis
pengkodean empat coders independen. Kita semua digunakan NVivo sebagai sebuah program
perangkat lunak untuk membantu dalam coding.
• Untuk mencapai tujuan ini, kita membaca beberapa transkrip independen dan kode naskah
masing-masing.
• Setelah coding, mengatakan, tiga sampai empat transkrip, kita kemudian bertemu dan
memeriksa kode, nama mereka, dan segmen teks yang kita kode. Kami mulai
mengembangkan codebook kualitatif awal kode utama. codebook ini berisi definisi kode
masing-masing, dan segmen teks yang kita ditugaskan ke kode masing-masing. Dalam
codebook awal, kami telah "orang tua" kode dan "anak-anak" kode. Dalam codebook awal
kami, kami lebih tertarik pada kode utama kami menemukan dalam database selain dalam
suatu daftar yang lengkap. Kami merasa bahwa kami bisa menambah kode sebagai analisis
berlangsung.
• Kami kemudian masing-masing secara independen kode tiga transkrip tambahan,
mengatakan, transkrip 5, 6, dan 7. Sekarang kita siap untuk benar-benar membandingkan
kode-kode kita. Kami merasa bahwa lebih penting untuk memiliki perjanjian pada segmen
teks kami menugaskan ke kode daripada memiliki, sama persis bagian kode. perjanjian
Intercoder kepada kami berarti bahwa kami sepakat bahwa ketika kita diberi kata kode untuk
suatu bagian, bahwa kita semua ditugaskan kata ini kode yang sama untuk bagian itu. Ini tidak
berarti bahwa kita semua bagian-bagian kode yang sama-yang ideal yang saya percaya akan
sulit untuk dicapai karena beberapa bagian kode orang pendek dan lain-lain lagi wacana. Juga
tidak berarti bahwa kita semua tanda kurung baris yang sama untuk memasukkan dalam kata
kode kita, lain yang ideal sulit dicapai.
• Jadi kami mengambil sikap yang realistis, dan kita melihat ayat-ayat yang kita semua
keempat kode dan bertanya pada diri sendiri apakah kami semua ditugaskan kata kode yang
sama terhadap bagian itu, berdasarkan definisi tentatif kami di codebook. Keputusan akan
baik "ya" atau "tidak" keputusan, dan kita bisa menghitung umur persen dari kesepakatan di
antara kami berempat pada bagian ini bahwa kita semua kode. Kami berusaha untuk
membentuk sebuah perjanjian 80% dari coding pada bagian ini (Miles dan Huberman, 1994,
merekomendasikan perjanjian 80%). peneliti lain mungkin benar-benar menghitung statistik
kehandalan kappa perjanjian tersebut, tetapi kami merasa bahwa persentase akan cukup
untuk melaporkan penelitian kami diterbitkan. Setelah kita runtuh kode ke dalam tema-tema
yang lebih luas, kita bisa melakukan proses yang sama dengan tema, untuk melihat apakah
bagian kita semua dikodekan sebagai tema yang konsisten dalam penggunaan tema yang
sama.
• Setelah proses terus melalui transkrip lagi beberapa, kita kemudian direvisi codebook, dan
melakukan baru penilaian ayat-ayat yang kita semua kode dan ditentukan jika kita
menggunakan kode yang sama atau berbeda atau tema yang sama atau berbeda. Dengan
setiap tahap dalam proses perjanjian intercoder, kita mencapai persentase yang lebih tinggi
dari yang telah disepakati kode dan tema untuk segmen teks.

Kriteria Evaluasi Kualitatif Perspektif

Dalam meninjau validasi dalam literatur penelitian kualitatif, saya terkesan dengan
bagaimana validasi terkadang digunakan dalam membahas kualitas sebuah penelitian
(misalnya, Angen, 2000). Meskipun validasi tentu mengevaluasi aspek kualitas penelitian,
kriteria lain yang bermanfaat juga. Dalam mereview kriteria, saya menemukan bahwa di sini
juga, standar bervariasi dalam komunitas kualitatif (lihat kontras saya tiga pendekatan untuk
evaluasi kualitatif, Creswell, 2005). Pertama saya akan meninjau tiga standar umum dan
kemudian putar untuk kriteria khusus dalam setiap dari lima pendekatan untuk penelitian
kualitatif.
Sebuah perspektif metodologis berasal dari Howe dan Eisenhardt (1990), yang menunjukkan
bahwa hanya luas, standar abstrak yang mungkin untuk kualitatif (dan kuantitatif) penelitian.
Selain itu, untuk menentukan, misalnya, apakah suatu studi adalah etnografi yang baik tidak
dapat dijawab terlepas dari apakah penelitian ini memberikan kontribusi pada pemahaman
kita pertanyaan penting. Howe dan Eisenhardt dijelaskan lebih lanjut, menunjukkan bahwa
lima standar diterapkan pada semua penelitian. Pertama, mereka menilai sebuah studi dalam
hal apakah pertanyaan penelitian drive pengumpulan data dan analisis bukan sebaliknya
menjadi kasus ini. Kedua, mereka meneliti sejauh mana pengumpulan data dan analisis teknik
kompeten diterapkan dalam arti teknis. Ketiga, mereka bertanya apakah asumsi peneliti
dibuat eksplisit, seperti subjektivitas sendiri peneliti. Keempat, mereka bertanya-tanya
apakah studi telah perintah secara keseluruhan, seperti apakah itu kuat, menggunakan
penjelasan teoritis dihormati, dan membahas penjelasan teoritis disconfirmed. Kelima,
penelitian ini harus memiliki "nilai" baik dalam menginformasikan dan meningkatkan praktek
(yang "Jadi apa?" Pertanyaan) dan dalam melindungi kerahasiaan, privasi, dan kebenaran
mengatakan peserta (pertanyaan etika).
Kerangka, postmodern interpretif membentuk perspektif yang ke dua, dari Lincoln (1995),
yang berpikir tentang masalah kualitas dalam hal kriteria muncul. Dia trek berpikir sendiri
(dan bahwa rekannya, Guba) dari pendekatan awal mengembangkan kriteria metodologis
paralel (Lincoln & Guba, 1985) untuk menetapkan kriteria dari "keadilan" (keseimbangan
pandangan pemangku kepentingan), berbagi pengetahuan, dan mendorong sosial tindakan
(Guba & Lincoln, 1989) untuk posisi saat ini. Pendekatan muncul baru untuk kualitas
didasarkan pada tiga komitmen baru: hubungan muncul dengan responden, untuk satu set
sikap, dan visi penelitian yang memungkinkan dan mempromosikan keadilan. Berdasarkan
komitmen tersebut, Lincoln (1995) kemudian mulai mengidentifikasi delapan standar:
• Set standar dalam masyarakat penyelidikan, misalnya dengan pedoman untuk publikasi.
Pedoman ini mengakui bahwa dalam berbagai pendekatan untuk penelitian, penyelidikan
masyarakat telah mengembangkan tradisi mereka sendiri ketelitian, komunikasi, dan cara
kerja terhadap konsensus. Pedoman ini, dia juga memelihara, melayani untuk mengecualikan
dan pengetahuan penelitian yang sah dan peneliti ilmu sosial.
• Standar panduan positionality penafsiran atau penelitian kualitatif. Menggambar pada
mereka yang peduli tentang epistemologi sudut pandang, ini berarti bahwa "teks" harus
menampilkan kejujuran atau keaslian tentang sikap sendiri dan tentang posisi dari penulis.
• standar lain adalah di bawah rubrik komunitas. Standar ini mengakui bahwa semua
penelitian berlangsung dalam, ditujukan untuk, dan melayani keperluan masyarakat di mana
ia dilakukan. masyarakat tersebut dapat dianggap feminis, beasiswa Black, Native American
studi, atau studi ekologi.
• Interpretasi atau penelitian kualitatif harus memberikan suara kepada peserta, sehingga
suara mereka tidak dibungkam, terlepas, atau. terpinggirkan. Selain itu, standar ini
mengharuskan bahwa alternatif atau beberapa suara didengar dalam teks.
subjektivitas
• Kritis sebagai standar berarti bahwa peneliti perlu telah meningkatkan kesadaran diri
dalam proses penelitian dan menciptakan transformasi personal dan sosial. Ini "kesadaran
yang tinggi berkualitas" memungkinkan peneliti untuk memahami negara nya psikologis dan
emosional sebelum, selama, dan setelah pengalaman penelitian.
• penelitian interpretif atau kualitatif berkualitas tinggi melibatkan timbal balik antara
peneliti dan yang diteliti. Standar ini mensyaratkan bahwa berbagi intens, kepercayaan, dan
mutualitas ada.
• Peneliti harus menghormati kesucian hubungan dalam penelitian-untuk kontinum-tindakan.
Standar ini berarti bahwa peneliti menghormati aspek kolaboratif dan egaliter penelitian dan
"membuat [s] ruang untuk lifeways orang lain" (Lincoln, 1995, hal 284).
• Berbagi hak istimewa mengakui bahwa dalam penelitian kualitatif yang baik, peneliti
berbagi hadiah dengan orang-orang yang hidupnya mereka menggambarkan. sharing ini
mungkin dalam bentuk royalti dari buku atau berbagi hak untuk publikasi.
Sebuah perspektif terakhir menggunakan standar penafsiran melakukan penelitian kualitatif.
Richardson (dalam Richardson & St Pierre, 2005) mengidentifikasi empat kriteria yang
digunakannya ketika dia review kertas atau monograf dikirimkan untuk "publikasi ilmu
sosial:
• Substantif kontribusi. Apakah bagian ini memberikan kontribusi pada pemahaman kita
tentang kehidupan sosial? Menunjukkan sangat beralasan perspektif ilmiah sosial? Tampak
"benar?"
• Estetika merit. Apakah bagian ini berhasil estetika? Apakah penggunaan praktik analitis
kreatif membuka teks dan mengundang tanggapan interpretif? Adalah teks berbentuk artistik,
memuaskan, kompleks, dan tidak membosankan?
• Refleksivitas. Bagaimana subjektivitas penulis sudah baik produsen dan produk dari teks
ini? Apakah ada kesadaran diri dan self-exposure? Apakah penulis menjaga dirinya atau
dirinya bertanggung jawab kepada standar mengetahui dan menceritakan orang-orang yang
atau dia telah mempelajari?
• Dampak. Apakah bagian ini mempengaruhi saya secara emosional atau intelektual?
Menghasilkan pertanyaan baru atau memindahkan saya untuk menulis? Coba praktek
penelitian baru atau menggerakkan saya untuk bertindak? (Hal. 964)
Sebagai metodologi penelitian terapan, saya lebih memilih standar metodologi evaluasi, tapi
saya juga dapat mendukung perspektif postmodern dan interpretatif. Apa yang hilang dalam
semua pendekatan dibahas sejauh ini hubungan mereka dengan lima pendekatan
penyelidikan kualitatif. Apa standar evaluasi, selain yang telah disebutkan, akan sinyal narasi
studi berkualitas tinggi, fenomenologi, sebuah penelitian grounded theory, etnografi, dan
studi kasus?

Narasi Penelitian
Denzin (1989a) terutama tertarik dalam masalah tentang "bagaimana untuk mencari dan
menafsirkan subyek dalam bahan biografis" (hal. 26). Dia uang muka beberapa panduan
untuk menulis sebuah biografi interpretif:
•Pengalaman hidup individu berinteraksi adalah subyek yang tepat sosiologi.
• Arti dari pengalaman-pengalaman yang terbaik diberikan oleh orang-orang yang mengalami
mereka, dengan demikian, sebuah keasyikan dengan metode, validasi, keandalan, generalisasi,
dan relevansi teoritis metode biografi harus disisihkan mendukung kepedulian untuk makna
dan interpretasi. Siswa
• metode biografi harus belajar bagaimana menggunakan strategi dan teknik-teknik
interpretasi sastra dan kritik (yaitu, membawa metode mereka sejalan dengan keprihatinan
tentang membaca dan menulis teks-teks sosial, di mana teks dianggap sebagai "fiksi narasi";
Denzin , 1989a, hal 26).
• Ketika seseorang menulis biografi, ia menulis dirinya sendiri ke dalam kehidupan subjek
tentang siapa orang tersebut adalah tertulis; juga, pembaca membaca melalui Surat perspektif
nya atau.
Jadi, dalam sikap, humanistik interpretif, Denzin (1989b) mengidentifikasi "kriteria
interpretasi" sebagai standar untuk menilai kualitas sebuah biografi. Kriteria ini didasarkan
pada menghargai perspektif peneliti serta pada deskripsi tebal. Denzin (1989b) melakukan
advokasi bagi kemampuan peneliti untuk menerangi fenomena secara konteks tebal (yaitu,
deskripsi tebal konteks dikembangkan) sehingga dapat mengungkapkan fitur historis,
prosesual, dan interaksi dari pengalaman. Juga, penafsiran peneliti harus menelan apa yang
dipelajari tentang fenomena dan menggabungkan pemahaman sebelum sedangkan sisanya
selalu tidak lengkap dan belum selesai.
Fokus pada interpretasi dan deskripsi tebal ini berbeda dengan kriteria yang ditetapkan
dalam pendekatan yang lebih tradisional untuk menulis biografi. Sebagai contoh, Plummer
(1983) menegaskan bahwa tiga set pertanyaan yang terkait dengan pengambilan sampel,
sumber, dan validasi account harus membimbing peneliti untuk mempelajari sejarah
kehidupan yang baik:
• Apakah wakil individu? Edel (1984) mengajukan pertanyaan serupa: Bagaimana penulis
biografi yang membedakan antara para saksi dapat diandalkan dan tidak dapat diandalkan?
Apakah sumber bias (tentang peneliti, informan, dan interaksi informan-peneliti).? Atau,
seperti Edel (1984) pertanyaan, bagaimana peneliti dihindari membuat dirinya hanya suara
subjek?
• Apakah account yang valid ketika subjek diminta untuk membacanya, bila dibandingkan
dengan catatan resmi, dan bila dibandingkan dengan rekening dari informan lain?

Dalam studi narasi, saya akan mencari aspek-aspek berikut studi "baik". Penulis:
• Fokus pada satu individu (atau dua atau tiga orang)
• Mengumpulkan cerita tentang sebuah isu signifikan yang berkaitan dengan kehidupan ini
individu
• Mengembangkan suatu kronologi yang menghubungkan fase berbeda atau aspek cerita
• Menceritakan cerita yang restories kisah peserta dalam studi
• Menceritakan cerita persuasif mengatakan dalam cara sastra
• Mungkin laporan tema yang membangun dari cerita untuk memberitahu analisis yang lebih
luas
• refleks membawa dirinya ke ruang
Fenomenologi Penelitian
Kriteria apa yang harus digunakan untuk menilai kualitas dari sebuah studi fenomenologis?
Dari banyak pembacaan tentang fenomenologi, kita dapat menyimpulkan kriteria dari diskusi
tentang langkah-langkah (Giorgi, 1985) atau "aspek inti" dari fenomenologi transendental
(Moustakas, 1994, hal 58). Saya telah menemukan diskusi langsung kriteria yang akan hilang,
tapi mungkin Polkinghorne (1989) datang terdekat dalam pembacaan saya ketika ia
membahas apakah temuan ini "valid" (hal. 57). Baginya, validasi mengacu pada gagasan
bahwa ide baik beralasan dan didukung dengan baik. Dia bertanya, "Apakah deskripsi
struktural umum memberikan potret yang akurat tentang fitur-fitur umum dan koneksi
struktural yang terwujud dalam contoh yang dikumpulkan?" (Polkinghorne, 1989, hal 57). Dia
kemudian hasil untuk mengidentifikasi lima pertanyaan yang peneliti mungkin bertanya pada
diri sendiri:
1. Apakah pewawancara mempengaruhi isi dari peserta deskripsi sedemikian rupa sehingga
deskripsi tidak benar-benar mencerminkan peserta pengalaman aktual?
2. Apakah transkripsi yang akurat, dan apakah hal itu menyampaikan makna dari presentasi
lisan dalam wawancara?
3. Dalam analisis transkripsi, adalah kesimpulan ada selain yang ditawarkan oleh peneliti
yang bisa saja diturunkan? Apakah peneliti diidentifikasi alternatif ini?
4. Apakah mungkin untuk pergi dari gambaran struktural umum ke transkripsi dan untuk
menjelaskan isi tertentu dan koneksi dalam contoh asli dari pengalaman?
5. Apakah situasi deskripsi struktural tertentu, atau apakah itu terus secara umum untuk
pengalaman dalam situasi yang lain? (Polkinghorne, 1989).
standar saya sendiri bahwa saya akan gunakan untuk menilai kualitas dari sebuah
fenomenologi akan menjadi:
• Apakah penulis menyampaikan pemahaman tentang ajaran filosofis fenomenologi?
• Apakah penulis memiliki "fenomena" jelas untuk belajar yang diartikulasikan dengan cara
yang ringkas?
• Apakah prosedur pemanfaatan penulis analisis data dalam fenomenologi, seperti misalnya
prosedur yang direkomendasikan oleh Moustakas (1994)?
• Apakah penulis menyampaikan esensi keseluruhan pengalaman peserta? Apakah esensi ini
termasuk deskripsi pengalaman dan konteks yang terjadi?
• Apakah refleksif penulis selama penelitian?

Teori Beralas Penelitian

Strauss dan Corbin (1990) mengidentifikasi kriteria yang satu hakim kualitas penelitian
grounded theory. Mereka muka tujuh kriteria yang terkait dengan proses penelitian umum:
Kriteria # 1: Bagaimana sampel asli yang dipilih? Dasar apa?
Kriteria # 2: Apakah kategori utama muncul?
Kriteria # 3: Apa yang beberapa peristiwa, kejadian, tindakan, dan seterusnya (sebagai
indikator) yang menunjuk beberapa kategori utama?
Kriteria # 4: Atas dasar apa kategori melakukan sampling teoritis melanjutkan? Panduan
pengumpulan data? Apakah wakil dari kategori?
Kriteria # 5: Apa yang beberapa hipotesis yang berkaitan dengan hubungan konseptual
(yaitu,antara kategori), dan atas dasar apa yang mereka dirumuskan dan diuji?
Kriteria # 6: Apakah ada contoh ketika hipotesis tidak tahan terhadap apa yang sebenarnya
dilihat? Bagaimana perbedaan ini dipertanggungjawabkan? Bagaimana mereka
mempengaruhi hipotesis?
Kriteria # 7: Bagaimana dan mengapa kategori inti yang dipilih (tiba-tiba, bertahap, sulit,
mudah)? Atas dasar apa? (Hal. 253)
Mereka juga muka enam kriteria yang terkait dengan landasan empiris penelitian:
Kriteria # 1: Apakah konsep-konsep yang dihasilkan?
Kriteria # 2: Apakah konsep-konsep sistematis yang terkait?
Kriteria # 3: Apakah hubungan konseptual ada banyak, dan kategori berkembang dengan
baik? Dengan kepadatan?
Kriteria # 4: Apakah variasi banyak dibangun ke teori?
Kriteria # 5: Apakah kondisi yang lebih luas dibangun dalam penjelasannya?
Kriteria # 6: Apakah proses (perubahan atau gerakan) telah diperhitungkan?
(Strauss & Corbin, 1990, hal 254-256)
Kriteria ini, terkait dengan proses penelitian dan inti dari penelitian dalam data, merupakan
tolok ukur untuk menilai kualitas sebuah penelitian yang penulis dapat menyebutkan dalam
penelitian nya. Misalnya, dalam disertasi grounded theory, Landis (1993) tidak hanya
disajikan standar tetapi juga dinilai untuk pembacanya sejauh mana ruang kerjanya
memenuhi kriteria. Ketika saya mengevaluasi penelitian grounded theory, aku juga sedang
mencari proses umum dan hubungan antara konsep-konsep. Secara khusus, saya mencari:
• Studi tentang sebuah tindakan, proses, atau interaksi sebagai unsur kunci dalam teori
• Sebuah proses pengkodean yang bekerja dari data ke model teoritis yang lebih besar
•Penyajian model teoritis dalam seorang tokoh atau diagram
• Sebuah garis cerita atau proposisi yang menghubungkan kategori dalam model teoritis dan
yang menyajikan pertanyaan lebih lanjut untuk dijawab
• Sebuah refleksivitas atau diri pengungkapan oleh peneliti tentang sikap nya dalam studi

Penelitian etnografi
Para ahli etnografi Spindler dan Spindler (1987) menekankan bahwa syarat yang paling
penting untuk pendekatan etnografi adalah untuk menjelaskan perilaku dari "titik pandang
pribumi" (hal. 20) dan harus sistematis dalam mencatat informasi ini dengan catatan.
mengambil, tape recorder, dan kamera. Hal ini mengharuskan etnograf yang hadir dalam
situasi dan terlibat dalam interaksi yang konstan antara observasi dan wawancara. Titik-titik
ini diperkuat di sembilan Spindler dan Spindler's kriteria untuk "etnografi baik":
Kriteria I. Pengamatan yang dikontekstualisasikan.
Kriteria II. Hipotesis muncul di situ sebagai studi berlangsung.
Kriteria III. Pengamatan yang berkepanjangan dan berulang.
Kriteria IV. Melalui wawancara, observasi, dan prosedur eliciting lainnya, pandangan asli
realitas diperoleh.
V. Kriteria mendatangkan ahli etnografi pengetahuan dari informan-peserta secara sistematis.
Kriteria VI. Instrumen, kode, jadwal, kuesioner, agenda untuk wawancara, dan sebagainya
dihasilkan in situ sebagai hasil penyelidikan.
Kriteria VII. Sebuah perspektif, transkultural komparatif sering asumsi tak tertulis.
Kriteria VIII. etnograf tersebut membuat eksplisit apa yang implisit dan diam-diam pada
informan.
Kriteria IX. Etnografi pewawancara tidak boleh mentakdirkan tanggapan oleh jenis
pertanyaan yang diajukan. (Spindler & Spindler, 1987, hal 18)
Daftar ini, didasarkan pada kerja lapangan, mengarah ke etnografi yang kuat. Selain itu,
sebagai Lofland (1974) berpendapat, penelitian terletak di kerangka konseptual luas;
menyajikan novel tetapi tidak harus baru, memberikan bukti untuk kerangka (s); diberkahi
dengan beton, peristiwa interaksional penuh peristiwa, insiden, kejadian, episode, anekdot,
adegan, dan kejadian tanpa "hiper-penting" dan menunjukkan interaksi antara beton dan
analitis dan empiris dan teoritis. kriteria saya untuk sebuah etnografi yang baik akan
meliputi:

• Identifikasi yang jelas dari sebuah kelompok budaya berbagi

• Spesifikasi dari tema budaya yang akan diteliti dalam terang dari kelompok kultur
mendatang-berbagi
• Penjelasan rinci tentang kelompok budaya
• Tema yang berasal dari pemahaman tentang kelompok budaya
• Identifikasi isu-isu yang muncul "dalam bidang" yang mencerminkan pada hubungan antara
peneliti dan para peserta, sifat interpretatif pelaporan, dan sensitivitas dan timbal balik dalam
co-menciptakan akun
• Penjelasan keseluruhan bagaimana kelompok budaya berbagi karya
• Sebuah pengungkapan-diri dan refleksivitas oleh peneliti tentang jabatannya atau dalam
penelitian Penelitian Studi Kasus
Stake (1995) menyediakan sebuah "daftar kritik" agak luas (hal. 131) untuk laporan studi
kasus dan saham 20 kriteria untuk menilai suatu laporan studi kasus yang baik:
1. Apakah laporan tersebut mudah dibaca?
2. Apakah sesuai bersama-sama, setiap kalimat berkontribusi terhadap keseluruhan?
3. Apakah laporan tersebut memiliki struktur konseptual (misalnya, tema atau masalah)?
4. Apakah isu-isu yang dikembangkan secara serius dan ilmiah?
5. Apakah kasus ini cukup didefinisikan?
6. Apakah ada rasa cerita ke presentasi?
7. Apakah pembaca memberikan beberapa pengalaman perwakilan?
8. Apakah kutipan telah digunakan secara efektif?
9. Apakah judul, tokoh, artefak, lampiran, dan indeks digunakan secara efektif?
10. Apakah itu diedit dengan baik, sekali lagi dengan cat menit-menit terakhir?
11. Apakah penulis membuat pernyataan suara, tidak over-atau under-menafsirkan?
12. Apakah perhatian yang cukup telah dibayarkan untuk berbagai konteks?
13. Apakah data mentah yang cukup disajikan?
14. Apakah sumber data dipilih dengan baik dan dalam jumlah yang cukup?
15. Lakukan observasi dan interpretasi tampaknya telah segitiga?
16. Apakah peran dan sudut pandang peneliti baik yang jelas?
17. Apakah sifat audiens yang dituju jelas?
18. Apakah empati ditampilkan untuk semua pihak?
19. Apakah niat pribadi diperiksa?
20. Apakah tampak bahwa individu-individu beresiko? (Stake, 1995, hal 131)

kriteria saya sendiri untuk mengevaluasi "baik" studi kasus yang akan mencakup hal berikut:
• Apakah ada identifikasi yang jelas dari "kasus" atau "kasus" dalam penelitian ini?
• Apakah "kasus" (atau adalah "kasus") yang digunakan untuk memahami masalah dalam
penelitian atau digunakan karena "kasus" telah (atau "kasus" memiliki) jasa intrinsik?
• Apakah ada gambaran yang jelas dari "kasus"?
• Apakah tema diidentifikasi untuk "kasus"?
• Apakah pernyataan atau generalisasi yang terbuat dari analisis "kasus"?
• Apakah peneliti refleksif atau diri mengungkapkan tentang posisi nya dalam studi ini?
Membandingkan Evaluasi
Standar Lima Pendekatan
Standar dibahas untuk setiap pendekatan sedikit berbeda tergantung pada prosedur
pendekatan. Tentu saja kurang disebutkan tentang penelitian narasi dan standar kualitas dan
lebih tersedia tentang pendekatan lain. Dari dalam buku-buku utama yang digunakan untuk
pendekatan masing-masing, saya telah berusaha untuk mengekstrak standar evaluasi
direkomendasikan untuk pendekatan mereka untuk penelitian. Untuk ini saya telah
menambahkan standar saya sendiri yang saya gunakan di kelas kualitatif saya ketika saya
mengevaluasi proyek atau penelitian yang dipresentasikan dalam masing-masing dari lima
pendekatan.

Ringkasan
Dalam bab ini, saya membahas validasi, keandalan, dan standar kualitas dalam penelitian
kualitatif. Validasi pendekatan bervariasi, seperti strategi yang menekankan menggunakan
istilah kualitatif sebanding dengan istilah kuantitatif, penggunaan istilah yang berbeda,
perspektif dari lensa postmodern dan interpretatif, sintesis dari perspektif yang berbeda, atau
deskripsi berdasarkan gambar metafora. Reliabilitas digunakan dalam beberapa cara, salah
satu yang paling populer menjadi penggunaan perjanjian intercoder ketika beberapa coders
menganalisa dan kemudian membandingkan segmen kode mereka untuk mendirikan
keandalan dari proses analisis data. Suatu prosedur rinci untuk menetapkan perjanjian
intercoder dijelaskan dalam bab ini. Juga, ada beragam standar untuk membangun kualitas
penelitian kualitatif, dan kriteria ini didasarkan pada perspektif prosedural, perspektif
postmodern, dan perspektif interpretif. Dalam setiap dari lima pendekatan untuk
penyelidikan, standar khusus juga ada, ini telah dibahas dalam bab ini. Akhirnya, saya maju
kriteria yang saya gunakan untuk menilai kualitas studi disampaikan kepada saya dalam kelas
di masing-masing dari lima pendekatan.