Epidemio l o gy

Questionnaire Design
EPIET Introductory Course 2006 Lazareto, Menorca

P McKeown/ V Bremer/V.Prikazsky 1

Objectives To understand:
Objectives of questionnaires Advantages and disadvantages Design of questionnaires Type of questions used Common problems and pitfalls

Sources of information
physical signals temperature atmospheric pressure ... medical records, demography, census bureau ? individual experience QUESTIONNAIRES

What is a questionnaire?
An instrument (form) to
collect answers to questions collect factual data
gathers information or measures

A series of written questions/items in a fixed, rational order

Why using a questionnaire?

A well designed questionnaire:

Gives accurate and relevant information to your research question Minimises potential sources of bias Will more likely be completed
As simple and focused as possible

Advantages of questionnaires
Can reach a large number of people relatively easily and economically Provide quantifiable answers Relatively easy to analyse

Disadvantages of questionnaires
Provides only limited insight into problem
Limited response allowed by questions Maybe not the right questions are asked

Varying response
Misunderstanding/misinterpretation

Need to get it right first time

Hard to chase after missing data

Types of Questionnaire
Face to face Telephone Interviewer -administrated By post E-mail/Internet Self-administrated

Self-administered questionnaire
Advantages:
Cheap and easy to administer Preserves confidentiality Completed at respondent's convenience No influence by interviewer

Self-administered questionnaire
Disadvantages:
Low response rate Questions can be misunderstood No control by interviewer Time and resouces loss

10

Interview-administered questionnaire
Advantages:
Participation by illiterate people Clarification of ambiguity Quick answers

11

Interview-administered questionnaire
Disadvantages:
Interviewer bias Needs more resources Only short questionnaires possible
Especially on telephone

Difficult for sensitive issues

12

Before starting to design a questionnaire

Write a study protocol!

Risk factors for being bitten by stray dogs

Study protocol

Prepared by Snoopy

Menorca, 20 September 2005

13

Stages in designing a questionnaire (1)

Planning the study:
Decide on goals
Identify risk factors for getting bitten by dogs Literature, experts on dog bites

Know the subject

Formulate a hypothesis
Postmen more likely to get bitten by dogs than the normal population

Define information needed to test hypothesis

Occupation, owning dog, outdoor activities, attitude towards dogs
14

Stages in designing a questionnaire (2)

Determine study population:
Know the respondents
Occupation Special sensitivities Education Ethnic Language

Questionnaire needs to be adapted to your population, not the opposite!

15

Stages in designing a questionnaire (3)

Design questions:
Content of the questions
Format of the questions Presentation and layout Coding schedule (if appropriate)

Pilot and refine questionnaire

16

What do you prefer?

Vom Befrager einzutragen: Datum der Befragung: __.__._____ Initialen des Befragers: ____ Name des Arztes: _____________________ Befragung vollstndig, keine weiteren Anrufe oder Nachfragen notwendig!

Masern-Ausbruch Nordfriesland Juni 2001

Dr. Gerard Krause
Abt. Infektionsepidemiologie Robert Koch-Institut Seestrasse 10 13353 Berlin

Guten Tag, mein Name ist _______________: Ich bin Mitarbeiter im Kreisgesundheitsamt in Husum / Als Mitarbeiter des Robert Koch-Institutes untersttze ich das Kreisgesundheitsamt Husum. Wir haben derzeit im Landkreis Nordfriesland eine ungewhnliche Hufung von Masernerkrankungen. Wir mchten uns zunchst herzlich dafr bedanken, dass Sie uns Ihren Patienten ____________________________(Name des Falles) geboren am ______ als Masernfall gemeldet haben. Wir fhren derzeit eine epidemiologische Untersuchung durch um diese Masernhufung eindmmen zu knnen. Das Erfassen von Masernkomplikationen ist hier besonders wichtig. Vor kurzem mssten Sie von uns ein Fax mit weiteren Erluterungen zu dieser Hufung erhalten haben, in dem wir auch auf diese Nachrecherchen hingewiesen haben. Um den von Ihnen gemeldeten Fall korrekt einordnen zu knnen, mchten wir noch kurz einzelne Informationen abklren.
Fragenkomplex Symptome: Hatte Ihr Patient eines der mehrere der folgenden Symptome? Generalisierter Hautausschlag > 3 Tage: Ja Nein Unbekannt

Vom Befrager einzutragen: - Datum der Befragung: - Initialen des Befragers (Vor-+ Nachname): - Name des Arztes: - Befragung vollstndig? Guten Tag, mein Name ist ___ (bitte Namen nennen)___. Ich bin Mitarbeiter im Kreisgesundheitsamt in Husum oder

___.___._____ ___ ___ ________________________________ (1) Ja (2) Nein, Nachfrage notwendig.

Als Mitarbeiter des Robert Koch-Institutes untersttze ich das Kreisgesundheitsamt Husum.

Wir verzeichnen derzeit im Landkreis Nordfriesland seit Anfang September 2005 eine ungewhnliche Hufung von Masernerkrankungen. Wir mchten uns zunchst herzlich dafr bedanken, dass Sie uns Ihren Patienten ___(Name des Falles wie in Kopfzeile)___, geboren am __(Datum wie in Kopfzeile)__, als Masernfall gemeldet haben. Wir fhren derzeit eine epidemiologische Untersuchung durch um diese Masernhufung eindmmen zu knnen. Das Erfassen von Masernkomplikationen ist hier besonders wichtig. Um den von Ihnen gemeldeten Fall korrekt einordnen zu knnen, mchten wir noch kurz einzelne Informationen abklren. 1. Hatte Ihr Patient eines der mehrere der folgenden Symptome? Generalisierter Hautausschlag > 3 Tage: (1) Ja* (2) Nein (3) Unbekannt
* Wenn ja: Wann begann der Hautauschlag?
(4) (5)

Wenn Beginn des Hautauschlags exakt bekannt ist, Datum genau angeben: __.__.____ Wenn Beginn des Ausschlages NICHT exakt bekannt ist, dann Zeitpunkt eingrenzen, nmlich: Beginn Ausschlag irgendwann zwischen dem __.__.____ und dem __.__.____ Fragenkomplex Labor: Liegt Ihnen zu diesem Patienten einer oder mehrere der folgenden Labornachweise vor? Virusisolierung (2) Nukleinsurenachweis (PCR) (3) IgM (4) IgG mit 4-fachem Titeranstieg (5) Antikrpernachweis mit 4-fachem Titeranstieg
(1)

War Ihr Patient gegen Masern geimpft?

Erste Masernimpfung: Ja (Impfausweis) Nein Zweite Masernimpfung: Ja (Impfausweis) Nein Dritte Masernimpfung: Ja (Impfausweis) Nein Ja (aber nicht dokumentiert) wenn ja, wann (z.B. laut Impfausweis): __.__._____ Unbekannt Ja (aber nicht dokumentiert) wenn ja, wann (z.B. laut Impfausweis): __.__._____ Unbekannt Ja (aber nicht dokumentiert) wenn ja, wann (z.B. laut Impfausweis): __.__._____ Unbekannt

Datum genau bekannt: ___.___.2005 Datum nicht genau bekannt: Auschlag begann zwischen ___.___.2005 und ___.___.2005.

2. Welche der folgenden Labornachweise liegen Ihnen zu diesem Patienten vor?

(Mehrfachnennungen mglich)

Arzt hat in der Praxis noch andere Masernflle gehabt, die noch nicht gemeldet wurden: Ja Nein Wenn ja, drfen wir Sie bitte uns diese Flle schnellst mglich alle nachzumelden, denn davon hngt ab, wie realistisch wir diese Hufung einschtzen knnen. Haben Sie bei Ihrem Patientengut subjektiv den Eindruck, dass im Vergleich zum entsprechenden Zeitrumen der Vorjahre dieses Jahr deutlich mehr Masernflle aufgetreten sind? Ja Nein unbekannt Sie werden in wenigen Tagen auf dem Postweg weitere Informationen zu der Masernhufung von uns erhalten, Haben Sie hierzu Fragen? Vielen Dank fr ihre Mithilfe!

Virusisolierung Nukleinsurenachweis (PCR) (3) IgM (4) IgG mit 4-fachem Titeranstieg (5) Antikrpernachweis mit 4-fachem Titeranstieg
(1) (2)

3. War Ihr Patient gegen Masern geimpft? Erste Masernimpfung:

(bitte eine Angabe pro empfohlene Impfung)

Zweite Masernimpfung:

Dritte Masernimpfung:

Nein (2) Ja* (nicht dokumentiert) (3) Ja* (Impfausweis)

(1)

Nein (2) Ja* (nicht dokumentiert) (3) Ja* (Impfausweis)

(1)

Nein Ja* (nicht dokumentiert) (3) Ja* (Impfausweis)

(1) (2)

17

What makes a well designed questionnaire?

Good appearance
easy on the eye

Short and simple Relevant and logical High response rate Easy data summarisation and analysis

18

Basic Rules
On first page
Return address Study title in bold
ARZTFRAGEBOGEN Aktenzeichen:____________ Name, Vorname: _____________________ Geb.: ___.___._____

Masern-Ausbruch Nordfriesland Juni 2001

Dr. Gerard Krause
Abt. Infektionsepidemiologie Robert Koch-Institut Seestrasse 10 13353 Berlin

Vom Befrager einzutragen: - Datum der Befragung: - Initialen des Befragers (Vor-+ Nachname): - Name des Arztes: Guten Tag, mein Name ist ___ (bitte Namen nennen)___. Ich bin Mitarbeiter im Kreisgesundheitsamt in Husum oder

___.___._____ ___ ___ ________________________________

On all pages
Identifying mark/ unique identifier Numbered items Page numbers

Als Mitarbeiter des Robert Koch-Institutes untersttze ich das Kreisgesundheitsamt Husum.

Wir verzeichnen derzeit im Landkreis Nordfriesland seit Anfang September 2005 eine ungewhnliche Hufung von Masernerkrankungen. Wir mchten uns zunchst herzlich dafr bedanken, dass Sie uns Ihren Patienten ___(Name des Falles wie in Kopfzeile)___, geboren am __(Datum wie in Kopfzeile)__, als Masernfall gemeldet haben. Wir fhren derzeit eine epidemiologische Untersuchung durch um diese Masernhufung eindmmen zu knnen. Das Erfassen von Masernkomplikationen ist hier besonders wichtig. Um den von Ihnen gemeldeten Fall korrekt einordnen zu knnen, mchten wir noch kurz einzelne Informationen abklren. 1. Hatte Ihr Patient eines der mehrere der folgenden Symptome? Generalisierter Hautausschlag > 3 Tage: (1) Ja* (2) Nein (3) Unbekannt
* Wenn ja: Wann begann der Hautauschlag?
(4) (5)

Directions in bold Self-addressed envelope!!

Datum genau bekannt: ___.___.2005 Datum nicht genau bekannt: Auschlag begann zwischen ___.___.2005 und ___.___.2005.

2. Welche der folgenden Labornachweise liegen Ihnen zu diesem Patienten vor?

(Mehrfachnennungen mglich)

Virusisolierung Nukleinsurenachweis (PCR) (3) IgM (4) IgG mit 4-fachem Titeranstieg (5) Antikrpernachweis mit 4-fachem Titeranstieg
(1) (2)

3. War Ihr Patient gegen Masern geimpft? Erste Masernimpfung:

(bitte eine Angabe pro empfohlene Impfung)

Zweite Masernimpfung:

Dritte Masernimpfung:

Nein Ja* (nicht dokumentiert) (3) Ja* (Impfausweis)

(1) (2)

Nein Ja* (nicht dokumentiert) (3) Ja* (Impfausweis)

(1) (2)

Nein Ja* (nicht dokumentiert) (3) Ja* (Impfausweis)

(1) (2)

19

Question order
Decide on order of items/questions
Easy General Factual difficult particular abstract

Where to place sensitive questions? Be aware of ordering effects!

20

Question order (2)

Group questions by topic/ response options
Starting questions
Simple With closed format Relevant to main subject Non-offending Neither demographic nor personal questions

Dont put most important item last

21

Questionnaire introduction
Covering letter/ interview introduction
Who you are/ you work for Why you are investigating Where you obtained the respondents name How and where you can be contacted Guarantee of confidentiality Length of interview (be honest)

Usefulness of study should be clear to all respondents

22

Content of Questions
Clear focus on research question
Avoid sidetracking
Avoid unnecessary information

Demographic information Contact information (if non-anonymised)

23

Format of Questions
Adjust to responding audience
Professionals vs. public Middle class vs. prisoners

Keep sentences simple and short Define key words (fully vaccinated) Remember option dont know

24

Format of Questions
Ask for one information at a time
Do you own a dog or have frequent contacts with dogs?
Yes No

Use mutually exclusive and exhaustive answer options Vertical order of answer options
25

Be accurate
Do you often touch dogs?
Yes No

vs.
How often did you touch a dog during the past 3 months?
Once Twice Three times or more Not at all Dont know
26

Be appropriate
Are you a drunk?
Yes No

vs.
How often have you consumed alcoholic beverages during the past 6 months?
Daily 2-6 times/week Once a week Less than once a week Dont know
27

Be objective
Did you drink the strange brownish drink in Prague?
Yes No

vs.
Which beverage did you consume?
Water Beer Wine Karkad None of them Dont know

28

Be simple
Did you smoke not less than a mean amount of 7 cigarettes/2 days from 1999 onwards?
Yes No

vs.
Did you smoke an average of 2 pack of cigarettes/week for the last 5 years?
Yes No Dont know
29

Bias
Bias = systematic differences in the measurement of a response

30

Information Bias
Recall bias
Cases more likely to remember than controls

Observer bias
Different interviewer different interpretations Different interpretation of similar questions Reduce by structured questionnaire

31

Non-response bias
Those who respond are different from those who do not
Telephone interviews: more females, elderly

Reduce
Ensure high response rate Random choice of interview partners Correct during analysis (eg age, sex)

32

Format of questions
Two main question formats
Closed format forced choice
Yes No Dont know Always Sometimes Never

Open format free text

What is your most distressing symptom? Please describe: ________________________________________________ ________________________________________________
33

Open or Closed?
Closed Advantages:
Simple and quick Reduces discrimination against less literate Easy to code, record, analyse Easy to compare Easy to report results

34

Closed questions
Disadvantages:
Restricted number of possible answers Loss of information

Possible compromise:
Insert field others

35

Open questions
Advantages:
Not directive Allows exploration of issues to generate hypothesis
qualitative research, focus groups, trawling questionnaires

Used even if no comprehensive range of alternative choices Good for exploring knowledge and attitudes Detailed and unexpected answers possible
36

Open questions
Disadvantages:
Interviewer bias Time-consuming Coding problems Difficult to analyse! Difficult to compare groups

37

Closed Questions
1. Straightforward response
What is your age in years? How long have you owned a dog? ___ years ___ years

What is your sex (gender)? Male Female Did you stay in Hotel X on 23/7/05? Yes No Dont know
38

Closed Questions
2. Checklist
Which of the following outdoor activities did you do last week? Running Walking Hiking Cycling Swimming

39

Closed Questions
3. Rating scale
Did you do use sunscreen during the following outdoor activities during the past six months? Always Sometimes Seldomly Never Running Walking Cycling

40

Closed Questions
4. Rating scale
Numerical How useful would you think that information on the risk of biting from stray dogs would be?

(please circle)

1 2 Not at all useful

7 Very useful

Analogue How much is your pain severe (put the tick on the line)

10
41

Closed Questions
5. Scales for measuring attitude (Lickert)
Stray dogs carry a higher risk of rabies No, I strongly disagree No, I disagree quite a lot No, I disagree just a little Im not sure about this Yes, I agree just a little Yes, I agree quite a lot Yes, I strongly agree

42

Problems and Pitfalls

Avoid questions that ask two things at once - you wont know which bit people are answering: Have you ever had stomach ache and diarrhoea? Ambiguity..... Do you go to the woods a lot?
43

Problems and Pitfalls

Avoid jargon/abbreviations/slang
How often do you get up at night to PU? (pass urine) Should IVDUs be treated in the community?

Avoid not mutually exclusive options

What age are you? 16-20 20-25 25-30 35-40
44

Problems and Pitfalls

Avoid leading questions
Do you think that the food in the hotel made you sick? Did the hotel staff seem unhygenic to you? Do you agree that the hospital staff were close to exhaustion?

Avoid making questionnaire too long

Typographical / spelling errors

45

Questionnaire Validation
Use or adapt existing questionnaires
Validated (and possibly harmonised)

New questionnaires
Not validated Needs to be tested (pilot)

46

Piloting and Evaluation

Pilot with a similar group of people to your intended subjects Highlights problems before starting
Effects of alternative wording Overall impression on respondents and interviewers Final polishing after several amendments

47

Presentation and layout

Clear consistent layout
Adequate space to answer

Large font size

Appropriate page breaks Avoid
experimental layouts fancy logos printed on recycled paper/is an equal opportunity employer etc
48

Presentation and layout

Using colour or printing questionnaire on coloured paper may help Use filter questions, if necessary Give clear instructions about how to answer the questions

49

Coding Schedule
Questionnaire can be pre-coded Quicker and easier data entry Examples:
Male Female Dont know Single Married Widowed 1 2 3 1 2 5 Ill Not ill Dont know Separated Divorced Dont know 1 0 9 3 4 9

50

Summary
A well designed questionnaire: Will give appropriate data which allow to answer your research question Will minimise potential sources of bias, thus increasing the validity of the questionnaire Will much more likely be completed

51

FINALLY, keep your questionnaire short and the questions simple, focused and appropriate

Question 764 If she is an attractive single woman aged 25-40, can I take her to dinner?

52