유아의 식생활 평가를 위한 식품섭취빈도 조사지의 타당성 증진 질적 연구 : 응답과정 인지면접
Abstract
Food frequency questionnaire (FFQ) is a useful tool for the assessment of usual intake in epidemiological research and is usually completed by participants themselves. In this study, participants were interviewed to explore the cognitive process underlying a care-givers’ response to a self-administered FFQ for the dietary evaluation in children in the 1∼5 year age group. A total of 10 participants were recruited voluntarily. Both of think-aloud interviewing and verbal probing techniques were applied. The major components of a 4-stage cognitive model were applied as a coding scheme for the transcribed interview, and cognitive problems were explored. In the comprehension stage, “passing over the survey instruction”, “misunderstanding frequency response category”, “unfamiliar food name”, and “similar food items” were the observed issues. In the retrieval stage, “lack of information on non-family meals”, and “forward telescoping error” and in the judgement stage, “discrepancy between consumption and presented portion in the unit” and “overestimation or underestimation of staple dishes” appeared to be the issues; while the response stage had issues regarding “confusion in the mapping of estimation” and “social desirability”. The cognitive problems revealed through the interview set the direction for an improvement in the questionnaire design. The other results of the exploration of the cognitive process could be utilized in improving the instructions for respondents and in the researcher’s guidelines which could enhance the accuracy of the survey.
Keywords:
food frequency questionnaire, cognitive interviewing, cognitive validity, directive content analysis서 론
세계 여러 지역 유아의 성장상태를 관찰한 WHO의 성장표준 연구를 통해 최적의 영양과 사회경제적 조건에서는 비슷한 성장결과가 나타난다는 것이 보고된 바 있다(Covalán CJ 등 2009). 이는 인간의 성장잠재력은 유전적으로 큰 차이가 없으며 그 발현은 성장환경의 영향을 받는다는 의미로서 생애초기 성장에서 적절한 영양공급의 중요성을 반증한다. 특히, 한번 형성된 식습관은 쉽게 변하지 않고 생애후반기의 건강문제와 밀접한 관련을 가지는 것으로 보고되고 있어 (Nicklas TA 등 1988; Berenson GS 등 1998; Lien N 등 2001; Skinner JD 등 2002) 유아기부터 식생활에 관한 포괄적인 이해가 요구된다.
그러나 국내에 보고된 유아기 영양섭취관련 연구는 매우 미진한 상황이다. 한국학술정보의 학술데이터베이스를 이용하여 ‘유아’와 ‘영양’을 조합으로 한 검색에서 1976년 이후 보고된 총 251건의 학술논문이 검색되었는데, 식사조사를 통해 전반적인 영양섭취를 보고하고 있는 논문은 21건이었고, 이중 최근 10년간 발표된 논문은 2건이었다. 국가보건의 중요한 이슈가 되고 있는 만성질환과 인구집단의 노령화에 관심과 자원이 집중되는 등 여러 가지 이유가 있겠으나, 유아를 대상으로 하는 식사섭취조사의 어려움과 적절한 조사도구가 미비한 상황도 유아기 영양연구의 걸림돌이 되고 있다.
식사섭취조사 방법의 하나인 식품섭취빈도 조사는 대상 집단의 식생활을 반영하는 식품목록을 이용하여 일정 기간 동안의 평균적인 섭취빈도를 조사하는 방법이다. 조사 시 한번에 섭취하는 분량을 함께 조사하면 대상자 간 상대적인 섭취량의 추정이 가능하기 때문에 장기간의 일상적인 섭취를 조사하기 위한 방법으로 대규모 역학연구에서 많이 이용된다(Willett W 2013).
조사 대상자의 식생활을 있는 그대로 조사하는 개방형 조사와 달리 식품섭취빈도 조사는 미리 설계된 조사지를 이용한다는 점에서 조사지의 타당성 검증이 필요하다. 일반적으로 수행되는 식품섭취빈도 조사지의 타당성 연구는 준거타당성(criterion validity)을 다루고 있는데(Block G 1982; Lovell A 등 2017), 타당성 검증을 거친 식품섭취빈도 조사지도 대상자의 식생활을 정확히 파악하는데 한계가 있음이 보고되고 있다(Wynder EL 등 1997; Bingham SA 등 2003). 조사의 정확성 향상을 위해서는 다른 조사방법을 통해 조사된 결과와 비교하는 준거 타당성의 검토만으로는 알 수 없는, 인지타당성(cognitive validity)의 확보가 요구된다(Smith AF 1991; Subar AF 등 1995; Thompson FE 등 2002).
인지면접(cognitive interviewing)은 설문지를 이용하여 자료를 수집할 때 설문 문항의 의미가 제대로 전달되는지 확인하기 위해 시행하는 방법이다(Will GB 2005). 이를 통해 조사 응답자의 문항이해, 정보의 처리, 응답에 이르는 과정을 탐색하고, 인지과정에서의 문제와 조사지 디자인에 있어 응답의 어려움을 초래하는 문제점을 파악하여 반영함으로써 조사의 타당성을 향상시킬 수 있다(Tourangeau R 등 2000).
본 연구는 식품섭취빈도 조사지의 개발과정에서 조사 응답자가 식품섭취빈도 조사지의 음식항목에 따라 조사 대상의 식사경험을 기억하고, 섭취분량과 빈도를 응답하는 인지 과정을 탐색하기 위해 수행되었다. 이를 통해 보다 정확한 답을 도출할 수 있도록 조사지를 개선하고, 응답하는 데에 도움을 줄 수 있는 조사지침을 마련하여 조사의 타당성을 향상시키고자 하였다,
연구방법
1. 연구설계
본 연구는 유아의 식생활을 조사하기 위한 식품섭취빈도 조사지의 타당성 증진을 위해 조사지를 개선하고, 조사지침을 마련하기 위한 목적으로 수행되었다. 이를 위해 조사 응답자가 식품섭취빈도 조사지를 자가작성하는 중에 응답을 도출하는 인지과정을 탐색하는 질적인 연구로 설계하였다. 연구 자료는 조사 응답자와의 면접을 통해 수집되었으며, 내용분석(content analysis) 방법을 참고하여 문서화된 면접내용을 분석하였다 (Hsieh HF & Shannon SE 2005).
2. 연구 참여자 선정
본 연구는 대전대학교 기관생명윤리심의위원회의 사전승인(1040647-201706-HR-017-03)을 받아 수행되었다. 2017년 8월부터 9월까지 지역사회와 소아과를 통해 만1세∼5세 유아의 주 양육자를 모집하였다. 참여의사를 밝힌 주 양육자에게 연구의 목적과 방법, 면담내용과 그 녹음에 대해 설명을 하고, 자발적인 참여와 중단이 가능하며, 면담내용을 통해 정리된 자료는 연구목적으로만 사용될 것임을 밝히고, 이에 동의한 경우 참여자로 선정하였다.
참여자는 총 10명으로 30대 9명과 20대 1명이었으며, 모두 여성이었다. 식생활 조사 대상 유아의 성별은 남아 3명, 여아 7명이었고, 유아와의 관계는 어머니 9명, 양육시설 보모 1명이었다. 연구 참여자와 관련된 기본 정보는 Table 1에 제시하였다.
General characteristics of interviewees as a primary care-givers of young children
3. 연구대상 식품섭취빈도 조사지
연구대상 식품섭취빈도 조사지는 116개 음식항목의 지난 한달 간 섭취빈도와 일상적인 섭취분량을 조사할 수 있도록 구성되어 있다. 음식항목은 밥과 국수를 포함한 주식류 음식 15종, 국과 찌개류 14종, 나물, 무침, 김치, 구이, 찜, 볶음 등 반찬류 53종, 빵과 과자 8종, 유제품 및 음료 13종, 과일 13종을 포함하고 있다. 섭취빈도 응답항목은 ‘거의 안먹음’과 월간, 주간, 일간 섭취빈도를 8개로 구분하여 제시하고 있다(Fig. 1). 또한 정량적 조사가 가능하도록 조사 대상자가 섭취하는 분량과 비교할 수 있는 1회 섭취분량을 음식항목별로 제시하고 있다. 제시된 1회 섭취분량은 국민건강영양조사 자료를 이용하여 조사 대상 연령이 섭취하는 중량의 중간값을 이용하였는데, 연령별 섭취 수준을 고려하여 “분유”, “요구르트”, “우유”, “두유”, “주스”와 같은 항목은 1∼2 세의 섭취분포를 이용하였고, 그 외의 항목은 3∼5 세의 섭취분포를 고려하였다. 조사 응답자는 제시된 분량과 비교하여 조사 대상자의 섭취분량을 상대적으로 보고하도록 하고 있다(Fig. 1). 조사지의 전반적인 응답방법과 주의 사항은 별도의 설명으로 제시되어 있다. 연구대상 조사지의 개발과정은 선행연구를 통해 보고되었다(Kang M & Shim JE 2020).
Response categories of the test version questionnaire.
4. 자료수집
자료수집은 조사 응답자와의 인지면접을 통해 이루어졌으며, 인지면접에서 널리 사용되는 기법인 소리내어 생각하기 면접(think-aloud interviewing)과 구두탐침 기법(verbal probing techniques)을 사용하였다(Willis GB 2005). 소리내어 생각하기 면접을 통해 조사 응답자가 식품섭취빈도 조사지의 질문에 답하기 위해 질문을 읽고 답을 도출하는 과정의 모든 생각을 말하도록 하고, 연구자는 조사 응답자의 말을 들으며 인지과정을 탐색하였다. 구두탐침 기법을 이용한 면접은 조사 응답자가 식품섭취빈도 조사지를 작성하도록 한 후, 연구자의 질문에 대한 조사 응답자의 답변을 듣는 방식으로 이루어졌다. 필요 시 추가질문을 하면서 조사 응답자의 인지와 답을 도출하는 과정에 대해 탐색하였다. 설문조사를 모두 마치고 나서 탐색하는 후향적 탐침(retrospective probing)을 원칙으로 하였으나, 필요에 따라 설문조사 중에 이루어지기도 하였다(concurrent probing). 면담과정의 녹취와 함께 연구자는 조사 응답자의 반응이나 중요한 단서 등을 메모하였다.
인지면접은 5명씩 2회에 걸쳐 이루어졌다. 첫 번째 회차는 주로 소리내어 생각하기 면접을 통해 조사 응답자가 식품섭취빈도조사지를 읽고 응답하는 과정의 인지를 탐색하였고, 필요시 구두탐침을 통해 추가적인 인지 정보를 수집하였다. 두 번째 회차는 첫 번째 회차의 면접을 통해 파악한 조사지의 문제점을 수정한 후 조사지 응답의 어려운 점을 확인하기 위해 시행하였다. 구두탐침에 이용한 질문은 Table 2에 제시하였다.
Examples of cognitive probes
5. 자료분석
녹취된 면담의 내용은 조사 응답자의 언어대로 전사하여 면접 중 응답자의 반응을 메모한 것과 함께 지시적 내용분석(directive content analysis)을 적용하여 분석하였다(Hsieh HF & Shannon SE 2005). 본 연구에서 인지면접을 통해 파악하고자 한 내용은 조사 응답자들이 조사지를 작성하며 응답을 도출하는 인지과정과 조사지를 자가작성하는 과정에서 응답의 어려움을 초래하는 점이다. 이를 분석하기 위한 코딩체계로 설문 응답과정의 인지모델을 구성하는 주요 요소와 세부적인 인지과정을 이용하였다(Lessler JT & Forsyth BH 1996; Willis G 1997; Tourangeau R 등 2000).
내용분석을 위해 전사 자료를 반복적으로 숙독하며 자료에서 드러나는 의미 있는 단어, 구, 문장, 단락 등을 확인하고 코드화하였다. Tourangeau R 등(2000)의 인지모델에서 제시하는 4단계 요소로 분류한 뒤, 코드 간 유사점과 차이점을 비교하며 유사한 코드끼리 모아 인지모델 단계별 세부적인 인지과정과 연결하였다. Tourangeau R 등의 인지모델은 설문 응답과정을 다음과 같은 4가지 주요 요소로 설명하고 있다. 응답의 첫 번째 단계는 “이해(comprehension)”로서, 질문의 의도와 용어의 이미를 파악하는 과정이다. 두 번째 단계는 정보검색(retrieval)”으로서, 관련 정보에 대한 기억을 회상하는 단계이다. 세 번째 단계는 “판단(judgement)”으로서, 기억해 낸 여러 내용을 종합하고 필요하다면 추정하여 답을 이끌어내는 과정이다. 응답자의 동기가 정확한 답을 이끌어 내려는 노력에 영향을 미칠 수 있다. 네 번째 단계는 “응답(response)”으로서, 응답자가 내면적으로 도출된 답을 설문지에 제시된 항목과 잘 연결하여 답하는 과정이다. 모든 연구 과정에서 연구자는 편견을 최소화하고 중립성을 지키고자 하였고, 연구자 간의 충분한 토론을 통해 경험을 공유하여 의견을 수렴하였다.
결 과
인지면접을 통해 조사 응답자들이 식품섭취빈도 조사지의 음식항목별 섭취빈도와 분량을 응답하는 인지과정을 탐색하고, 인지과정의 문제점과 응답을 하는데 어려움을 보인 점들을 확인하였다. 두 차례의 인지면접을 통해 최종적으로 확인된 인지과정의 문제점과 응답에 어려움을 보인 내용은 인지 모델의 단계에 따라 정리하여 Table 3에 제시하였다.
Cognitive problems in the response to the test version questionnaire according to four stages of a cognitive model
1. 이해
설문에 응답하기 위한 인지과정의 첫 단계는 질문을 이해하는 것이다. 이에 대해 조사 응답자들이 조사지의 작성지침에 주목하고, 질문이 요구하는 응답의 내용을 어떻게 파악하고 있으며, 작성지침과 조사지에 기재된 특정 단어나 어구의 의미를 잘 이해하고 있는지 탐색하였다.
1차 인지면접은 소리내어 면접하기 방식으로 진행하여 연구 참여자에게 조사지의 처음부터 소리내어 읽고, 답을 도출하면서 생각하는 모든 것을 소리내어 말로 전해줄 것을 요청하였기 때문에, 연구 참여자들이 자발적으로 작성지침에 주목하였는지는 파악할 수 없었다. 그러나 후향적 구두탐침으로 진행된 2차 인지면접에서 작성지침에 주목하였는지 확인하였을 때 연구 참여자 5명 중 3명이 작성지침을 확인하지 않았다고 답하였다.
“눈에 잘 안들어왔어요. 크게 중요하다고 생각을 안하고... 그냥 까만 글씨만 있어서”
“보통 설문조사하면 위에는 ‘동의합니다’ 이런 내용 같아 가지고 그냥 넘겼는데...”
특히 2차 인지면접의 첫 번째 참여자가 흑백글씨가 주목을 끌지 못했다고 밝혀, 이후의 면접에서는 지침의 주요 부분을 원색으로 강조하였으나, 시각적으로 강조하는 것만으로 작성지침에 주목하는 효과를 보이지는 않았다. 2차 면접 5번째 참여자 면접 시에 작성지침의 내용을 조사지의 해당하는 부분에 반복적으로 노출시키는 방법으로 수정한 조사지를 이용하였고, 연구 참여자는 응답 시 지침의 내용을 인식하여 답하였다.
조사지를 작성할 때 조사 응답자가 유념해야할 핵심적인 내용은 식사에 대한 회상 준거기간, 목록에 제시된 음식의 해당기간 동안 섭취빈도, 제시된 분량과 비교한 상대적인 섭취분량이다. 연구 참여자들은 준거기간 동안 섭취하지 않은 음식을 구분하여 응답하고 있었으나, 최근 한 달 동안 먹지 않은 음식을 ‘거의 안먹음’에 표시하는 대신 응답을 비워두는 경우도 있었다.
“순두부찌개는 최근에 안먹었어요”
“안먹는 건 체크 안해도 되는 거죠?”
섭취빈도와 섭취분량의 작성부분은 일반적인 식품섭취빈도 조사지와 같이 표 형태로 구성되었다. 섭취빈도의 응답항목과 섭취분량의 응답항목이 표 상단에 제시되어, 목록의 각 음식마다 조사 대상자가 섭취한 빈도와 분량을 골라 해당 위치의 빈칸에 표시하는 형식이다. 섭취 빈도는 ‘거의 안먹음’과 섭취한 경우의 빈도를 8개로 나누어 ‘한달에 1번’부터 ‘하루에 3번’까지 섭취빈도가 증가하는 순으로 제시되었는데, 연구 참여자들은 이중 하나를 선택하는 것임을 쉽게 인지하지 못하였다. 1차 면접 참여자 5명 중 1명, 2차 면접 참여자 4명 중 2명이 9개 빈도 중 하나를 선택하는 것임을 인지하여, 2차 면접 5번째 참여자의 면접에서는 조사지의 섭취빈도 응답항목에 하나만 선택하는 것임을 제시하였다.
“그럼 뭐 이거 기준을 일일 일주일 일개월 뭐 이렇게 잡아야하는 거예요? 아니면⋯ (선택하는 것임을 설명함) 선택하는 거예요?”
“하루 기준, 한주 기준, 한달 기준, 아예 안먹는 것 이렇게 세 가지 부분으로 나누어서... ”
식품목록은 ‘밥류’, ‘국수·만두 등’, ‘국류’와 같이 조리법의 차이와 끼니와 간식으로 섭취하는 음식의 구분에 따라 16개로 분류하여 제시되어 있다. 1차 인지면접과 2차 인지면접에서 각각 한 명이 음식분류에 따라 음식을 선별하여 응답하는 것으로 인지하였다.
“밥류는 하루에 두 번 정도구요. 쌀밥 위주로 먹고.. 음.. ”
“밥류 중에서 주로 먹는 것을 선택해서 얼마나 자주 섭취하는 지 체크하는 거라고 생각했어요. 각각을 다 체크하는 것이 아니라...“
섭취분량을 응답하는 방식에 대해서는 연구 참여자 모두 제시되어 있는 분량과 비교하여 상대적으로 응답하는 것임을 인지하였다. 그러나 1차 인지면접 5명 중 한 명은 제시되어 있는 분량을 기준으로 조사대상이 섭취하는 분량을 응답하는 것이 아니라, 조사대상이 섭취하는 분량을 기준으로 제시되어 있는 분량에 대해 응답하는 것으로 잘못 이해하였다. 이후 조사지의 수정을 통해 비교내용을 서술적으로 제시한 2차 인지면접에서는 모두 바르게 이해하였다.
“제가 착각한게요, 이거가 이 양. 애기가 많다고 느끼면 여기다 했어야 했죠?”
조사지의 목록에 제시된 음식항목 중에는 일상적으로 사용하는 일반적인 이름이 아니라, 설명이 필요할 수도 있는 항목, 비슷하여 서로 구분하여 응답하기 어려운 항목, 조사 응답자의 판단에 따라 확장하여 응답하는 항목이 있었다. 특히, 연구 참여자 중 조리경험이 없는 보육원의 양육자는 생선의 종류를 잘 구분하지 못하여 응답에 어려움이 있었다.
“희석과일즙 ... 뽀로로음료. 이게 그거죠?”
“젤리를 얼려서 만든 것도, 주스를 얼려서 만든 것도, 샤베트라고 하면”
“아이스바랑 아이스크림이랑 뭐가 다르죠?”
“채소샐러드에다, 생야채 뭐 그렇게 그냥 괄호치고 써도, 오이나 당근 같은 거 파프리카 이런 거”
“김튀김⋯ 김튀김 이게 뭐예요?”
“깍두기는 배추김치보다 총각김치에.”
“이 무국이 쇠고기무국인줄 알았는데, 이 밑에 보니까 쇠고기국이 있더라구요.”
섭취분량 응답을 돕기 위해 제시한 1회 섭취분량은 한 번에 섭취하는 분량을 응답하기 위한 비교기준이란 의미로 “기준분량”이란 용어를 사용하였다. 연구 참여자들은 ‘기준’의 의미를 섭취량을 비교하기 위한 기준이 아니라, 섭취기준의 의미로 이해하고 있었다. 응답에 영향을 미칠 수 있는 요인으로 판단되어 2차 인지면접시 ‘참고분량’이란 용어로 수정한 조사지를 사용하였으며, 연구 참여자들은 섭취분량을 표현하기 위한 비교기준으로 이해하여 응답하였다.
“기준이 일반적으로 예를 들면 한 아이가 먹었을 때 이 정도는 이 영양에서 섭취해야 되는 기준이라던가⋯ 기준분량이”
참고분량을 제시할 때 분량의 단위가 익숙하지 않은 경우, 분량을 잘 가늠하지 못하거나 완전히 다르게 이해하는 경우도 있어 수정 후 2차 인지면접에 적용하였다.
“‘8절’이 몇이죠?”
“1/2개? 이개 두개예요? 두개 반이라는 거예요?”
2. 정보검색
조사지 음식항목의 섭취내용을 응답하기 위해 조사 응답자들이 어떤 정보들을 이용하고 있으며, 필요한 정보를 기억에서 끌어내기 위한 어떠한 전략을 이용하고 있는지 탐색하였다.
연구 참여자들은 회상 준거기간 중 섭취한 모든 음식에 대해 응답하기 위해 가정에서 섭취한 음식 외에 어린이집 등에서의 급식, 외식으로 섭취한 음식의 정보에 대해 기억하려고 노력하였다.
“집에서는 안먹는데 어린이집에서는 한 세조각 정도는 먹는다고 하더라구요.”
“밖에 나가서 먹는 것도. 저희 집에서 먹는 것뿐만 아니고 외식하는 것도...”
1차 인지면접에 응한 5명 중 3명은 응답할 때 가정 밖에서 섭취한 음식을 고려하여 답하였고, 2명은 고려하지 못하였다. 2차 면접에서 “집 밖에서 섭취한 음식도 포함하여 답해주시기 바랍니다(예를 들면, 어린이집 급식)”와 같은 내용으로 작성지침을 추가하여 조사하였을 때, 작성지침에 주목하였던 2명 모두 응답 시 고려하였다고 답하였다.
조리빈도와 선호도에서 연구 참여자들이 음식항목의 섭취 빈도를 회상하는 방식은 구체적인 섭취빈도를 세어서 계산하는 방식보다는 주로 아이의 선호도와 조리빈도에 의존해 대략 추정하는 방식이었다.
“나물 무침, 감자볶음이 진짜 가끔가다 해줘서⋯ ”
“미역국은 좋아하니까 두 번 정도”
“미역줄기 볶음은 어린이집에서는 모르겠는데, 제가 해주면 거의 내뱉었던 것 같아요. 그래서 거의 안먹는 걸로 표시 할게요.”
음식섭취 맥락에서 음식항목에 따라서는 해당음식을 섭취하는 맥락을 이용하여 빈도를 추정하는 방식으로 응답하였다.
“시금치 나물은 일주일에 그냥 김밥넣을 때 이럴 때 그냥 무쳐주거나 넣어주는데⋯”
“감자튀김. 프랜치후라이. 이거는 애들이 엄청 좋아하는 건데, 음⋯ 햄버거 먹으러 갈 때?”
“삼계탕, 닭백숙, 닭곰탕은 한번. 말복이 끼어 있어서”
“케잌도 한달에 한번. 생일이 항상 있기 때문에”
“주먹밥은 음.. 소풍간다거나 할 때”
‘야쿠르트⋯ 이거 제가 많이 사주는 편이 아니라서 그냥. 가끔 어디 가면 ... 누가 줘서 ... 애들 데리고 다니는 엄마들이 이런 걸 들고 다니니까⋯ 뭐 한달에 두세번 ... “
동반하지 않은 식사의 정보에서 어린이집에서 섭취한 음식에 대해서는 섭취를 추정할 수 있는 다양한 정보를 이용하였다.
“어린이집 식단표에 의지해서”
“아이가 뭘 먹고 있다고 어린이집에서 항상 코멘트를 주거든요. 오늘은 이런 이런 거를 먹었다고. 거기 생각하면서 했어요.”
섭취분량을 회상할 때 식사시간에 아이에게 제공한 분량과 남긴 분량을 회상하였다. 제공한 기준분량을 회상의 단서로 이용하기도 하였다.
연구대상 조사지에서 요구하는 회상 준거기간은 ‘지난 한달’이었으나, 작성과정에서 회상 준거기간 범위 밖의 내용을 응답하는 오류를 범하기도 하였다.
“하다가 착각했어요. 한달동안 먹은 걸 안하고 그동안 먹은걸 해 가지고... ”
3. 판단
동반하지 않은 식사 정보에 대해서는 응답내용에 확신이 낮았다.
“알고는 있었는데, 어린이집 것을 제가 일일이 따지지 못해서”
“사실 저는 메뉴를 보기는 보는데 근데 매번 기억을 할 수 는 없으니까 정확하게 사실은 그거는 감안할 수는 없었던 것 같아요.”
연구 참여자들은 제시된 분량을 확인하며 아이가 섭취한 분량을 추정하였다. 끼니마다 섭취량이 다른 경우는 평균적인 수준으로 응답하였으며, 반찬의 경우는 식사량을 이용하여 추정하기도 하였다.
“아침, 점심, 저녁에 따라서 밥 양이 다르거든요. 그랬을 때는 여기에서 ... 그냥 평균을”
“저의 애기가 밥을 한 반 공기 먹으니까 한 세작은술은 먹는 것 같아요.”
제시된 분량의 단위가 제공하는 단위와 같을 경우는 수월하게 추정하였으나, 다른 경우는 어려움을 표명하였다. 제시된 분량의 단위로 이용된 대접, 공기의 크기는 부피를 제시하여 크기를 가늠할 수 있도록 하였으나 가정에서 사용하는 크기와 비교하여 분량을 추정하는 과정은 연구 참여자마다 차이가 있었다.
“대접이나 컵. 이런 거는 다가오거든요. 그나마. 왜냐하면 국물이나 이런 대접이 이런 게 있으니까 공기나 이런 거는 다가오는데”
“엄마가 거의 먹여주는데, 밥이랑 같이 이렇게 얹어서 주잖아요. 그래서 다시 한번 생각하게 되는 것 같아요”
“조기 같은 거는 마리로 따지거든요.”
“큰 술 이런 거는 저희는 큰 술보다는 이거를 몇번 먹었느냐가 사실 와 닿긴 하거든요.”
“아이의 밥그릇에”
“우리 어른들 먹는 밥공기”
여러 경로로 섭취한 음식들은 그 섭취 빈도를 종합하여 응답하였다.
“유치원에서도 먹고 집에서도 먹고, 집에서는 한 달에 두세 번 밖에 안 해주는데, 그렇게 따지면 일주일에 한번 정도는 먹는 꼴이 되겠네요.”
“쌀밥은 하루에 두 번 이상씩 잡곡밥은 이 정도 될 것 같아요. 왜냐하면 저는 안먹이지만 원에서 먹이기 때문에”
섭취빈도가 불규칙적인 음식 회상은 준거기간 동안 규칙적이지 않은 섭취는 음식마다의 섭취를 평균하여 섭취빈도를 추정하였다.
“한 이주 정도는 쌀밥을 먹고. 이주 정도는 잡곡밥을 먹은것 같아가지고 (일주일에 다 세 번씩)”
“카레라이스는 음 한번 끓이면 이틀은 먹으니까 한달에 이틀 정도는 먹는 것 같아요.”
최종 보고한 주식류의 섭취빈도가 하루 식사횟수보다 많거나 적은 경우가 있었다. 다양한 종류의 주식을 섭취할 때 섭취하는 빈도가 특정 주식에 치우쳐 있는 경우는 일상적으로 섭취하는 주식을 하루의 주식섭취빈도로 응답하고, 그 밖의 것들을 추가적으로 응답하였다. 그러나 다양한 종류의 주식을 고르게 섭취하는 경우는 상대적인 섭취빈도를 월단위 또는 주단위 응답항목을 선택하여 응답하는 경우도 있었다.
“매일 3끼를 다 밥을 먹을 때도 있고 중간에 김밥이나 이런 걸 먹을 때도 있는데“
“한 이주 정도는 쌀밥을 먹고. 이주 정도는 잡곡밥을 먹은것 같아 가지고 (일주일에 다 세 번씩)”
여러 음식으로 구성된 항목에서 먹지 않는 음식이 있는 경우 응답방법에 대해 고민하였으나, 그중 먹는 음식을 기준으로 빈도를 종합하여 응답하였다.
“모밀국수(메밀국수), 물냉면, 우동, 쌀국수, 칼국수, 떡국⋯ 우동이랑 떡국은 먹거든요? 이런 경우에는 이중에 몇개만, 한 개만 되도, 체크하는 건가요?“
“여기에 두 개 정도 있으면 두 개를 기준으로 삼아서 이중에 우리 아이가 먹는 음식이 두 개 정도 있으며 그걸 기준삼아서”
연구 참여자들은 밥 종류에 따라 배식분량이 다른 것이나 실 섭취를 고려하여 정확한 답변을 하고자 노력하였다.
“반찬이 없어서 볶음밥이나 오므라이스는 밥을 먹을 때 그냥 일반 쌀밥이나 잡곡밥을 먹을 때 보다 더 많이 밥을 주고요.”
“콩조림을 한 달에 먹으면 거의 막 한 작은 술을 먹긴 먹는데 거의 막 버리는 게 더 많은 것 같아요. 그래서 비슷한 것 같기도 해요”
4. 응답
조사지의 섭취빈도 응답부분이 섭취빈도가 낮은 것부터 제시되어 있는 것이 연구 참여자들이 응답에 필요한 정보들을 효율적으로 회상하는데 도움이 되었다. 연구 참여자들은 같은 음식군내의 음식들을 회상 준거기간 동은 먹은 음식과 먹지 않은 음식으로 구분한 후, 먹는 음식에 대해 구체적인 응답을 하는 방식을 취하기도 하였다.
“‘거의 안먹음’이 제일 처음에 있으니까⋯ 먼저 걸러주는게 좋은 것 같아요”
연구대상 조사지 응답부분의 초기 형태는 섭취빈도의 기준이 되는 ‘월’, ‘주’, ‘일’ 간의 구분선과 섭취분량 부분의 구분선과 동일하여 연구 참여자들이 응답해야 하는 부분을 구분하는데 어려움이 있었다. 또한 조사지에 제시된 식품목록은 줄마다 음영의 차이를 두어 구분이 되도록 하였으나, 줄을 혼동하는 실수를 하기도 하였다.
“여기에다 체크하고 여기에다 또 체크해야할 것 같은 느낌이 들어서⋯ ”
“밀렸어요. 고등어구이가 아니라⋯ 조기구이”
연구 참여자들은 건강하지 않은 식품의 섭취를 응답할 때 주저하는 모습을 보였다. 또한 정성스런 음식, 다양한 섭취에 민감한 반응을 보였다.
“라면은 일주일에 한번 정도. 하하하. guilty.”
“잡채는 제가 잘 안해줘서. 하하하. 손이 많이 가서.”
“귤 잘 안먹고, 이것도 철이 있어서. 약간 애매하긴 한데, (한 달 동안 먹었던 걸) ⋯ 그 생각도 하긴 했는데, 이게 또 그러면 왠지 영양이⋯”
“애들한테 더 이렇게 영양적으로 먹어야겠구나 생각이 들었고.“
“어... 그럼 문제가 있는 거야? 그럴 수 있으니까“
고 찰
본 연구에서는 유아의 식사섭취를 조사하기 위한 식품섭취빈도조사지 개발을 위해 조사지 응답 중 인지과정에 관한 정보를 수집하고 질적으로 분석하였다. 조사 응답자들의 인지과정을 탐색하기 위한 면접방법으로 소리내어 생각하기와 구두탐침기법을 병행하였으며, 탐침 시 후향적 탐침을 원칙으로 하였다. 그러나 응답자들이 식품섭취빈도 조사지나 인지면접에 익숙하지 않아 조사지 작성이 진행되지 않는 경우는 문제점을 기록한 후 조사방법을 안내하며 동시적 탐침을 수행하기도 하였다. 조사지의 개선을 위한 인지면접은 회당 5∼15명을 대상으로 하는 소규모의 면접을 수행하고, 확인된 인지문제를 검토하여 조사지에 반영한 후 면접을 반복하는 순환적인 과정을 거친다(Willis GB 2005). 본 연구에서는 면접 초기부터 동일한 인지문제가 반복 관찰되어 최소 수준인 5명을 대상으로 면접을 진행한 후 면접결과를 검토하였다. 이를 통해 조사지를 개선한 후 2차 면접을 수행하였으며, 2차 면접과정에서 포화과정에 도달하였다고 판단되어 2차 면접 후 면접을 종료하였다. 인지과정 탐색을 통해 응답의 정확성과 관련이 있는 인지문제들은 인지과정 전 단계에서 확인하였는데(Table 3), 인지면접을 통해 드러난 인지문제를 통해 조사지 디자인 개선방향을 찾을 수 있었고, 그 외 인지과정 탐색결과는 조사수행 지침에 반영하여 조사의 정확성 향상을 도모할 수 있다.
특히 1단계 질문 이해와 4단계 응답에서 드러난 주요 문제는 조사지 디자인과 관련된 것이 많았다. 식품섭취빈도 조사지는 음식 항목의 섭취빈도와 분량을 묻는 동일한 질문이 항목의 수만큼 반복되는 동시에, 항목별 상이한 1회 섭취분량이 제시되어야 한다. 따라서 조사지의 효율적 구성을 위해 각 음식 항목이 목록화 되어 있고, 여기에 섭취빈도를 응답할 수 있는 부분과 섭취 분량을 응답할 수 있는 부분이 별도의 열로 추가된 표 형태를 하고 있다. 이는 독립적인 질문과 답가지가 순차적으로 제시되는 일반 설문지와는 매우 다른 형태의 구성으로 식품섭취빈도 조사지를 처음 접하는 조사 응답자는 어떻게 답해야 하는지 쉽게 판단하지 못할 수 있다. 따라서 응답자들이 빈도 응답구간과 분량 응답구간 각각에 한 가지씩 빈도와 분량을 골라 응답하는 것임을 인지하기 쉽게 조사지가 구성되어야 한다.
자가작성 목적의 조사지를 개발할 때 무엇보다 작성지침을 반드시 읽고 이를 준수하여 작성하여야 하는데, 연구 참여자들 중에는 이를 간과하는 경우가 많았다. 설문지 디자인상 주의를 획득하는데 미흡한 점이 있을 수 있으나, 존재를 인지하고도 읽지 않는 경우도 없지 않았다. 작성지침이 잘 마련되었더라도 자가작성 방식의 조사에서는 사전에 조사안내를 위해 조사 응답자와 접촉하여 작성지침을 주지시키는 과정이 필수적이라 판단되었다.
조사의 회상준거기간은 빈번하게 관찰되는 인지문제였다. Lee GS 등(2007)은 지난 일 년을 화상준거기간으로 하는 식품섭취빈도 조사지의 응답에 대해 인지면접 연구를 수행하였는데, 계절식품을 1년간의 평균적인 섭취빈도로 응답하는 부분에 조사 응답자들이 어려움을 표현하였다. 본 연구에서는 지난 한 달간을 회상 준거기간으로 하였으나, 이러한 문제가 완전히 해소되지는 않았다. 작성지침을 간과하여 회상 준거기간을 인지하지 못하는 경우도 있었고, 확인을 하고도 작성하는 과정 중에 잊어버리는 경우도 있었으며, 섭취다양이 낮아지는 결과를 의식하여 준거기간을 무시한 응답을 하기도 하였다. 또한 회상 준거기간 동안 섭취하지 음식은 ‘거의 안먹음’에 응답하는 대신 응답하지 않고 지나가는 경우도 있어서, 자가작성하여 제출하는 경우 섭취하지 않은 것인지, 응답을 누락한 것인지 구분할 수 없게 될 가능성이 있었다.
응답단계의 탐색에서 응답자가 내면적으로 도출된 답을 조사지에 제시된 항목과 잘 연결하여 답할 수 있는지를 확인하였는데, 줄줄이 나열된 음식항목의 빈도와 분량을 응답하는 과정에서 응답해야 하는 항목의 줄을 혼동하는 경우가 있었으며, 이를 방지하기 위해 음영을 달리하여 구분하였으나, 실수 가능성을 배제할 수는 없었다. 조사 후 응답의 확인과정이 꼭 필요하며, 전자조사표를 이용할 수 있는 경우는 조사모듈의 디자인 시 미응답 방지를 논리적인 구조를 반드시 고려해야 한다.
특히 응답단계에서는 사회적 바람직함(social desirability)의 영향을 받는데, 정확한 답변을 주저하게 하는 민감한 질문일 경우, 앞선 3개 단계의 인지과정에 문제없이 알맞은 답을 도출하고도 의도적으로 응답을 변경하는 경우가 있을 수 있다. 연구 참여자들의 인지를 탐색하는 과정에서 자녀에게 제공하는 식사의 양적 질적 부족함에 대해 염려하는 것을 관찰하였고, 응답하는 과정에서 이를 의식하는 것을 확인할 수 있었다. 식생활은 건강에 좋은 음식과 나쁜 음식에 대한 일반화된 인식, 소득수준과 사회적 계층을 암시하는 음식들의 존재 등으로 그 자체가 민감한 내용인데, 자녀의 성장과 건강이라는 가치와 양육자의 의무에 대한 의식이 더해지면서 더욱 민감한 질문으로 작용할 수 있다. 사회적 바람직함에 대한 민감성을 낮추기 위해서 조사자의 태도와 문항의 어조에 중립성이 요구되는 것은 물론이며, 익명성을 보장하는 조사방식이 유리할 것으로 판단되었다.
연구 참여자들은 인지하고 있는 음식과 일치하는 음식항목이 없는 경우, 비슷한 음식항목에 응답하려고 노력하였으며, 여러 개의 음식이 하나의 항목을 구성하는 경우, 그중 섭취하는 음식을 기준으로 응답하였다. 이러한 방식의 응답이 영양소 데이터베이스 구성 등 조사의도와 맞는지 검토할 필요가 있으며, 섭취조사의 결과 해석 시 참고할만한 정보였다.
식품섭취빈도 조사지 개발 시 식품목록의 길이를 줄이기 위해 하나의 항목에 여러 식품과 음식을 함께 포함하는 경우가 있다. 이때 식품의 섭취특성을 고려하지 않고 하나의 항목으로 묶는 경우, 조사의 정확성을 낮출 수 있다(Thimpson FE 등 2002). Lee GS 등(2007)의 연구에서도 조리방법이나 가치 인식이 다른 식품을 같은 항목으로 묶는 경우, 응답자들의 응답을 어렵게 하였다고 보고하였다. 본 연구의 식품섭취빈도 조사지에서는 다소 식품목록이 길어지더라도 음식의 특성을 고려하여 항목을 나누어 제시하였기 때문에(Kang M & Shim JE 2020), 본 연구의 참여자들에서는 같은 항목으로 묶인 음식들에 대해서 위와 같은 문제로 응답에 곤란을 표현한 경우는 없었다.
또한, 음식항목이 일상적으로 사용하는 제품명 대신 일반적인 명칭으로 제시된 경우, 대체로 바르게 인지하고 있었으나 확신하지 못하는 경우가 있으므로, 자가작성 방식의 조사 시에도 조사원이 참관하여 필요한 설명을 제공하는 방식이 고려되어야 할 것으로 보였다. 연구 참여자들이 구분하지 못하는 비슷한 음식항목은 해당항목이 선택된 개발과정을 검토하여 수정 여부를 고려할 필요가 있었다.
본 연구에서는 전사한 면접내용을 처리하기 위해 Tourangeau R 등(2000)의 인지모델을 코딩체계로 이용하였다. Tourangeau R(1984)의 모델이 사회적 바람직함에 대한 민감성을 판단과 추정이 이루어지는 3단계 인지과정으로 제시하였으나(Will GB 2005), Tourangeau R 등(2000)의 모델은 4단계 인지과정에서 응답을 수정하는 요인으로 제시하고 있다는 점에 차이가 있다.
문자화된 면접내용은 4단계 인지 모델의 각 단계로 정리하여 분류하였으나, 모든 조사 응답자가 4단계를 다 거치는 것은 아니다. Presser S & Blair J(1994)가 사용한 코딩체계는 7개의 분류로 구성되어 있는데, 이중 4개의 분류가 Tourangeau R의 인지모델의 1단계 이해를 다루고 있으며, 2, 3, 4단계는 하나의 분류로 통합하여 자료를 처리하였다. 응답자에 따라 응답을 위한 인지과정에서 어떤 단계는 필수적이나, 다른 단계는 선택적으로 도입되며, 4단계를 순차적으로 거치지 않는 경우도 있는데, 어느 단계들로 인지과정을 구성할지는 조사 응답자가 얼마나 정확히, 얼마나 빨리 원하는 답을 찾고자 하는지에 달려 있다(Tourangeau R 등 2000).
본 식품섭취빈도 조사지의 경우, 빈도 응답구간을 ‘거의 안먹음’부터 제시함으로써 회상 준거기간동안 섭취하지 않은 음식을 먼저 걸러내는 기회를 제공하여 이후의 인지과정을 간소화하는 효과가 있었다. 또한 식품섭취빈도 조사는 식품목록의 각 항목에 대한 섭취빈도와 섭취분량을 묻는 동일한 질문이 반복되므로 인지모델의 2단계와 3단계가 주로 작용하는 조사이나 본 연구의 참여자들은 이 인지단계에서 생각보다 단순한 과정을 거쳤다. 2단계와 3단계는 거의 동시에 진행되었는데, 연구 참여자들은 섭취빈도와 분량을 구체적으로 계산하기 보다는 직관적으로 응답하였다. 일상적인 식품의 경우는 문제가 되지 않지만, 섭취가 불규칙한 식품에 대해서는 명확한 추정을 위한 전략이 필요할 수도 있다.
연구 참여자들은 가정뿐 아니라, 여러 상황에서 섭취한 경험을 모두 회상하여 종합적인 빈도를 추정하였고, 이러한 추정에는 어려움을 표현하지 않았으나, 섭취의 경험을 모두 회상해 내는 것, 특히 자녀와 동반하지 않은 식사의 정보를 확보하는 것이 필수적이므로 조사 전 응답자들에게 참고할 만한 정보를 확보할 수 있도록 주지시킬 필요가 있었다.
한편, 본 연구의 식품섭취빈도 조사지는 섭취빈도 응답 항목의 빈도 간격이 일정하지 않기 때문에 주나 월 단위로 자주 섭취하지 않는 음식은 하루에 여러 번 섭취하였어도 반영되지 않아 섭취빈도가 과소평가될 수 있다. 그리고 주식류는 섭취하는 주식의 다양성과 섭취양상에 따라 과대 또는 과소평가될 가능성이 있음이 관찰되었다. 그러나 조사지의 식품 목록에 제시된 전체 음식에 대해서 응답자가 회상 준거기간 동안의 섭취를 종합하여 섭취 빈도를 조정하여 답하는 일은 매우 어려운 일이다. 특히 섭취하는 분량이 가장 큰 주식류의 섭취빈도가 과대 또는 과소평가되면 섭취결과에 미치는 영향이 크기 때문에, 하루에 섭취하는 끼니를 고려하여 주식류 섭취빈도를 조정(calibration)하고, 이에 대한 타당성을 검정하는 과정이 필요할 것으로 생각되었다.
Chamber E IV 등(2000)은 식사 회상을 통해 섭취분량을 추정하는 과정을 인지면접을 통해 탐색하여 12가지의 추정 전략을 추출하였으며 음식의 종류에 따라 주로 적용하는 전략에 차이가 있음을 확인하였다. 그러나 식품섭취빈도 조사지는 1회 섭취분량이 제시되어 있어 섭취량의 회상과 추정의 과정을 단순화하는 효과가 있었다. 다만 제시된 1회 섭취 분량의 단위가 실제 섭취하는 단위가 아닌 경우, 섭취량과의 비교를 어려워하는 경우도 있었다. 그러나 식품의 자연단위로 표현한 경우에는 식품크기의 인지 차이가 있기 때문에 (Lee GS 등 2007), 향후 실물의 크기를 가늠할 수 있는 사진 등의 보조 조사도구 도입을 고려할 필요가 있었다.
요약 및 결론
본 연구는 주 양육자를 대상으로 양육하는 유아의 식사섭취를 조사하기 위한 식품섭취빈도 조사지를 개발하는 과정에서 인지 타당성을 향상시키기 위해 조사지 응답의 인지과정을 탐색하는 인지면접을 수행하고 질적으로 분석하였다. 인지면접은 만 1세∼5세 유아의 주 양육자를 대상으로 5명씩 2차에 걸쳐 소리내어 생각하기 면접, 구두탐침기법을 병행하여 수행하였으며, 구두탐침은 후향적 탐침을 원칙으로 하였다. 면접내용은 녹취 후 전사하여 문서화하고 Tourangeau R 등(2000)의 4단계 인지모델을 코딩체계로 이용하여 처리하였다. 1차 인지면접의 인지과정 탐색에서 나타난 인지문제를 개선하기 위해 조사지 디자인을 수정한 후 2차 인지면접을 수행하고, 1차 면접에서의 인지문제 중심으로 탐색하였다. 조사타당성을 위해 조사 응답자의 인지향상이 필요한 문제를 인지모델 단계에 따라 요약하면 다음과 같다.
- 1. 조사문항의 이해 단계에서 관찰된 문제는 작성지침의 간과, 빈도 응답구간에 대한 오해, 익숙하지 않은 음식명, 유사한 음식항목의 구분이었다.
- 2. 정보회상 단계에서는 자녀와 동반하지 않은 식사정보 부재, 회상 준거기간 망각의 문제가 관찰되었다.
- 3. 판단단계에서는 섭취한 음식의 단위와 제시된 1회 섭취 분량 단위의 차이에 따른 응답 곤란, 주식이 되는 음식 항목 섭취빈도의 과대/과소평가의 가능성이 관찰되었다.
- 4. 응답단계에서는 음식 항목 간 응답 줄을 혼동하여 잘못 응답하는 경우가 관찰되었고, 건강하지 못한 음식을 섭취한다거나, 식사 다양성이 부족하다거나, 섭취량이 충분하지 못하다고 인지하는 경우 사회적 바람직함에 대해 민감성이 높은 것으로 관찰되었다.
이해 단계에서 작성지침에 주목하지 못하는 문제와 회상 준거기간 망각의 문제는 조사지의 분문 중 해당부분에 작성 지침을 삽입하여 반복적으로 노출하는 방법과 음식항목의 이해 및 자녀와 동반하지 않은 식사 정보에 대해서는 조사원을 통한 안내와 설명을 강화하는 방안을 고려하였다. 혼동을 초래하는 음식 항목의 삭제, 조사 후 분석단계에서 섭취끼니 정보를 기초로 주식 항목의 섭취빈도를 조정하는 방안을 도입할 수 있다. 섭취단위와 조사지에 제시된 1회 섭취분량의 단위 차이로 인한 어려움은 분량 사진을 이용한 조사 보조도구의 도입을 고려해 볼 수 있으며, 응답단계에서의 오류는 전자조사표의 도입을 통해 논리적 차단이 가능하다. 섭취하는 음식에 있어 사회적 바람직함의 영향은 비대면 방식의 조사 도입으로 민감성을 낮출 수 있을 것으로 판단되었다. 본 연구를 통해 탐색한 조사 응답자들의 인지과정과 주요 인지 문제는 조사지 및 조사지침 개발에 반영하여 조사의 타당성 향상에 기여할 수 있을 것으로 기대한다.
Financial Support
This work was supported by the National Research Foundation of Korea (NRF) grant funded by the Korean Government (Ministry of Science and ICT, MSIT; grant number 2016R1D1A1B03931820).
REFERENCES
-
Berenson GS, Srinivasan SR, Bao WH (1998) Association between multiple cardiovascular risk factors and atherosclerosis in children and young adults. N Engl J Med 338(23): 1650-1656.
[https://doi.org/10.1056/NEJM199806043382302]
-
Bingham SA, Luben R, Welch A, Wareham N, Khaw KT, Day N (2003) Are imprecise methods obscuring a relation between fat and breast cancer?. The Lancet 362(9379): 212-214.
[https://doi.org/10.1016/S0140-6736(03)13913-X]
-
Block G (1982) A review of validations of dietary assessment methods. Am J Epidemiol 115(4): 492-505.
[https://doi.org/10.1093/oxfordjournals.aje.a113331]
-
Chambers E IV, Godwin SL, Vecchio FA (2000) Cognitive strategies for reporting portion sizes using dietary recall procedures. J Am Dietet Assoc 100(8): 891-897.
[https://doi.org/10.1016/S0002-8223(00)00259-5]
-
Corvalán CJ, Weisstaub KG, Uauy R (2009) Impact of growth patterns and early diet on obesity and cardiovascular risk factors in young children from developing countries. Proceedings Nutr Soc 68(3): 327.
[https://doi.org/10.1017/S002966510900130X]
-
Hsieh HF, Shannon SE (2005) Three approaches to qualitative content analysis. Qualitative Health Research 15(9): 1277-1288.
[https://doi.org/10.1177/1049732305276687]
-
Kang M, Shim JE (2020). Development of a food frequency questionnaire for dietary intake of preschool children. Nutr Res Pract 14(4):374-383.
[https://doi.org/10.4162/nrp.2020.14.4.374]
- Lee GS, Yi MS, Joung HJ, Paik HY (2007) Response experiences with a semi-quantitative food frequency questionnaire: A qualitative study using cognitive interview. J Nutr Health 40(6): 566-575.
- Lessler JT, Forsyth BH (1996) A coding system for appraising questionnaires. pp 259-291. In: Answering questions: Methodology for determining cognitive and communicative processes in survey research. N Schwarz, S Sudman (eds). Jossey-Bass, San Francisco, CA, USA.
-
Lien N, Lytle LA, Klepp KI (2001) Stability in consumption of fruit, vegetables, and sugary foods in a cohort from age 14 to age 21. Prev Med 33(3): 217-226.
[https://doi.org/10.1006/pmed.2001.0874]
-
Lovell A, Bulloch R, Wall CR, Grant CC (2017) Quality of food-frequency questionnaire validation studies in the dietary assessment of children aged 12 to 36 months: A systematic literature review. J Nutritional Science 6:e16.
[https://doi.org/10.1017/jns.2017.12]
-
Nicklas TA, Farris RP, Smoak CG, Frank GC, Srinivasan SR, Webber LS, Berenson GS (1988) Dietary factors relate to cardiovascular risk factors in early life. Bogalusa Heart Study. Arteriosclerosis 8(2): 193-199.
[https://doi.org/10.1161/01.ATV.8.2.193]
-
Presser S, Blair J (1994) Survey pretesting: Do different methods produce different results? Vol 24. pp 73-104. In: Sociological methodology. PV Marsden (ed). American Sociological Association, Washington, DC, USA.
[https://doi.org/10.2307/270979]
-
Skinner JD, Carruth BR, Bounds W, Ziegler PJ (2002) Children’s food preferences: A longitudinal analysis. J Am Diet Assoc 102(11): 1638-1647.
[https://doi.org/10.1016/S0002-8223(02)90349-4]
- Smith AF (1991) Cognitive processes in long-term dietary recall. Vital Health Stat 6(4). National Center for Health Statistics, Hyattsville, MD, USA.
-
Subar AF, Thompson FE, Smith AF, Jobe JB, Ziegler RG, Potischman N, Schatzkin A, Hartman A, Swanson C, Kruse L, Hayes RB (1995) Improving food frequency questionnaires: A qualitative approach using cognitive interviewing. J Am Dietet Assoc 95(7): 781-788.
[https://doi.org/10.1016/S0002-8223(95)00217-0]
-
Thompson FE, Subar AF, Brown CC, Smith AF, Sharbaugh CO, Jobe JB, Mittl B, Gibson JT, Ziegler RG (2002) Cognitive research enhances accuracy of food frequency questionnaire reports: Results of an experimental validation study. J Am Dietet Assoc 102(2): 212-225.
[https://doi.org/10.1016/S0002-8223(02)90050-7]
-
Tourangeau R, Rips LJ, Rasinski K (2000) The Psychology of Survey Response. Cambridge University Press, New York, NY, USA, pp 1-22, 323-355.
[https://doi.org/10.1017/CBO9780511819322]
- Tourangeau R (1984) Cognitive science and survey methods: A cognitive perspective. pp 73-100. In: Cognitive aspects of survey methodology: Building a bridge between disciplines. Jabine T, Straf M, Tanur J, Tourangeau R (Eds). National Accademy Press, Washington, DC, USA.
- Willett W (2013) Nutritional Epidemiology. Oxford University Press, New York, NY, USA, pp 70-89.
- Willis GB (1997) NCHS Cognitive Interviewing Project: General Coding Scheme for Questionnaire Problems. National Center for Health Statistics, Hyattsville, MD, USA.
- Willis GB (2005) Cognitive Interviewing: A Tool for Improving Questionnaire Design. Sage Publications, Thousand Oaks, CA, USA, pp 5-11, 42-86, 151-174.
-
Wynder EL, Cohen LA, Winters BL (1997) The challenges of assessing fat intake in cancer research investigations. J Am Dietet Assoc 97(7): S5-S8.
[https://doi.org/10.1016/S0002-8223(97)00723-2]