• ValidityApart from the consistenc

• Validity
Apart from the consistency of measurement which is the reliability, the test
should test on what it is intended to test and this is dealing with the issue of validity.
Validity plays a crucial role in the quality of the test. The test is valid if it measures what it is to be measured in accordance with its purpose. Validity can be considered in various types; the three main categories are focused in this test review which are face validity, construct validity and content validity.


Face validity is the perception by the ordinary people of whether the test is valid and this depends on the degree of acceptance to the test context, contents and tasks regarding the presentation of the target language use. In TOEIC test, the language is in job-related environment. Face validity is subjective judgements and can be influenced through various strategies including effective advertisement and peers’ evaluation. Due to the international popularity with the broad range of the applications including, business, educational institution and government, TOEIC is claimed to pose high face validity (Chauncey Group International, 2002).


Construct validity refers to whether or not the test is actually testing the criteria it claims to test (Cunningham, 2002). Focusing on listening comprehension, the constructs to be measured are the ability to understand the vocabulary and idiom, discriminate the minimal pairs, make inference and extract the main idea from the conversation. The format use in TOEIC is the multiple-choice type that can be measured accurately and objectively. However, this format type has been claimed by many researchers of its negative effect on the issue of validity. Cunningham, 2002 states that “…real-life interaction does not consist of multiple-choice options. The format does not require examinee to demonstrate an ability to use the language; neither are they required to manipulate it.”
Though poses high reliability in statistical evidence, TOEIC has been widely argued of its validity. With the emphasis on the listening skill, in real world setting people can show their listening ability in different ways. This can be seen in particular constructs which are the ability to make the inference and extract the main idea of the short talk in part four. In order to test this ability, the test takers should understand the talk thoroughly and reflect their understanding without being distracted from the multiple-choice available in the test booklet. The way to reflect the understanding on the focus of the talk or the specific details, people can take note. Note-taking cannot only reflect the ability of the people on the mentioned construct but is also considered as an authentic task used in real world setting. This is considered the limitation of the multiple-choice type that the test takers cannot reflect their actual ability through this format.
Due to the large number of test-takers, multiple-choice type is considered convenient and can be objectively scored. However, its limitation outweighs the convenience and reliability. The test will not be considered valid if it cannot portray the actual ability of the test-takers. Since TOEIC is considered a high-stake standardized test, its effect is tremendous. The issue of validity must therefore be taken into a great consideration in conjunction with washback effect of the test.


Content validity refers to the experts’ judgement on the extent to which a test’s content is proportionally representative of all the construct’s features. In the case of TOEIC, the content is based on the need analysis conducted by the ETS from the corporations around the world. This approach is argued by Moriyoshi that it is not based on validation theory on the presentation of the test language’s features. However, the TOEIC test is viewed as high content validity on the practical standpoint (Moritoshi, 2001 cited in Nall, 2003). Therefore, it is still uncertain whether the content including the topic and the tasks is the representative of the target language use in business domain.

結果 (繁體中文) 1:

• 有效性除了測量的可靠性，測試的一致性應該測試什麼它用來測試，這處理的有效性問題。有效性測試品質至關重要的作用。該測試有效，如果它衡量它是根據其目的測量。有效性可以考慮在不同的類型 ；三個主要類別主要集中在這一測試審查的是表面效度、 結構效度和內容效度。 表面效度是普通百姓對測試是否有效，這取決於測試上下文、 內容和有關目的語言使用的演示文稿任務的接受程度。在托業考試中的語言是在與工作有關的環境中。表面效度是主觀判斷，可以影響主要是通過各種戰略，包括有效的廣告和同輩人的評價。由於國際間的知名度和廣泛的應用，包括商業、 教育機構和政府，聲稱托業考試是構成高表面效度 （比盧普斯集團國際，2002年）。 結構效度是指測試實際上測試它聲稱要測試 （坎甯安，2002年） 的標準。專注聽力理解，構造來衡量是能夠理解的詞彙和成語、 歧視最小對立體、 作出的推論，從談話中提取的主要思想。在托業考試中的使用格式是多項選擇題的類型，可以準確、 客觀地衡量。然而，這種格式類型宣稱被許多研究者對效力問題及其負面影響。坎甯安，2002年指出"...真實生活的互動不是由多項選擇題的選項所組成。格式不要求考生能夠展示能力使用的語言 ；也不是他們需要對其進行操作"。雖然帶來了高可靠性的統計證據，托業考試一直廣泛認為的它的有效性。聽力技巧重點，在現實世界中設置人可以顯示聽力理解能力以不同的方式。這可以見於特定構造所作出的推論和提取短小的演講，在第四部分的主要思想的能力。為了測試這種能力，考生應該全面理解談話和反映他們的理解，而不會分心選擇題可用在測試的摺頁冊。方法以反映集中的談話或具體細節，人們的理解可以注意到這一點。記筆記只不能對上述構造反映人們的能力，但也被視為真實的任務，在真實的世界背景中使用。這被認為是多項選擇題類型考生不能反映其實際的能力，通過這種格式的限制。由於考生人數眾多，多項選擇題型被認為是方便，可以客觀地得分。然而，其局限性勝過的便利性和可靠性。測試不會視為有效，如果它描繪不出考生的實際能力。由於托業考試被認為是高風險的標準化的測試，其影響是巨大的。效力問題因此必須考慮到偉大結合反撥效應的測試。內容效度指的是專家們的判斷上，測試內容是成比例的代表該構造的所有功能的程度。在托業考試，內容基於由來自世界各地的公司電子投標系統進行需求分析。這種方法是由守好爭辯說，不基於驗證理論測試語言功能的簡報。然而，托業考試看作是較高的內容效度，對實際的角度來看 （盛年，2001 述釘，2003年）。因此，內容包括主題和任務是否在業務域中使用目的語言代表的目標，亦是還是個未知數。

結果 (繁體中文) 2:

•有效期
除了測量的一致性是可靠性，測試
應該測試什麼它旨在測試，這是處理的有效性的問題。
有效期起著測試的質量至關重要的作用。測試是有效的，如果它測量它是什麼，根據其目的，以進行測量。有效期可以考慮各種類型; 這三個主要類別都集中在此次評測中它們是表面效度，結構效度和內容效度。表面效度是通過感知的測試是否有效的普通人，這取決於接受程度測試環境，內容和任務有關的目標語言使用的演示文稿。在託業考試，語言是與工作相關的環境。表面效度是主觀判斷，可以通過各種策略，包括有效的廣告和同行的評價的影響。由於與廣泛的應用，包括商業，教育機構和政府的國際知名度，TOEIC聲稱造成高表面效度（昌國際集團，2002年）。結構效度是指測試是否實際測試標準它聲稱測試（坎寧安，2002年）。注重聽力理解，要測量的結構是理解的詞彙和成語，區分最小對，做出推斷和提取談話的主要思想的能力。在託業考試的格式使用的是選擇題的類型，可以準確，客觀地衡量。但是，這種格式類型一直聲稱對有效性問題上的負面影響許多研究者。坎寧安2002年指出：“......現實生活的互動並不包括選擇題的選項。該格式不要求考生證明使用的語言的能力; 也不是他們所需要操縱它。“ 雖然提出了在統計證據可靠性高，TOEIC已被廣泛認為其有效性。與注重傾聽技巧，在現實世界中設置的人可以表現出不同的方式聽力能力。此可以看出，在特定構建體是使推斷和提取的短談話的主要思想的部分4的能力。為了測試這種能力，對考生應明白及理解談話和反映他們的理解不從選擇題在試卷提供分心。反思談話或具體細節的重點理解的方式，人們可以多加留意。記筆記不僅可以反映所提到的結構的人的能力，但也被認為是在現實世界中的設置使用一個真實的任務。這被認為是選擇題類型的考生不能反映通過這種形式他們的實際能力的限制。由於大量的測試者，多項選擇題類型被認為是方便，可以客觀地得分。但是，它的限制遠遠超過了方便性和可靠性。該測試將不被視為有效，如果它不能描繪測試考生的實際能力。由於TOEIC被認為是一個高風險的標準化考試，它的效果是巨大的。有效性問題，因此必須考慮到一個偉大的考慮與測試的反撥作用相結合。內容效度是指專家判斷在何種程度上測試的內容是按比例代表所有結構的特點。在託業考試的情況下，內容是基於來自世界各地的公司的ETS進行了需求分析。這種方法是通過森吉它不是基於驗證理論上的測試語言的特徵的演示爭辯。然而，TOEIC考試被視為高內容效度的實際情況來看（森利2001年引納爾，2003年）。因此，它仍然是不確定的，包括主題，任務的內容是否是在業務領域的目標語言使用的代表。