The Quality of the Test • Reliabili

The Quality of the Test
• Reliability
Reliability is the crucial concern of the test quality and is often defined
as consistency of the measurement. The scores from one test should be consistent with another set of scores regardless of the difference of the test-takers, test environment and test format (Bachman and Palmer, 1996). Therefore, the test is reliable when the identical or near identical test is administered twice and the result is consistent and highly similar within the same group of the test-takers (Bachman and Palmer, 1996 cited in Cunningham, 2002). The TOEIC's reliability, estimated using the reliability coefficient (Chauncey Group International, 1999), and is between 0.91 for listening comprehension section (a value of 1 being perfect reliability). This statistical evidence reflects the high reliability of the test.
• Validity
Apart from the consistency of measurement which is the reliability, the test
should test on what it is intended to test and this is dealing with the issue of validity.
Validity plays a crucial role in the quality of the test. The test is valid if it measures what it is to be measured in accordance with its purpose. Validity can be considered in various types; the three main categories are focused in this test review which are face validity, construct validity and content validity.
Face validity is the perception by the ordinary people of whether the test is valid and this depends on the degree of acceptance to the test context, contents and tasks regarding the presentation of the target language use. In TOEIC test, the language is in job-related environment. Face validity is subjective judgements and can be influenced through various strategies including effective advertisement and peers’ evaluation. Due to the international popularity with the broad range of the applications including, business, educational institution and government, TOEIC is claimed to pose high face validity (Chauncey Group International, 2002).
Construct validity refers to whether or not the test is actually testing the criteria it claims to test (Cunningham, 2002). Focusing on listening comprehension, the constructs to be measured are the ability to understand the vocabulary and idiom, discriminate the minimal pairs, make inference and extract the main idea from the conversation. The format use in TOEIC is the multiple-choice type that can be measured accurately and objectively. However, this format type has been claimed by many researchers of its negative effect on the issue of validity. Cunningham, 2002 states that “…real-life interaction does not consist of multiple-choice options. The format does not require examinee to demonstrate an ability to use the language; neither are they required to manipulate it.”
Though poses high reliability in statistical evidence, TOEIC has been widely argued of its validity. With the emphasis on the listening skill, in real world setting people can show their listening ability in different ways. This can be seen in particular constructs which are the ability to make the inference and extract the main idea of the short talk in part four. In order to test this ability, the test takers should understand the talk thoroughly and reflect their understanding without being distracted from the multiple-choice available in the test booklet. The way to reflect the understanding on the focus of the talk or the specific details, people can take note. Note-taking cannot only reflect the ability of the people on the mentioned construct but is also considered as an authentic task used in real world setting. This is considered the limitation of the multiple-choice type that the test takers cannot reflect their actual ability through this format.
Due to the large number of test-takers, multiple-choice type is considered convenient and can be objectively scored. However, its limitation outweighs the convenience and reliability. The test will not be considered valid if it cannot portray the actual ability of the test-takers. Since TOEIC is considered a high-stake standardized test, its effect is tremendous. The issue of validity must therefore be taken into a great consideration in conjunction with washback effect of the test.
Content validity refers to the experts’ judgement on the extent to which a test’s content is proportionally representative of all the construct’s features. In the case of TOEIC, the content is based on the need analysis conducted by the ETS from the corporations around the world. This approach is argued by Moriyoshi that it is not based on validation theory on the presentation of the test language’s features. However, the TOEIC test is viewed as high content validity on the practical standpoint (Moritoshi, 2001 cited in Nall, 2003). Therefore, it is still uncertain whether the content including the topic and the tasks is the representative of the target language use in business domain.

• Washback
Washback from TOEIC test has been focused in term of its effect on both
teaching and learning in the preparation to achieve a high score. The washback can be both positive and negative.
The TOEIC test has been administered worldwide and gained tremendous effect on the test-takers, teaching and learning approach and educational system. Due to the need to gain a high score on the test, the negative washback on “teaching to test” derives. TOEIC preparation course is considered a profitable educational industry and the aim of the course is to raise the test-takers’ score. Test-takers are taught through the small set of various test-taking strategies and focusing on a particular content that is expected to appear on the test. They gain a high test score without the improvement of their constructs or the actual ability in language use. The test-takers are also affected on their investment in terms of time and money for learning test-taking strategy instead of learning a language in a holistic approach.
Additionally, this negative washback has shaped the design of the curriculum
by narrowing or distortion. The reflection is on the reduction of the emphasis on the skills that require complex thinking or problem-solving skills (Alderson and Wall, 1993 cited in Rob and Ercanback, 1999). This can then affect the instructional approach directly.
The scenario from negative washback can be clearly seen in Thailand where TOEIC has been used not only for work-related purposes but also as a language proficiency reference by many academic institutions. A vast number of language institutions offer TOEIC preparation courses with similar emphasis on test-taking strategy. The students have not learned a language skill; instead they have been taught through the test-taking strategies. Thus, their language ability is not developed.
Due to the international reputation, TOEIC score has been used by many business organizations in a decision making process involving, staff hiring and promotion. Similar problem regarding negative washback exists in the business context where the staff who pose high score in TOEIC test cannot communicate appropriately. This can cause the vital problem for their future career where English is a means of communication in their organization.
In contrast, there is a positive washback on the test-takers extrinsic motivation to gain the high score. This group of people therefore pays more attention on the practice of the language and invests more time and money on the test preparation. They are exposed and interact with the target language more (Nall, 2003).



• Practicality
Practicality is considered the strength and the key selling point of TOEIC. It is
the commercial test that can be implemented worldwide with the available resources including human, material and time. The administration of the test is convenient and available via the contact of ETS representative. The test is proved to be an effective tool to differentiate the level of test-takers proficiency. In addition, the scoring system of the test is fair due to the multiple-choice format which is objective in nature and considered to pose high reliability that can yield the consistent result regarding the difference of the examinees, test administration’s time and place. The result of the test can be obtained rapidly and conveniently within less than 2 hours (Chauncey Group International, 2000). The test can be administered with a large number of test-takers due to the format of the test that can be easily marked through the computerized system.
In conclusion, TOEIC has been proved by a large number of researches of its
reliability and practicality. However, there are various strong arguments on the multiple-choice option format for testing receptive skills which then leads to the issue of validity of the test. Since the test is internationally administered, the wasback is inevitably tremendous. Therefore, more researches on this standardized test on the issue of validity are required for the effective use of the test.

結果 (繁體中文) 1:

測試品質• 可靠性可靠性是有關測試品質的關鍵，通常定義作為測量的一致性。從一個測試分數應與另一組的成績即使有差別的考生、 測試環境和測試格式 （巴克曼和帕默，1996年） 相一致。因此，這個試驗是可靠的當兩次執行相同或接近相同的測試，結果是一貫的、 高度類似內的同一集團的考生 （巴克曼和帕默，1996 述坎甯安，2002年）。托業考試的可靠性，利用可靠性係數 （比盧普斯集團國際，1999年），估計和 0.91 為聽力部分 （1 被完美的可靠性值） 之間。這一統計證據反映了測試的高可靠性。• 有效性除了測量的可靠性，測試的一致性應該測試什麼它用來測試，這處理的有效性問題。有效性測試品質至關重要的作用。該測試有效，如果它衡量它是根據其目的測量。有效性可以考慮在不同的類型 ；三個主要類別主要集中在這一測試審查的是表面效度、 結構效度和內容效度。表面效度是普通百姓對測試是否有效，這取決於測試上下文、 內容和有關目的語言使用的演示文稿任務的接受程度。在托業考試中的語言是在與工作有關的環境中。表面效度是主觀判斷，可以影響主要是通過各種戰略，包括有效的廣告和同輩人的評價。由於國際間的知名度和廣泛的應用，包括商業、 教育機構和政府，聲稱托業考試是構成高表面效度 （比盧普斯集團國際，2002年）。結構效度是指測試實際上測試它聲稱要測試 （坎甯安，2002年） 的標準。專注聽力理解，構造來衡量是能夠理解的詞彙和成語、 歧視最小對立體、 作出的推論，從談話中提取的主要思想。在托業考試中的使用格式是多項選擇題的類型，可以準確、 客觀地衡量。然而，這種格式類型宣稱被許多研究者對效力問題及其負面影響。坎甯安，2002年指出"...真實生活的互動不是由多項選擇題的選項所組成。格式不要求考生能夠展示能力使用的語言 ；也不是他們需要對其進行操作"。雖然帶來了高可靠性的統計證據，托業考試一直廣泛認為的它的有效性。聽力技巧重點，在現實世界中設置人可以顯示聽力理解能力以不同的方式。這可以見於特定構造所作出的推論和提取短小的演講，在第四部分的主要思想的能力。為了測試這種能力，考生應該全面理解談話和反映他們的理解，而不會分心選擇題可用在測試的摺頁冊。方法以反映集中的談話或具體細節，人們的理解可以注意到這一點。記筆記只不能對上述構造反映人們的能力，但也被視為真實的任務，在真實的世界背景中使用。這被認為是多項選擇題類型考生不能反映其實際的能力，通過這種格式的限制。由於考生人數眾多，多項選擇題型被認為是方便，可以客觀地得分。然而，其局限性勝過的便利性和可靠性。測試不會視為有效，如果它描繪不出考生的實際能力。由於托業考試被認為是高風險的標準化的測試，其影響是巨大的。效力問題因此必須考慮到偉大結合反撥效應的測試。內容效度指的是專家們的判斷上，測試內容是成比例的代表該構造的所有功能的程度。在托業考試，內容基於由來自世界各地的公司電子投標系統進行需求分析。這種方法是由守好爭辯說，不基於驗證理論測試語言功能的簡報。然而，托業考試看作是較高的內容效度，對實際的角度來看 （盛年，2001 述釘，2003年）。因此，內容包括主題和任務是否在業務域中使用目的語言代表的目標，亦是還是個未知數。• 反撥作用從托業考試反撥作用已集中在術語及其對兩者的影響教與學的準備達到了很高的分數。反撥作用能被肯定和否定。托業考試一直管理世界各地，並獲得了巨大的影響考生，教與學方法和教育系統。由於需要獲得高分的試驗，對"應試教學"的負面反撥作用派生。TOEIC 預備課程被認為是一個有利可圖的教育產業和課程的目的是提高考生的分數。考生被教導通過各種應試策略，專注于特定的內容，預計將在考試中出現的小集合。他們獲得高的測試分數如果不改善其構造或語言使用中的實際能力。考生還會影響他們投資的時間和金錢為學習而不是學習一種語言在通盤的應試策略。此外，這個消極的反撥作用塑造了課程的設計通過縮小或失真。反射是強調需要複雜思維的技能或解決問題的技能 （奧爾德森和牆，1993 Rob 和 Ercanback，于 1999 年引用） 的減少。這然後可以直接影響教學的方法。從負面反撥作用的場景可以清楚地見於的泰國在托業考試曾經不僅是為與工作有關的目的，也是作為語言熟練程度參考由很多的學術機構。大量的語言機構提供 TOEIC 預備課程與同樣注重應試策略。學生們還沒有學會一項語言技能 ；相反他們被教導通過應試策略。因此，他們的語言能力，不是被發展的。由於國際聲譽，托業成績曾經被很多商業機構在決定制作過程涉及、 員工錄用和晉升。在工作人員提出在托業考試中的得分高的人不能進行適當溝通的業務上下文中存在相同的問題，關於消極的反撥作用。在他們的組織中，這會導致英語在哪裡他們未來職業生涯的重要問題的通信手段。與此相反的是，還有正面反撥作用對考生的外在動機，以獲得最高分。這群人因此越來越重視語言的實踐，並投入更多的時間和金錢上測試準備。他們被暴露和更多的互動與目標語 （釘，2003年）。• 實用性實用性被考慮強度和托業考試的關鍵的賣點。它是可以用現有的資源，包括人力、 物力和時間在全世界實施的工業試驗。測試管理是方便並可通過 ETS 代表的接觸。試驗證明是一種有效的工具來區分考生的水準。此外，測試的評分系統是公平的由於多項選擇題的格式是在自然中的目標，認為構成可以產生關於考生的差別的結果基本一致的高可靠性測試管理的時間和地點。測試的結果可以得到快速、 方便地內少於 2 小時 （比盧普斯集團國際，2000年）。測試可以與一大批考生由於格式的測試，可以很容易地標示通過電腦化的系統管理。通過大量的研究結論，證明托業考試其可靠性和實用性。然而，在多項選擇題的選項的格式測試接受技能然後導致測試的有效性問題出各種強有力的論據。因為國際上執行測試，wasback 是不可避免地巨大的。因此，更多研究有關此標準化測試的有效性問題都需要測試的有效利用。

結果 (繁體中文) 2:

測試的質量
•可靠性
可靠性是測試質量的關鍵關注和通常被定義
為測量的一致性。在從一個測試的得分應當與另一組的分數而不管測試者，測試環境和試驗格式（巴克曼和Palmer，1996）的差異是一致的。因此，試驗是可靠時，相同或幾乎相同的測試施用兩次，結果是一致的，並且在同一組的測試者的內高度相似（巴克曼和Palmer，1996中引用的坎寧安，2002）。託業的可靠性，估計使用的可靠性係數（昌國際集團，1999年）和0.91之間的聽力理解部分（1是完美的可靠性的值）。這個統計證據反映了測試的可靠性高。
•有效期
除了測量的一致性是可靠性，測試
應該測試什麼它旨在測試，這是處理的有效性的問題。
有效期起著至關重要的作用在測試的質量。測試是有效的，如果它測量它是什麼，根據其目的，以進行測量。有效期可以考慮各種類型; 這三個主要類別都集中在此次評測中它們是表面效度，結構效度和內容效度。
表面效度是通過感知的測試是否有效的普通人，這取決於接受程度測試環境，內容和任務有關的目標語言使用的演示文稿。在託業考試，語言是與工作相關的環境。表面效度是主觀判斷，可以通過各種策略，包括有效的廣告和同行的評價的影響。由於與廣泛的應用，包括商業，教育機構和政府的國際知名度，TOEIC聲稱造成高表面效度（昌國際集團，2002年）。
結構效度是指測試是否實際測試標準它聲稱測試（坎寧安，2002年）。注重聽力理解，要測量的結構是理解的詞彙和成語，區分最小對，做出推斷和提取談話的主要思想的能力。在託業考試的格式使用的是選擇題的類型，可以準確，客觀地衡量。但是，這種格式類型一直聲稱對有效性問題上的負面影響許多研究者。坎寧安2002年指出：“......現實生活的互動並不包括選擇題的選項。該格式不要求考生證明使用的語言的能力; 也不是他們所需要操縱它。“
雖然提出了在統計證據可靠性高，TOEIC已被廣泛認為其有效性。與注重傾聽技巧，在現實世界中設置的人可以表現出不同的方式聽力能力。此可以看出，在特定構建體是使推斷和提取的短談話的主要思想的部分4的能力。為了測試這種能力，對考生應明白及理解談話和反映他們的理解不從選擇題在試卷提供分心。反思談話或具體細節的重點理解的方式，人們可以多加留意。記筆記不僅可以反映所提到的結構的人的能力，但也被認為是在現實世界中的設置使用一個真實的任務。這被認為是選擇題類型的考生不能反映通過這種形式他們的實際能力的限制。
由於大量的測試者，多項選擇題類型被認為是方便，可以客觀地得分。但是，它的限制遠遠超過了方便性和可靠性。該測試將不被視為有效，如果它不能描繪測試考生的實際能力。由於TOEIC被認為是一個高風險的標準化考試，它的效果是巨大的。有效性問題，因此必須考慮到一個偉大的考慮與測試的反撥作用相結合。
內容效度是指專家判斷在何種程度上測試的內容是按比例代表所有結構的特點。在託業考試的情況下，內容是基於來自世界各地的公司的ETS進行了需求分析。這種方法是通過森吉它不是基於驗證理論上的測試語言的特徵的演示爭辯。然而，TOEIC考試被視為高內容效度的實際情況來看（森利2001年引納爾，2003年）。因此，它仍然是不確定的，包括主題，任務的內容是否是在業務領域的目標語言使用的代表。•反撥反撥從TOEIC考試已經集中在其對兩者的影響長期的教學和學習的準備達到了很高的分數。該反撥既可以是正面的和負面的。TOEIC考試已經在全球管理，取得了對測試者，教學方法和教育系統的巨大影響。由於需要獲得較高的考試分數，在負面反撥“教學測試”衍生出來。TOEIC預備課程被認為是一個有利可圖的教育產業和課程的目的是為了提高測試者“的分數。測試者通過小集合各教的應試策略和重點，預計將出現在測試特定的內容。他們獲得較高的考試分數沒有他們的結構的改善還是在語言使用的實際能力。該測試者也被影響了他們的時間和金錢學習應試策略，而不是學習的整體方法的語言方面的投資。此外，這種消極的反撥塑造課程的設計通過縮小或變形。反射是在強調需要複雜的思維或解決問題的技能技巧的減少（奧爾德森和華爾街，1993年引自Rob和Ercanback，1999）。那麼這可能會影響教學方法直接。從負反撥該方案可以清楚地看到在泰國，TOEIC已經不僅用於工作相關的用途，但也被許多學術機構的語言能力的參考。語言院校的廣大提供TOEIC預備課程與同類強調應試策略。學生們還沒有學會一門語言技能; 相反，他們已經通過應試策略被教導。因此，他們的語言能力並不發達，由於國際聲譽，TOEIC成績一直在決策過程中涉及到，員工的招聘和晉升被許多商業機構。存在於商業背景下誰造成高分TOEIC考試的人員不能正確傳達有關負面反撥類似的問題。這可能會導致他們未來的職業生涯中，英語是他們的組織通信手段的重要問題。相反，沒有對測試者的積極反撥外在動機，以獲得高分。所以這一群人支付對語言的實踐更多的關注和投入更多的時間和金錢上的測試準備。他們接觸，並與目標語言更（納爾，2003）。互動•實用性實用性考慮強度和TOEIC的關鍵賣點。它是商用測試，可以與世界各地現有的資源，包括人力，物力和時間來實現。測試的給藥是通過ETS代表接觸的方便和提供。該測試被證明是區分的測試者能力水平的有效工具。此外，測試的評分系統由於選擇題形式是在自然界客觀認為構成可靠性高，可以得到有關考生，測試施用的時間和地點的不同的一致的結果是公平的。測試的結果可以小於2小時（昌集團國際，2000年）中迅速和方便地獲得。該試驗可與大量的測試者施用由於可以經由電腦系統很容易地標記在測試的格式。總之，託業已經證明由大量的其研究的可靠性和實用性。不過，也有對接受測試的技能，然後導致了測試有效性的問題選擇題的選項格式的各種強有力的論據。由於測試是國際上施用時，wasback必然很大。因此，需要有效利用試驗上的有效性的問題，這個標準的測試更多的研究。