RELIABILITY
Reliable person is Consistent, dependable and predictable – what (s)he will do tomorrow and next week will be consistent with what (s)he does today and what (s)he has done last week.
An unreliable person is one whose behavior is much more variable and one can say (s)he is inconsistent.
The inherent aspects and synonyms of reliability are:
• dependability
• stability
• consistency
• predictability
• accuracy
• equivalence
Stability and Equivalence Aspects of Reliability
• The stability aspect is concerned with securing consistent results with repeated measurements of the same researcher and with the same instrument. We usually determine the degree of stability by comparing the results of repeated measurements.
• The equivalence aspect considers how much error may get introduced by different investigators or different samples of the items being studied. A good way to test for the equivalence of measurements by two investigators is to compare their observations of the same events.
Two ways to Improve Reliability
i) By standardizing the conditions under which the measurement takes place i.e. we must ensure that external sources of variation such as boredom, fatigue etc., are minimized to the extent possible to improve the stability aspect.
ii) By carefully designing directions for measurement with no variation from group to group, by using trained and motivated persons to conduct the research and also by broadening the sample of items used to improve equivalence aspect.
METHODS OF DETERMINING THE RELIABILITY
i) Test – Retest Method
ii) Alternative Form Method / Equivalent Form / Parallel Form
iii) Split-Half Method
Test – Retest Method
One of the easiest ways to estimate the reliability of empirical measurements is by the test – retest method in which the same test is given to the same people after a period of time.
The reliability is equal to the correlation between the scores on the same test obtained at two points in time. If one obtains the same results on the two administrations of the test, then the test – retest reliability coefficient will be 1.00
But may not give correct result because of the instability of measures taken at multiple points in time. For example, anxiety, motivation and interest may be lower during the second administration of the test simply because the individual is already familiar with it.
Advantages
• This method can be used when only one form of test is available.
• Test – retest correlation represent a naturally appealing procedure.
Limitations
• Researchers are often able to obtain only a measure of a phenomenon at a single point in time.
• Expensive to conduct test and retest and some time impractical as well.
• Memory effects lead to magnified reliability estimates. If the time interval between two measurements is short, the respondents will remember their early responses and will appear more consistent than they actually are.
Alternative Form Method/Equivalent Form/Parallel Form
The alternative form method which is also known as equivalent / parallel form is used extensively in education, extension and development research to estimate the reliability of all types of measuring instruments.
It also requires two testing situations with the same people like test- retest method.
But it differs from test – retest method on one very important regard i.e., the same test is not administered on the second testing, but an alternate form of the same test is administered. Thus two equivalent reading tests should contain reading passages and questions of the same difficulty.
But the specific passages and questions should be different i.e., approach is different. It is recommended that the two forms be administered about two weeks apart, thus allowing for day –to- day fluctuations in the person to occur.
The correlation between two forms will provide an appropriate reliability coefficient.
Advantages
• The use of two parallel tests forms provides a very sound basis for estimating the precision of a psychological or educational test
• Superior to test- retest method, because it reduces the memory related inflated reliability.
Limitations
• Basic limitation is the practical difficulty of constructing alternate forms of two tests that are parallel.
• Requires each person’s time twice.
• To administer a secondary separate test is often likely to represent a somewhat burdensome demand upon available resources.
Split-Half Method
Testing reliability of measuring instrument for its internal consistency.
In split-half method, a test is given and divided into halves and are scored separately, then the score of one half of test are compared to the score of the remaining half to test the reliability.
In split-half method, 1st-divide test into halves.
The most commonly used way to do this would be to assign odd numbered items to one half of the test and even numbered items to the other, this is called, Odd-Even reliability.
- 2nd- Find the correlation of scores between the two halves by using the Pearson r formula.
- 3rd- Adjust or re-evaluate correlation using Spearman-Brown formula which increases the estimate reliability even more.
Spearman-Brown formula
r = 2 r / 1+ r
r = estimated correlation between two halves (Pearson r).
Advantages
• Both, the test – retest and alternative form methods require two test administrations with the same group of people. In contrast the split –half method can be conducted on one occasion.
• Split-half reliability is a useful measure when impractical or undesirable to assess reliability with two tests or to have two test administrations because of limited time or money.
Limitations
• Alternate ways of splitting the items results in different reliability estimates even though the same items are administered to the same individuals at the same time.
Example: The correlation between the first and second halves of the test would be different from the correlation between odd and even items.
Major Limitations of Reliability Estimating Methods
Test-retest method: Experience in the first testing usually will influence responses in the second testing.
Alternative form method: It can be quite difficult to construct alternative forms of a test that are parallel.
Split-half method: The correlation between the halves will differ depending on how the total number of items is divided into halves.
Alternate form method provide excellent estimate of reliability in spite of its limitation of constructing two forms of a test.
To over ome this limitation, it is recommended that, randomly divide a large collection of items in half to have two test administrations.
विश्वसनीयता
विश्वसनीय व्यक्ति सुसंगत, भरोसेमंद और पूर्वानुमेय है – वह कल क्या करेगा और अगले सप्ताह वह आज क्या करता है और उसने पिछले सप्ताह क्या किया है।
एक अविश्वसनीय व्यक्ति वह है जिसका व्यवहार बहुत अधिक परिवर्तनशील है और कोई कह सकता है कि वह असंगत है।
विश्वसनीयता के निहित पहलू और पर्यायवाची हैं:
• निर्भरता
• स्थिरता
• संगति
• भविष्यवाणी
• सटीकता
• तुल्यता
विश्वसनीयता की स्थिरता और समानता पहलू
• स्थिरता पहलू का संबंध एक ही शोधकर्ता के बार-बार माप के साथ और एक ही उपकरण के साथ संगत परिणाम हासिल करने से है। हम आम तौर पर दोहराया माप के परिणामों की तुलना करके स्थिरता की डिग्री निर्धारित करते हैं।
• समतुल्यता के पहलू पर विचार किया जाता है कि विभिन्न जांचकर्ताओं या अध्ययन की जा रही वस्तुओं के विभिन्न नमूनों से कितनी त्रुटि हो सकती है। दो जांचकर्ताओं द्वारा माप की समानता के लिए परीक्षण करने का एक अच्छा तरीका समान घटनाओं के उनके अवलोकनों की तुलना करना है।
विश्वसनीयता सुधारने के दो तरीके
i) उन परिस्थितियों को मानकीकृत करके जिनके तहत माप होता है यानी हमें यह सुनिश्चित करना चाहिए कि स्थिरता के बाहरी स्रोतों जैसे कि ऊब, थकान आदि को कम किया जाए, स्थिरता के पहलू को बेहतर बनाने के लिए कम से कम संभव हो।
ii) प्रशिक्षित और प्रेरित व्यक्तियों द्वारा अनुसंधान का संचालन करने के लिए और साथ ही समतुल्य पहलू में सुधार के लिए उपयोग की जाने वाली वस्तुओं के नमूने को व्यापक करके, समूह से समूह में भिन्नता के साथ माप के लिए सावधानीपूर्वक दिशा-निर्देश तैयार करना।
RELIABILITY को दर्शाने का तरीका
i) टेस्ट – रीटेस्ट विधि
ii) वैकल्पिक फॉर्म विधि / समतुल्य फॉर्म / समानांतर फॉर्म
iii) विभाजित-आधी विधि
टेस्ट – रीस्टेस्ट विधि
अनुभवजन्य मापों की विश्वसनीयता का अनुमान लगाने के सबसे आसान तरीकों में से एक परीक्षण – रीटेस्ट विधि है जिसमें एक ही परीक्षा एक ही समय के बाद एक ही लोगों को दी जाती है।
विश्वसनीयता समय में दो बिंदुओं पर प्राप्त एक ही परीक्षण पर स्कोर के बीच संबंध के बराबर है। यदि कोई परीक्षण के दो प्रशासनों पर समान परिणाम प्राप्त करता है, तो परीक्षण – रेटेस्ट विश्वसनीयता गुणांक 1.00 होगा
लेकिन समय में कई बिंदुओं पर किए गए उपायों की अस्थिरता के कारण सही परिणाम नहीं दे सकता है। उदाहरण के लिए, चिंता, प्रेरणा और रुचि परीक्षण के दूसरे प्रशासन के दौरान कम हो सकती है, क्योंकि व्यक्ति पहले से ही परिचित है।
लाभ
• इस पद्धति का उपयोग तब किया जा सकता है जब परीक्षण का केवल एक रूप उपलब्ध हो।
• टेस्ट – रेटेस्ट सहसंबंध स्वाभाविक रूप से आकर्षक प्रक्रिया का प्रतिनिधित्व करता है।
सीमाओं
• शोधकर्ता अक्सर किसी एक बिंदु पर केवल एक घटना का माप प्राप्त करने में सक्षम होते हैं।
• परीक्षण और रीटेस्ट आयोजित करने के लिए महंगा और कुछ समय के लिए अव्यावहारिक भी।
• मेमोरी इफेक्ट्स आवर्धित विश्वसनीयता अनुमानों की ओर ले जाते हैं। यदि दो मापों के बीच का समय अंतराल कम है, तो उत्तरदाता अपनी प्रारंभिक प्रतिक्रियाओं को याद रखेंगे और वास्तव में वे जितना अधिक सुसंगत दिखाई देंगे।
वैकल्पिक फॉर्म विधि / समतुल्य फॉर्म / समानांतर फॉर्म
वैकल्पिक रूप विधि जिसे समकक्ष / समानांतर रूप में भी जाना जाता है, का उपयोग सभी प्रकार के मापने वाले उपकरणों की विश्वसनीयता का अनुमान लगाने के लिए शिक्षा, विस्तार और विकास अनुसंधान में बड़े पैमाने पर किया जाता है।
इसके लिए एक ही तरह के लोगों के साथ दो परीक्षण स्थितियों की आवश्यकता होती है जैसे टेस्ट- रीटेस्ट विधि।
लेकिन यह परीक्षण से भिन्न होता है – एक बहुत ही महत्वपूर्ण संबंध पर रीस्टेस्ट विधि यानी, एक ही परीक्षण को दूसरे परीक्षण पर प्रशासित नहीं किया जाता है, लेकिन एक ही परीक्षण का एक वैकल्पिक रूप प्रशासित किया जाता है। इस प्रकार दो समतुल्य पठन परीक्षणों में पठन मार्ग और एक ही कठिनाई के प्रश्न शामिल होने चाहिए।
लेकिन विशिष्ट मार्ग और प्रश्न अलग-अलग होने चाहिए यानी दृष्टिकोण अलग है। यह अनुशंसा की जाती है कि दो रूपों को लगभग दो सप्ताह अलग किया जाए, इस प्रकार व्यक्ति को दिन में उतार-चढ़ाव होने की अनुमति मिलती है।
दो रूपों के बीच सहसंबंध एक उचित विश्वसनीयता गुणांक प्रदान करेगा।
लाभ
• दो समानांतर परीक्षणों के रूपों का उपयोग मनोवैज्ञानिक या शैक्षिक परीक्षण की सटीकता का अनुमान लगाने के लिए एक बहुत ही उचित आधार प्रदान करता है
• परीक्षण के लिए बेहतर- रीस्टेस्ट विधि, क्योंकि यह मेमोरी से संबंधित फुलाया विश्वसनीयता को कम करता है।
सीमाओं
• मूल सीमा दो परीक्षणों के वैकल्पिक रूपों के निर्माण की व्यावहारिक कठिनाई है जो समानांतर हैं।
• प्रत्येक व्यक्ति के समय की दो बार आवश्यकता होती है।
• द्वितीयक अलग-अलग परीक्षण को संचालित करने के लिए अक्सर उपलब्ध संसाधनों पर कुछ हद तक भारी मांग का प्रतिनिधित्व करने की संभावना होती है।
विभाजित-आधा तरीका
इसकी आंतरिक स्थिरता के लिए माप उपकरण की परीक्षण विश्वसनीयता।
स्प्लिट-हाफ विधि में, एक परीक्षण दिया जाता है और हिस्सों में विभाजित किया जाता है और अलग-अलग स्कोर किया जाता है, फिर विश्वसनीयता का परीक्षण करने के लिए शेष आधे के स्कोर की तुलना शेष आधे के स्कोर से की जाती है।
विभाजित-आधी विधि में, प्रथम-विभाजित परीक्षण आधा में।
ऐसा करने के लिए सबसे अधिक इस्तेमाल किया जाने वाला तरीका विषम संख्या वाली वस्तुओं को परीक्षण के एक आधे हिस्से तक और यहां तक कि दूसरे को गिने जाने वाले आइटमों को असाइन करना होगा, इसे ऑड-ईवन विश्वसनीयता कहा जाता है।
2 – पियरसन आर फॉर्मूला का उपयोग करके दो हिस्सों के बीच स्कोर के सहसंबंध का पता लगाएं।
3-स्पीयरमैन-ब्राउन फॉर्मूला का उपयोग करके सहसंबंध को समायोजित या पुनर्मूल्यांकन करें जो अनुमान की विश्वसनीयता को और अधिक बढ़ाता है।
स्पीयरमैन-ब्राउन फार्मूला
r = 2 r / 1+ r
आर = दो हिस्सों के बीच अनुमानित सहसंबंध (पियर्सन आर)।
लाभ
• दोनों, परीक्षण – रीटेस्ट और वैकल्पिक रूप विधियों में एक ही समूह के लोगों के साथ दो परीक्षण प्रशासन की आवश्यकता होती है। इसके विपरीत विभाजित-विधि एक अवसर पर आयोजित की जा सकती है।
• स्प्लिट-हाफ विश्वसनीयता एक उपयोगी उपाय है जब दो परीक्षणों के साथ विश्वसनीयता का आकलन करने के लिए अव्यावहारिक या अवांछनीय है या सीमित समय या धन के कारण दो परीक्षण प्रशासन हैं।
सीमाओं
• वस्तुओं को विभाजित करने के वैकल्पिक तरीकों के परिणामस्वरूप अलग-अलग विश्वसनीयता का अनुमान होता है, भले ही समान वस्तुओं को एक ही समय में एक ही व्यक्ति को प्रशासित किया जाता है।
उदाहरण: परीक्षण के पहले और दूसरे पड़ाव के बीच संबंध विषम और यहां तक कि वस्तुओं के बीच संबंध से अलग होगा।
विश्वसनीयता अनुमान लगाने के तरीकों की प्रमुख सीमाएँ
टेस्ट-रीस्टेस्ट विधि: पहले परीक्षण में अनुभव आमतौर पर दूसरे परीक्षण में प्रतिक्रियाओं को प्रभावित करेगा।
वैकल्पिक रूप विधि: एक परीक्षण के वैकल्पिक रूपों का निर्माण करना काफी कठिन हो सकता है जो समानांतर हैं।
स्प्लिट-हाफ विधि: हाफ के बीच सहसंबंध इस बात पर निर्भर करेगा कि वस्तुओं की कुल संख्या को आधा में कैसे विभाजित किया जाता है।
वैकल्पिक रूप विधि परीक्षण के दो रूपों के निर्माण की सीमा के बावजूद विश्वसनीयता का उत्कृष्ट अनुमान प्रदान करती है।
इस सीमा को समाप्त करने के लिए, यह अनुशंसा की जाती है कि, बेतरतीब ढंग से दो टेस्ट प्रशासन के लिए आइटम के बड़े संग्रह को आधे में विभाजित करें।