Full chapter text
समस्या
एल्गोरिद्मिक सत्ता-परीक्षणक चक्र उद्देश्य → आँकड़ा → श्रेणी → संकेतक/प्रतिनिधि → नियम वा मॉडल → सीमा/क्रमांकन → निर्णय → प्रभाव → प्रतिवाद/सुधार वर्गीकरण ≠ प्रकृतिक अन्तिम नाम • भविष्यवाणी ≠ कारण • क्रमांकन ≠ मूल्य • स्वचालन ≠ उत्तरदायित्वक अन्त डिजिटल समाजमे एल्गोरिदम प्रायः अदृश्य निर्णय-व्यवस्था जकाँ काम करैत अछि। खोजमे कोन परिणाम पहिने देखाएत, ऋणक आवेदन कोन जोखिम-श्रेणीमे जाएत, भर्तीमे कोन आवेदन प्राथमिकता पायत, सामाजिक मंचपर कोन सामग्री अग्रभागमे पहुँचत, विद्यालयी वा प्रशासनिक सूचीमे के “उच्च”, “मध्यम” वा “निम्न” जोखिम मानल जाएत—एहन अनेक निर्णय नियम, आँकड़ा, मॉडल, सीमा आ क्रमांकनक संयोजनसँ बनैत अछि। समस्या ई नहि जे गणना होइत अछि; समस्या ई अछि जे गणनाक भीतर मानवीय उद्देश्य, श्रेणी, मूल्य आ संस्थागत शक्ति कतेक दृश्य अछि। “एल्गोरिदम” शब्द अक्सर जादुई निष्पक्षताक आभा लऽ लैत अछि। जँ निर्णय कम्प्यूटरसँ आयल, तँ मानि लेल जाइत अछि जे व्यक्तिगत पक्षपात हटि गेल। मुदा कम्प्यूटर केवल ओहि प्रश्नपर काम करैत अछि जे ओकरा देल गेल, ओहि आँकड़ाकेँ पढ़ैत अछि जे उपलब्ध कराओल गेल, ओहि लक्ष्यकेँ अनुकूलित करैत अछि जे बनाओल गेल, आ ओहि सीमा वा श्रेणीकेँ लागू करैत अछि जे कोनो स्तरपर मानवीय अथवा संस्थागत रूपेँ निर्धारित भेल। निष्पक्ष गणना आ निष्पक्ष व्यवस्था एकहि बात नहि। वर्गीकरण सत्ता बनैत अछि किएक तँ प्रशासन, बाजार, शिक्षा, सुरक्षा, स्वास्थ्य आ मंच-व्यवस्था व्यक्ति वा घटनाकेँ किछु सीमित श्रेणीमे पढ़ैत अछि। श्रेणी आवश्यक सेहो अछि: बिना श्रेणी अस्पताल निदान नहि करि सकत, अभिलेखागार सामग्री खोज नहि सकत, कर-व्यवस्था दायित्व व्यवस्थित नहि करि सकत, पुस्तकालय विषय-सूची नहि बना सकत। मुदा श्रेणी जखन अधिकार, अवसर, दृश्यता, दण्ड वा संसाधन-वितरणसँ जुड़ैत अछि, तखन “नाम देब” स्वयं प्रभावकारी क्रिया बनि जाइत अछि। एल्गोरिद्मिक वर्गीकरणक कठिनाई ई सेहो अछि जे श्रेणी प्रायः प्रत्यक्ष वस्तु नहि, प्रतिनिधि संकेतक (proxy) द्वारा बनैत अछि। “विश्वसनीयता” सीधे नापल नहि जा सकैत; ओकर बदला आय, भुगतान-इतिहास, पता, नेटवर्क, व्यवहार वा अन्य संकेतक उपयोग भऽ सकैत अछि। “योग्यता”क बदला परीक्षा-अंक, संस्थान, अनुभव-वर्ष, भाषिक शैली वा पूर्व नौकरी उपयोग भऽ सकैत अछि। संकेतक उपयोगी हो सकैत अछि, मुदा संकेतक आ गुणक बीचक दूरी राजनीतिक आ नैतिक प्रश्न उत्पन्न करैत अछि। एकटा आर कठिनाई अछि—भूतकालक आँकड़ा भविष्यक नियम बनि सकैत अछि। जँ ऐतिहासिक व्यवस्था असमान छल, तँ ओकर अभिलेख केवल “जे भेल” नहि देखबैत; ओ पुरान अवसर-असमानता, प्रशासनिक चयन, मापन-पक्षपात आ अनुपस्थित लोकसभक चिन्ह सेहो रखैत अछि। मॉडल जँ एहि आँकड़ासँ सीखैत अछि तँ पुरान पैटर्न भविष्यक निर्णयमे पुनःप्रवेश करि सकैत अछि, भले कोनो प्रोग्रामर स्पष्ट रूपेँ भेदभावक नियम नहि लिखने होथि।
मूल प्रतिपादन
एहि अध्यायक मूल प्रतिपादन ई अछि जे एल्गोरिदमकेँ केवल गणितीय क्रम नहि, सामाजिक-तकनीकी निर्णय-व्यवस्था मानि जाँचल जाए। कोड, आँकड़ा, श्रेणी, संस्थागत उद्देश्य, आर्थिक प्रोत्साहन, कानूनी सीमा, मानवीय समीक्षा, उपयोगकर्ता-व्यवहार आ प्रभावित समुदाय—सभ मिलि परिणाम बनबैत छथि। एल्गोरिद्मिक सत्ता कोडमे मात्र नहि; पूरा व्यवस्था आ ओकर प्रतिपुष्टि-चक्र (feedback loop)मे रहैत अछि। पहिल सिद्धान्त: वर्गीकरण आवश्यक हो सकैत अछि, मुदा कोनो प्रशासनिक श्रेणीकेँ वस्तु अथवा व्यक्तिक सम्पूर्ण स्वरूप नहि मानल जाए। “जोखिम”, “प्रतिभा”, “प्रासंगिकता”, “सन्दिग्धता”, “विश्वसनीयता”, “सक्रियता” जकाँ श्रेणी उद्देश्य-निर्भर मापन छथि। हुनकर उपयोगी सीमा अछि; हुनका अस्तित्वक अन्तिम सत्य बनाब स्वत्व-भ्रम (reification) अछि। दोसर सिद्धान्त: लक्ष्य-निर्धारण स्वयं मूल्य-निर्णय अछि। प्रणाली “सटीकता” बढ़बैत अछि—मुदा कोन त्रुटि अधिक महँगी मानल गेल? “सक्रियता” बढ़बैत अछि—मुदा सक्रियता उपयोगकर्ता कल्याणक बराबर अछि कि नहि? “जोखिम” घटबैत अछि—मुदा जोखिम केकरा लेल, कोन समय-सीमामे? उद्देश्य-फलन (objective) तकनीकी रूप लऽ सकैत अछि, मुदा प्रश्न नैतिक आ राजनीतिक रहैत अछि। तेसर सिद्धान्त: आँकड़ा वास्तविकताक पारदर्शी दर्पण नहि। आँकड़ा चयन, मापन, अनुपस्थिति, श्रेणी-निर्माण, अभिलेखन आ ऐतिहासिक संस्थाक फल अछि। “डेटामे अछि” कहब पर्याप्त कारण नहि; पूछब पड़त—के दर्ज भेल, के नहि; कोन परिस्थितिमे; कोन परिभाषासँ; कोन त्रुटि सहित; आ ई आँकड़ा वर्तमान निर्णय लेल प्रासंगिक अछि कि नहि। चारिम सिद्धान्त: भविष्यवाणी कारणक प्रमाण नहि। मॉडल किछु संकेतकसँ परिणामक सम्भावना अनुमान करि सकैत अछि, मुदा एहि सँ ई सिद्ध नहि होइत जे ओ संकेतक परिणामक कारण छथि। नीति जँ भविष्यवाणीकेँ कारण मानि हस्तक्षेप करैत अछि तँ भ्रम उत्पन्न भऽ सकैत अछि। उच्च सहसंबंध नैतिक दोष, प्राकृतिक सार वा कारणात्मक सम्बन्धक पर्याय नहि। पाँचम सिद्धान्त: त्रुटि केवल औसत प्रतिशत नहि; त्रुटिक वितरण न्यायक प्रश्न अछि। एकहि कुल सटीकता भीतर अलग समूह, भाषा, क्षेत्र, आयु, लिंग, पेशा, दिव्यांगता वा सामाजिक परिस्थिति पर गलती असमान हो सकैत अछि। तें प्रणालीक मूल्यांकनमे “कतेक गलती?”क संग “गलती केकरा पर, कोन प्रकारक, आ ओकर प्रभाव कतेक?” पूछल जाए। छठम सिद्धान्त: प्रभावित व्यक्तिक कारण-ज्ञान, प्रतिवाद आ सुधारक अधिकार एल्गोरिद्मिक न्यायक केन्द्र अछि। हर मॉडल पूर्ण रूपेँ सरल हो—ई सम्भव नहि; मुदा निर्णयक प्रासंगिक कारण, उपयोग कएल डेटा, लागू नियम, अनिश्चितता, समीक्षा-पथ आ अपीलक प्रक्रिया यथासम्भव स्पष्ट हो। अस्पष्टता तकनीकी जटिलताक कारण हो सकैत अछि, उत्तरदायित्व हटेबाक बहाना नहि। सातम सिद्धान्त: उच्च प्रभावक निर्णयमे स्वचालनक अर्थ मानवीय उत्तरदायित्वक अन्त नहि, बल्कि ओकर पुनर्विन्यास अछि। जे संस्था प्रणाली चुनैत, डेटा दैत, सीमा तय करैत, परिणाम लागू करैत आ लाभ लैत अछि, ओकर दायित्व रहत। “मशीन कहल” नैतिक प्रतिरक्षा नहि।
प्रमुख तर्क
पहिल तर्क—वर्गीकरण वर्णन मात्र नहि, हस्तक्षेप सेहो हो सकैत अछि। जँ प्रशासन ककरो “उच्च जोखिम” कहैत अछि, तँ निगरानी बढ़ि सकैत अछि; बढ़ल निगरानी अधिक घटनाकेँ दर्ज करैत अछि; अधिक दर्ज घटना फेर उच्च जोखिमक प्रमाण बनैत अछि। एहि प्रकार श्रेणी स्वयं ओहि आँकड़ाकेँ उत्पन्न करि सकैत अछि जे बादमे ओकरा सही सिद्ध करैत देखाइत अछि। दोसर तर्क—श्रेणीक सीमा सतत वास्तविकताकेँ कृत्रिम कटान दैत अछि। परीक्षा-अंक 59 आ 60, जोखिम-स्कोर 0.49 आ 0.50, आयु 17 वर्ष 364 दिन आ 18 वर्ष—व्यवस्थाक लेल सीमा जरूरी हो सकैत अछि, मुदा सीमाक दुनू ओरक व्यक्ति नैतिक रूपेँ अचानक पूर्णतः अलग नहि भऽ जाइत। थ्रेशोल्ड प्रशासनिक सुविधा अछि, प्राकृतिक खाई नहि। तेसर तर्क—प्रतिनिधि संकेतक सुविधा आ विकृति दुनू उत्पन्न करैत अछि। जँ प्रत्यक्ष गुण नापब कठिन हो, प्रणाली ओकर निकट संकेतक चुनैत अछि। मुदा पता आयक, भाषा शिक्षाक, उपकरण आर्थिक स्थितिक, नेटवर्क सामाजिक पहुँचक, खरीद व्यवहार अनेक अन्य विशेषताक प्रतिनिधि बनि सकैत अछि। एहन proxy अप्रत्यक्ष रूपेँ संवेदनशील भेद पुनःप्रविष्ट करा सकैत अछि। चारिम तर्क—लेबल प्रशिक्षणक आधार होइत अछि, मुदा लेबल स्वयं विवादातीत सत्य नहि। “स्पैम”, “विषाक्त”, “धोखाधड़ी”, “उचित”, “अनुचित”, “सफल”, “असफल” जकाँ लेबल मानवीय निर्णय, नियम वा संस्थागत इतिहाससँ बनैत अछि। लेबलक गुणवत्ता खराब हो तँ मॉडल अत्यन्त कुशलतासँ खराब मानदण्ड सीखि सकैत अछि। पाँचम तर्क—अनुपस्थित आँकड़ा सेहो अर्थपूर्ण अछि। जे समुदाय कम डिजिटल अभिलेखित अछि, जे भाषा संसाधनहीन अछि, जे रोजगार अनौपचारिक अछि, जे महिला वा वंचित व्यक्ति ऐतिहासिक रूपेँ सार्वजनिक अभिलेखसँ बाहर रहल—ओ “डेटामे कम” देखाइत छथि। कम आँकड़ा कम अस्तित्व नहि। प्रणालीकेँ अनुपस्थिति आ मौनक इतिहास पढ़बाक पड़त। छठम तर्क—मापन-वस्तु जखन मापन जानि जाइत अछि, व्यवहार बदलि सकैत अछि। विद्यालय जँ केवल परीक्षा-अंकपर मूल्यांकित हो, तँ शिक्षा परीक्षा-तैयारीक दिशामे सिमटि सकैत अछि; कर्मचारी जँ एकटा उत्पादकता-सूचकांकपर आँकल जाए, तँ सूचकांक बढ़ेबाक व्यवहार वास्तविक गुणवत्ता पर भारी पड़ि सकैत अछि। मेट्रिक लक्ष्य बनलापर मेट्रिकक अर्थ बदलि सकैत अछि। सातम तर्क—क्रमांकन तटस्थ सूची नहि। खोज परिणाम, समाचार-फीड, अनुशंसा वा भर्ती सूचीमे ऊपरक स्थान अधिक ध्यान पबैत अछि; अधिक ध्यान अधिक क्लिक, आवेदन, बिक्री वा प्रसिद्धि उत्पन्न करैत अछि; ई आँकड़ा फेर ऊपर रखबाक संकेत बनैत अछि। लोकप्रियता आ क्रमांकन परस्पर प्रतिपुष्टि दे सकैत छथि। आठम तर्क—व्यक्तिक गुण आ समूहक सांख्यिकीय पैटर्न एक नहि। समूह-स्तरीय संभावना ककरो व्यक्तिगत भविष्यक निश्चित सत्य नहि। “एहन समूहमे औसतन ई परिणाम अधिक” सँ “ई व्यक्ति निश्चित एहन” निष्कर्ष निकालब सांख्यिकीय आ नैतिक दुनू भूल हो सकैत अछि।
पूर्वपक्ष
पहिल पूर्वपक्ष: एल्गोरिदम मनुष्यसँ अधिक निष्पक्ष अछि, तें जहाँ सम्भव निर्णय ओकरा सौंपि देबाक चाही। उत्तर ई जे किछु कार्यमे गणना मानवीय मनमानी घटा सकैत अछि, समान नियम लागू करि सकैत अछि, आ स्थिरता बढ़ा सकैत अछि। मुदा निष्पक्षता प्रणालीक गुण होयत, कम्प्यूटरक मात्र नहि। पक्षपाती लक्ष्य, खराब डेटा, अनुचित proxy वा अपील-विहीन प्रक्रिया संग गणना पुरान अन्यायकेँ अधिक नियमित बना सकैत अछि। दोसर पूर्वपक्ष: डेटा विशाल अछि, तें व्यक्तिगत पक्षपात स्वतः धुलि जाएत। विशालता प्रतिनिधित्वक गारंटी नहि। अरबों अभिलेख एकहि प्रकारक उपयोगकर्तासँ आयल हो सकैत अछि; ऐतिहासिक अभिलेख स्वयं असमान हो सकैत अछि; गलत लेबल विशाल पैमानापर दोहराओल जा सकैत अछि। मात्रा गुणवत्ता, प्रासंगिकता आ न्यायक विकल्प नहि। तेसर पूर्वपक्ष: जँ संवेदनशील विशेषता हटाओल जाए तँ भेदभाव समाप्त। अनेक अन्य संकेतक संवेदनशील विशेषताक proxy बनि सकैत अछि। संगहि, कखनो असमान प्रभाव मापबाक लेल समूह-सम्बन्धी जानकारी चाही। अन्धता (blindness) आ न्याय एक नहि; प्रश्न अछि कोन विशेषता कोन उद्देश्यसँ, कोन सुरक्षा सहित उपयोग भेल। चारिम पूर्वपक्ष: पारदर्शिता लेल पूरा source code सार्वजनिक करि देल जाए, बस। कोड उपयोगी हो सकैत अछि, मुदा अकेला पर्याप्त नहि। प्रशिक्षण डेटा, लेबल, उद्देश्य, संस्करण, threshold, संस्थागत प्रक्रिया, मानवीय override आ वास्तविक प्रभाव बिना code पाठक सेहो अधूरा चित्र पायत। पारदर्शिता बहुस्तरीय हो। पाँचम पूर्वपक्ष: जँ मॉडल बहुत जटिल अछि तँ कारण देब असम्भव, तें परिणाम स्वीकार करब पड़त। किछु प्रणाली वास्तवमे जटिल छथि; मुदा उच्च प्रभावक निर्णयमे संस्था कम-से-कम प्रासंगिक इनपुट, प्रमुख कारण, सीमा, अनिश्चितता, वैकल्पिक समीक्षा आ अपीलक मार्ग दे सकैत अछि। जटिलता प्रक्रियात्मक न्याय रद्द नहि करैत। छठम पूर्वपक्ष: बाजार खराब एल्गोरिदम स्वतः हटा देत। उपयोगकर्ता अक्सर विकल्पहीन, जानकारीहीन वा lock-inमे हो सकैत छथि; हानि तृतीय पक्षपर पड़ि सकैत अछि; भेदभाव प्रभावित व्यक्तिकेँ पता तक नहि चलि सकैत अछि। बाजार संकेतक उपयोगी छथि, मुदा निरीक्षण, अधिकार आ सार्वजनिक नियमक स्थान पूर्णतः नहि ले सकैत। सातम पूर्वपक्ष: एल्गोरिद्मिक वर्गीकरण पर आपत्ति मूलतः तकनीक-विरोध अछि। नहि। प्रश्न तकनीक हटेबाक नहि, उचित स्थान देबाक अछि। किछु स्थितिमे एल्गोरिद्मिक सहायता मानवीय निर्णयसँ बेहतर, अधिक स्थिर वा अधिक समावेशी हो सकैत अछि। समानान्तर कसौटी तुलनात्मक अछि: कोन विकल्पक तुलनामे, कोन प्रभावक साथ, कोन सुधार-पथ सहित? आठम पूर्वपक्ष: न्याय पूर्ण रूपेँ गणितमे परिभाषित भऽ जाए, तँ राजनीतिक विवाद समाप्त। गणित मानदण्ड स्पष्ट करि सकैत अछि, trade-off देखबैत अछि, त्रुटि नापि सकैत अछि; मुदा “कोन trade-off उचित?” “ककर हानि अस्वीकार्य?” “ऐतिहासिक अन्यायकेँ कतेक वजन?”—ई प्रश्न सार्वजनिक नैतिक विवेक चाहैत अछि। समीकरण विवादकेँ स्पष्ट करि सकैत अछि, समाप्त नहि।
उत्तरपक्ष
पहिल उत्तर—एल्गोरिद्मिक शासनक न्यूनतम इकाई “मॉडल” नहि, “निर्णय-व्यवस्था” मानू। उद्देश्य, डेटा-स्रोत, लेबल, मॉडल, threshold, इंटरफेस, मानवीय भूमिका, प्रभावित अधिकार, अपील, निगरानी आ सुधार—सभकेँ एक संग जाँचल जाए। एहि सँ तकनीकी प्रदर्शनक चमक संस्थागत दोषकेँ छुपा नहि सकत। दोसर उत्तर—हरेक उच्च प्रभावक प्रणाली लेल स्पष्ट प्रयोजन-सीमा हो। जे डेटा एक उद्देश्य लेल संकलित भेल, ओकरा अनन्त अन्य प्रयोजनमे उपयोग स्वतः उचित नहि। उद्देश्य बदललासँ सहमति, वैधता, प्रासंगिकता आ जोखिम पुनःजाँचल जाए। “डेटा उपलब्ध अछि” उपयोगक पर्याप्त कारण नहि। तेसर उत्तर—श्रेणी आ thresholdक सार्वजनिक तर्क हो। श्रेणी किएक बनल, सीमा कतय रखल गेल, गलतीक दुनू प्रकारक प्रभाव की, आ सीमा बदललासँ के लाभ/हानि पायत—ई निर्णय दस्तावेजीकृत हो। सीमा प्रकृतिसँ प्राप्त नहि, नीति-विवेकसँ बनैत अछि; तें ओकर कारण देब आवश्यक। चारिम उत्तर—प्रभाव-पूर्व परीक्षण आ प्रभाव-पश्चात् निगरानी दुनू हो। deployment सँ पहिने डेटा-गुणवत्ता, उपसमूह-प्रदर्शन, प्रतिकूल उपयोग, सुरक्षा, गोपनीयता, मानवीय प्रक्रिया आ अधिकार जाँचल जाए; deploymentक बाद drift, शिकायत, असमान त्रुटि, अप्रत्याशित प्रभाव आ feedback loop देखल जाए। पाँचम उत्तर—अपील केवल फार्म नहि, वास्तविक प्रतिवाद-पथ हो। प्रभावित व्यक्ति निर्णयक पर्याप्त कारण बुझि सकथि, गलत डेटा देखू आ सुधारू, अतिरिक्त प्रमाण दे सकथि, मानवीय समीक्षा माँगि सकथि, समयबद्ध उत्तर पाबथि, आ आवश्यक हो तँ स्वतंत्र स्तरपर पुनर्विचार करा सकथि। छठम उत्तर—न्याय-मूल्यांकनमे औसत आ वितरण दुनू देखू। कुल सटीकता, झूठा सकारात्मक, झूठा नकारात्मक, calibration, coverage, भाषा/क्षेत्रीय प्रदर्शन, अपीलक सफलता, हानिक गम्भीरता आ निर्णयक reversibility—सभक उपयुक्त मिश्रण आवश्यकतानुसार जाँचल जाए। एकटा अंक पूरा नैतिक निर्णय नहि। सातम उत्तर—प्रलेखन (documentation) संस्थागत स्मृति बनाओ। डेटा कतयसँ आयल, कोन संस्करण, कोन सीमासभ, कोन परीक्षण, कोन परिवर्तन, के अनुमोदन देलक, कखन model update भेल, कखन rollback भेल—ई इतिहास सुरक्षित हो। डिजिटल सत्ता जखन संस्करणहीन होइत अछि तखन गलतीक स्रोत खोजब कठिन भऽ जाइत अछि। आठम उत्तर—किछु उपयोगपर “नहि” कहब सेहो डिजाइनक भाग अछि। जँ हानि अत्यन्त गम्भीर, त्रुटि अस्वीकार्य, प्रमाण अपर्याप्त, अपील असम्भव, गोपनीयता अनुपातहीन अथवा उद्देश्य स्वयं अनुचित अछि, तँ अधिक सटीक मॉडल बनाब मात्र उत्तर नहि। उचित निर्णय प्रणाली न लगेनाइ, रोकनाइ वा सीमित करनाइ सेहो हो सकैत अछि।
भारतीय संवाद
भारतीय दार्शनिक परम्परामे वर्ग, जाति, सामान्य, विशेष, लक्षण, शब्दार्थ आ प्रमाणपर विस्तृत बहस अछि। एहि बहसकेँ आधुनिक machine-learning वा computational classificationक पूर्वरूप कहब कालभ्रम होयत; मुदा अवधारणात्मक संवाद उपयोगी अछि, किएक तँ ओ पूछैत अछि—वस्तुकेँ एक वर्गमे राखबाक आधार की, सामान्यक स्थिति की, नाम आ वस्तुक सम्बन्ध की, आ गलत वर्गीकरण केना पकड़ल जाए। वैशेषिक पदार्थ-विचार द्रव्य, गुण, कर्म, सामान्य, विशेष, समवाय आदि द्वारा जगतकेँ व्यवस्थित करबाक दार्शनिक प्रयास देखबैत अछि। आधुनिक प्रशासनिक categoryसँ एकर सीधा समानता नहि, मुदा ई स्मरण करबैत अछि जे वर्गीकरणक पीछे ontological commitment रहैत अछि: हम कोन भेद वास्तविक मानैत छी, कोन गुण निर्णायक मानैत छी, आ कोन सम्बन्धकेँ स्थायी मानैत छी। न्याय परम्पराक प्रमाण-विचार एल्गोरिद्मिक निर्णय लेल एकटा महत्त्वपूर्ण अनुशासन दे सकैत अछि: निष्कर्षक आधार, बाधक प्रमाण आ भ्रमक कारण अलग करू। मॉडल-output अनुमान-जकाँ उपयोगी संकेत हो सकैत अछि, मुदा ओकर “हेतु” उचित अछि कि नहि, विपरीत उदाहरण अछि कि नहि, आधार-दत्तांश दोषपूर्ण अछि कि नहि—ई परीक्षण बिना आउटपुट प्रमाण नहि बनैत। नव्य-न्यायक सूक्ष्म सम्बन्ध-भाषा समानान्तर रूपेँ ई सावधानी सिखबैत अछि जे “फलाँ गुण अछि”क बदला सम्बन्धक सीमा स्पष्ट करू—ककर भीतर, कोन शर्तमे, कोन अवच्छेदकसँ, कोन प्रसंगमे। आधुनिक वर्गीकरणमे सेहो “जोखिम” वा “प्रासंगिकता” निरपेक्ष गुण नहि; विशेष लक्ष्य, समय, वातावरण आ निर्णयक सापेक्ष मापन अछि। बौद्ध अपोह-विचार शब्दार्थक वर्गीकरणमे बहिष्करणक भूमिका पर बल दैत अछि—कोनो वर्ग “अन्य नहि”क व्यवधानसँ बनैत अछि। आधुनिक वर्गीकरणसँ सीधा समरूपता नहि, मुदा ई एकटा उपयोगी प्रश्न उठबैत अछि: जे श्रेणी बनल, ओकर सीमा केकरा बाहर करैत अछि? categoryक नैतिक प्रभाव केवल भीतरक लोकपर नहि, बाहर कएल लोकपर सेहो पड़ैत अछि। जैन अनेकान्त आ नय-विचार दृष्टि-सीमाक स्मरण करबैत अछि। एतय पाठ ई नहि जे सभ वर्गीकरण समान रूपेँ सत्य; बल्कि ई जे एकटा प्रशासनिक दृष्टि व्यक्ति वा वस्तुक पूर्ण सत्य नहि। ऋण-जोखिमक वर्गीकरण आर्थिक व्यवहारक एक पक्ष पढ़ैत अछि; ओ व्यक्ति कर्तृत्व, नैतिकता, प्रतिभा, सामाजिक योगदान वा सम्पूर्ण भविष्य नहि पढ़ैत। मीमांसा भाषा, वाक्य, प्रसंग आ विधि-वाक्यक अर्थ पर कठोर अनुशासन विकसित करैत अछि। एल्गोरिद्मिक नियममे सेहो context collapseक जोखिम अछि: नियमक शब्द समान हो, मुदा संस्थागत परिस्थिति बदलि जाए। “यदि X तँ Y” लिखल नियमक उचित प्रयोग लेल Xक परिभाषा, अपवाद, उद्देश्य आ अधिकार-सीमा स्पष्ट हो। एहि भारतीय संवादक सार ई अछि जे वर्गीकरण ज्ञानक साधन हो, अस्तित्वक कारागार नहि। प्रमाणक स्रोत जाँचू, श्रेणीक सीमा बुझू, विपरीत उदाहरण स्वीकारू, सम्बन्धक प्रसंग स्पष्ट करू, आ एहन सामान्यीकरण सँ बचू जे व्यक्ति वा समुदायक बहुआयामी अस्तित्वकेँ एकटा प्रशासनिक लेबलमे बन्द करि देत।
मिथिलाक समानान्तर दृष्टि
मिथिलाक समानान्तर दृष्टि एल्गोरिद्मिक सत्ताकेँ स्थानीय गौरव वा तकनीक-विरोधक नारा द्वारा नहि, प्रमाण, इतिहास, भाषा आ प्रभावित अधिकारक संयुक्त कसौटीसँ जाँचत। क्षेत्रीय प्रशासनमे भूमि, बाढ़, कृषि, छात्रवृत्ति, सामाजिक सुरक्षा, स्वास्थ्य, शिक्षा, आपदा-सहायता आ अभिलेख डिजिटलीकरण बढ़लासँ वर्गीकरणक गुण-दोष प्रत्यक्ष जीवनपर पड़ि सकैत अछि। भूमि-अभिलेखमे नामक वर्तनी, पिता/पति नाम, गाँव, थाना, खाता, खेसरा, सीमांकन अथवा पुरान दस्तावेजक OCR त्रुटि व्यक्ति के अधिकारसँ जोड़ल निर्णय प्रभावित करि सकैत अछि। “सिस्टममे एहन अछि” कहि दस्तावेजीय त्रुटिकेँ सत्य बनाओल नहि जाए। मूल अभिलेख, संशोधन-इतिहास, स्थानीय साक्ष्य आ अपीलक मार्ग रहब आवश्यक। बाढ़-जोखिम वर्गीकरण उपयोगी हो सकैत अछि, मुदा नदीक गतिशीलता, तटबन्ध, वर्षा, स्थानीय जलनिकासी, ऊँचाई, सड़क, पिछला कटाव आ गाँवक सूक्ष्म भूगोल एकटा स्थिर labelसँ अधिक जटिल छथि। राहत जँ केवल पुरान digital risk-map पर निर्भर भेल तँ नव प्रभावित बस्ती छूटि सकैत अछि। स्थानीय प्रत्यक्ष सूचना आ अद्यतन डेटा modelक साथ रहू। मैथिली आ क्षेत्रीय भाषाक एल्गोरिद्मिक प्रतिनिधित्व विशेष सावधानी माँगैत अछि। देवनागरीक साथ तिरहुता, रोमन लिप्यन्तरण, स्थानीय वर्तनी, संस्कृतनिष्ठ वा बोलचाल रूप, मिश्रित हिन्दी-मैथिली पाठ—सभ मिलि वास्तविक डिजिटल corpus बनबैत छथि। भाषा-पहिचान वा moderation प्रणाली जँ केवल “मानक” रूपकेँ सही मानत तँ जीवित भाषिक विविधताकेँ त्रुटि कहि सकैत अछि। पञ्जी, वंशावली, पाण्डुलिपि आ ऐतिहासिक अभिलेखक digitizationमे categoryक समयगतता लिखल जाए। आधुनिक स्थिर सामाजिक labelकेँ अतीतक दस्तावेजपर यन्त्रवत् आरोपित करब इतिहास-विकृति उत्पन्न करि सकैत अछि। अभिलेखमे जे शब्द जे समयमे जे अर्थमे अछि, ओकर तिथि, स्रोत, पाठ-भेद आ ऐतिहासिक प्रसंग सुरक्षित रहू। स्थानीय साहित्यिक संग्रहमे recommendation algorithm लोकप्रिय पाठकेँ बारम्बार ऊपर आ अल्पपठित कृतिनेँ नीचे धकेलि सकैत अछि। सांस्कृतिक अभिलेखागारक लक्ष्य केवल अधिक क्लिक नहि; दुर्लभ पाठ, स्त्री-लेखन, स्थानीय पत्रिका, पाण्डुलिपि, मौखिक इतिहास, पुरान अंक आ अल्पज्ञात लेखकक खोजयोग्यता सेहो सांस्कृतिक न्यायक भाग अछि। मिथिलाक समानान्तर सूत्र एतय ई होयत: “कोनो वर्गीकरणकेँ अन्तिम परिचय नहि मानू; ओकर स्रोत, तिथि, उद्देश्य, सीमा, अपवाद आ सुधार-पथ लिखू।” स्थानीय ज्ञानकेँ एल्गोरिद्मिक व्यवस्थामे जोड़बाक अर्थ एना नहि जे स्थानीय पूर्वाग्रह डिजिटल करि देल जाए; बल्कि स्थानीय अनुभवकेँ सार्वभौम परीक्षणयोग्य प्रमाण-संवादमे स्थान देल जाए। एल्गोरिद्मिक वर्गीकरणक दस कसौटी उद्देश्य स्पष्ट? → डेटा प्रासंगिक? → लेबल विश्वसनीय? → proxy न्यायसंगत? → सीमा कारणयुक्त? → त्रुटि-वितरण जाँचल? → व्याख्या उपलब्ध? → मानवीय समीक्षा वास्तविक? → अपील सम्भव? → संस्करण/सुधार दर्ज? “मॉडल सही” कहबाक पहिने पूछू: कोन प्रश्न लेल, कोन लोकपर, कोन समयमे, कोन विकल्पक तुलनामे, आ कोन हानिक मूल्यपर?
समकालीन प्रयोग
ऋण आ वित्तीय निर्णयमे एल्गोरिद्मिक स्कोर उपयोगी हो सकैत अछि, मुदा आयक अनियमितता, अनौपचारिक रोजगार, ग्रामीण पता, डिजिटल लेनदेनक अभाव वा ऐतिहासिक बैंकिंग-बाहर स्थिति स्वतः नैतिक अविश्वसनीयता नहि। उच्च प्रभावक ऋण-निर्णयमे कारण, गलत डेटा सुधार, वैकल्पिक प्रमाण आ मानवीय पुनर्विचारक मार्ग आवश्यक। भर्तीमे keyword, résumé ranking, कौशल-परीक्षण वा वीडियो-विश्लेषण उपयोग करैत समय “सफल कर्मचारी”क प्रशिक्षण-लेबल केना बनल, पूर्व कर्मचारी-समूह प्रतिनिधि अछि कि नहि, दिव्यांगता वा भाषिक भिन्नता पर प्रभाव की, आ उम्मीदवारकेँ प्रतिवादक अवसर अछि कि नहि—ई प्रश्न निर्णायक छथि। दक्षता अवसर-न्यायक विरोधी नहि हो; दुनू एक संग डिजाइन हो। शिक्षामे प्रारम्भिक चेतावनी प्रणाली विद्यार्थीकेँ सहायता पहुँचेबाक साधन हो सकैत अछि, मुदा “dropout risk” लेबल विद्यार्थीपर कलंक बनि जाए तँ उलटा प्रभाव पड़ि सकैत अछि। स्कोर शिक्षकक निर्णयक सहायक हो, भाग्य-वाक्य नहि। विद्यार्थी आ परिवारकेँ डेटा-सुधार, प्रसंग आ सहायता-पथ स्पष्ट रहू। स्वास्थ्य क्षेत्रमे triage वा निदान-सहायक प्रणालीक मूल्यांकन केवल औसत accuracyसँ नहि हो। अलग आयु, लिंग, रोग-प्रचलन, उपकरण, अस्पताल, भाषा आ जनसंख्यापर प्रदर्शन बदलि सकैत अछि। चिकित्सकीय निर्णयमे model output प्रमाण-श्रृंखलाक एक अंश हो; रोगीक इतिहास, परीक्षण, चिकित्सक-विवेक आ अनिश्चितता साथ पढ़ल जाए। सार्वजनिक लाभ आ सामाजिक सुरक्षा प्रणालीमे fraud detection उपयोगी अछि, मुदा झूठा सकारात्मक गरीब परिवार लेल सहायता रोकि सकैत अछि। हानिक असमानता ध्यानमे राखि threshold, पूर्व सूचना, कारण, शीघ्र मानवीय समीक्षा, बकाया भुगतानक पुनर्स्थापन आ शिकायत-पथ डिजाइन हो। दक्ष प्रशासनक अर्थ अपीलहीन प्रशासन नहि। पुलिसिंग वा सुरक्षा-सम्बन्धी जोखिम प्रणालीमे feedback loop विशेष सावधानी माँगैत अछि। अधिक निगरानी अधिक दर्ज घटना उत्पन्न करि सकैत अछि; दर्ज घटना फेर उच्च जोखिमक आधार बनि सकैत अछि। स्थान, समुदाय अथवा व्यक्ति पर उच्च प्रभाव भेलासँ स्वतंत्र परीक्षण, कानूनी सीमा, डेटा-गुणवत्ता आ सार्वजनिक उत्तरदायित्व अत्यन्त कठोर हो। सामाजिक माध्यमक moderationमे वर्गीकरण भाषिक आ सांस्कृतिक संदर्भसँ जुड़ल अछि। व्यंग्य, उद्धरण, समाचार, घृणास्पद कथनक आलोचना, पुनरुद्धारक भाषा आ प्रत्यक्ष उत्पीड़न एकहि शब्द रखितहुँ अलग अर्थ दे सकैत अछि। स्वचालित संकेत उपयोगी, मुदा अपील, contextual review, नीति-पारदर्शिता आ स्थानीय भाषिक विशेषज्ञता आवश्यक। खोज आ अनुशंसामे “प्रासंगिकता” स्वयं बहु-मूल्यीय अछि—तात्कालिक लोकप्रियता, स्रोत-गुणवत्ता, नवीनता, विविधता, उपयोगकर्ता-रुचि, सार्वजनिक हित, स्थानीय भाषा, सुरक्षा। एकटा छुपल लक्ष्य पूरे ज्ञान-जगतक दृश्यता बदलि सकैत अछि। एतय उपयोगकर्ताकेँ किछु नियंत्रण, क्रमांकनक सामान्य कारण आ वैकल्पिक खोज-पथ देब ज्ञानात्मक बहुलता बढ़ा सकैत अछि।
अध्याय-निष्कर्ष
एल्गोरिदम गणनाक शक्ति अछि, मुदा सामाजिक जीवनमे ओकर प्रभाव वर्गीकरणक शक्ति द्वारा बढ़ैत अछि। जे व्यवस्था लोक, घटना, भाषा, जोखिम, योग्यता, सत्यता वा प्रासंगिकताकेँ श्रेणीबद्ध करैत अछि, ओ केवल जगत पढ़ैत नहि; अवसर, दृश्यता, संसाधन आ निगरानीक वितरण सेहो प्रभावित करैत अछि। तें एल्गोरिद्मिक शासनक दार्शनिक जाँच कोडक बाहर संस्थागत शक्ति धरि जाए। समानान्तर दर्शन एल्गोरिदमकेँ न दानव मानैत अछि, न देवता। गणना स्थिरता, पैमाना, पैटर्न-पहिचान आ सहायता दे सकैत अछि; मनुष्य मनमानी, थकान आ असंगतिसँ ग्रस्त हो सकैत अछि। मुदा तकनीकी सहायता न्याय तभी बनत जखन लक्ष्य कारणयुक्त, डेटा प्रासंगिक, श्रेणी सीमित, त्रुटि-वितरण दृश्य, अपील वास्तविक आ उत्तरदायित्व स्पष्ट हो। वर्गीकरणक नैतिक सीमा ई अछि जे कोनो score व्यक्तिक सम्पूर्ण स्वरूप नहि; कोनो prediction भाग्य नहि; कोनो ranking मूल्यक अन्तिम क्रम नहि; कोनो proxy वास्तविक गुणक पूर्ण विकल्प नहि; आ कोनो automation संस्था के दायित्वमुक्त नहि करैत। निर्णय जतेक अधिक प्रभावशाली, कारण आ प्रतिवादक अधिकार ततेक मजबूत होयत। अध्याय 86क सूत्र: “एल्गोरिदमक सत्ता ओकर गणनामे मात्र नहि, एहि बातमे अछि जे ओ केकरा कोन श्रेणीमे रखैत, केकरा ऊपर देखबैत, केकरा नीचे करैत, आ गलती भेलापर के प्रतिवाद करि सकैत अछि।”
अध्याय-ग्रन्थसूची
Geoffrey C. Bowker and Susan Leigh Star — Sorting Things Out: Classification and Its Consequences Tarleton Gillespie — “The Relevance of Algorithms” in Media Technologies: Essays on Communication, Materiality, and Society Frank Pasquale — The Black Box Society: The Secret Algorithms That Control Money and Information Cathy O’Neil — Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy Virginia Eubanks — Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor Safiya Umoja Noble — Algorithms of Oppression: How Search Engines Reinforce Racism Ruha Benjamin — Race After Technology: Abolitionist Tools for the New Jim Code Kate Crawford — Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence Rob Kitchin — The Data Revolution: Big Data, Open Data, Data Infrastructures and Their Consequences David Beer — The Data Gaze: Capitalism, Power and Perception John Cheney-Lippold — We Are Data: Algorithms and the Making of Our Digital Selves Antoinette Rouvroy and Thomas Berns — work on algorithmic governmentality Philip E. Agre — “Surveillance and Capture: Two Models of Privacy” Lucas D. Introna — work on algorithms, performativity, and ethics Solomonoff-style prediction and machine-learning literature — consulted only for conceptual background on prediction, not as a theory of justice Solon Barocas and Andrew D. Selbst — “Big Data’s Disparate Impact” Solon Barocas, Moritz Hardt, and Arvind Narayanan — Fairness and Machine Learning: Limitations and Opportunities Andrew D. Selbst, danah boyd, Sorelle A. Friedler, Suresh Venkatasubramanian, and Janet Vertesi — “Fairness and Abstraction in Sociotechnical Systems” Alexandra Chouldechova — “Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments” Jon Kleinberg, Sendhil Mullainathan, and Manish Raghavan — “Inherent Trade-Offs in the Fair Determination of Risk Scores” Cynthia Dwork, Moritz Hardt, Toniann Pitassi, Omer Reingold, and Richard Zemel — “Fairness Through Awareness” Sandra Wachter, Brent Mittelstadt, and Luciano Floridi — work on transparency, explanation, and algorithmic decision-making Jenna Burrell — “How the Machine ‘Thinks’: Understanding Opacity in Machine Learning Algorithms” Finale Doshi-Velez and Been Kim — “Towards a Rigorous Science of Interpretable Machine Learning” Zachary C. Lipton — “The Mythos of Model Interpretability” Michael Veale and Lilian Edwards — work on explanation and algorithmic accountability Joshua A. Kroll et al. — “Accountable Algorithms”