1 引言
隨著Internet應用的普及，網絡化教學日益成為一種重要的教學手段和教學場所，作為網絡化教學系統(tǒng)的一個模塊，教學評價系統(tǒng)承擔著監(jiān)督教學效果、使教學雙方形成有效交互與反饋以及對教學過程的決策取向產生直接參考依據的重要任務。但是，目前我國還沒有網絡化教學評價的基本標準，教學形式和教學對象的多樣性也導致難以制定一個統(tǒng)一的標準。
為了解決上述問題，本文給出了一個通用的教學評價系統(tǒng)，該系統(tǒng)不僅解決了重復開發(fā)造成的資源浪費，對不同的基于J2EE架構的網絡教學系統(tǒng)或者數(shù)字化校園平臺，只須把該系統(tǒng)作為一個模塊嵌入其中，就可輕松實現(xiàn)評價功能，而且針對各種不同的需求，提供評價表單、權值的定制功能，教學單位可根據自己的實際情況選擇使用AHP法、BP神經網絡法或常規(guī)法定制適合自己的評價模型。前兩種方法，本系統(tǒng)提供評價模型的生成和檢驗機制，用以保證所定制的模型符合用戶需求，以程度排除人為因素的干擾，是本系統(tǒng)的核心和關鍵技術。
2 相關算法介紹
2.1 AHP 法
AHP是Analytic Hierarchy Process（層次分析法）的簡稱，它是一種定性和定量相結合的系統(tǒng)化、層次化的分析方法，適用于多目標、多準則的復雜評價問題。它能提供一種方法把定性的評價標準定量化，形成對每一評價指標的權值，由于它同時提供一致性檢驗從而可以保證所得權植的客觀合理性。其主要步驟為：
1) 建立層次結構模型
2) 構造判斷矩陣
3) 層次單排序及其一致性檢驗
4) 層次總排序及其一致性檢驗
利用AHP法建模的關鍵在于判斷矩陣的構造，這需要在建立層次結構之后進行兩兩標度比較，這項工作一般要由專家來做。
2.2 BPNN 法
即BP神經網絡法，又稱誤差逆?zhèn)鞑W習算法，分為三層：輸入層、隱含層和輸出層。在具體應用該網絡時分為網絡學習及網絡工作兩個階段。網絡的學習過程由正向和反向傳播兩部分組成。在正向傳播過程中，每一層神經元的狀態(tài)只影響到下一層神經元網絡。如果輸出層不能得到期望輸出，就是實際輸出與期望輸出值之間有誤差，那么轉入反向傳播過程中，將誤差信號沿原來的連接通路返回，通過修改各層神經元的權值，逐次向輸入層傳播去進行計算，再經過正向傳播過程，這兩個過程的反復運用，使得誤差信號最小。當誤差達到人們所希望的要求時，網絡的學習過程就結束。在網絡的工作階段，根據訓練好的網絡權值及給定的輸入向量，按照“模式順傳播”方式求得與輸入向量相對應的輸出向量的解答。
BP網是一種反向傳遞并能修正誤差的多層映射網絡。當參數(shù)適當時，此網絡能夠收斂到較小的均方差，是目前應用最廣的網絡之一。使用BP神經網絡來進行權值的定制是基于它具有能任意精度近似線性非線性函數(shù)的特性，把樣本與權值組的映射關系看作一個非線性函數(shù)，用BP網絡去近似這個函數(shù)，只要樣本是合理的，那么得出的權值也是合理的。
根據R.Hech-Nielson的論證，一個三層BP神經網絡可以實現(xiàn)任意精度、任意連續(xù)函數(shù)的映射，故我們僅取一個隱含層。輸入層和輸出層的節(jié)點數(shù)，按實際應用需要而定。隱含層節(jié)點數(shù)的確定，跟輸入層和輸出層的神經元個數(shù)有關，但具體的定量關系目前仍無定論。按照Charence N.W.Tan和Gerhard E.Wittig(1993)的說法，一般情況下輸入層、單個隱含層和輸出層的神經元個數(shù)基本相等或呈金字塔結構時，BP模型的運行效果較好。因為取節(jié)點太少,網絡不“強壯”，難以達到目的；取節(jié)點太多，使學習時間過長，誤差不一定最小。
3 系統(tǒng)的體系結構
圖1 系統(tǒng)總體結構圖
如圖1為評價系統(tǒng)的總體結構圖，從邏輯上可以把整個系統(tǒng)分成三個大的子系統(tǒng)，模型定制子系統(tǒng)、教務管理子系統(tǒng)和教學評價子系統(tǒng)，分別由模型管理員、教務管理員和評價用戶來操控。每一用戶登錄時，首先查找自身的數(shù)據庫，若數(shù)據庫中沒有該用戶的身份認證信息，將訪問平臺系統(tǒng)數(shù)據庫，從中取得用戶的合法身份信息，并將有效用戶存入評價系統(tǒng)自身的數(shù)據庫，同時，根據用戶的角色進入相應的功能頁面。
3.1 模型定制子系統(tǒng)中
評價模型的定制分兩步，第一步要從指標庫中選取評價指標，對指標庫的維護由模型管理員負責，評價指標分為兩類，一類是定性描述指標，一類是定量指標，定量指標須從元數(shù)據集中選擇指標所對應的元數(shù)據。元數(shù)據集是能夠從網絡教學系統(tǒng)提取的定量信息的數(shù)據集合，客觀反映了學生和教師參與教學的情況。指標選擇完畢，還要定制每一指標的權值，定制權值的方式有三種：自定義法、BP法和AHP法。
自定義法可以對某一模型的指標直接輸入權值，這一方法和目前大部分評價系統(tǒng)的實現(xiàn)功能相同，當評價模型已經確定或是有統(tǒng)一的評價標準時，可選擇這種方式定制權值。
AHP法需要對評價領域較熟悉的專家決定出反映各指標的相對重要性的判斷矩陣，在定制過程中，系統(tǒng)提供了一個界面友好的定制模塊，讓用戶可以比較方便的完成定制操作。如果輸入的判斷矩陣不滿足一致性要求，那就意味著比較參數(shù)有自相矛盾的地方，系統(tǒng)將會報錯并返回重新輸入參數(shù)。AHP的這種驗證機制能保證用戶限度的精確量化在潛意識中指標的重要程度，從而定制出符合要求的評價模型。
使用BP法在定制權值時需要評價樣本的輸入，評價樣本提供了一個模板，它實際是由一些孤立的點來確定一條多維的權值曲線，權值曲線的合理與否與樣本的合理性緊密相關。樣本庫由教務管理員員管理和維護，可以組織專家制定樣本或是在AHP法運行一段時間后由教務人員從產生的評價實例中提取樣本來組成樣本庫。BP法通過誤差反傳的方法來不斷調整預設的權值，當誤差小于某一預設的值時完成權值訓練，否則繼續(xù)調整下去。由此可見，BP法自身也具有檢驗機制，這樣得出的權值能限度滿足用戶的需求。
通過定制不同的評價模型，系統(tǒng)可以對教學的各個方面進行評價。模型管理員負責模型的管理維護工作，可以對模型進行編輯和刪除操作，還可以通過提供樣本對已經定制完成的某模型進行模型檢驗，以此來對模型的可用性進行評估。評估算法主要采用取所有樣本的實際評價結果和理想值之間的均方誤差，將該誤差值與某一上限值做比較，并在該模型做上標記，并附上誤差值，以供教務管理員選定評價模型時參考。
3.2 教務管理子系統(tǒng)
由教務管理員實施，主要完成評價模型的選擇、打開或關閉模型以及樣本庫的管理以及其它管理功能。 評價模型定制完成之后，由教務管理員來控制系統(tǒng)的評價流程，教務管理員選擇一個或多個評價模型使其生效并進入實際運行，參評者就可以對相應模型進行評價。教務管理員還可以將評價開關關閉，使評價暫停。此時若參評者訪問評價頁面，系統(tǒng)會告知評價功能由管理員關閉，暫停評價。關閉評價并不影響正常的瀏覽等其它操作的進行。
在樣本庫管理中，可添加和刪除樣本，或者從以往的評價結果信息中提取出一些評價結果作為樣本存入樣本庫，以備BP法定制權值和模型檢驗時使用。 教務管理員還可以瀏覽全部的評價信息，系統(tǒng)對評價結果采用橫向比較、縱向比較、表、圖等多樣化顯示，方便快速直觀的對評價結果做出判斷。
隨著Internet應用的普及，網絡化教學日益成為一種重要的教學手段和教學場所，作為網絡化教學系統(tǒng)的一個模塊，教學評價系統(tǒng)承擔著監(jiān)督教學效果、使教學雙方形成有效交互與反饋以及對教學過程的決策取向產生直接參考依據的重要任務。但是，目前我國還沒有網絡化教學評價的基本標準，教學形式和教學對象的多樣性也導致難以制定一個統(tǒng)一的標準。
為了解決上述問題，本文給出了一個通用的教學評價系統(tǒng)，該系統(tǒng)不僅解決了重復開發(fā)造成的資源浪費，對不同的基于J2EE架構的網絡教學系統(tǒng)或者數(shù)字化校園平臺，只須把該系統(tǒng)作為一個模塊嵌入其中，就可輕松實現(xiàn)評價功能，而且針對各種不同的需求，提供評價表單、權值的定制功能，教學單位可根據自己的實際情況選擇使用AHP法、BP神經網絡法或常規(guī)法定制適合自己的評價模型。前兩種方法，本系統(tǒng)提供評價模型的生成和檢驗機制，用以保證所定制的模型符合用戶需求，以程度排除人為因素的干擾，是本系統(tǒng)的核心和關鍵技術。
2 相關算法介紹
2.1 AHP 法
AHP是Analytic Hierarchy Process（層次分析法）的簡稱，它是一種定性和定量相結合的系統(tǒng)化、層次化的分析方法，適用于多目標、多準則的復雜評價問題。它能提供一種方法把定性的評價標準定量化，形成對每一評價指標的權值，由于它同時提供一致性檢驗從而可以保證所得權植的客觀合理性。其主要步驟為：
1) 建立層次結構模型
2) 構造判斷矩陣
3) 層次單排序及其一致性檢驗
4) 層次總排序及其一致性檢驗
利用AHP法建模的關鍵在于判斷矩陣的構造，這需要在建立層次結構之后進行兩兩標度比較，這項工作一般要由專家來做。
2.2 BPNN 法
即BP神經網絡法，又稱誤差逆?zhèn)鞑W習算法，分為三層：輸入層、隱含層和輸出層。在具體應用該網絡時分為網絡學習及網絡工作兩個階段。網絡的學習過程由正向和反向傳播兩部分組成。在正向傳播過程中，每一層神經元的狀態(tài)只影響到下一層神經元網絡。如果輸出層不能得到期望輸出，就是實際輸出與期望輸出值之間有誤差，那么轉入反向傳播過程中，將誤差信號沿原來的連接通路返回，通過修改各層神經元的權值，逐次向輸入層傳播去進行計算，再經過正向傳播過程，這兩個過程的反復運用，使得誤差信號最小。當誤差達到人們所希望的要求時，網絡的學習過程就結束。在網絡的工作階段，根據訓練好的網絡權值及給定的輸入向量，按照“模式順傳播”方式求得與輸入向量相對應的輸出向量的解答。
BP網是一種反向傳遞并能修正誤差的多層映射網絡。當參數(shù)適當時，此網絡能夠收斂到較小的均方差，是目前應用最廣的網絡之一。使用BP神經網絡來進行權值的定制是基于它具有能任意精度近似線性非線性函數(shù)的特性，把樣本與權值組的映射關系看作一個非線性函數(shù)，用BP網絡去近似這個函數(shù)，只要樣本是合理的，那么得出的權值也是合理的。
根據R.Hech-Nielson的論證，一個三層BP神經網絡可以實現(xiàn)任意精度、任意連續(xù)函數(shù)的映射，故我們僅取一個隱含層。輸入層和輸出層的節(jié)點數(shù)，按實際應用需要而定。隱含層節(jié)點數(shù)的確定，跟輸入層和輸出層的神經元個數(shù)有關，但具體的定量關系目前仍無定論。按照Charence N.W.Tan和Gerhard E.Wittig(1993)的說法，一般情況下輸入層、單個隱含層和輸出層的神經元個數(shù)基本相等或呈金字塔結構時，BP模型的運行效果較好。因為取節(jié)點太少,網絡不“強壯”，難以達到目的；取節(jié)點太多，使學習時間過長，誤差不一定最小。
3 系統(tǒng)的體系結構
圖1 系統(tǒng)總體結構圖
如圖1為評價系統(tǒng)的總體結構圖，從邏輯上可以把整個系統(tǒng)分成三個大的子系統(tǒng)，模型定制子系統(tǒng)、教務管理子系統(tǒng)和教學評價子系統(tǒng)，分別由模型管理員、教務管理員和評價用戶來操控。每一用戶登錄時，首先查找自身的數(shù)據庫，若數(shù)據庫中沒有該用戶的身份認證信息，將訪問平臺系統(tǒng)數(shù)據庫，從中取得用戶的合法身份信息，并將有效用戶存入評價系統(tǒng)自身的數(shù)據庫，同時，根據用戶的角色進入相應的功能頁面。
3.1 模型定制子系統(tǒng)中
評價模型的定制分兩步，第一步要從指標庫中選取評價指標，對指標庫的維護由模型管理員負責，評價指標分為兩類，一類是定性描述指標，一類是定量指標，定量指標須從元數(shù)據集中選擇指標所對應的元數(shù)據。元數(shù)據集是能夠從網絡教學系統(tǒng)提取的定量信息的數(shù)據集合，客觀反映了學生和教師參與教學的情況。指標選擇完畢，還要定制每一指標的權值，定制權值的方式有三種：自定義法、BP法和AHP法。
自定義法可以對某一模型的指標直接輸入權值，這一方法和目前大部分評價系統(tǒng)的實現(xiàn)功能相同，當評價模型已經確定或是有統(tǒng)一的評價標準時，可選擇這種方式定制權值。
AHP法需要對評價領域較熟悉的專家決定出反映各指標的相對重要性的判斷矩陣，在定制過程中，系統(tǒng)提供了一個界面友好的定制模塊，讓用戶可以比較方便的完成定制操作。如果輸入的判斷矩陣不滿足一致性要求，那就意味著比較參數(shù)有自相矛盾的地方，系統(tǒng)將會報錯并返回重新輸入參數(shù)。AHP的這種驗證機制能保證用戶限度的精確量化在潛意識中指標的重要程度，從而定制出符合要求的評價模型。
使用BP法在定制權值時需要評價樣本的輸入，評價樣本提供了一個模板，它實際是由一些孤立的點來確定一條多維的權值曲線，權值曲線的合理與否與樣本的合理性緊密相關。樣本庫由教務管理員員管理和維護，可以組織專家制定樣本或是在AHP法運行一段時間后由教務人員從產生的評價實例中提取樣本來組成樣本庫。BP法通過誤差反傳的方法來不斷調整預設的權值，當誤差小于某一預設的值時完成權值訓練，否則繼續(xù)調整下去。由此可見，BP法自身也具有檢驗機制，這樣得出的權值能限度滿足用戶的需求。
通過定制不同的評價模型，系統(tǒng)可以對教學的各個方面進行評價。模型管理員負責模型的管理維護工作，可以對模型進行編輯和刪除操作，還可以通過提供樣本對已經定制完成的某模型進行模型檢驗，以此來對模型的可用性進行評估。評估算法主要采用取所有樣本的實際評價結果和理想值之間的均方誤差，將該誤差值與某一上限值做比較，并在該模型做上標記，并附上誤差值，以供教務管理員選定評價模型時參考。
3.2 教務管理子系統(tǒng)
由教務管理員實施，主要完成評價模型的選擇、打開或關閉模型以及樣本庫的管理以及其它管理功能。 評價模型定制完成之后，由教務管理員來控制系統(tǒng)的評價流程，教務管理員選擇一個或多個評價模型使其生效并進入實際運行，參評者就可以對相應模型進行評價。教務管理員還可以將評價開關關閉，使評價暫停。此時若參評者訪問評價頁面，系統(tǒng)會告知評價功能由管理員關閉，暫停評價。關閉評價并不影響正常的瀏覽等其它操作的進行。
在樣本庫管理中，可添加和刪除樣本，或者從以往的評價結果信息中提取出一些評價結果作為樣本存入樣本庫，以備BP法定制權值和模型檢驗時使用。 教務管理員還可以瀏覽全部的評價信息，系統(tǒng)對評價結果采用橫向比較、縱向比較、表、圖等多樣化顯示，方便快速直觀的對評價結果做出判斷。