rmapsympo2015_lecture01.pdf

IRの基本原理とその活用

2015年９月16日 researchmapシンポジウム2015 山田礼子 同志社大学

発表内容 高等教育を巡る状況と政策 IRとは何か 日本のIRの実情：調査から 教育の質保証と教学IR 大学IRコンソーシアムと教学IR

高等教育を巡る状況と政策

高等教育政策の動向と新たな方向性  2012年中教審答申より→高等教育が質的転換が求められる 2013年 中教審の議論 認証評価の大きな転換 第２サイクルの認証評価における書く評価機関の 取りくみ ・自己点検・評価を通じて、人材養成目的や知識・技能 体系等を明確にして、それが機能していることを確認 すること ・第２サイクルの認証評価では、各認証評価機関は、学修 の成果や大学の自主的・自立的な質保証を重視した評価 に発展させている

 重要な転換点 学習成果の評価の重視 内部質保証システムの評価

求められる内部質保証とIR  第二サイクル以降の認証評価に おいては、「内部質保証」が重要な 課題

内部質保証とIRは切り離せない関係

IR機能の充実が内部質保証の充実に

新しい高等教育のマネジメント：IR誕生の背景

 日本の高等教育をめぐる状況の変化 競争的環境の創出、教育成果の提示、研究の高度化、
管理運営の組織化等

 国立大学の法人化：中期目標・中期計画の策定と実行が不 可欠  データの一元化と管理、財務、教学、学生支援を効果的に

・経営面 安定した学生の確保と質の維持

・教育面 個々の大学における教育成果の提示をどうするかが重要な論点

・情報公開の推進と大学評価 大学ポートレートによる情報の公開と学習 成果志向の認証評価への転換

6 大学のガバナンス改革とIR 2014年 中央教育審議会大学分科会

「大学のガバナンス改革の推進について」（審議まとめ）

学長を中心とした客観的データに基づく教学マネジメント、 学長補佐体制の強化、URAやIRerなど高度専門職の創設、 SD・IRの強化

改革 推進には客観的なデータ＝エビデンスベースが 不可欠 質保証と学習成果志向の高等教育政策

欧州諸国を中心としたチューニング・プロジェクトの 広がり AHELO Feasibility Studyの参加者 23000人、 17カ国 250機関の参加 アメリカにおいては、2015年からのPIRS （Postsecondary Institutional Ratings System)の実施 日本学術会議による分野別参照基準の策定 日本における大学ポートレートの稼働

8 機関、国、トランスナショナルレベルの 教育の質保証の取組

9 機関レベル

プログラムや カリキュラム の整備

AHELO チューニング・ プログラム トランスナショ ナルレベル 国レベル 分野別参照基 準の策定 AHELO フィージビリ ティスタディ

多様な学習成 果の把握方法

大学 ポートレート

IR推進のための政策 補助金や競争的補助金による推進と加点

国立大学法人評価、中期目標・中期計画 私立学校等改革総合支援事業（H２５～） 大学教育再生加速プログラム（H２６～） スーパーグローバル大学等事業（H２６）

IRとは何か

米国におけるIRの定義  サウプの定義＝組織の企画、政策策定、意思決定を支援 する情報の提供

 ピータソンとコラソンの定義＝サウプの定義＋ 全分野 における資源配分、管理、評価

 マッセンの定義＝ （１）機関の業績（成果）についてのデータ収集
（２）機関の環境についてのデータ収集
（３）収集したデータの分析と解釈 （４）データ（資料）分析と解釈、機関計画策定 そして 政策策定と意思決定支援情報への変換

12 米国におけるIRの定義

Thorpe (1999)によるIR機能と役割の9分類

１．計画策定支援 ２．意思決定支援 ３．政策形成支援 ４．自己点検活動への支援 ５．個別課題の調査研究 ６．データ管理 ７．データ分析 ８．学外への報告 ９．内部への報告

ボルクワインによるIRのゴールデン・トライアングル ・モデル

報告業務と政策分析 計画策定，エンロールメント・ マネジメント，財務管理 質保証，学習成果アセスメント， プログラムの検討，効果測定， アクレディテーション IR ゴールデン トライアングル

出典：ボルクワイン, F. (2011). Navigating the Winds of Change: Coping with the Challenges of Institutional Research IR 18枚目資料の翻訳 『IRシンポジウム報告書，平成21年度採択文部科学省，大学教育充実のための戦略的大学連携支援プログラム相 互評価に基づく学士課程教育質保証システムの創出－国公私立4大学IRネットワーク』31－44頁

14 トライアングル・モデルからの示唆 IR中心業務＝報告、政策分析、計画策定、 エンロールメント・マネジメント、財務 管理、質保証、学習成果のアセスメント、 プログラムの検討、効果測定、アクレディ テーション対応

集権化あるいは分散化の度合いによる 差異が存在 15

アメリカにおけるIRの具体的な活動  アクレディテーション関連業務とプログラムの検討  運営管理上の情報の提供と計画、学内政策策定とプログラム評価の ための分析  学生、大学教員、職員のデータ収集と分析  予算および財政計画策定  学生の学習成果の評価のためのデータ収集および評価 （アセスメント）実施と分析  学生による授業評価事業の実施  学生の履修登録管理と募集管理  年次報告書の作成  州の財政補助金獲得のために必要とされる書類の作成などの州高等 教育部局との連絡調整  米国教育省の調査事業に提出するデータの作成  大学関係出版物への情報提供  戦略計画策定

日本のIRの実情：調査から

IRの定義と調査説明

IRとは大学の組織や教育研究等に関する情報を収集・分析 することで、学内の意思決定や改善活動の支援や、外部に 対する説明責任を果たす活動 平成24-25 年度文部科学省先導的大学改革推進委託事業 「大学における IR(インスティテューショナル・リサーチ) の現状と在り方に関する調査研究」の一環として、「大学 のインスティテューショナル・リサーチ (IR)に関する調査 研究」（2013年12月質問紙調査）を実施

19 5.7 9.9 15.4 69.1 その他 IR名称の組織ある IR名称ないが、担当組織ある 全学レベルの組織はない IR組織の有無 38.5% 48.1% 57.1% 62.2% 66.0% 大学の説明責任を果たすため 学生への支援 大学経営上の必要性 大学評価への対応 教育改革の成果のチェック IR組織設置の目的 IR組織1

20 6.6% 7.4% 14.8% 14.8% 23.0% 31.1% 32.8% 学長補佐・学長特別 補佐 理事長 担当理事 センター長 学長 室長 副学長 5.0% 5.7% 11.3% 11.3% 17.6% 23.9% 25.2% 学長補佐・学長特別補 佐 理事長 担当理事 センター長 学長 室長 副学長 IR組織の長 IR組織の直属の上司 IR組織2

7.8% 9.1% 13.0% 14.3% 20.1% 22.7% 25.3% 25.3% 33.1% 34.4% 36.4% 38.3% 39.0% 39.6% 41.6% 42.2% 48.1% 50.0% 52.6% 65.6% 授業料設定のための分析 財務分析の分かりやすい公表 入学以前の学生の特性の分析 大学概要の作成 卒業生に対する調査 入学志願者調査（マーケティング） FDの効果の検証 就職状況調査 休学、留年、中退などの要因分析 中期計画（戦略計画）策定 ポートレート（仮称）への対応 学生調査（生活調査、生活実態調査など） 大学情報公開への対応 成績やGPAなどの分析 学生の達成度調査、学生による大学教育の評価調査… 学生による授業評価の分析 大学改革動向のウォッチ 文部科学省の大学政策のウォッチ 認証評価への対応 執行部への情報・分析の提供 IR組織の担当業務 IR活動と機能

教学IRに関する機能 79.3 18.3 30.9 38.1 70.1 3.5 10.7 17.6 7.7 4.7 12.5 10.3 7.4 11.9 8.6 4.8 60.8 44.1 42.3 16.6 学生による授業評価の分析 入学以前の学生の特性の分析 卒業生に対する調査 学生の達成度調査、大学教育の評価調査など 学生調査（生活調査、生活実態調査など） 1.無記名式 2.記名式(氏名) 3.記名式(学生番号やIDなど) 4.実施していない 学生調査-記名・無記名式（％）

23 学内でのIR活動と機能 3.7 20.9 35.6 39.9 まったく知られていない よく知られている どちらかといえば知られていない どちらかといえば知られている IR組織の活動内容は学内に周知（％） 7.4 21.6 28.4 42.6 まったく関与していない よく関与しえいる あまり関与していない まあ関与している 全学的意思決定プロセス関与程度（％）
7.6 13.3 33.5 45.6 まったく貢献できていない よく貢献できている あまり貢献していない まあ貢献できている 全学的な意思決定プロセスへのIR組織の貢献（％） 日本のIRの特徴  日本におけるIR活動は、学生調査を通じた学習成果の把握を中 心に推進されていること ⇒ 教学IR

 アクレディテーションや情報公表などへの対応が行われている こと ⇒ 評価対応のIR 国立大学に多く見られるパターン

IR組織はガバナンスとの連関から設置されていること、執行部 への情報の提供・分析、意思決定への貢献など機能上の変化が 散見 ⇒ ガバナンス機能としてのIR

 しかし、日本の大学における全学レベルのIR組織の設置はま だ少数であり、財務に関する業務についての関与はそれほど高 くない。また、データの蓄積、分析などはまだ制約がある ⇒IR機能がまだ限定で曖昧

教育の質保証と教学IR

教育の質保証： 第一ステージから第二・第三ステージへ  第一ステージ：シラバス、GPA制度、CAP制、学生調査等 を導入してきた今までの各大学の取組

 第二ステージ：IR機能の充実、IRを活用した評価、その 評価結果を単位の実質化、学生の学習時間の確保に結び つける教育環境の整備の段階

 第三ステージ：データの結果と評価を学生教育への還元

質保証の一環としてのデータの活用  何を教えるかから何ができるかに発想を転換  学生の現状を客観的データから把握  学生の高校時代の情報と現状とを関連づけて分析  アウトカムとカリキュラム、あるいは授業とを関連づ けて分析  授業評価と学生データとを関連づけて分析  教員のFDに学生データを活用

カリキュラムの見直し、教授法の見直し 

アウトカム・アセスメントに関する 直接評価と間接評価の使用モデル マクロ
大学全体 学部 プログラム • 直接評価
• 標準テスト（ＣＬＡ、ＴＯＥＦＬ，ＴＯＥＩＣ等） • ルーブリック
• 間接評価
• 学修行動調査 ミクロ 教室内・授業 • 直接評価
• ルーブリック • ポートフォリオ • レポート • テスト（個別テスト、標準テスト） • 間接評価 • 授業評価

アウトカム・アセスメントの効果 間接 評価 プログラム 評価 評価が連携していない場合 直接 評価 直接 評価 プログラム 評価 間接 評価 評価が連携している場合 効果があらわれやすい

IRと教学IR • IR=個別大学内の様々な情報を収集して数値化・ 可視化し、評価指標として管理し、その分析結 果を教育・研究、学生支援、経営等に活用する という活動

• 教学IRとは、教育研究等に関する情報やデータ を収集・分析することで、教学改善に活かすた めの活動を意味する。つまり、教学面に重点的 に焦点を当てるIR活動を教学IRとする

教育の質保証の過程と教学IR 教育プログラム の体系化と整備 教育に関する データの集積 データの測定 と分析 改善への データ提示 日本のIRの特徴の復習
評価対応としてのIRと内部 質保証としての教学IRが進 展

教学IRについては複数大学 においても協力が可能な側 面を持つ

31 教育の質保証の過程 大学IRコンソーシアムと教学IR

連携大学間における IRネットワークシステムの構築  学生調査結果を自動化する分析システムを開発

 連携４大学では異なる業務データや教務データを保持し ているが、そのデータを使いIRシステムの分析などを行 うことで、相互評価を行えるようなシステムを開発 直接評価と間接評価の連結による評価

参加大学の分析負担を軽減 自大学のデータとも連結可能 情報セキュリティの確保 匿名化ツールの開発

連携4大学 IRネットワーク 構築 IRコミュニティ 設置 （コンソーシアム） 各大学 シラバス、GPA制度、CAP制度 等 文部科学省：中央教育審議会答申 「学士課程教育の構築に向けて」 （平成20年12月24日公表）

自己点検・評価 および IRコミュニティ参画大学の相互評価の実施 ② ベ ン チ マ ー ク 設 定

（ 評 価 指 標 の 策 定 ）

④ Ｉ Ｒ 人 材 育 成 支 援

③データの共有/集計/評価が できる環境の整備 ①知見の共有 【システム化のねらい】 IRシステム 【概要】 ・学生調査結果、学生データを共有DBに格納 ・共有DBの蓄積データを集計／分析 ・集計／分析結果の閲覧、共有

IRシステム≠教学IR 間接アセスメントと直接アセスメントの統合が最大の特徴
IR機能の一部分を補助するツール IR システム • データの集積・統合 • 集計・分析 • 結果の数値化・可視化 • 集計結果の閲覧 • 知見や論点の整理 • レポート作成・集約 • 必要に応じて詳細分析 • データ収集 • データ登録 IR機能 点検・評価 意思決定 教学改善へ 集計結果の表示 • 集計表とグラフによる、シンプルな結果表示 円グラフ 棒グラフ（横） 棒グラフ （縦） 積上棒グラフ（横） 積上棒グラフ（縦） 折れ線グラフ レーダーチャート バブルチャート ／散布図 箱ひげ図 ・インターネット経由で閲覧 ・専用ソフトの導入は不要 ・複雑な分析操作も不要

教学IRの基本となる学生調査の特徴  学生の学習行動、学習時間、能力に関する自己評価、満 足度を中心とした調査項目  学習プロセスの測定  継続することで、学生の経年変化、成長を把握  他の学内データ（成績など）とリンクさせた分析も可能  会員校の間で共通の調査項目  相互比較が可能  ベンチマークとして利用できる標準調査として位置づけられる（モ デルは、米国のNSSE／CIRP） 大学間連携による教学IRの意味は？  日本の大学の教学マネジメント・ガバナンスの問題は？  教育のガバナンスの不在  大学を動かすための外部からの仕掛け（支援や評価）の構築  大学によるガバナンスの多様性

 大学の個別性を考慮しつつ標準性を活用 
することで大学間連携教学IRの仕組みの構築  

キーワードは 大学による自律的、自律性の高い取り組みと連携体制

大学による自律的、自立性の 高い取り組みと連携体制の意義は？  エビデンスベースに基づく現状評価文化の浸透が不可欠 一大学では難しい障壁を大学間で可視化された情報を 共有し相互評価をすることで問題を認識、協力しながら、 教育の改善へと結びつける

 特徴： 相互性、自律性、自立性、大学間の信頼関係  中間支援組織としての機能及び役割 設置形態を越えての協働体制→ 世界で初めての活動

              2015年7月現在で41校が加盟  

IR専門職に求められる資質とは？ • （Terenziniの三層＋私見） 主に私立大学に固有の人材＝職員の実力者 3

2 採用・研修 １

一般的知識技能・分析能力 大学の部局、特殊用語に関する知識、調査、基本的統計技術、 基本的データベースの知識 問題対応・解決能力 歩留り、予算配分、施設設備計画、学費設定、認証評価 対応、教員評価、部門間交渉能力 高等教育の文脈・自大学の文脈に沿った分析能力 大学内での人脈構築＋自大学文化に精通 IR人材育成ワークショップの提供

 三層構造１段階の人材のための養成ワークショツプ  大学固有の実力者は養成できない
自大学での育成を期待 しかし、基本は大学間連携で 可能  研究志向ではなく、機関のためのIRerになる ことを理解した人材を養成していかねばIRは広がら ない

採用・研修

一般的知識技能・分析能力 大学の部局、特殊用語に関する知識、調査、基本的統計技術、 基本的データベースの知識 教学IRの活用可能性  教学マネジメントの支援のしくみ

 相互比較による教育の内部質保証のしくみ  教育アセスメント: 自学の学生の学びの実態把握  標準性の検証: ベンチマーク指標として活用
 個別性の充実: 自学の教育成果の確認

 機関評価、認証評価（第3サイクル）への活用  「各大学の特徴がより明確に把握できる客観的な指標の開発、大学が その機能を踏まえて重点を置いている教育活動や研究活動に着目した 評価」 （中教審大学教育部会「審議のまとめ」2012年3月24日） 43 活用イメージ（一例） 教育アセスメント 標準性の検証 特色の抽出 学習過程に関する 間接アセスメント 学生調査データ 学習成果に関する 直接アセスメント 学生の成績情報 教学マネジメントの支援 教育の内部質保証のエビデンス 機関評価、認証評価への活用

大学の認証評価での活用

A大学では、２０１３年に認証評 価を受信する際に本コンソーシ アムの相互評価結果を活用 新設学部の学生の「学生に修得 させるべき能力」の数値結果を 提示し、相互評価結果も提示

最後に：教学マネジメントとしての教育改善プロセス  直接評価と間接評価から得られた学びの実態をひとつの 教育情報と捉え、実際に教育改善に結び付けていくため の課題は何か？

標準的学生調査(間接評価）の 実施 直接データの収集と 直接・間接データの分析 自己点検・評価活動 教育改善 図１ 質保証に向けての教育改善プロセス • ご静聴ありがとうございました

• 質問は [email protected]

までお願いいたします