判定だけのAIの実測データ(記事の付録)

記事「判定だけのAI、Jevを試した|出番が少ない理由」で使った実測データです。 日報100件はすべて架空で、現場名・日付・出来事は当方が作ったものです。 実在の現場の記録ではありません。

1. 何を測ったか

仮の建設日報100件の備考だけを3つのAIに渡し、人が先に付けた正解と突き合わせました。 正解はAIの答えを見る前に、現場を知る担当者が付けています。

○×の色は、人の正解と合っていれば緑、違っていれば赤です。 黄色の行は、正解を付けた担当者が「迷った」と記録した21件です。

2. 「あり」と見なす確率を変えると

Jevは確率を返すので、いくつ以上を「あり」とするかは使う側が決められます。 3つの項目の合計で、正解の「あり」は50件です。

「あり」と見なす確率取りこぼし拾いすぎ
0.1 以上2133
0.2 以上881
0.3 以上1152
0.4 以上1644
0.5 以上1938
0.6 以上2133
0.7 以上2829
0.8 以上3116
0.9 以上346(記事の表はこの設定)

低くすればほとんど落としませんが、拾いすぎが増えて仕分けの意味がなくなります。

3. Jevが落とした行

記事で「落とした」と書いた行の本文です。確率0.9以上を「あり」とした場合です。 拾えたのは「バールで手を切った」「足を滑らせた」「パイプを落としてもうた」のように、事故そのものが書かれた文でした(関西弁のものも含めて正しく拾っています)。 落としたのはその逆で、足場の傾き・足場板の割れ・安全帯の未着用者がいたことなど、事故になりかけた状態でした。

安全に関わる記述:正解「あり」10件のうち、Jevが落とした6件

No備考(仮)JevHaikuOpus
5足場の一部が少し傾いていたので、その場で直した。作業は予定どおり。落とした拾えた拾えた
14下地補修。えらい暑さで午後は休憩を多めに取った。作業量は予定の8割。落とした落とした落とした
33アンカー打ち。既存の配管に当たりそうな箇所が1か所あり、位置をずらした。落とした拾えた拾えた
36足場の組み替え。安全帯の未着用者がいたので、その場で指導した。落とした拾えた拾えた
593階の型枠。足場板が1枚割れていたので交換した。落とした拾えた拾えた
99土間コン打設。暑さで職人が1人、気分が悪いと言って休憩した。水分を取って回復し、午後は通常どおり。落とした拾えた拾えた

遅れ・手戻り:正解「あり」19件のうち、Jevが落とした14件

No備考(仮)JevHaikuOpus
4型枠の建て込み。搬入待ちで午前中30分ほど手待ちが出た。落とした拾えた拾えた
8コンクリート打設。午後から雨が強くなり、15時で打ち切り。落とした拾えた拾えた
14下地補修。えらい暑さで午後は休憩を多めに取った。作業量は予定の8割。落とした拾えた拾えた
20大雨警報が出たため、10時で作業を中止して撤収した。落とした拾えた拾えた
242階の型枠。午前中に資材が届かず、開始が1時間遅れた。落とした拾えた拾えた
28天井高の件、まだ回答をもらえていない。このままだと来週の仕上げに間に合わない。落とした拾えた拾えた
34回答待ちのため、別の系統の作業に振り替えた。落とした落とした落とした
43バルコニーの防水。下地が想定より傷んでおり、補修範囲が広がりそう。落とした拾えた拾えた
46変更分の材料を手配。届くのは明後日。落とした拾えた落とした
52材料待ち。他の作業を先行。落とした拾えた拾えた
57手直しの依頼が入った。据付の高さが図面と3ミリ違うとのこと。落とした拾えた拾えた
58材料が届いたので吊りボルトを変更。予定の半分まで進んだ。落とした落とした落とした
88検査。指摘3件。いずれも軽微で、明日中に直す。落とした拾えた拾えた
96ブロック積み。セパの手配漏れがあり、半日待った。落とした拾えた拾えた

客先への連絡:正解「あり」21件のうち、Jevが落とした14件

No備考(仮)JevHaikuOpus
28天井高の件、まだ回答をもらえていない。このままだと来週の仕上げに間に合わない。落とした拾えた拾えた
33アンカー打ち。既存の配管に当たりそうな箇所が1か所あり、位置をずらした。落とした拾えた拾えた
34回答待ちのため、別の系統の作業に振り替えた。落とした落とした落とした
38苦情の件、朝に現場代理人が訪問して説明した。了解をいただいた。落とした落とした拾えた
50完了検査。指摘なし。落とした落とした落とした
51引き渡し。立会いで問題なし。落とした落とした落とした
61手直しの件、現地で確認した。図面の寸法が途中で変わっていたらしい。どちらの責任か整理が要る。落とした拾えた拾えた
68寸法の件、こちらの控えと先方の図面を突き合わせた。改訂版が届いていなかった。落とした拾えた拾えた
73絶縁の件、ケーブルの被覆に傷があった。引き直しが要る。工程に影響が出る。落とした拾えた拾えた
74改訂版の図面をもらった。手直しの費用負担について、先方と話をしないといけない。落とした拾えた拾えた
82費用の件、先方から連絡待ち。落とした落とした落とした
90試験完了。引き渡しの日程を調整する。落とした拾えた落とした
92指摘の是正完了。落とした拾えた落とした
94外構を継続。近隣から、朝が早すぎると言われた。8時前の搬入は控える。落とした拾えた拾えた

4. 100件の全データ

備考の全文、人の正解、3つのAIの判定です。横に長いので、表は左右に動かせます。この表は、直す前(1〜4節と同じ設定)の判定です。

No備考(仮)人の正解緊急度
(正解)
安全遅れ手戻り客先連絡緊急度迷ったときのメモ
安全遅れ連絡JevHaikuOpusJevHaikuOpusJevHaikuOpusJevHaikuOpus
1基礎の配筋を継続。午後から墨出し。特記事項なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
2クロス貼り3部屋完了。明日は建具の調整から入る。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
3分電盤の結線を進めた。ヒヤリハットはなし。なしなし不要記録だけ×××××××記録だけ記録だけ記録だけ
4型枠の建て込み。搬入待ちで午前中30分ほど手待ちが出た。なしあり不要記録だけ×××××××記録だけ記録だけ記録だけ
5足場の一部が少し傾いていたので、その場で直した。作業は予定どおり。ありなし不要記録だけ×××××記録だけ今日中今日中
6施主が現場を見に来られた。特に指摘はなし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
7ケーブルラックの取付。脚立から工具を落としたが、下に人はおらず被害なし。ありなし不要記録だけ××××今日中今日中今日中
8コンクリート打設。午後から雨が強くなり、15時で打ち切り。なしあり不要記録だけ×××××今日中今日中今日中予定に対して問題があるのかが不明
9高圧洗浄。隣の家の洗濯物に水が飛んでしまい、その場で謝罪して取り込んでもらった。なしなし不要記録だけ×××××××今週中今日中今日中その場で解決しているなら連絡は不要と判断して記録のみにした(判定そのものは変えていない)
10舗装の切削を継続。特になし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
11建具の調整が終わらず、明日に持ち越し。木工事の残りは半日程度。なしあり不要今日中×××今日中今週中今日中
12照明器具の取付。図面と現場の天井高が違っていて、吊りボルトの長さを変える必要がある。なしなし不要今日中×××××今週中今週中今日中状況によって緊急度が異なる
13養生期間。現場は動かしていない。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
14下地補修。えらい暑さで午後は休憩を多めに取った。作業量は予定の8割。ありあり不要今週中××××××今週中今週中今週中
15路盤の転圧。ユンボのオペレーターが変わったが問題なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
16施主から、リビングのクロスの色が打合せと違うと言われた。現物を確認してもらう必要あり。なしなし今日中××××今日中今週中今日中
17幹線の敷設。特記なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
18型枠の解体。バールで手を切った。傷は浅く、絆創膏で処置して作業を続けた。ありなし不要今日中××××今日中今日中今日中「傷は浅く」その判断が適切かどうか
19シーリングの打ち替え。順調。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
20大雨警報が出たため、10時で作業を中止して撤収した。なしあり不要今日中××今日中今日中今日中予定に対して問題があるのかが不明
21アンカーの位置出し。図面どおり。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
22クロスの件、施主と打合せ。発注書を確認したところ、こちらの発注ミスだった。貼り替えが必要。なしなし不要今日中××××今日中今週中今日中
23盤内の結線を継続。3人で作業、延べ12時間。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
242階の型枠。午前中に資材が届かず、開始が1時間遅れた。なしあり不要今日中×××××××記録だけ記録だけ記録だけ
25塗装の下塗り。風が強く、養生をやり直した。なしあり不要今日中××××××記録だけ記録だけ記録だけ予定に対して問題があるのかが不明
26舗装。昼飯の弁当屋が休みで、みんなコンビニまで歩いた。作業は予定どおり終了。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
27レッカーで架台を吊り込み。周囲を立入禁止にして実施。問題なし。なしなし不要記録だけ×××××××記録だけ記録だけ記録だけ
28天井高の件、まだ回答をもらえていない。このままだと来週の仕上げに間に合わない。なしあり今日中×××××今週中今週中今日中
29貼り替え分のクロスを発注。納期は3日後。なしなし不要記録だけ×××××今週中今週中今週中予定に対して問題があるのかが不明
30配筋検査。指摘2件、その場で是正した。なしなし不要記録だけ××××××××記録だけ記録だけ記録だけ
31中塗り。特になし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
32区画線の設置。通行止めの時間が予定より延びて、近所の方から苦情を受けた。なしなし今日中××××今日中今日中今日中遅れに繋がる度合いが不明
33アンカー打ち。既存の配管に当たりそうな箇所が1か所あり、位置をずらした。ありなし記録だけ×××××記録だけ今日中今週中
34回答待ちのため、別の系統の作業に振り替えた。なしあり今日中×××××××××今週中記録だけ記録だけ振り替えたことによる予定に対する影響が不明
35設備の取付。水漏れはなし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
36足場の組み替え。安全帯の未着用者がいたので、その場で指導した。ありなし不要記録だけ×××××××記録だけ記録だけ今日中
37上塗り。順調に進んでいる。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
38苦情の件、朝に現場代理人が訪問して説明した。了解をいただいた。なしなし記録だけ××××××××今週中記録だけ今日中客先に連絡する程度の内容なのかが不明
39機械の据付。水平出しに時間がかかり、1日ずれ込む見込み。なしあり今日中×××今日中今週中今日中
40天井高の回答が来た。吊りボルトを変更して対応する。追加費用が出る。なしなし今日中×××××今日中今週中今日中
41クロス貼り替え完了。施主に確認いただき、了解を得た。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
422階の打設。問題なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
43バルコニーの防水。下地が想定より傷んでおり、補修範囲が広がりそう。なしあり今日中××××今日中今週中今日中予定に対して問題があるのかが不明
44仕上げ。特記なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
45配線と試運転。異常なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
46変更分の材料を手配。届くのは明後日。なしあり不要記録だけ×××××××今週中今週中記録だけ予定に対して問題があるのかが不明
47クリーニング。明日引き渡し。なしなし不要記録だけ×××××××××今週中記録だけ記録だけ
48養生。現場は休み。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
49防水の件、補修範囲を確認した。当初の倍ほどになる。見積を出し直す必要がある。なしなし今日中××××今日中今週中今日中
50完了検査。指摘なし。なしなし記録だけ×××××××××記録だけ記録だけ記録だけ
51引き渡し。立会いで問題なし。なしなし記録だけ×××××××××記録だけ記録だけ記録だけ
52材料待ち。他の作業を先行。なしあり不要記録だけ××××××記録だけ今週中今週中振り替えたことによる予定に対する影響が不明
53引き渡し完了。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
543階の配筋。午後から雨、16時で切り上げ。なしなし不要記録だけ×××××××今週中今日中記録だけ予定に対して問題があるのかが不明
55防水の下地補修に着手。なしなし不要記録だけ×××××××今週中今週中記録だけ
56片付けと撤収。なしなし不要記録だけ×××××××××今週中記録だけ記録だけ
57手直しの依頼が入った。据付の高さが図面と3ミリ違うとのこと。なしあり不要今日中×××××今日中今日中今日中
58材料が届いたので吊りボルトを変更。予定の半分まで進んだ。なしあり不要記録だけ×××××××××記録だけ記録だけ記録だけ
593階の型枠。足場板が1枚割れていたので交換した。ありなし不要記録だけ×××××××今週中記録だけ記録だけ
60下地補修を継続。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
61手直しの件、現地で確認した。図面の寸法が途中で変わっていたらしい。どちらの責任か整理が要る。なしなし今日中×××××今週中今週中今日中
62打設の段取り。ポンプ車の手配が取れず、明日に延期。なしあり不要今日中××××今日中今日中今日中
63補修完了。明日から防水を再開。なしなし不要記録だけ×××××××記録だけ記録だけ記録だけ
64結線を継続。特になし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
65引き渡し後の手直し依頼。建具の建て付けが悪いとのこと。なしなし今日中××××今日中今週中今日中
66打設完了。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
67防水の再開。作業中に職人が足を滑らせたが、安全帯で止まった。けがはない。ありなし不要記録だけ××××今日中今日中今日中
68寸法の件、こちらの控えと先方の図面を突き合わせた。改訂版が届いていなかった。なしなし今日中×××××今週中今週中今日中
69盤の試験。1系統で絶縁抵抗の値が低く、原因を調べている。なしなし不要今日中×××××××今週中今日中今日中予定に対して問題があるのかが不明
70建具の調整に行った。30分ほどで直り、施主にも見てもらった。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
71養生。なしなし不要記録だけ×××××××××今週中記録だけ記録だけ
72防水を継続。順調。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
73絶縁の件、ケーブルの被覆に傷があった。引き直しが要る。工程に影響が出る。なしあり今日中××××今日中今週中今日中
74改訂版の図面をもらった。手直しの費用負担について、先方と話をしないといけない。なしなし今日中×××××今週中今週中今日中
753階の解体。特になし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
76仕上げに入った。なしなし不要記録だけ×××××××××今週中記録だけ記録だけ
77ケーブルの引き直し。人手を増やして対応している。なしなし不要記録だけ×××××記録だけ今週中今週中予定に対して問題があるのかが不明
78別件で現場の前を通ったら、区画線が一部消えかけていた。施工は先月分。なしなし不要今週中×××××今週中今週中今週中
79足場の解体を開始。通行人の誘導に人を1人付けた。なしなし不要記録だけ×××××××記録だけ記録だけ記録だけ
80仕上げを継続。あと2日で終わる見込み。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ予定に対して問題があるのかが不明
81引き直し完了。再試験で正常値。なしなし不要記録だけ×××××××記録だけ記録だけ記録だけ
82費用の件、先方から連絡待ち。なしなし今日中×××××××××記録だけ記録だけ記録だけ
83足場の解体中、パイプを落としてもうた。下は立入禁止にしてたから誰もおらんかったけど、あぶないとこやった。ありなし不要記録だけ××××今日中今日中今日中
84仕上げ完了。明日検査。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
85残りの結線。特になし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
86区画線の件、施主に報告した。手直しの方向で調整中。なしなし不要今週中××××××今週中記録だけ今週中手直しの重要性によって対応が変ってくる
87足場の解体完了。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
88検査。指摘3件。いずれも軽微で、明日中に直す。なしあり不要記録だけ×××××××今週中今日中今週中予定に対して問題があるのかが不明
89費用は折半で合意。書面を交わす。なしなし不要記録だけ××××××××今週中今週中記録だけ
90試験完了。引き渡しの日程を調整する。なしなし今週中××××××××今週中今週中今週中
91外構に着手。ブロックの基礎を掘削。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
92指摘の是正完了。なしなし記録だけ×××××記録だけ今週中記録だけ
93引き渡し。立会いで異常なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
94外構を継続。近隣から、朝が早すぎると言われた。8時前の搬入は控える。なしなし記録だけ×××××××今週中今週中今日中8時前の搬入を控えることによって予定に影響するのかが不明
95足場の解体。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ
96ブロック積み。セパの手配漏れがあり、半日待った。なしあり不要今日中××××××今週中今週中今週中
97撤収完了。なしなし不要記録だけ×××××××××今週中記録だけ記録だけ
98ブロック積みを継続。連絡しないわけにはいかないので、朝の搬入時間の件は所長に伝えた。なしなし不要記録だけ×××××××××今週中記録だけ記録だけ「連絡しないわけにはいかない」の理由が不明
99土間コン打設。暑さで職人が1人、気分が悪いと言って休憩した。水分を取って回復し、午後は通常どおり。ありなし不要記録だけ×××××××記録だけ記録だけ記録だけ
100外構の仕上げ。特記事項なし。なしなし不要記録だけ×××××××××記録だけ記録だけ記録だけ

5. 渡し方を直すとどう変わったか

記事「落とした理由と、直したときの代償」で書いた、渡し方の直しの中身です。 安全の質問に、客先連絡のためだけの条件文を混ぜていたと気づき、外して測り直しました。

直したことで新しく拾えるようになったのは、安全帯の未着用・足場板の割れ・暑さで気分が悪くなった行でした。関係のない文を外しただけで、確率が0.37から0.87まで上がった行もあります。 まだ落ちているのは、足場が傾いたがその場で直した、配管に当たりそうな箇所があったが位置をずらした、暑さで休憩を多めに取ったの3件です。どれも対処済みで、実害が出ていない記述でした。

一方で、Jevのほうが人に近い場面もありました。「その場で解決した」と書かれた5件で、当方の担当者は全部「連絡は不要」と判断しています。Jevも5件とも「不要」で一致しました。生成AIは4件で「連絡が要る」と答えています。

安全・遅れ手戻りの質問にも、客先連絡のためだけの条件文(6項目)を渡していました。客先連絡の質問にだけ渡す形に直し、同じ100件をもう一度判定しました。しきい値は、直す前が0.9以上、直した後が0.8以上です(どちらも、その設定での誤りがいちばん少ない値)。緊急度は段階評価なのでしきい値はありません。

項目モデル直す前・拾えた数/正解のあり直した後・拾えた数/正解のあり
安全Jev4/107/10
安全Haiku9/108/10
安全Opus9/109/10
遅れ手戻りJev5/197/19
遅れ手戻りHaiku17/1915/19
遅れ手戻りOpus16/1918/19
客先連絡Jev7/216/21
客先連絡Haiku16/2117/21
客先連絡Opus15/2112/21

緊急度への影響

モデル直す前・一致/今日中を拾えた直した後・一致/今日中を拾えた
Jev69/100・14/2546/100・4/25
Haiku63/100・6/2566/100・2/25
Opus81/100・20/2574/100・15/25

直した後、新しく拾えるようになった安全の記述(3件)

No備考(仮)直す前の確率直した後の確率
36足場の組み替え。安全帯の未着用者がいたので、その場で指導した。0.660.84
593階の型枠。足場板が1枚割れていたので交換した。0.370.81
99土間コン打設。暑さで職人が1人、気分が悪いと言って休憩した。水分を取って回復し、午後は通常どおり。0.670.86

直した後、拾えなくなった「今日中」の記述(11件)

No備考(仮)直す前のスコア直した後のスコア
11建具の調整が終わらず、明日に持ち越し。木工事の残りは半日程度。1.871.36
18型枠の解体。バールで手を切った。傷は浅く、絆創膏で処置して作業を続けた。1.800.99
20大雨警報が出たため、10時で作業を中止して撤収した。1.901.12
22クロスの件、施主と打合せ。発注書を確認したところ、こちらの発注ミスだった。貼り替えが必要。1.531.09
32区画線の設置。通行止めの時間が予定より延びて、近所の方から苦情を受けた。1.951.43
39機械の据付。水平出しに時間がかかり、1日ずれ込む見込み。1.981.36
40天井高の回答が来た。吊りボルトを変更して対応する。追加費用が出る。1.790.92
43バルコニーの防水。下地が想定より傷んでおり、補修範囲が広がりそう。1.770.94
49防水の件、補修範囲を確認した。当初の倍ほどになる。見積を出し直す必要がある。1.661.22
57手直しの依頼が入った。据付の高さが図面と3ミリ違うとのこと。1.561.31
65引き渡し後の手直し依頼。建具の建て付けが悪いとのこと。1.560.89

緊急度の悪化は日をまたいだせいではありません。同じ日に、渡し方だけを変えて確かめました。客先連絡の6条件を含めて緊急度を測ると69件、外すと46件です。何度測り直しても同じでした。

作成=保存済みの判定結果から生成(AIは呼んでいません)。 数え方は記事の採点と同じです。

タイトルとURLをコピーしました