מערכת סיוע מדורגת
המודל מציע מועמדים ומקבילות, מסנן לפי אותיות שרדו ומגבלות פיזיות, ומציג אי־ודאות לחוקר.
שחזור לקונות בלי לאמן על השחזורים
מסגרת מחקרית להפרדה בין שחזור טקסט שמור, הסכמה עם הצעות חוקרים, תרומת מקבילות טקסטואליות ותועלת אמיתית לחוקר.
לא “המחשב גילה את הטקסט המקורי”
אמת יחידה על הלקונה
בלקונה אמיתית אין לרוב gold פיזי. התאמה להצעת מהדיר היא הסכמה עם הספרות, לא הוכחה לנוסח המקורי.
כל שאלה מקבלת ניסוי ומדד משלה
שחזור שפה
האם המודל משחזר טקסט שהיה שמור והוסתר רק לצורך הבדיקה?
הסכמה מחקרית
האם הצעה מיוחסת ומתאימה פיזית מופיעה גבוה בדירוג?
תרומת RAG
האם מקבילות מתוך train בלבד משפרות את אותם מקרי test?
תועלת לחוקר
האם חוקרים מגיעים לתוצאה טובה או מהירה יותר בעזרת המערכת?
מסלול Reconstruction‑free
מה נכנס לאימון
- מגילות לא־מקראיות בלבד במסלול הראשי
- מילים שנשמרו פיזית כמטרות
- מקטעים רציפים באורכים התואמים לנזק האמיתי
- פיצול לפי מגילה לפני אימון, tuning ו־retrieval
מה לא נכנס לאימון
- שחזורים מודרניים המסומנים
rec == 1 - אותיות משוחזרות בתוך אינדקס המקבילות
- מגילות dev או test
- אורך gold או מספר מילים במצב unknown-length
Track A: נזק סינתטי ריאליסטי לטקסט שמור
המדד הראשי: Exact complete-span Top‑10 באורך לא ידוע. הצלחה דורשת שכל הרצף יופיע בסדר הנכון.
ראשי
ללא מספר תווים וללא מספר משבצות מילים.
פיזי משוער
רק מידע שניתן להפיק מהכתב והמרווח, בטולרנס קבוע מראש.
דיאגנוסטי
מספר משבצות ידוע, להשוואה הוגנת למחקרי MLM קודמים.
Track B: הסכמה עם הצעות חוקרים
יחידת הניתוח
אתר אחד בכתב היד הוא תצפית אחת — גם אם אותה הצעה מופיעה בפרסומים רבים.
ריבוי תשובות
כל הצעה מיוחסת שמתאימה לאותיות ולמגבלה הפיזית היא תשובה קבילה; מדווח גם minimum CER.
דיווח
מילה בודדת ורצף רב־מילי בנפרד; exact sequence ולא סכום משבצות.
שם המדד
Literature agreement — לעולם לא “דיוק מול האמת”.
מה מותר לומר כרגע
| מסלול | יחידה | תוצאה | סטטוס |
|---|---|---|---|
| שחזור מילה שמורה | 300 מטרות held-out | 43.7% Top‑20 | בדיקת שפה מבוססת, לא לקונה אמיתית |
| Qumran Digital | 74 אתרים חד־מיליים | 63.5% Top‑10 | פיילוט הסכמה עם הספרות |
| RAG באותם אתרים | אותן 74 מטרות | 63.5% → 63.5% | לא נמדד שיפור |
| רצף רב־מילי עם RAG | 100 רצפים, slot count ידוע | 7.0% → 9.0% | פיילוט תיאורי קטן |
אין עדיין תוצאה שעברה את כל שערי הפרוטוקול ונחשבת לתוצאת מאמר סופית.
בדיקה מזווגת, לא השוואת כותרות
אותו test קפוא
Base, fine-tuned, אילוצים, BM25/ngram, dense, reranker והשילוב הסופי נבדקים על אותן מטרות.
מקור retrieval נקי
רק טקסט שמור ממגילות train. משקל ופרמטרים נבחרים על dev.
מדדי retrieval
Recall@K, MRR, nDCG, כיסוי, גיוון ורלוונטיות שנשפטת בידי מומחים.
מבחן ללא התשובה
מסירים מקבילות שמכילות את מחרוזת ה־gold ובודקים אם מבנה מקביל עדיין עוזר.
Track C: האם זה באמת עוזר לחוקר?
הקשר בלבד
מועמדי מודל
מקבילות
מועמדים + מקבילות
ניסוי סמוי ומאוזן בתוך־נבדק על כ־60–100 מטרות: נוסח סופי, זמן, ביטחון, אימוץ מועמד, רלוונטיות המקבילה והסכמה בין שופטים.
הפרוטוקול בנוי משיטות שכבר עמדו בביקורת
Pythia · Ithaca · Aeneas
Top‑K ו־CER, פענוח באורך לא ידוע, מקבילות טקסטואליות וניסויי מומחים מדורגים.
Embible · Findings of EACL 2024
Embible בדקו נזק סינתטי בפסוקי תנ״ך, לא לקונות אמיתיות. בבקרת־תחום עם אותו מודל ואותו decoder שלנו, Exact Top‑10 של UWC הוא 80.0%/42.5%/27.5% בתנ״ך מול 50.0%/0%/0% ב־DSS עבור 1/2/3 מילים. כלומר פער התחום הוא צוואר בקבוק מרכזי; TavBERT וה־ensemble עדיין אינם מוסיפים ערך.
MAAT · ARI
לקונות אמיתיות, ריבוי קריאות קבילות, סימולציית נזק ריאליסטית, dedup וניסוי RAG סמוי.
מה חייב לקרות לפני כותרת חדשה
- benchmark ומניפסט קפואים עם hashes
- פיצול לפי מגילה וחיבור + בדיקת near-duplicates
- לפחות שלושה seeds ובחירה על dev בלבד
- רווחי סמך באשכולות לפי מגילה
- unknown-length כמדד הראשי
- exact sequence לכל תוצאה רב־מילית
- RAG ablation מזווג ובדיקת דליפה
- הפרדה מפורשת בין אמת שמורה, ספרות ותועלת לחוקר