הצעת ייעול | הגהה של ספרים באתר
-
זה הולך להיות מהפכה לגמרי... @ע-ה-דכו-ע מצא API של גוגל לזיהוי הטקסט בדף, לפי ציר XY, והתכנון הוא לשלב: זיהוי לפי ציר, ואז ביצוע OCR עם פרומפט מורכב, כולל דוגמאות, ולדעתי הקלושה, סיכוי של זיהוי 99%+ בכתב נורמלי, ולפחות 90% בכתב בעייתי (אם הAPI יצליח בו... זו שאלה טובה).
-
זה הולך להיות מהפכה לגמרי... @ע-ה-דכו-ע מצא API של גוגל לזיהוי הטקסט בדף, לפי ציר XY, והתכנון הוא לשלב: זיהוי לפי ציר, ואז ביצוע OCR עם פרומפט מורכב, כולל דוגמאות, ולדעתי הקלושה, סיכוי של זיהוי 99%+ בכתב נורמלי, ולפחות 90% בכתב בעייתי (אם הAPI יצליח בו... זו שאלה טובה).
-
יש בזה הבדל מאוד מהותי אם אתה מעוניין בPDF עם תוצאה או שאתה מעוניין בטקסט. כי אם אתה מעוניין בחיפוש סטייל אוצר החכמה שתמצא בתוך הPDF אפשר במקביל להריץ כמה וכמה סריקות OCR, מכמה ספריות קיימות שעושות את זה בצורות שונות זו מזו.
ואמנם PDF בנוי לשכת טקסט אחת, אבל אפשר במקביל להריץ חיפוש תמיד בקובץ טקסט שיזהה את המיקום (בניתי מעין כלי כזה בעבר כך שאני יודע שזה אפשרי, וחבל על דאבדין). יש כמה ספריות חינמיות של OCR, ולענ"ד אין צורך בכלל להשתמש מעבר לזה, כי פענוח מקביל של 3-4 ספריות, יתן תוצאות ברמה מאוד גבוהה.
מצד שני, אם רוצים לייצר טקסט מבלי לצפות בדף החיפוש, אין ברירה אלא לבחור טקסט אחד, ואז נתקלים במחסום. -
GPT:
בקיצור:
ציר X-Y כאן מתייחס למיקום של הטקסט בדף לפי קואורדינטות —
X מציין מיקום אופקי, Y מיקום אנכי.
כך אפשר לדעת איפה כל מילה נמצאת בדף, ולא רק מה כתוב, ולשלב זאת עם OCR לזיהוי מדויק יותר.@י.-פל. כתב בהצעת ייעול | הגהה של ספרים באתר:
GPT:
בקיצור:
ציר X-Y כאן מתייחס למיקום של הטקסט בדף לפי קואורדינטות —
X מציין מיקום אופקי, Y מיקום אנכי.
כך אפשר לדעת איפה כל מילה נמצאת בדף, ולא רק מה כתוב, ולשלב זאת עם OCR לזיהוי מדויק יותר.זה מזכיר לי איזה נושא במתמחים שמישהו שם עבד על תוכנה שעשה OCR גם מכתבי יד של אנשים, האם זה קשור?
-
@י.-פל. כתב בהצעת ייעול | הגהה של ספרים באתר:
GPT:
בקיצור:
ציר X-Y כאן מתייחס למיקום של הטקסט בדף לפי קואורדינטות —
X מציין מיקום אופקי, Y מיקום אנכי.
כך אפשר לדעת איפה כל מילה נמצאת בדף, ולא רק מה כתוב, ולשלב זאת עם OCR לזיהוי מדויק יותר.זה מזכיר לי איזה נושא במתמחים שמישהו שם עבד על תוכנה שעשה OCR גם מכתבי יד של אנשים, האם זה קשור?
-
@יאיר-דניאל
לא קשור בכלל.פוסט זה נמחק! -
שוחחתי הבוקר בארוכה עם המומחה שלי לענייני סטטיסטיקה ותוכן.
מה שיצא לנו זה זה רעיון בערך כזה (מקווה לנסות ליישם בקרוב):- לקחת מאגר ספרים גדול מאוד של סריקות, כמו לדוגמה היברובוקס, ולהריץ מודל ocr, אבל להכניס ממנו רק את התוצאות שמוגדרות בסריקה כרמת וודאות של 95 אחוז ומעלה (רוב כלי הOCR גם כותבים רמת וודאות).
- המילים הנ"ל נכנסות למאגר מילוני, וכעת התוכנה מחפשת מילים שאינן במילון שיכולות להכנס בעזרת החלפת אות אחת (אולי עדיף בשלב ראשון רק החלפת אותיות דומות בעברית, כמו ה' וח' או ב' וכ').
- המילון מחליף את התמונה, ובו זמנית מזהה שמהיום תמונה של בראשיח היא בעצם בראשית, וזה נכנס לרמת וודאות גבוהה ונוסף למילון כבראשית.
- בכל הרצה נוספים מילים נוספות למילון, בשעה שמילה שאינה קיימת בעברית/לשה"ק לא תוכל להכנס אלא אם היא ברמת וודאות של 100 אחוז.
- הרצה נוספת שצריך לשקול באיזה שלב, לקחת קורפוס כזה או אחר (יש כמה חינמיים), ולהוסיף למילון לאחר שמיצינו את הבעיות. (בו זמנית כל קורפוס מכיל סטטיסטיקות של סבירות תדירות אותיות, צריך לשקול שימוש בזה).
- הרצה נוספת שצריך לשקול באיזה שלב, חיפוש רצף מילים, נניח 10 מילים זהות שנמצאות במקום אחר בשינוי אות אחת, שיבנה לפי סטטיסטיקות. אחר כך יורד ל9 וכן הלאה.
כל זה נשמע מסובך מאוד, כי זה מסובך מאוד, אבל כבר אמר הגר"א שהעקשן יצליח, ואני מתכוון בעז"ה להתעקש.
הבעיה הגדולה כאן היא שכל טעות בתכנון עלולה לעלות ביוקר רב. ולכן אשמח לכל משוב ותוספת רעיונות וכו'.
 { const baseUrl = "https://www.google.co.il/search?q=site:forum.otzaria.org"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="display:flex; align-items:center; justify-content:center; gap:15px;"><img src="https://forum.otzaria.org/assets/uploads/system/site-logo.png?v=4921ea700b3" width="60" alt="פורום אוצריא"><span style="font-size:24px; font-weight:bold;">פורום אוצריא</span></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}