[Tp-reference] Searchlab Text+ Registry

[Genêt, Philippe]

Liebe Kolleg*innen,

wie vergangenen Mittwoch angekündigt, leite ich euch Timms Infomail zum Searchlab weiter – verbunden mit der herzlichen Bitte und Aufforderung nach Herzenslust ausgiebig zu testen.

Liebe Grüße

Philippe



Liebe Collectors, hier die Winke zum Gebrauch des Searchlab:

Login:

* https://fdm.awhamburg.de/registry-searchlab/
* PW: braveoceandreamsparkbright

und los geht's !

Vorab:

* Was Ihr seht ist eine normale interne Suche, kein Agent Interface, einfach Suchbegriffe in das Eingabefeld eintragen. Agent Feedback (s. u.) dient nur intern unserem Verständnis

* Das hier ist nicht als User Interface gedacht (noch zu komplex) sondern dient uns selbst zum Testen, vornehmlich der  hybriden Suche, um Feedback zu Suchergrgebnissen zu geben und zu sehen, wie unsere Parameter das Ergebnis beeinflussen.

* Die Suche liefert bewusst (zur Fehlersuche) noch viel Noise, diese sollte aber, insbesondere durch unser Feedback, mehr und mehr nach hinten rutschen und < 1.0 scoren.

zu den [Advanced Settings]

Text: Nur Schlagwortsuche (ein bisschen fuzzy)
Semantisch: Ähnlichkeitssuche mit Vektor Embeddings (mehrsprachiger Sentence transformer, später würde ich gerne sprachspezifische Modelle nehmen)
Hybrid: Kombination beider Ansätze <-- darum geht es mir eigentlich

Ergebnisse aus den Ressourcendomänen sind und bleiben getrennt in Tabs, weil sich kein sinnvolles Ranking aus Äpfeln, Birnen und Weintrauben bauen lässt, insbesondere bei der Vektorsuche dominieren inhaltlich arme Einträge (weniger komplexe Vektoren = besseres match auf alles) die ganz dünnen werden daher per default ausgeblendet.

In den Tabs:

* Cosine Scale: Steuert, wie semantisch ähnlich Ergebnisse zur Anfrage sein müssen
-> Höhere Werte = nur sehr ähnliche Ergebnisse (strengere Übereinstimmung)
-> Niedrigere Werte = vielfältigere Ergebnisse (lockerere Übereinstimmung)

* Score Boost: Passt die Endbewertung je Ressourcentyp an
 - Positive Werte (z.B. 0.1, 0.2, 0.5) erhöhen alle semantischen Scores und machen semantische Treffer   konkurrenzfähiger gegenüber Texttreffern, negative umgekehrt.
  - Höhere Boosts können dazu führen, dass mehr Dokumente in den Ergebnissen erscheinen, auch bei geringerer   semantischer Ähnlichkeit
- In Kombination mit Cosine Scale bestimmt er den finalen semantischen Score-Beitrag

* KI-Assistent (🤖-Button) in den Ergebnissen erklärt und bewertet Ergebnisse für uns, zur besseren Einschätzung. Diesewr Agent wird demnächst durch einen GraphRAG basieren Ahent ersetzt, der dann den gesamten Kontext der GEgistry als Knowledge Graph zur Verfügung hat. Er kann dann auch User bei der Suche ebsser beraten dun selbst Suchbegriffe generieren, die garantiert matchen

* Feedback Prinzip:
-> Daumen runter: Ergebnis wird bei künftigen identischen Suchen ausgeblendet.
-> Daumen hoch: Score des Ergebnisses wird bei künftigen identischen Suchen verdoppelt (Holzhammer, ich weiß).

-> [Expected somethiomg else?]: kam ein Ergebnis nicht, das wir erwartet hätten? Hier die komplette URL aus der Registry eintragen. Bei künftigen identischen Suchen wird es mit einem Score von 2*Median der gesamten Ergebnisse eingefügt.

Idee: egal, was mit der Suche wird, dieses Feedback bleibt uns auch für andere Implementierungen erhalten, also keinen Quatsch eingeben.

* Qualitätsfilterung:
--> Einträge mit geringer Informationsdichte (Titel < 5 Zeichen oder Beschreibung < 100 Zeichen) werden standardmäßig ausgeblendet, denn sie würden bei semantischer/hybrider Suche künstlich hoch ranken. Sie können kann per checkbox oder [unhide] eingeblendet werden

Allgemeine Feedback-Richtlinien:

Positiv: Sehr relevante, nützliche Ergebnisse, insbesondere bei Scores <1-
Wenn ein relevantes Ergebnis oben rankt und einen Score < 0,5 hat, stimmt gewaltig etwas nicht, dann vlllt. doch Mail an mich.

Negativ: Eindeutig irrelevante Ergebnisse – NICHT für niedrige Scores (<1) verwenden, diese fliegen in Zukunft ohnehin raus.

Danke!
-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://lists.dnb.de/pipermail/tp-reference/attachments/20250929/d727494d/attachment.htm>