[Gelöst] Duplikaterkennung limitiert?

Hallo zusammen,

zunächst einmal wünsche ich Euch noch ein gutes und erfolgreiches Jahr 2013

Ich habe das Gefühl, dass die Duplikatsuche über die Anzahl der Entities limitiert ist, jedoch finde ich nirgends eine Dokumentation dazu.

Systeminfos:
CRM2011 online
Erweiterte Entität Auftrag mit mehreren hinzugefügten Attributen
ca. 200'000 Records
Duplikaterkennung ist eingeschaltet, auch für Import

Duplikaterkennungsregel:
4 Felder
3 x Text mit genauer Übereinstimmung
1 x DateTime mit gleichem Datum

Manuell habe ich einge Duplikate ermittelt (diese bezeichne ich als Referenz)

Folgendes Verhalten habe ich festgestellt:
- beim csv-Import werden Duplikate erstellt (beim Absenden ist die Option "Duplikate zulassen" auf nein)
- beim Versuch ein Duplikat manuell zu erstellen kommt die Meldung von der Duplikaterkennung
- bei Erstellung einer manuellen Duplikatkontrolle über alle Aufträge werden einige gefunden (jedoch nicht die Referenz)
- bei Erstellung einer manuellen Duplikatkontrolle mit den Aufträgen nur einer Firma werden andere Duplikate gefunden als bei der Duplikatkontrolle über Alles (und jetzt auch die erwartete Referenz)
- Die Anzahl der gefundenen Duplikate liegt jeweils weit unter dem 5'000er Limit

Kann jemand dieses Verhalten erklären?

Vielen Dank schon mal

Gruss Jens

Zuletzt geändert von JensG am 5. Februar 2013 13:10, insgesamt 1-mal geändert.

Hallo Jens,

erst einmal ein paar Fragen zu den hinterlegten Regeln.

Du hast eine Duplikaterkennungsregel mit 4 Regeln. Hat du einmal darauf geachtet, wie viel Platz du noch im Matchcode für die Regel hast bzw. ob der Platz überhaupt ausreicht?

Es gibt auf jedem Fall keine Begrenzung hinsichtlich der Anzahl zu durchsuchender Datensätze.

Hallo Michael,

Danke für die Antwort.

Ja es ist noch Platz, die Regeln nehmen 241 Zeichen in Anspruch.

Mir ist eben auch keine Begrenzung bekannt, resp. habe ich nichts dazu gefunden. Aber wie anders ist das beschriebene Verhalten zu erklären?
Leider habe ich keine Möglichkeit (z.B. mit dem SQL-Profiler) weitere Untersuchungen anzustellen da es ein online-System ist. evtl. würde da ein "TOP x" in den Statements auftauchen...

Gruss Jens

Hallo Jens,

hast du eventuell eine Prüfung auf NULL in deiner Regel? Dann musst du auch den entsprechenden Haken in der GUI setzen, sonst funktioniert das nicht so wie gewünscht.

Hallo Michael,

nein, leere Felder gibt es im Bereich der durch die Regeln überprüften Felder nicht, sie sind alle Required. Entsprechend sind auch die Regeln eingstellt.

Beim Versuch manuell ein Duplikat zu erstellen kommt auch die entsprechende Meldung der Duplikaterkennung, so dass ich davon ausgehe, dass diese korrekt eingestellt ist.

Vielleicht noch eine weitere Info:
Die Aufträge werden aus dem Backend-System des Kunden - jeweils in grossen Mengen - als csv importiert. Die Gesamtzahl der Aufträge dürfte also in den letzten Monaten sprunghaft angestiegen sein. Nach Aussage des Kunden hat es eine Zeit lang funktioniert und später nicht mehr - ohne dass an der Konfiguration etwas geändert worden wäre. Anhand der Logs ist das auch nachvollziehbar, ab einem Import im November kommen plötzlich keine Fehlermeldungen von der Duplikatkontrolle mehr, die bis dahin immer vorhanden waren.
Es könnte also sein, dass zu diesem Zeitpunkt eine bestimmte Datenmenge überschritten worden wäre, was dazu führte das Duplikate während des Imports zugelassen werden.

Gruss Jens

Hallo Jens,

Die Aufträge werden aus dem Backend-System des Kunden - jeweils in grossen Mengen - als csv importiert. Die Gesamtzahl der Aufträge dürfte also in den letzten Monaten sprunghaft angestiegen sein. Nach Aussage des Kunden hat es eine Zeit lang funktioniert und später nicht mehr - ohne dass an der Konfiguration etwas geändert worden wäre. Anhand der Logs ist das auch nachvollziehbar, ab einem Import im November kommen plötzlich keine Fehlermeldungen von der Duplikatkontrolle mehr, die bis dahin immer vorhanden waren.
Es könnte also sein, dass zu diesem Zeitpunkt eine bestimmte Datenmenge überschritten worden wäre, was dazu führte das Duplikate während des Imports zugelassen werden.

Ist hier eventuell ein Update auf dem Server und/oder den Clients eingespielt worden?

Wie gesagt, mir ist keine grenze bekannt und ich kann mit aktuell nicht vorstellen, das die Duplikaterkennung da eine grenze hat.

Hallo Michael,

vielen Dank erneut.

Ich denke ich werde mir ein Datenbank-Backup bereitstellen lassen um weitere Untersuchungen anstellen zu können und ggf. einen Support-Case eröffnen.

Über das Ergebnis werde ich hier informieren.

Gruss Jens

Hallo zusammen,

der SupportCase läuft seit dem 12.01.

Wie immer kompetent und nett aber bisher leider ohne Ergebnis.

Wir haben diverse Importe bei laufendem Monitoring durchgeführt aber die Ursache ist bisher nicht erkennbar.

Allerdings habe ich inzwischen klar die Information bekommen, dass wie vermutet die Duplikatsuche über die Anzahl der Elemente NICHT limitiert ist.

Gruss Jens

Hallo zusammen,

heute habe ich ein Statement vom MS-Support zum Case bekommen.

Mit dem UR 12 funktioniert grundsätzlich keine Duplikaterkennung beim Import mehr.
Da bei dem betreffenden Kunden bereits eine Umstellung stattgefunden hat, ist nicht mehr nachvollziehbar warum die Duplikatkontrolle bereits vorher nicht funktioniert hat. Jetzt jedenfalls kann sie aufgrund des UR12 nicht funktionieren.

Nach Aussage des Supports hat Microsoft das Problem erkannt und wird es im nächsten Major-Release adressieren. Nachdem die Rollups Minor-Releases sind heisst das so viel wie "irgendwann". Ich habe mit bereits telefonisch mit dem Support besprochen, dass wir das weiter eskalieren.

Bis es eine funktionierende Lösung gibt, muss jeweils nach einem Import MANUELL (das funktioniert noch!) eine Duplikatkontrolle durchgeführt werden und die Duplikate sind manuell zu bereinigen. Allenfalls kann durch eine vorgelagerte Lösung die Import-Datenquelle bereinigt werden.

Ich bin drauf und dran einen UR12 Fanclub zu gründen...

Gruss Jens

Hallo Jens,

vielen Dank für die Rückmeldung. Kannst du den Beitrag bitte als gelöst markieren, auch wenn die Lösung lautet, auf das nächste Major Update zu warten.